JP4013922B2 - Virtual reality generation apparatus and method - Google Patents
Virtual reality generation apparatus and method Download PDFInfo
- Publication number
- JP4013922B2 JP4013922B2 JP2004176106A JP2004176106A JP4013922B2 JP 4013922 B2 JP4013922 B2 JP 4013922B2 JP 2004176106 A JP2004176106 A JP 2004176106A JP 2004176106 A JP2004176106 A JP 2004176106A JP 4013922 B2 JP4013922 B2 JP 4013922B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- synchronization
- frame data
- video display
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 162
- 230000008569 process Effects 0.000 claims description 151
- 230000006837 decompression Effects 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、観察者に凹面を向けた球面状のスクリーンに広視野角の立体映像を実スケールで歪みなく表示することで、観察者に仮想現実感(バーチャルリアリティ)を与える仮想現実感生成装置および方法に関する。 The present invention provides a virtual reality generation device that gives a virtual reality (virtual reality) to an observer by displaying a stereoscopic image with a wide viewing angle on a spherical screen with a concave surface facing the observer without distortion on a real scale. And methods.
前記仮想現実感(バーチャルリアリティ)を観察者に与える場合、たとえば水平方向210度、垂直方向110度と言われる人の最大視野角を超えるスクリーンに映像を表示しなければならない。したがって、平面スクリーンでは不可能であるので、観察者に凹面を向けた球面状のスクリーンを用いる仮想現実感生成装置が提案されている。 When giving the virtual reality (virtual reality) to an observer, an image must be displayed on a screen exceeding the maximum viewing angle of a person said to be 210 degrees in the horizontal direction and 110 degrees in the vertical direction, for example. Therefore, a virtual reality generation device using a spherical screen with a concave surface facing the observer has been proposed, which is impossible with a flat screen.
その中でも、本件出願人が先に提案した特許文献1は、前記球面状のスクリーンに対する歪補正だけでなく、投影手段(プロジェクタ)が球の中心軸上にないオフセットした状態に設置された場合でも、歪のない映像が得られるように補正するようにしたものである。このため、観察者の視点位置が前記中心軸上近くになる比較的小さい球面スクリーンでも、前記投影手段の設置位置を選ばず、利便性の高いものとなっている。
このように構成される仮想現実感生成装置において、上述のような設置位置補正が加わることで、球面状のスクリーンの径が選択可能になったり、特に小径のスクリーンが使用可能になることで、該仮想現実感生成装置の設置条件が緩和され、また用途が広まる。たとえば、都市や建物或いは商品の設計にあたって、完成予想を3次元表示したり、運転シミュレーションなどに使用することが考えられる。このように用途が広まると、これまでのCG(コンピュータグラフィックス)などのような専用の画像作成手段で作成された3次元映像だけでなく、実写映像を使用することが、より現実感を生んだり、コストを抑えられると考えられる。 In the virtual reality generating device configured as described above, by adding the installation position correction as described above, the diameter of the spherical screen can be selected, and in particular, a small-diameter screen can be used. The installation conditions of the virtual reality generation device are eased and the application is widened. For example, in designing a city, a building, or a product, it is conceivable that the completion prediction is displayed three-dimensionally or used for driving simulation. As the application spreads in this way, the use of live-action images as well as 3D images created by dedicated image creation means such as CG (computer graphics) so far has made it more realistic. It is thought that the cost can be reduced.
しかしながら、前記実写映像は、前記CGなどのような専用の画像作成手段で作成されるのではなく、ビデオムービーなどの汎用の撮影手段を使用して作成されるので、圧縮して媒体に記録されていることが多く、そのまま再生したのでは、各投影手段からの投影画像にずれが生じ、見ずらくなってしまうという問題がある。 However, the live-action video is not created by a dedicated image creation means such as the CG, but is created using a general-purpose shooting means such as a video movie, so it is compressed and recorded on the medium. In many cases, if the image is reproduced as it is, there is a problem that a projection image from each projection means is deviated and difficult to see.
本発明の目的は、実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる仮想現実感生成装置および方法を提供することである。 An object of the present invention is to provide a virtual reality generation apparatus and method capable of accurately reproducing a stereoscopic image by accurately synthesizing a moving image such as a live-action image without deviation.
上述の目的を達成するために、本発明の第1の手段に係る仮想現実感生成装置は、観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、相互に異なる角度から見た複数の動画映像の信号をそれぞれ作成する複数の映像作成手段と、前記各信号による動画映像をそれぞれスクリーンへ投影して観察者に合成して認識させることで立体動画映像を表示する投影手段と、時間管理ループプロセスおよび同期管理プロセスを実行する同期管理部を有して、前記各映像作成手段を制御し、各信号間の同期を確立する同期手段とを備え、前記各映像作成手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部、映像表示プロセスを実行する再生表示部および映像歪補正プロセスを実行する歪補正部を有して、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換し、前記投影手段に与えるデコード手段と、前記投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な2つのフレームメモリとを有し、前記同期手段は、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、前記同期手段の同期管理プロセスから前記各デコード手段に向けて現在時刻を配信し、前記映像表示プロセスは、現在時刻を受信し、受信したことを表すレシートを前記同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを前記映像表示プロセスへ通知するとともに、フレームデータを更新したことを前記映像表示プロセスへ通知し、前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、前記ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を前記映像作成手段内に設けられている前記2つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ、前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを前記映像表示プロセスへ送信し、前記映像表示プロセスは、前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける。 In order to achieve the above-mentioned object, the virtual reality generating apparatus according to the first means of the present invention has a spherical shape with a concave surface facing an observer, and is capable of displaying an image that is larger than the effective viewing angle of the observer. A screen with a viewing angle, a plurality of video creation means for creating a plurality of video signals viewed from different angles, and a video image based on each of the signals is projected onto the screen and combined with the observer for recognition. A projection unit that displays a stereoscopic video image by performing a synchronization management unit that executes a time management loop process and a synchronization management process, and controls each of the video creation units to establish synchronization between the signals and means, each image forming means, synchronization control section for performing synchronization management process, decompression unit for performing the movie file extraction process, playback display unit for performing an image display process and movies A distortion correction unit to perform distortion correction process, the compressed moving image file at each angle are sequentially decodes each converted into a signal of the moving picture, and decoding means for providing said projecting means, to said projection means Two frame memories that can be used by sequentially switching between outputting for decoding and writing decoded video signals, and the synchronization means obtains the current time in the time management loop process, and a specified time has elapsed In this case, the current time is distributed from the synchronization management process of the synchronization means to each of the decoding means, and the video display process receives the current time, and returns a receipt indicating reception to the synchronization means and the reference. update the time, it delivers the reference time to the movie file extraction process, the movie file extraction process The reference time is acquired and compared with the time at which the currently acquired frame is to be displayed. As a result, if the delay is within 2 frames, the frame data is updated, and the address in the frame buffer is set to the video display process. And the video display process is notified that the frame data has been updated . When the video display process receives the frame data update notification, it acquires the frame data from the address in the already notified frame buffer as video. The completion of frame data update is notified to the movie file decompression process, and the video is drawn on the one of the two frame memories provided in the video creation means that is not selected on the output side and the video call the distortion correction process to execute the process, the movie file solution The freeze process, upon receiving the frame data update completion notification, acquires the new frame data, the synchronization management process of the synchronization means, upon receiving the receipt, sends a swap synchronization message to the image display process, the video The display process executes swap of the two frame memories, returns a receipt to the synchronization management process of the synchronization means, and waits for reception of the current time again .
さらにまた、本発明の第2の手段に係る仮想現実感生成方法は、観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンに、相互に異なる角度から見た複数の動画映像をそれぞれ投影して観察者に合成して認識させることで立体動画映像を表示する仮想現実感生成方法において、前記各角度における圧縮動画映像ファイルをそれぞれの映像作成手段に設けた同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪補正プロセスを含んで実行するデコード手段にて順次デコードして前記動画映像の信号に変換し、時間管理ループプロセスおよび同期管理プロセスを含んで実行する同期手段にて前記映像作成手段を制御して各信号間の同期を確立するにあたって、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期手段の同期管理プロセスから各デコード手段に向けて現在時刻を配信し、前記映像表示プロセスが現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知し、前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を映像作成手段内に設けられている2つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪み補正プロセスを呼び出して処理を実行させ、前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信し、映像表示プロセスは、前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける。 Furthermore, the virtual reality generation method according to the second means of the present invention is a screen with a wide viewing angle capable of displaying an image larger than the effective viewing angle of the observer in a spherical shape with a concave surface facing the observer. In the virtual reality generation method of displaying a stereoscopic video image by projecting a plurality of video images viewed from different angles to each other and synthesizing and recognizing the same, an compressed video image file at each angle is displayed. Decode sequentially by decoding means that includes a synchronization management process, a movie file decompression process, a video display process and a video distortion correction process provided in the video creation means to convert the video into a video signal, a time management loop process, In establishing the synchronization between the signals by controlling the video creation means by the synchronization means executed including the synchronization management process, the time When the current time is acquired by the logical loop process and the specified time has elapsed, the current time is distributed from the synchronization management process of the synchronization means to each decoding means, and the video display process has received and received the current time Is sent back to the synchronization means and the reference time is updated, and the reference time is distributed to the movie file decompression process. The movie file decompression process acquires the reference time, and the current frame is acquired. Compare with the time to be displayed. As a result, if the delay is within 2 frames, the frame data is updated, the address in the frame buffer is notified to the video display process, and the frame data is updated to the video display process. The video display process notifies the frame data update notification. The frame data is acquired as an image from the address in the already notified frame buffer, the update of the frame data is notified to the movie file decompression process, and the image is stored in the two frame memories provided in the image creating means. The image file is drawn on the side not selected on the output side, and the video distortion correction process is called to execute the process. When the movie file decompression process receives the frame data update completion notification, it acquires new frame data. In the synchronization management process of the synchronization means, upon receipt of the receipt, a swap synchronization message is transmitted to the video display process. The video display process executes swap of the two frame memories, and the synchronization management process of the synchronization means Reply to the receipt and wait to receive the current time again.
このような構成の仮想現実感生成装置および方法は、球面スクリーンに相互に異なる角度から見た複数の動画映像をそれぞれ投影して立体動画映像を表示することで、いわゆるバーチャルリアリティを生成する表示装置において、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換してゆき、前記投影手段に与えるデコード処理は、時間を要するとともに、映像によって所要時間がばらつくので、処理のばらつきを補正するために、同期手段を設け、前記各映像作成手段を制御し、動画映像の各信号間の同期を確立する。 A virtual reality generation apparatus and method having such a configuration is a display apparatus that generates so-called virtual reality by projecting a plurality of moving image images viewed from different angles on a spherical screen and displaying a stereoscopic moving image image. In the above, the compressed moving image file at each angle is sequentially decoded and converted into the moving image signal, and the decoding process given to the projection means takes time and the required time varies depending on the image. In order to correct the variation, the synchronization means is provided, and the video creation means is controlled to establish synchronization between the signals of the moving picture.
それゆえ、前記実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる。 Therefore, it is possible to reproduce a stereoscopic image by accurately synthesizing a moving image such as the photographed image without deviation.
[実施の形態1]
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において、同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
[Embodiment 1]
Embodiments according to the present invention will be described below with reference to the drawings. In addition, in each figure, the structure which attached | subjected the same code | symbol shows that it is the same structure, The description is abbreviate | omitted.
図1は、本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。この仮想現実感生成装置は、大略的に、広視野角のスクリーン1と、前記スクリーン1に右目用と左目用との映像をそれぞれ投影するプロジェクタ2,3と、前記プロジェクタ2,3からの投射映像を反射して前記スクリーン1に照射する反射鏡4と、前記プロジェクタ2,3からの投射映像を見るにあたって観察者5が装着する眼鏡6と、前記プロジェクタ2,3で投影するための映像信号をそれぞれ作成する映像作成手段7,8と、前記映像作成手段7,8の同期を確立する同期手段9とを備えて構成される。
FIG. 1 is a diagram showing an overall configuration of a virtual reality generation apparatus according to an embodiment of the present invention. This virtual reality generation device is roughly composed of a wide
前記スクリーン1は、水平方向にも垂直方向にも曲率を有する球面状に形成され、観察者5側に凹面を向けて配置され、該観察者5から見て、たとえば水平方向に約140度、垂直方向に約85度の有効視野角以上に映像を表示することができるものである。なお、この有効視野角とは、人間が物を詳細に認識できる視野角である。前記プロジェクタ2,3は、観察者5の有効視野角外で、かつスクリーン1上に該観察者5の影を作らない映像投影位置に配置されており、その投射映像は板状の前記反射鏡4で全反射されて前記スクリーン1に照射される。前記スクリーン1、プロジェクタ2,3および反射鏡4は、枠体10によって相互間の位置関係を維持するように保持されている。
The
前記映像作成手段7,8は、後に詳述するように、外部または内部に右目用と左目用との動画映像ファイルをそれぞれ有し、それを順次デコードして、さらにスクリーン1上に表示されたときに、観察者5から見て、実スケールで、かつ歪みが無くなるように予め映像を歪ませる処理を行い、同期手段9からの同期信号に応答して、プロジェクタ2,3から、図示しない偏光フィルタを介して、相互に直交する偏光面の光でスクリーン1へ投影させる。これに対応して、観察者5が装着する眼鏡6は、前記相互に直交する偏光面の光の内、右目と左目とでそれぞれ対応する偏光面の光のみを通過させ、観察者5に視認させる。
As will be described in detail later, the video creation means 7 and 8 have a video image file for the right eye and for the left eye on the outside or inside, respectively, which are sequentially decoded and further displayed on the
図2は、上述のように構成される仮想現実感生成装置の電気的構成を示すブロック図である。注目すべきは、本発明の仮想現実感生成装置では、ビデオムービーなどの汎用の撮影手段を使用して作成された圧縮動画映像ファイルから仮想現実感映像を生成することである。前記圧縮動画映像ファイルは、DVD(デジタルビデオディスク)などの媒体に圧縮記録されている。図2では、前記媒体としては、左右それぞれのDVD11,21で示しているけれども、動画映像が圧縮記録されている他の媒体であってもよい。また、人間の両眼視差に対応した間隔だけ水平方向に離間して配置された左右それぞれの撮影手段で撮影された動画映像は、それらの撮影手段で個別のDVD11,21に圧縮して記録されるが、左右の撮影手段が一体化されていて、同じ媒体に記録されていてもよい。
FIG. 2 is a block diagram showing an electrical configuration of the virtual reality generating apparatus configured as described above. It should be noted that the virtual reality generation apparatus of the present invention generates a virtual reality video from a compressed moving image video file created using general-purpose shooting means such as a video movie. The compressed moving image video file is compressed and recorded on a medium such as a DVD (digital video disc). In FIG. 2, the medium is shown as the left and
MPEG2やMPEG4などで圧縮された前記DVD11,21の記録映像は、前記映像作成手段7,8において、それぞれハードディスク12,22に取込まれる。前記ハードディスク12,22に取込まれた記録映像は、解凍部13,23において解凍(伸長)され、さらに再生表示部14,24において、映像信号に変換される。前記解凍部13,23および再生表示部14,24は、デコード手段を構成する。こうして得られた映像信号は、歪補正部15,25において、前記スクリーン1の球面形状によって生じる歪に対する歪補正および前記プロジェクタ2,3の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正が行われる。
The recorded videos of the
前記歪補正部15,25から出力された映像信号は、切換えスイッチ17,27を介して、それぞれ2つずつ設けられるフレームメモリ18,19;28,29の一方に書込まれ、そのフレームメモリ18,19;28,29の他方からは、切換えスイッチ20,30を介して映像信号が読出され、前記プロジェクタ2,3に与えられ、投射が行われる。このように構成される映像作成手段7,8において、CGによって作成された映像信号は、前記解凍部13,23における伸長処理および再生表示部14,24における映像信号への変換処理は不要であり、直接歪補正部15,25から入力される。
The video signals output from the
前記映像作成手段7,8は、パーソナルコンピュータから成り、前記解凍部13,23、再生表示部14,24、歪補正部15,25および同期管理部16,26は、そのパーソナルコンピュータに格納されたソフトウェアおよびそれを実行するハードウェアによって構成される。すなわち、映像信号処理用のソフトウェアとして、前記解凍部13,23にはムービーファイル解凍プロセスを有し、再生表示部14,24には映像表示プロセスを有し、前記歪補正部15,25には映像歪補正プロセスを有する。また、前記解凍部13,23、再生表示部14,24および切換えスイッチ17,27;20,30の同期を管理する同期管理部16,26は、同期管理プロセスを有する。
The video creation means 7 and 8 are composed of a personal computer, and the
ここで、本発明では、前記映像作成手段7,8はスレーブとなり、マスターとなる前記同期手段9が設けられる。この同期手段9もパーソナルコンピュータから成り、前記映像作成手段7,8とは、ネットワーク31によって相互に接続されている。同期手段9でも、前記DVD11または12(図2では11)からの記録映像がハードディスク32に取込まれ、解凍部33において伸長され、さらに再生表示部34において映像信号に変換される。この映像信号におけるタイムコードを利用して、同期管理部36は、前記同期管理部16,26を介して、後述するように前記切換えスイッチ17,27;20,30のスイッチングなどを制御し、映像作成手段7,8からの映像信号間の同期を確立する。前記解凍部33にはムービーファイル解凍プロセスを有し、再生表示部34には映像表示プロセスを有し、同期管理部36には同期管理プロセスおよび時間管理ループプロセスを有する。前記映像作成手段7,8が実行する同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像補正プロセスについては、後述する図5および図8の説明箇所にて一例を詳細に説明する。また、同期手段9が実行する時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスについても、後述する図8の説明箇所にて一例を詳細に説明する。
Here, in the present invention, the video creation means 7 and 8 are slaves, and the synchronization means 9 is provided as a master. The synchronization means 9 is also composed of a personal computer, and is connected to the video creation means 7 and 8 by a
図3は、前記歪補正部15,25によるスクリーン1の球面形状に対する歪補正処理を説明するための図である。前記再生表示部14,24において得られた映像信号映像を、そのまま球形のスクリーン1に投射すると、図3(a)に示すように、歪んだ映像になる。このため球形のスクリーン1に表示したときに歪みが無くなるように、図3(b)に示すように、予め前記歪補正部15,25において映像を歪ませる。
FIG. 3 is a diagram for explaining distortion correction processing for the spherical shape of the
また、図4は、前記歪補正部15,25によるプロジェクタ2,3の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。この図4では、前記反射鏡4を省略しており、観察者5の後方から投射しているように示している。前記球面形状に対する歪補正が施された映像信号は、プロジェクタ2,3を、図4(a)や図4(b)で示すように、球の中心Oを通る中心軸c上に設置した状態で投射すると、歪のない映像となる。しかしながら、図1からも理解されるように、プロジェクタ2,3は観察者5の影にならない位置に設置する必要があり、特にスクリーン1の径が小さくなる程、前記中心軸上からのオフセットが大きくなる。そこで、図4(c) で示すように、プロジェクタ2,3が中心軸c上に無い状態で、該歪補正部15,25は、プロジェクタ2,3の設置位置に応じてさらに映像に歪みを与えることで補正する。
FIG. 4 is a diagram for explaining an installation position correction process for distortion caused by the offset from the central axis of the spheres of the
また、プロジェクタには光軸シフトと呼ぶ映像を投射する角度を変更できる機能を持つものがあるため、その機能を使用すると図1や図4(d)のようにプロジェクタ2,3を床に対して水平に設置することが可能になる。この場合も光軸シフトをパラメータとして映像を歪ませる必要があり、映像表示領域に沿って映像表示パラメータを上下左右方向に非対称な値に変換して映像表示パラメータを変更する。しかしながら、光軸シフトには、プロジェクタ2,3内にそのようなシフト機構が必要になり、コストアップを招くので、プロジェクタ2,3の軸線と光軸とを一致させることが好ましい。
In addition, some projectors have a function that can change the angle at which an image is projected called an optical axis shift. Therefore, when this function is used, the
図5は、そのような歪補正部15,25による歪み補正の手法を説明するための図である。この図5でも、前記反射鏡4を省略して示している。先ず、補正にあたって、図5に示すように、観察者5の視点位置よりビューフラスタムおよびプロジェクタ2,3の投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をP0、底面をP0,0,Pm,0,Pm,n,P0,nとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をQ0、底面をQ0,0,Qm,0,Qm,n,Q0,nとして表現される。ここで、m,nは映像解像度を表すものとし、映像信号が、たとえばSXGAの場合は、m=1279、n=1023である。底面は、仮想スクリーン面とも呼ばれる。
FIG. 5 is a diagram for explaining a distortion correction method by such
ここで、簡易表現のため、m=iにおけるy−z二次元断面から見たイメージを図6に示す。先ず、仮想スクリーン面1a内に点Pi,jを想定し,ベクトルP0Pi,jとドームスクリーン1との交点Ri,jを求める。次に、ベクトルQ0Ri,jと投影フラスタムの仮想スクリーン面1bとの交点Qi,jを求める。i,jを、0≦i≦m,0≦j≦nで変化してゆくと、Pi,j→Qi,j対応マップを作成することができ,この対応マップが映像の歪みに対する逆補正となる。すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにPi,j→Qi,j対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、映像歪み補正を実現している。グリッド映像にPi,j→Qi,j対応マップを適用したイメージを図7に示す(すなわち前記図3(b)とは逆になる)。本歪み補正手法は、スクリーン1の形状を制限しない。すなわち、ドームスクリーンだけではなく、スクリーン面が測定可能もしくは解析的な特定ができれば、平面を組合わせたマルチスクリーンおよび曲率が連続的に変化する楕円球面などへも適用可能である。
Here, for simple expression, an image viewed from a yz two-dimensional section at m = i is shown in FIG. First, a point P i, j is assumed in the
こうして歪み補正機能をソフトウェア上で実現することで、魚眼レンズ等を用いた光学的な処理で実現する場合では、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならず、表示系の大きさ、形が変わった時には対応できないのに対して、ソフトウェアで実現することで、表示系に合わせたパラメータ設定だけで対応することができ、有利である。 In this way, when the distortion correction function is realized by software, when it is realized by optical processing using a fisheye lens etc., a lens suitable for the display system is created in advance, and an image is created and displayed using that lens. However, when the size and shape of the display system are changed, it is not possible to cope with it. However, realization with software is advantageous because it can be handled only by setting parameters according to the display system.
図8は、上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。本仮想現実感生成装置を実現する主要なソフトウェアは、前述のような時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪み補正プロセスの5つから構成される。前記同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスは、前記映像作成手段7,8において、それぞれ一連のプロセスで連携しながら動作する。スレーブパソコンであるこれらの映像作成手段7,8は、2つにとどまらず、マルチスクリーン対応などでさらに拡張することが可能である。前記時間管理ループプロセスは、唯一のプロセスであり、複数のパーソナルコンピュータのどこか一箇所で実行されればよいが、本実施の形態では、上述のように独立したマスターパソコンである同期手段9上で実行する。そして各プロセスは、ネットワーク31を利用して通信を行う。図8では、前記同期管理プロセスによる動作を、破線で示す。
FIG. 8 is a flowchart for explaining the operation of establishing synchronization between the left and right video signals in the virtual reality generating apparatus configured as described above. The main software that realizes the virtual reality generation apparatus includes the time management loop process, the synchronization management process, the movie file decompression process, the video display process, and the video distortion correction process as described above. The synchronization management process, movie file decompression process, and video display process operate in the video creation means 7 and 8 in cooperation with each other through a series of processes. These video creation means 7 and 8 which are slave personal computers are not limited to two but can be further expanded to support multi-screens. The time management loop process is the only process and may be executed at one location of a plurality of personal computers. In the present embodiment, as described above, on the synchronization means 9 which is an independent master personal computer. Run with. Each process communicates using the
マスターパソコンでは、前記時間管理ループプロセスおよび同期管理プロセスを実行する。これによって、先ず、時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期管理プロセスからスレーブパソコンに向けて現在時刻を配信する(S101,S102)。すなわち、同期管理プロセスは、一定時間毎に、時刻と、後述するように2つのフレームメモリ18,19;28,29の切換えを行う切換えスイッチ17,27;20,30の切換え指令であるスワップ同期メッセージを送信することになる。
The master personal computer executes the time management loop process and the synchronization management process. Thus, first, the current time is acquired by the time management loop process, and when the specified time has elapsed, the current time is distributed from the synchronization management process to the slave personal computer (S101, S102). That is, the synchronization management process performs swap synchronization, which is a switching command for the changeover switches 17, 27; 20, 30 for switching between the time and two
一方、スレーブパソコンでは、前記ムービーファイル解凍プロセス・映像表示プロセス・映像歪み補正プロセスを実行する。これによって、先ず、映像表示プロセスが現在時刻を受信し、受信後確かに受取ったことをレシートとしてマスターパソコンに返信する(S201,S202)。さらに映像表示プロセスは、リファレンス時刻を更新し、さらにムービーファイル解凍プロセスへリファレンス時刻を配信し(S203)、フレームデータ更新通知を待受ける(S204)。 On the other hand, the slave personal computer executes the movie file decompression process, the video display process, and the video distortion correction process. As a result, first, the video display process receives the current time, and sends back to the master personal computer as a receipt that it has been received (S201, S202). Further, the video display process updates the reference time, further distributes the reference time to the movie file decompression process (S203), and waits for a frame data update notification (S204).
これに応答して、ムービーファイル解凍プロセスは、リファレンス時刻を取得し(S301)、現在取得しているフレームの表示されるべき時刻と比較する(S302)。比較の結果、遅延が2フレーム以内ならばフレームデータを更新、すなわち解凍し、フレームバッファ内のアドレスを映像表示プロセスへ通知する(S303)。さらにムービーファイル解凍プロセスは、フレームデータを更新したことを映像表示プロセスへ通知する(S304)。 In response to this, the movie file decompression process obtains a reference time (S301) and compares it with the time at which the currently obtained frame is to be displayed (S302). As a result of the comparison, if the delay is within 2 frames, the frame data is updated, that is, decompressed, and the address in the frame buffer is notified to the video display process (S303). Further, the movie file decompression process notifies the video display process that the frame data has been updated (S304).
映像表示プロセスは、フレームデータ更新通知を受けると(S204,S205)、すでにS303で通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し(S206)、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し(S207)、映像をバックバッファ(前記2つのフレームメモリ18,19;28,29の内、出力側に選択されていない方(図2ではフレームメモリ18,28))に描画、すなわち映像信号に再生する(S208)。
Upon receiving the frame data update notification (S204, S205), the video display process acquires frame data as video from the address in the frame buffer already notified in S303 (S206), and completes the frame data update process to the movie file decompression process. (S207), and the video is drawn in the back buffer (the one of the two
一方、マスターパソコンでは、同期管理プロセスは、S103でレシートを受取ると、スワップ同期メッセージをスレーブパソコンの映像表示プロセスへ送信する(S104)。これに応答して、映像表示プロセスは、映像歪み補正プロセスを呼び出して処理を実行させ(S209)、続いてバッファスワップを実行し、マスターパソコンの同期管理プロセスへ確かに受取ったことを表すレシートを返信する(S210,S211,S212)。その後、映像表示プロセスは、S201で現在時刻の受信を待受ける。前記映像歪み補正は、前記図5で示すように対応マップの読替えによる一定時間の遅延で実現することができ、これによって左右のプロジェクタ2,3からは、相互に同期の取れた動画映像が投射されることになる。
On the other hand, in the master personal computer, when the receipt is received in S103, the synchronization management process transmits a swap synchronization message to the video display process of the slave personal computer (S104). In response to this, the video display process calls the video distortion correction process to execute the process (S209), and then executes buffer swap, and receives a receipt indicating that it has been received by the synchronization management process of the master personal computer. Reply (S210, S211, S212). Thereafter, the video display process waits for reception of the current time in S201. As shown in FIG. 5, the video distortion correction can be realized with a delay of a predetermined time by rereading the correspondence map, whereby left and
ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると(S305)、圧縮ムービーファイルより1フレームを新たに取得する(S306)。また、S302での比較の結果、遅延が2フレームを超えていても、前記S306で1フレームを新たに取得する。 In the movie file decompression process, when a frame data update completion notification is received (S305), one new frame is acquired from the compressed movie file (S306). Further, even if the delay exceeds 2 frames as a result of the comparison in S302, one frame is newly acquired in S306.
マスターパソコンの同期管理プロセスでは、映像表示プロセスよりスワップ同期メッセージのレシートを受取るまでプロセスを停止、受取ると現在時刻の取得より開始する(S105)。 In the synchronization management process of the master personal computer, the process is stopped until receipt of the swap synchronization message is received from the video display process, and when the receipt is received, the process starts with acquisition of the current time (S105).
このように構成することによって、特殊なハードウェアを用いることなく、実写映像などのムービーファイルの解凍・再生・歪み補正の各処理をリアルタイムで行いつつ、インタラクティブな複数のムービーファイルを、複数のパソコン上で同期して再生することが可能となる。特に、前記MPEG2やMPEG4というムービーファイルフォーマットには、1つ1つのフレームという概念がなく、映像信号の差分のみ管理することでファイル容量を圧縮しているので、差分情報よりフレームを再構築する処理(解凍処理)が必要であり、本発明では、この重い処理プロセスを実行しながら、さらに再生・同期・歪み補正という処理を同時に行い、リアルタイム処理(30フレーム/秒)を実現することができる。 By configuring in this way, multiple interactive movie files can be transferred to multiple computers while performing real-time processing of decompression, playback, and distortion correction of movie files such as live-action video without using special hardware. It is possible to play back synchronously. In particular, the movie file formats such as MPEG2 and MPEG4 do not have the concept of each frame, and the file capacity is compressed by managing only the difference between the video signals, so the process of reconstructing the frame from the difference information In the present invention, real-time processing (30 frames / second) can be realized by simultaneously executing processing such as reproduction, synchronization, and distortion correction while executing this heavy processing process.
1 スクリーン
2,3 プロジェクタ
4 反射鏡
5 観察者
6 眼鏡
7,8 映像作成手段
9 同期手段
10 枠体
11,12 DVD
12,22,32 ハードディスク
13,23,33 解凍部
14,24,34 再生表示部
15,25 歪補正部
16,26,36 同期管理部
17,27;20,30 切換えスイッチ
18,19;28,29 フレームメモリ
31 ネットワーク
DESCRIPTION OF
12, 22, 32
Claims (2)
前記各映像作成手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部、映像表示プロセスを実行する再生表示部および映像歪補正プロセスを実行する歪補正部を有して、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換し、前記投影手段に与えるデコード手段と、前記投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な2つのフレームメモリとを有し、
前記同期手段は、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、前記同期手段の同期管理プロセスから前記各デコード手段に向けて現在時刻を配信し、
前記映像表示プロセスは、現在時刻を受信し、受信したことを表すレシートを前記同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、
前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを前記映像表示プロセスへ通知するとともに、フレームデータを更新したことを前記映像表示プロセスへ通知し、
前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、前記ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を前記映像作成手段内に設けられている前記2つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ、
前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、
前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを前記映像表示プロセスへ送信し、
前記映像表示プロセスは、前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けること
を特徴とする仮想現実感生成装置。 A spherical screen with a concave surface facing the observer and a wide viewing angle screen capable of displaying an image larger than the effective viewing angle of the observer, and a plurality of moving image signals viewed from different angles, respectively . A video creation means, a projection means for projecting a video image based on each signal onto a screen and synthesizing and recognizing it by an observer; and a synchronization for executing a time management loop process and a synchronization management process. Having a management unit, and controlling each video creation means, and synchronization means for establishing synchronization between each signal ,
Each of the video creation means includes a synchronization management unit that executes a synchronization management process, a decompression unit that executes a movie file decompression process, a playback display unit that executes a video display process, and a distortion correction unit that executes a video distortion correction process. The decoded moving image video file at each angle is sequentially decoded and converted into the moving image signal, and the decoding device gives the projecting device, the output to the projecting device, and the writing of the decoded video signal And two frame memories that can be used by sequentially switching to
The synchronization means acquires the current time in the time management loop process, and when the specified time has elapsed, distributes the current time from the synchronization management process of the synchronization means toward the decoding means ,
The video display process receives the current time, returns a receipt representing the reception to the synchronization means and updates the reference time, and distributes the reference time to the movie file decompression process ,
The movie file decompression process acquires the reference time and compares it with the time at which the currently acquired frame is to be displayed. As a result, if the delay is within 2 frames, the frame data is updated, Notifying the video display process of the address and notifying the video display process that the frame data has been updated ,
Upon receiving the frame data update notification, the video display process acquires frame data from the address in the already notified frame buffer as video, notifies the movie file decompression process of completion of frame data update, and sends the video to the video Of the two frame memories provided in the creation means, draw on the one not selected on the output side and call the video distortion correction process to execute the process ,
Upon receiving the frame data update completion notification, the movie file decompression process acquires new frame data ,
In the synchronization management process of the synchronization means, upon receipt of the receipt, a swap synchronization message is transmitted to the video display process ,
The virtual reality generation apparatus characterized in that the video display process executes swap of the two frame memories, returns a receipt to the synchronization management process of the synchronization means, and waits for reception of the current time again .
前記各角度における圧縮動画映像ファイルをそれぞれの映像作成手段に設けた同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪補正プロセスを含んで実行するデコード手段にて順次デコードして前記動画映像の信号に変換し、時間管理ループプロセスおよび同期管理プロセスを含んで実行する同期手段にて前記映像作成手段を制御して各信号間の同期を確立するにあたって、
前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期手段の同期管理プロセスから各デコード手段に向けて現在時刻を配信し、
前記映像表示プロセスが現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、
前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知し、
前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を映像作成手段内に設けられている2つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ、
前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、
前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信し、
映像表示プロセスは、前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けることを特徴とする仮想現実感生成方法。 A plurality of video images viewed from different angles are projected onto the viewer by projecting them on a wide viewing angle screen that is spherical with the concave surface facing the viewer and capable of displaying images that are larger than the viewer's effective viewing angle. In a virtual reality generation method for displaying a stereoscopic video image by combining and recognizing it,
The compressed video image file at each angle is sequentially decoded by a decoding unit including a synchronization management process, a movie file decompression process, a video display process, and a video distortion correction process provided in each video creation unit, and the video image In establishing the synchronization between the respective signals by controlling the video creation means in the synchronization means executed including the time management loop process and the synchronization management process.
When the current time is acquired by the time management loop process and the specified time has elapsed, the current time is distributed from the synchronization management process of the synchronization means toward each decoding means,
The video display process receives the current time, returns a receipt indicating the reception to the synchronization means and updates the reference time, and distributes the reference time to the movie file decompression process,
The movie file decompression process acquires the reference time and compares it with the time at which the currently acquired frame is to be displayed. As a result, if the delay is within 2 frames, the frame data is updated, Notify the video display process of the address, notify the video display process that the frame data has been updated,
When receiving the frame data update notification, the video display process obtains the frame data as video from the address in the already notified frame buffer, notifies the movie file decompression process of completion of the frame data update, and creates the video as video creation means Draw in the one that is not selected on the output side of the two frame memories provided in the inside and call the video distortion correction process to execute the process,
Upon receiving the frame data update completion notification, the movie file decompression process acquires new frame data,
In the synchronization management process of the synchronization means, upon receipt of the receipt, a swap synchronization message is transmitted to the video display process,
A virtual reality generation method characterized in that the video display process executes swap of the two frame memories, returns a receipt to the synchronization management process of the synchronization means, and waits for reception of the current time again.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004176106A JP4013922B2 (en) | 2004-06-14 | 2004-06-14 | Virtual reality generation apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004176106A JP4013922B2 (en) | 2004-06-14 | 2004-06-14 | Virtual reality generation apparatus and method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007149526A Division JP2007312402A (en) | 2007-06-05 | 2007-06-05 | Video generating apparatus and method and video projection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005354644A JP2005354644A (en) | 2005-12-22 |
JP4013922B2 true JP4013922B2 (en) | 2007-11-28 |
Family
ID=35588680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004176106A Expired - Fee Related JP4013922B2 (en) | 2004-06-14 | 2004-06-14 | Virtual reality generation apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4013922B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111263178A (en) * | 2020-02-20 | 2020-06-09 | 广州虎牙科技有限公司 | Live broadcast method, device, user side and storage medium |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4631878B2 (en) * | 2006-02-20 | 2011-02-16 | パナソニック電工株式会社 | Video signal processing device, virtual reality generation system |
CN101385047B (en) * | 2006-02-20 | 2011-11-23 | 松下电工株式会社 | Image signal processing apparatus and virtual reality creating system |
JP4013989B2 (en) | 2006-02-20 | 2007-11-28 | 松下電工株式会社 | Video signal processing device, virtual reality generation system |
JP2008003132A (en) * | 2006-06-20 | 2008-01-10 | Matsushita Electric Works Ltd | Virtual reality creating apparatus and design method thereof |
FR2913552B1 (en) * | 2007-03-09 | 2009-05-22 | Renault Sas | SYSTEM FOR PROJECTING THREE-DIMENSIONAL IMAGES ON A TWO-DIMENSIONAL SCREEN AND CORRESPONDING METHOD |
JP5236219B2 (en) * | 2007-06-21 | 2013-07-17 | 三菱プレシジョン株式会社 | Distortion correction and integration method using divided imaging, mapping function generation method therefor, distortion correction and integration device using divided imaging, and mapping function generation apparatus therefor |
JP5210702B2 (en) * | 2008-04-23 | 2013-06-12 | パナソニック株式会社 | Image correction method, program, and stereoscopic image generation system |
JP5809575B2 (en) * | 2012-01-31 | 2015-11-11 | 株式会社日立ハイテクノロジーズ | Image processing apparatus and method, distortion correction map creating apparatus and method, and semiconductor measurement apparatus |
JP2013211672A (en) * | 2012-03-30 | 2013-10-10 | Namco Bandai Games Inc | Curved surface projection stereoscopic vision device |
KR101440847B1 (en) * | 2013-02-25 | 2014-11-04 | 중앙대학교 산학협력단 | 3D distortion apparatus and method using fisheye lens |
CN106486030B (en) * | 2016-12-30 | 2023-12-22 | 深圳裸眼威阿科技有限公司 | Panoramic display system based on virtual reality |
KR20240064020A (en) | 2017-07-13 | 2024-05-10 | 소니그룹주식회사 | Information processing device, information processing method, and program |
US11388378B2 (en) | 2018-01-25 | 2022-07-12 | Sony Corporation | Image processing apparatus, image processing method and projection system |
-
2004
- 2004-06-14 JP JP2004176106A patent/JP4013922B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111263178A (en) * | 2020-02-20 | 2020-06-09 | 广州虎牙科技有限公司 | Live broadcast method, device, user side and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2005354644A (en) | 2005-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3992045B2 (en) | Video signal processing apparatus and method, and virtual reality generation apparatus | |
JP4622570B2 (en) | Virtual reality generation device and program used therefor | |
US20210329222A1 (en) | System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view | |
US11521347B2 (en) | Method, apparatus, medium, and device for generating multi-angle free-respective image data | |
JP4013922B2 (en) | Virtual reality generation apparatus and method | |
US8750599B2 (en) | Stereoscopic image processing method and apparatus | |
EP3531244A1 (en) | Method, apparatus and system providing alternative reality environment | |
CN108693970B (en) | Method and apparatus for adapting video images of a wearable device | |
TW201921921A (en) | Processing of 3D image information based on texture maps and meshes | |
WO2019131577A1 (en) | Information processing device, information processing method, and program | |
JP5628819B2 (en) | Computer graphics video composition apparatus and method, and display apparatus | |
US20240077941A1 (en) | Information processing system, information processing method, and program | |
TW201803358A (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
JP3387487B2 (en) | Immersive sensation generator | |
CN108989784A (en) | Image display method, device, equipment and the storage medium of virtual reality device | |
Naimark | Elements of real-space imaging: a proposed taxonomy | |
JP2010166218A (en) | Camera system and method of controlling the same | |
JP2017199958A (en) | Imaging apparatus, control method thereof, and control program | |
JP2001236521A (en) | Virtual reality system based on image dividing system | |
GB2584282A (en) | Image acquisition system and method | |
WO2019034804A2 (en) | Three-dimensional video processing | |
CN111630848B (en) | Image processing apparatus, image processing method, program, and projection system | |
JP2003323170A (en) | Image display system, image processor and image display method | |
JP2007312402A (en) | Video generating apparatus and method and video projection system | |
WO2022004233A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070412 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20070607 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20070625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070903 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4013922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |