WO2012132267A1 - Omnidirectional stereo image output device - Google Patents

Omnidirectional stereo image output device Download PDF

Info

Publication number
WO2012132267A1
WO2012132267A1 PCT/JP2012/001676 JP2012001676W WO2012132267A1 WO 2012132267 A1 WO2012132267 A1 WO 2012132267A1 JP 2012001676 W JP2012001676 W JP 2012001676W WO 2012132267 A1 WO2012132267 A1 WO 2012132267A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stereo image
viewpoint
stereo
change
Prior art date
Application number
PCT/JP2012/001676
Other languages
French (fr)
Japanese (ja)
Inventor
智典 中村
朋子 片山
敬一 田中
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2012132267A1 publication Critical patent/WO2012132267A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

An image output device of the present invention acquires a panoramic image and depth information of a subject of the panoramic image, converts a predetermined region of the panoramic image to a stereo image, and outputs the stereo image. A disparity panoramic image generation unit generates a disparity panoramic image by shifting coordinates of each pixel of the panoramic image on the basis of the depth indicated by the depth information. A rendering unit projects the panoramic image and the disparity panoramic image on a stereoscopic model, converts a predetermined region of the projected image to a stereo image, and outputs the stereo image from an output unit. When a change of the viewpoint of the panoramic image is requested, a control unit functions so that an alternative stereo image is output from the output unit until a panoramic image viewed from a viewpoint after the change is acquired and converted to a stereo image. The alternative stereo image is similar to at least either the stereo image viewed from the viewpoint before the change or the stereo image viewed from the viewpoint after the change. A process for generating the alternative stereo image is faster than the process for acquiring the panoramic image viewed from the viewpoint after the change and converting the image to a stereo image.

Description

全方向ステレオ画像出力装置Omni-directional stereo image output device
　本発明は、２次元（２Ｄ）画像をステレオ画像（立体視画像、又は３次元（３Ｄ）画像ともいう。）に変換する技術に関し、特にパノラマ画像をステレオ画像に変換する技術に関する。 The present invention relates to a technique for converting a two-dimensional (2D) image into a stereo image (also referred to as a stereoscopic image or a three-dimensional (3D) image), and more particularly to a technique for converting a panoramic image into a stereo image.
　インターネットを通して提供されているサービスの一つにストリートビューがある。「ストリートビュー」は、Ｗｅｂブラウザに表示された地図上の一つの地点を指定すると、その地点から見える３６０度、いずれの方向の風景の写真をも表示することができる機能である（例えば特許文献１参照）。指定可能な地点は通常、地図上に示された道路に沿って複数設定されている。サーバは、各地点を視点とするパノラマ画像を管理している。パノラマ画像は、視点を中心とする円筒面又は球面等の立体モデルに、その視点から見える全方向の風景を投影し、更にその投影された画像を平面に投影したものである。ユーザが一つの地点を指定すると、その地点を視点とするパノラマ画像がサーバからクライアントへダウンロードされる。クライアントは更に、そのパノラマ画像のうち、ユーザの指定した視方向の領域を２Ｄ画面上の画像に変換して、ブラウザで表示する。サーバからクライアントへは、パノラマ画像に写っている建物の壁や路面等、被写体の奥行き情報もダウンロードされる。クライアントはその奥行き情報を利用して、道筋を示す線や、隣の地点の方向を示す矢印等のグラフィックス要素を、風景の画像に重ねて３次元的に表示する。 One of the services provided through the Internet is street view. “Street view” is a function that, when a point on a map displayed on a web browser is designated, can display a 360 degree view of a landscape photographed from that point (for example, Patent Documents). 1). Usually, a plurality of points that can be designated are set along the road shown on the map. The server manages panoramic images with each point as a viewpoint. A panoramic image is obtained by projecting a landscape in all directions seen from a viewpoint onto a three-dimensional model such as a cylindrical surface or a spherical surface centered on the viewpoint, and further projecting the projected image onto a plane. When the user designates one point, a panoramic image with that point as a viewpoint is downloaded from the server to the client. The client further converts the region of the viewing direction designated by the user in the panoramic image into an image on the 2D screen and displays it on the browser. Information on the depth of the subject, such as a building wall or road surface shown in the panoramic image, is also downloaded from the server to the client. The client uses the depth information to display a graphic element such as a line indicating a route or an arrow indicating the direction of an adjacent point on the landscape image in a three-dimensional manner.
特表２０１０－５３１００７号公報JP-T 2010-531007
　近年、大画面３Ｄテレビ等、立体視表示の可能な表示装置が一般家庭に普及しつつある。それに伴い、パノラマ画像をステレオ画像に変換して立体視表示するストリートビューが望まれている。しかし、サーバに格納された２Ｄパノラマ画像を全て、ステレオカメラで撮影された３Ｄパノラマ画像（右目用と左目用との２Ｄパノラマ画像の対）に置き換えるのには、膨大な時間と労力とが必要である。従って、既存の２Ｄパノラマ画像を利用してステレオ画像を生成することが望ましい。 In recent years, display devices capable of stereoscopic display, such as large-screen 3D televisions, are becoming popular in general households. Accordingly, a street view that converts a panoramic image into a stereo image and stereoscopically displays it is desired. However, it takes a lot of time and effort to replace all 2D panoramic images stored in the server with 3D panoramic images (a pair of 2D panoramic images for right eye and left eye) taken by a stereo camera. It is. Therefore, it is desirable to generate a stereo image using an existing 2D panoramic image.
　最も現実的な方法は、クライアントに、既存の２Ｄパノラマ画像とその被写体の奥行き情報とをサーバからダウンロードさせて、それらを用いて３Ｄパノラマ画像を生成させることである。このようにすれば、既存のデータから、３Ｄパノラマ画像を用いたストリートビューを実現できる。しかし、その場合、２Ｄパノラマ画像を用いたストリートビューに比べて、１フレームのステレオ画像の生成時に処理されるべきデータ量が増加する。例えば、３Ｄパノラマ画像を用いたストリートビューは、２Ｄパノラマ画像に加えて奥行き情報を必要とする。また、２Ｄパノラマ画像と奥行き情報とから、右目用と左目用との２Ｄパノラマ画像の対が生成されねばならない。３Ｄテレビ等の家電機器はメモリ容量が比較的小さく、ＣＰＵの処理能力が比較的低いので、上記のようなデータ量の増加は好ましくない。また、上記のようなデータ量の増加は、処理時間を増大させる。その結果、ユーザが視点の変更を要求した際に、画面の切り換えに必要な待ち時間が増大する。視点の変更が要求された時点から長時間、変更前の画面が表示され続ければ、ユーザは、要求に対する応答が得られないことから不快感を受ける。その不快感の軽減を目的として、画面が切り換わるまでの待ち時間に２Ｄ画像が表示されても、３Ｄ画像と２Ｄ画像との切り換わりがユーザに別の不快感を与える。 The most realistic method is to cause the client to download an existing 2D panoramic image and depth information of the subject from the server, and generate a 3D panoramic image using them. In this way, street view using 3D panoramic images can be realized from existing data. However, in that case, the amount of data to be processed at the time of generating a one-frame stereo image increases as compared to a street view using a 2D panoramic image. For example, a street view using a 3D panoramic image requires depth information in addition to a 2D panoramic image. Also, a pair of 2D panoramic images for right eye and left eye must be generated from the 2D panoramic image and depth information. Household appliances such as 3D televisions have a relatively small memory capacity and a relatively low processing capacity of the CPU. Further, the increase in the data amount as described above increases the processing time. As a result, when the user requests to change the viewpoint, the waiting time required for screen switching increases. If the screen before the change continues to be displayed for a long time from when the change of the viewpoint is requested, the user feels uncomfortable because the response to the request cannot be obtained. For the purpose of reducing the discomfort, even if the 2D image is displayed during the waiting time until the screen is switched, the switching between the 3D image and the 2D image gives the user another discomfort.
　本発明の目的は、上記の課題を解決することにあり、特に、ユーザからの視点の変更の要求に対して短時間で応答することができる全方向ステレオ画像出力装置を提供することである。 An object of the present invention is to solve the above-described problems, and in particular, to provide an omnidirectional stereo image output apparatus capable of responding in a short time to a request for changing a viewpoint from a user.
　本発明による画像出力装置は、パノラマ画像のうち、視点に対して所定の視方向に位置する領域をステレオ画像に変換して出力する装置である。この装置は、取得部、視差パノラマ画像生成部、レンダリング部、出力部、及び制御部を備えている。取得部は、パノラマ画像と、そのパノラマ画像に写っている物体の奥行きを表す奥行き情報とを取得する。視差パノラマ画像生成部は、奥行き情報の表す奥行きに応じてパノラマ画像の各画素の座標をシフトすることによって、視差パノラマ画像を生成する。レンダリング部は、パノラマ画像と視差パノラマ画像とを立体モデルに投影し、投影された画像のうち、視点に対して所定の視方向に位置する領域をステレオ画像に変換する。出力部は、レンダリング部によって変換されたステレオ画像を出力する。制御部は、パノラマ画像の視点の変更が要求されたとき、変更後の視点から見えるパノラマ画像が取得されてステレオ画像に変換されるまで、代替ステレオ画像を出力部に出力させる。代替ステレオ画像は、変更前の視点から見えるステレオ画像と、変更後の視点から見えるステレオ画像との少なくともいずれかに近似したステレオ画像である。代替ステレオ画像の生成処理は、変更後の視点から見えるパノラマ画像を取得してステレオ画像に変換する処理よりも速い。 The image output device according to the present invention is a device that converts a region located in a predetermined viewing direction with respect to the viewpoint of a panoramic image into a stereo image and outputs the stereo image. This apparatus includes an acquisition unit, a parallax panoramic image generation unit, a rendering unit, an output unit, and a control unit. The acquisition unit acquires a panoramic image and depth information representing the depth of an object shown in the panoramic image. The parallax panoramic image generation unit generates a parallax panoramic image by shifting the coordinates of each pixel of the panoramic image according to the depth represented by the depth information. The rendering unit projects the panorama image and the parallax panorama image onto the stereoscopic model, and converts a region located in a predetermined viewing direction with respect to the viewpoint from the projected image into a stereo image. The output unit outputs the stereo image converted by the rendering unit. When the change of the viewpoint of the panoramic image is requested, the control unit causes the output unit to output the alternative stereo image until the panoramic image seen from the changed viewpoint is acquired and converted into a stereo image. The alternative stereo image is a stereo image that approximates at least one of a stereo image that can be seen from the viewpoint before the change and a stereo image that can be seen from the viewpoint after the change. The alternative stereo image generation process is faster than the process of acquiring a panoramic image seen from the changed viewpoint and converting it to a stereo image.
　代替ステレオ画像は、制御部がレンダリング部に、変更前の視点から見えるパノラマ画像から変換された第１のステレオ画像を加工させたものであってもよい。その場合、代替ステレオ画像は、変更前の視点から見えるステレオ画像と近似する。また、代替ステレオ画像の生成には、パノラマ画像と奥行き情報との取得、視差パノラマ画像の生成、及びパノラマ画像と視差パノラマ画像とからステレオ画像への変換がいずれも不要である。従って、代替ステレオ画像の生成処理は、変更後の視点から見えるパノラマ画像を取得してステレオ画像に変換する処理よりも速い。 The alternative stereo image may be one in which the control unit causes the rendering unit to process the first stereo image converted from the panoramic image seen from the viewpoint before the change. In that case, the alternative stereo image approximates the stereo image that can be seen from the viewpoint before the change. In addition, the generation of the alternative stereo image does not require acquisition of the panorama image and depth information, generation of the parallax panorama image, and conversion from the panorama image and the parallax panorama image to the stereo image. Therefore, the alternative stereo image generation process is faster than the process of acquiring a panoramic image seen from the changed viewpoint and converting it to a stereo image.
　その他に、代替ステレオ画像は、低解像度パノラマ画像をステレオ画像に変換したものであってもよい。ここで、低解像度パノラマ画像は、変更後の視点から見えるパノラマ画像であって、変更前の視点から見えるパノラマ画像よりも解像度が低いものである。その場合、代替ステレオ画像は、変更後の視点から見えるステレオ画像と近似する。取得部は、低解像度パノラマ画像と、低解像度パノラマ画像に写っている物体の奥行きを表す低解像度奥行き情報とを更に取得する。制御部は、まず、視差パノラマ画像生成部に、低解像度パノラマ画像と低解像度奥行き情報とから低解像度視差パノラマ画像を生成させる。制御部は更に、レンダリング部に、低解像度パノラマ画像と低解像度視差パノラマ画像とを立体モデルに投影させ、投影された画像のうち、変更後の視点に対して視方向に位置する領域を新たなステレオ画像に変換させ、その新たなステレオ画像を利用して代替ステレオ画像を生成させる。低解像度パノラマ画像は本来の解像度のパノラマ画像よりもデータ量が小さい。従って、低解像度パノラマ画像と低解像度奥行き情報との取得、低解像度視差パノラマ画像の生成、及び低解像度パノラマ画像と低解像度視差パノラマ画像とから新たなステレオ画像への変換はいずれも、本来の解像度のパノラマ画像に対する処理よりも速い。その結果、代替ステレオ画像の生成処理は、変更後の視点から見える本来の解像度のパノラマ画像を取得してステレオ画像に変換する処理よりも速い。 In addition, the alternative stereo image may be a low-resolution panoramic image converted to a stereo image. Here, the low-resolution panoramic image is a panoramic image that can be seen from the viewpoint after the change, and has a lower resolution than the panoramic image that can be seen from the viewpoint before the change. In that case, the alternative stereo image approximates a stereo image that can be seen from the changed viewpoint. The acquisition unit further acquires a low-resolution panoramic image and low-resolution depth information representing the depth of an object shown in the low-resolution panoramic image. The control unit first causes the parallax panorama image generation unit to generate a low resolution parallax panorama image from the low resolution panorama image and the low resolution depth information. The control unit further causes the rendering unit to project the low-resolution panoramic image and the low-resolution parallax panoramic image onto the three-dimensional model, and newly adds a region located in the viewing direction with respect to the changed viewpoint from the projected image. The image is converted into a stereo image, and a substitute stereo image is generated using the new stereo image. The low-resolution panoramic image has a smaller data amount than the original resolution panoramic image. Therefore, the acquisition of the low resolution panorama image and the low resolution depth information, the generation of the low resolution parallax panorama image, and the conversion from the low resolution panorama image and the low resolution parallax panorama image to the new stereo image are all performed at the original resolution. Faster than panoramic image processing. As a result, the generation process of the alternative stereo image is faster than the process of acquiring a panoramic image with an original resolution that can be seen from the changed viewpoint and converting it to a stereo image.
　本発明による画像出力装置は、パノラマ画像の視点の変更が要求されたとき、代替ステレオ画像を出力する。代替ステレオ画像は、変更前の視点から見えるステレオ画像と、変更後の視点から見えるステレオ画像との少なくともいずれかに近似するので、代替ステレオ画像の挿入がユーザに与える違和感は抑えられる。また、代替ステレオ画像の生成処理は、変更後の視点から見えるパノラマ画像を取得してステレオ画像に変換する処理よりも速い。その結果、この装置は、ユーザからの視点の変更の要求に対して短時間で応答することができる。 The image output device according to the present invention outputs an alternative stereo image when a change in the viewpoint of the panoramic image is requested. Since the substitute stereo image approximates at least one of the stereo image seen from the viewpoint before the change and the stereo image seen from the viewpoint after the change, the discomfort given to the user by the insertion of the substitute stereo image can be suppressed. The alternative stereo image generation process is faster than the process of acquiring a panoramic image that can be seen from the changed viewpoint and converting it to a stereo image. As a result, this apparatus can respond in a short time to a request for changing the viewpoint from the user.
本発明の実施形態１によるホームシアター・システムを示す模式図である。It is a schematic diagram which shows the home theater system by Embodiment 1 of this invention. （ａ）は、ストリートビューによって、図１に示されている表示装置103の画面131に表示された地図の一部を表す模式図である。（ｂ）は、ストリートビュー情報に基づいて表示装置103の画面131に表示されたステレオ画像を示す模式図である。(A) is a schematic diagram showing a part of the map displayed on the screen 131 of the display device 103 shown in FIG. 1 by street view. (B) is a schematic diagram showing a stereo image displayed on the screen 131 of the display device 103 based on the street view information. 図１に示されている再生装置102のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram showing a hardware configuration of the playback device 102 shown in FIG. 1. ストリートビューに関する画像処理に利用される再生装置102の機能部を示すブロック図である。FIG. 3 is a block diagram showing functional units of a playback device 102 used for image processing related to street view. ストリートビュー情報のデータ構造を示す表である。It is a table | surface which shows the data structure of street view information. （ａ）は、圧縮パノラマ画像からデコードされたパノラマ画像の一例を示す模式図である。（ｂ）は、図６の（ａ）に示されているパノラマ画像の奥行きを表すデプスマップを示す模式図である。(A) is a schematic diagram which shows an example of the panoramic image decoded from the compression panoramic image. (B) is a schematic diagram showing a depth map representing the depth of the panoramic image shown in (a) of FIG. 6. （ａ）は、左目用テクスチャの表す画像の一例を示す模式図である。（ｂ）は、（ａ）に示されている画像のデプスマップを示す模式図である。（ｃ）は、（ａ）に示されている左目用テクスチャと、（ｂ）に示されているデプスマップとから、ＤＩＢＲによって生成される右目用テクスチャの表す画像を示す模式図である。(A) is a schematic diagram which shows an example of the image which the texture for left eyes represents. (B) is a schematic diagram showing a depth map of the image shown in (a). (C) is a schematic diagram showing an image represented by a texture for the right eye generated by DIBR from the texture for the left eye shown in (a) and the depth map shown in (b). （ａ）は、図３に示されているレンダリング部374がテクスチャを球面モデルに投影する処理を表す模式図である。（ｂ）は、北極の方向から見える球面モデル820の内部を表す模式図である。（ｃ）は、レンダリング部374によって抽出された領域の画像を示す模式図である。(A) is a schematic diagram showing the process which the rendering part 374 shown by FIG. 3 projects a texture on a spherical model. (B) is a schematic diagram showing the inside of the spherical model 820 seen from the direction of the North Pole. FIG. 8C is a schematic diagram illustrating an image of an area extracted by the rendering unit 374. 図１に示されている再生装置によるストリートビューに関する画像処理のフローチャートの前半部である。FIG. 3 is a first half of a flowchart of image processing relating to street view by the playback apparatus shown in FIG. 1; 図１に示されている再生装置によるストリートビューに関する画像処理のフローチャートの後半部である。6 is a second half of a flowchart of image processing relating to street view by the playback device shown in FIG. 1; 図１に示されているレンダリング部374によるステレオ画像のスケーリング処理を示す模式図である。FIG. 4 is a schematic diagram illustrating a stereo image scaling process performed by a rendering unit 374 illustrated in FIG. 1. （ａ）は、第１視点VP1に設置されたカメラで被写体OBJを撮影した際の様子を模式的に表す上面図である。（ｂ）は、第２視点VP2に設置されたカメラで被写体OBJを撮影した際の様子を模式的に表す上面図である。(A) is a top view schematically showing a state when a subject OBJ is photographed by a camera installed at the first viewpoint VP1. (B) is a top view schematically showing a state when the subject OBJ is photographed by the camera installed at the second viewpoint VP2. 本発明の実施形態１による代替ステレオ画像の生成処理のフローチャートである。It is a flowchart of the production | generation process of the alternative stereo image by Embodiment 1 of this invention. （ａ）は、変更前の視点から見える右目用フレームの画像を表す模式図である。（ｂ）は、本発明の実施形態２による代替ステレオ画像の右目用フレームの画像を表す模式図である。(A) is a schematic diagram showing the image of the frame for right eyes seen from the viewpoint before a change. (B) is the schematic diagram showing the image of the frame for right eyes of the alternative stereo image by Embodiment 2 of this invention. 本発明の実施形態２による代替ステレオ画像の生成処理のフローチャートである。It is a flowchart of the production | generation process of the alternative stereo image by Embodiment 2 of this invention. 本発明の実施形態３による球面モデル820について、北極の方向から見える内部を表す模式図である。It is a schematic diagram showing the inside seen from the direction of the north pole about the spherical model 820 by Embodiment 3 of this invention. 図１６に示されている仮想カメラの移動に伴うステレオ画像の変化を示す模式図である。It is a schematic diagram which shows the change of the stereo image accompanying the movement of the virtual camera shown by FIG. 本発明の実施形態３による代替ステレオ画像の生成処理のフローチャートである。It is a flowchart of the production | generation process of the alternative stereo image by Embodiment 3 of this invention. 低解像度ストリートビュー情報のデータ構造を示す表である。It is a table | surface which shows the data structure of low-resolution street view information. 本発明の実施形態４による代替ステレオ画像の生成処理のフローチャートである。It is a flowchart of the production | generation process of the alternative stereo image by Embodiment 4 of this invention. （ａ）－（ｄ）は、モーフィングによって、変更前の視点から見えるステレオ画像が、変更後の視点から見えるステレオ画像へ自然に変化していく過程を表す一連の代替ステレオ画像を表す模式図である。(A)-(d) is a schematic diagram showing a series of alternative stereo images representing a process in which a stereo image seen from a viewpoint before change is naturally changed to a stereo image seen from a viewpoint after change by morphing. is there. 本発明の実施形態４の変形例による代替ステレオ画像の生成処理のフローチャートである。It is a flowchart of the production | generation process of the alternative stereo image by the modification of Embodiment 4 of this invention.
　以下、本発明の好適な実施形態について、図面を参照しながら説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
　《実施形態１》
　図１は、本発明の実施形態１によるホームシアター・システムを示す模式図である。このホームシアター・システムは、ステレオ画像の表示方式として継時分離方式（フレーム・シーケンシャル方式ともいう。）を採用している。ステレオ画像は、左目に映る３Ｄ空間の光景を表す左目用フレームと、右目に映るその光景を表す右目用フレームとの対である。継時分離方式は、左目用フレームと右目用フレームとを画面に交互に表示する方式である。図１を参照するに、このホームシアター・システムは、記録媒体101、再生装置102、表示装置103、シャッター眼鏡104、及びリモコン105を含む。 Embodiment 1
FIG. 1 is a schematic diagram showing a home theater system according to Embodiment 1 of the present invention. This home theater system employs a time separation system (also referred to as a frame sequential system) as a stereo image display system. The stereo image is a pair of a left-eye frame that represents a 3D space scene that appears in the left eye and a right-eye frame that represents the scene that appears in the right eye. The time separation method is a method of alternately displaying a left-eye frame and a right-eye frame on the screen. Referring to FIG. 1, the home theater system includes a recording medium 101, a playback device 102, a display device 103, shutter glasses 104, and a remote controller 105.
　記録媒体101は、読み出し専用ブルーレイ・ディスク（登録商標）（ＢＤ：Blu-ray Disc）、すなわちＢＤ－ＲＯＭディスクである。記録媒体101はその他の可搬性記録媒体、例えば、ＤＶＤ等の他方式による光ディスク、リムーバブル・ハードディスクドライブ（ＨＤＤ）、又はＳＤメモリカード等の半導体メモリ装置であってもよい。その記録媒体、すなわちＢＤ－ＲＯＭディスク101はステレオ画像のコンテンツを格納している。このコンテンツは左目用ビデオ・ストリームと右目用ビデオ・ストリームとを含む。各ビデオ・ストリームは、ステレオ画像の左目用と右目用との各フレーム列を表す。上記のコンテンツは更にデプスマップ・ストリームを含んでいてもよい。デプスマップ・ストリームは、ステレオ画像の各フレームのデプスマップを表す。デプスマップは、ステレオ画像の各部の奥行きを画素別に表す。左目用ビデオ・ストリームと右目用ビデオ・ストリームとの対、又は、左目用若しくは右目用のいずれかのビデオ・ストリームとデプスマップ・ストリームとの対が、再生装置により、そのコンテンツをステレオ画像として再生するのに利用される。 The recording medium 101 is a read-only Blu-ray Disc (registered trademark) (BD: Blu-ray Disc), that is, a BD-ROM disc. The recording medium 101 may be another portable recording medium, for example, a semiconductor memory device such as an optical disk, a removable hard disk drive (HDD), an SD memory card, or the like according to another method such as a DVD. The recording medium, that is, the BD-ROM disc 101 stores stereo image contents. This content includes a left-eye video stream and a right-eye video stream. Each video stream represents a frame sequence for a left eye and a right eye of a stereo image. The content may further include a depth map stream. The depth map stream represents a depth map of each frame of the stereo image. The depth map represents the depth of each part of the stereo image for each pixel. A pair of left-eye video stream and right-eye video stream, or a pair of left-eye or right-eye video stream and depth map stream is played back as a stereo image by the playback device. Used to do.
　再生装置102はＢＤ－ＲＯＭドライブ121を搭載している。ＢＤ－ＲＯＭドライブ121はＢＤ－ＲＯＭ方式に準拠の光ディスク・ドライブである。再生装置102はＢＤ－ＲＯＭドライブ121を利用して、ＢＤ－ＲＯＭディスク101からコンテンツを読み込む。再生装置102は更にそのコンテンツを画像データ／音声データに復号する。再生装置102は、左目用ビデオ・ストリームと右目用ビデオ・ストリームとの組み合わせ、又は、左目用若しくは右目用のいずれかのビデオ・ストリームとデプスマップ・ストリームとの組み合わせから、左目用フレームと右目用フレームとの対を復号する。 The playback device 102 is equipped with a BD-ROM drive 121. The BD-ROM drive 121 is an optical disk drive conforming to the BD-ROM system. The playback apparatus 102 reads content from the BD-ROM disc 101 using the BD-ROM drive 121. The playback device 102 further decodes the content into image data / audio data. The playback device 102 uses a combination of a left-eye video stream and a right-eye video stream, or a combination of either a left-eye video stream or a right-eye video stream and a depth map stream. Decodes a pair with a frame.
　再生装置102はＨＤＭＩ（High-Definition Multimedia Interface）ケーブル122で表示装置103に接続されている。再生装置102は、画像データ、音声データ、及び制御情報をＨＤＭＩ方式のシリアル信号に変換し、ＨＤＭＩケーブル122を通して表示装置103へ伝送する。画像データには、左目用フレームと右目用フレームとの両方が時分割で多重化されている。制御情報には、水平同期信号、垂直同期信号、及び補助データが含まれる。 The playback device 102 is connected to the display device 103 by an HDMI (High-Definition Multimedia Interface) cable 122. The playback device 102 converts the image data, audio data, and control information into an HDMI serial signal, and transmits the converted signal to the display device 103 through the HDMI cable 122. In the image data, both the left-eye frame and the right-eye frame are multiplexed in a time division manner. The control information includes a horizontal synchronization signal, a vertical synchronization signal, and auxiliary data.
　表示装置103は液晶ディスプレイである。表示装置103はその他に、プラズマ・ディスプレイ及び有機ＥＬディスプレイ等、他方式のフラットパネル・ディスプレイ又はプロジェクタであってもよい。表示装置103は、ＨＤＭＩケーブル122を通して再生装置102から受信された画像データに従って画面131上に画像を表示し、音声データに従って内蔵のスピーカから音声を発生させる。それにより、画面131上には左目用フレームと右目用フレームとが交互に表示される。 The display device 103 is a liquid crystal display. In addition, the display device 103 may be a flat panel display or projector of another type such as a plasma display and an organic EL display. The display device 103 displays an image on the screen 131 according to the image data received from the playback device 102 through the HDMI cable 122, and generates sound from a built-in speaker according to the sound data. Accordingly, the left eye frame and the right eye frame are alternately displayed on the screen 131.
　表示装置103は左右信号送信部132を含む。左右信号送信部132は左右信号LRを赤外線又は無線でシャッター眼鏡104へ送出する。左右信号LRは、現時点で画面131に表示される画像が左目用と右目用とのいずれであるのかを示す。表示装置103は、まず、画像データに付随する同期信号等の制御信号や補助データから左目用フレームと右目用フレームとを識別することによって、フレームの切り換えを検知する。表示装置103は次に左右信号送信部132に、検知されたフレームの切り換えに同期して左右信号LRを変化させる。 The display device 103 includes a left / right signal transmission unit 132. The left / right signal transmitting unit 132 transmits the left / right signal LR to the shutter glasses 104 by infrared rays or wirelessly. The left / right signal LR indicates whether the image currently displayed on the screen 131 is for the left eye or for the right eye. The display device 103 first detects frame switching by identifying a left-eye frame and a right-eye frame from a control signal such as a synchronization signal associated with image data and auxiliary data. Next, the display device 103 causes the left / right signal transmission unit 132 to change the left / right signal LR in synchronization with the detected frame switching.
　シャッター眼鏡104は二枚の液晶表示パネル141L、141Rと左右信号受信部142とを含む。各液晶表示パネル141L、141Rは左右の各レンズ部分を構成している。各液晶表示パネル141L、141Rはノーマリ・ホワイトであって、左右信号受信部142から信号を受けていない状態では、その全体で光を透過させる。左右信号受信部142は左右信号LRを受信し、その変化に応じて左右の液晶表示パネル141L、141Rに信号を送る。各液晶表示パネル141L、141Rはその信号に応じて、その全体で一様に光を透過させ、又は遮断する。特に左右信号LRが左目用フレームの表示を示すとき、左目側の液晶表示パネル141Lは光を透過させ、右目側の液晶表示パネル141Rは光を遮断する。左右信号LRが右目用フレームの表示を示すときはその逆である。このように、表示装置103がフレームの切り換えと同期して左右信号LRを変化させる間、二枚の液晶表示パネル141L、141Rはその変化に同期して交互に光を透過させる。従って、視聴者がシャッター眼鏡104をかけて画面131を見たとき、左目用フレームはその視聴者の左目だけに映り、右目用フレームはその右目だけに映る。そのとき、その視聴者には、各目に映る画像間の違いが同じ立体的物体に対する両眼視差として知覚されるので、その画像が立体的に見える。 The shutter glasses 104 include two liquid crystal display panels 141L and 141R and a left / right signal receiving unit 142. The liquid crystal display panels 141L and 141R constitute left and right lens portions. Each of the liquid crystal display panels 141L and 141R is normally white and transmits light as a whole when it receives no signal from the left and right signal receiving unit 142. The left / right signal receiving unit 142 receives the left / right signal LR and sends signals to the left and right liquid crystal display panels 141L and 141R according to the change. Each of the liquid crystal display panels 141L and 141R transmits or blocks light uniformly according to the signal. In particular, when the left / right signal LR indicates the display of the left-eye frame, the left-eye liquid crystal display panel 141L transmits light, and the right-eye liquid crystal display panel 141R blocks light. The opposite is true when the left / right signal LR indicates the display of the right eye frame. In this way, while the display device 103 changes the left / right signal LR in synchronization with the frame switching, the two liquid crystal display panels 141L and 141R alternately transmit light in synchronization with the change. Therefore, when the viewer views the screen 131 with the shutter glasses 104, the left-eye frame appears only in the viewer's left eye, and the right-eye frame appears only in the right eye. At that time, the viewer perceives the difference between the images seen by each eye as binocular parallax with respect to the same three-dimensional object, so that the images appear three-dimensional.
　リモコン105は操作部と送信部とを含む。操作部は複数のボタンを含む。各ボタンは、電源のオンオフ、又は、ＢＤ－ＲＯＭディスク101の再生開始若しくは停止等、再生装置102又は表示装置103の各機能に対応付けられている。操作部はユーザによる各ボタンの押下を検出し、そのボタンの識別情報を信号で送信部に伝える。送信部はその信号を赤外線又は無線による信号IRに変換して再生装置102へ送出する。一方、再生装置102はその信号IRを受信し、その信号IRの示すボタンに対応付けられた機能を特定する。再生装置102は更に、その機能が自身のものであるときはその機能を実現し、その機能が表示装置103のものであるときは、ＨＤＭＩケーブル122を通してその機能の実現を表示装置103に指示する。 The remote control 105 includes an operation unit and a transmission unit. The operation unit includes a plurality of buttons. Each button is associated with each function of the playback device 102 or the display device 103, such as turning on / off the power or starting or stopping playback of the BD-ROM disc 101. The operation unit detects pressing of each button by the user, and transmits the identification information of the button to the transmission unit by a signal. The transmission unit converts the signal into an infrared or wireless signal IR and sends the signal IR to the playback device 102. On the other hand, the playback device 102 receives the signal IR and identifies the function associated with the button indicated by the signal IR. The playback device 102 further realizes the function when the function is its own, and instructs the display device 103 to realize the function via the HDMI cable 122 when the function is that of the display device 103. .
　サーバ106は、インターネット等のネットワーク107を通して再生装置102に接続されている。ユーザはリモコン105を操作することにより、再生装置102に対して、サーバ106からストリートビュー・サービスを受けることを要求することができる。ストリートビュー・サービスでは、まず、ユーザがリモコン105で特定の地域を指定することにより、その地域の地図に関するデータがサーバ106から再生装置102へダウンロードされる。再生装置102はそのデータに従って、表示装置103の画面131にその地図を表示する。 The server 106 is connected to the playback device 102 through a network 107 such as the Internet. The user can request the playback device 102 to receive a street view service from the server 106 by operating the remote controller 105. In the street view service, first, when a user designates a specific area with the remote controller 105, data regarding the map of the area is downloaded from the server 106 to the playback device 102. The playback device 102 displays the map on the screen 131 of the display device 103 according to the data.
　図２の（ａ）は、表示装置103の画面131に表示された地図の一部を表す模式図である。図２の（ａ）に示されているように、地図上にはカーソル201と、「アバター」と呼ばれる特定のマーク202とが重ねて表示される。ユーザは、リモコン105を通してカーソル201を操作し、アバター202の位置と方向とを指定する。そのとき、アバター202の位置と方向とを示す情報が再生装置102からサーバ106へ送られる。それに応じて、ストリートビュー情報がサーバ106から再生装置102にダウンロードされる。ストリートビュー情報は、アバター202の位置が示す地点を視点とするパノラマ画像と、そのパノラマ画像に写る建物の壁又は路面等の奥行き情報とを含む。再生装置102はストリートビュー情報に基づいて、そのパノラマ画像を特定のステレオ画像に変換する。そのステレオ画像は、アバター202の位置が示す地点からアバター202の方向に視線を向けたときに見える風景を表す。再生装置102は更に、表示装置103にそのステレオ画像を表示させる。 (A) of FIG. 2 is a schematic diagram showing a part of the map displayed on the screen 131 of the display device 103. As shown in FIG. 2A, a cursor 201 and a specific mark 202 called “avatar” are displayed in an overlapping manner on the map. The user operates the cursor 201 through the remote controller 105 to specify the position and direction of the avatar 202. At that time, information indicating the position and direction of the avatar 202 is sent from the playback device 102 to the server 106. In response, street view information is downloaded from the server 106 to the playback device 102. The street view information includes a panoramic image whose viewpoint is the point indicated by the position of the avatar 202, and depth information such as a wall of a building or a road surface reflected in the panoramic image. The playback device 102 converts the panoramic image into a specific stereo image based on the street view information. The stereo image represents a landscape that can be seen when a line of sight is directed toward the avatar 202 from the point indicated by the position of the avatar 202. The playback device 102 further causes the display device 103 to display the stereo image.
　図２の（ｂ）は、ストリートビュー情報に基づいて表示装置103の画面131に表示されたステレオ画像を示す模式図である。ユーザがリモコン105を操作してアバター202の方向を変化させると、再生装置102はステレオ画像をその方向の風景に変更する。再生装置102は更に、風景を表すステレオ画像に、線203や矢印204等のグラフィックス要素を重ねて表示する。再生装置102は、ストリートビュー情報に含まれる奥行き情報を利用して、それらのグラフィックス要素203、204を立体的に表示する。線203は、パノラマ画像が表示可能である隣の地点の方向を示す。矢印204は、画面131上に表示されているステレオ画像を別のステレオ画像に変更することを指示するためのＧＵＩ部品である。ユーザがカーソル201を矢印204に重ねてクリックすると、再生装置102は表示装置103に、画面131上のステレオ画像を、その矢印204が示す方向に存在する隣の地点を視点とするステレオ画像に変更させる。 FIG. 2B is a schematic diagram showing a stereo image displayed on the screen 131 of the display device 103 based on the street view information. When the user operates the remote controller 105 to change the direction of the avatar 202, the playback device 102 changes the stereo image to a landscape in that direction. The playback device 102 further displays a graphic element such as a line 203 or an arrow 204 on a stereo image representing a landscape. The playback device 102 uses the depth information included in the street view information to display the graphics elements 203 and 204 three-dimensionally. A line 203 indicates the direction of an adjacent point where a panoramic image can be displayed. An arrow 204 is a GUI component for instructing to change the stereo image displayed on the screen 131 to another stereo image. When the user clicks the cursor 201 over the arrow 204, the playback device 102 changes the stereo image on the screen 131 to the display device 103 to a stereo image with the next point existing in the direction indicated by the arrow 204 as a viewpoint. Let
　１つの地点を視点とするステレオ画像を、別の地点を視点とするステレオ画像に変更する場合、パノラマ画像と奥行き情報との取得に数十秒の時間が必要であり、取得したデータのデコードに数十秒の時間が必要であり、パノラマ画像と奥行き情報とからステレオ画像への変換に数秒の時間が必要である。従って、それらの処理の間、再生装置102は代替ステレオ画像を生成して表示装置103に表示させる。代替ステレオ画像の詳細については後述する。 When a stereo image with one point of view is changed to a stereo image with another point of view, it takes several tens of seconds to acquire the panorama image and depth information, and it is necessary to decode the acquired data. Several tens of seconds are required, and it takes several seconds to convert a panoramic image and depth information into a stereo image. Therefore, during these processes, the playback device 102 generates a substitute stereo image and displays it on the display device 103. Details of the alternative stereo image will be described later.
　［再生装置のハードウェア構成］
　図３は、再生装置102のハードウェア構成を示すブロック図である。図３を参照するに、再生装置102は、取得部310、ＨＤＤ320、ユーザ操作（ＵＯ）モジュール330、内部バス340、ＣＰＵ350、メモリ部360、描画部370、及び出力部380を含む。 [Hardware configuration of playback device]
FIG. 3 is a block diagram illustrating a hardware configuration of the playback device 102. Referring to FIG. 3, the playback device 102 includes an acquisition unit 310, an HDD 320, a user operation (UO) module 330, an internal bus 340, a CPU 350, a memory unit 360, a drawing unit 370, and an output unit 380.
　取得部310は、外部からデータを取得する要素の集合体であり、チューナ301、ネットワーク・インタフェース302、光ディスク・ドライブ303、及びカードリーダ304を含む。チューナ301はアンテナ390に接続され、地上デジタル放送波又は衛星デジタル放送波によって伝達されるコンテンツを受信する。ネットワーク・インタフェース302はネットワーク107に接続され、サーバ106等とデータを交換する。光ディスク・ドライブ303はＢＤ－ＲＯＭディスク101等の光ディスクからデータを読み出す。カードリーダ304は、ＳＤカード等のメモリカード108からデータを読み出す。 The acquisition unit 310 is a collection of elements that acquire data from the outside, and includes a tuner 301, a network interface 302, an optical disc drive 303, and a card reader 304. The tuner 301 is connected to the antenna 390 and receives content transmitted by a terrestrial digital broadcast wave or a satellite digital broadcast wave. A network interface 302 is connected to the network 107 and exchanges data with the server 106 and the like. The optical disk drive 303 reads data from an optical disk such as the BD-ROM disk 101. A card reader 304 reads data from a memory card 108 such as an SD card.
　ＨＤＤ320は、再生装置102に内蔵されたハードディスク・ドライブであって、内部バス340を通して取得部310から種々のデータ、特に画像データを受信して格納する。ＵＯモジュール330は、リモコン105からの赤外線等による信号IR、又は再生装置102の前面パネルに備えられたボタン等の押下を検出する。ＵＯモジュール330は更に、検出された信号等の示すユーザからの指示を解読して、その指示を示す信号を内部バス340に出力する。内部バス340は、再生装置102内の要素310～380の間でデータを伝送するバス配線群である。ＣＰＵ350は、メモリ部360に格納されたプログラムを実行することで、再生装置102内の他の要素310～340、360～380を制御する。メモリ部360は、再生装置102に内蔵された半導体メモリ装置の全体であって、ＲＯＭとＲＡＭとを含む。メモリ部360は、ＣＰＵ350によって実行されるべきプログラム群を格納すると共に、フレームバッファ等、ＣＰＵ350と描画部370とに作業用メモリ空間を提供する。 The HDD 320 is a hard disk drive built in the playback device 102, and receives and stores various data, particularly image data, from the acquisition unit 310 via the internal bus 340. The UO module 330 detects a signal IR by an infrared ray from the remote controller 105 or a press of a button or the like provided on the front panel of the playback device 102. The UO module 330 further decodes an instruction from the user indicated by the detected signal or the like, and outputs a signal indicating the instruction to the internal bus 340. The internal bus 340 is a bus wiring group that transmits data between the elements 310 to 380 in the playback device 102. The CPU 350 controls the other elements 310 to 340 and 360 to 380 in the playback device 102 by executing a program stored in the memory unit 360. The memory unit 360 is the entire semiconductor memory device built in the playback device 102, and includes a ROM and a RAM. The memory unit 360 stores a program group to be executed by the CPU 350 and provides a working memory space for the CPU 350 and the drawing unit 370, such as a frame buffer.
　描画部370は画像処理専用のハードウェアであり、デコーダ371、デプス生成部372、視差パノラマ画像生成部373、及びレンダリング部374を含む。これらの要素371～374は一つのチップに集積化されている。描画部370はそれらの要素371～374を利用して、取得部310によって取得された画像データ全般を処理する。特に、ストリートビューにおいては、描画部370はパノラマ画像をステレオ画像のフレーム列に変換する。尚、ストリートビューにおける各要素371～374の機能の詳細については後述する。 The drawing unit 370 is hardware dedicated to image processing, and includes a decoder 371, a depth generation unit 372, a parallax panorama image generation unit 373, and a rendering unit 374. These elements 371 to 374 are integrated on one chip. The drawing unit 370 uses the elements 371 to 374 to process the entire image data acquired by the acquisition unit 310. In particular, in the street view, the drawing unit 370 converts the panoramic image into a stereo image frame sequence. Details of the functions of the elements 371 to 374 in the street view will be described later.
　出力部380はＨＤＭＩ１．４トランスミッタとＨＤＭＩ出力コネクタとを含み、ＨＤＭＩケーブル122で表示装置103に接続されている。出力部380は、描画部370によって変換されたフレーム列をＨＤＭＩ方式のシリアル信号に多重化して、ＨＤＭＩケーブル122を通して表示装置103へ出力する。 The output unit 380 includes an HDMI 1.4 transmitter and an HDMI output connector, and is connected to the display device 103 by an HDMI cable 122. The output unit 380 multiplexes the frame sequence converted by the drawing unit 370 into an HDMI serial signal and outputs the multiplexed signal to the display device 103 through the HDMI cable 122.
　［ストリートビューに関する再生装置の機能部］
　図４は、ストリートビューに関する画像処理に利用される再生装置102の機能部を示すブロック図である。図４を参照するに、再生装置102は、図３に示されている取得部310、ＨＤＤ320、ＵＯモジュール330、描画部370、及び出力部380に加え、ファイルシステム401、制御部402、デプスマップ・メモリ410、左目用テクスチャ・メモリ411、右目用テクスチャ・メモリ412、左目用フレームバッファ413、及び右目用フレームバッファ414を含む。ファイルシステム401と制御部402とは、ＣＰＵ350が所定のプログラムを実行することによって実現される機能部である。デプスマップ・メモリ410、左目用テクスチャ・メモリ411、右目用テクスチャ・メモリ412、左目用フレームバッファ413、及び右目用フレームバッファ414は、図３に示されているメモリ部360の中に確保されたメモリ領域である。 [Functional part of playback device for street view]
FIG. 4 is a block diagram showing functional units of the playback device 102 used for image processing related to street view. Referring to FIG. 4, in addition to the acquisition unit 310, HDD 320, UO module 330, drawing unit 370, and output unit 380 shown in FIG. A memory 410, a left-eye texture memory 411, a right-eye texture memory 412, a left-eye frame buffer 413, and a right-eye frame buffer 414 are included. The file system 401 and the control unit 402 are functional units realized by the CPU 350 executing a predetermined program. The depth map memory 410, the left-eye texture memory 411, the right-eye texture memory 412, the left-eye frame buffer 413, and the right-eye frame buffer 414 are secured in the memory unit 360 shown in FIG. It is a memory area.
　ファイルシステム401は、取得部310内の各要素301～304とＨＤＤ320とを制御して、取得部310によって取得されたデータと、ＨＤＤ320に格納されたデータとを管理する。ファイルシステム401はＵＤＦ（Universal Disc Format）に準拠している。ファイルシステム401はその他に、ＩＳＯ９６６０に準拠していてもよい。ファイルシステム401はデータをディレクトリ／ファイル形式で表現する。すなわち、それらのデータはディレクトリ単位又はファイル単位で取得部310によって取得され、ＨＤＤ320によって読み書きされる。ファイルシステム401はまた、ネットワーク・インタフェース302とネットワーク107との間の接続の確立／切断、光ディスク・ドライブ303における光ディスク101の装脱、及びカードリーダ304におけるメモリカード108の装脱等を制御部402に通知する。 The file system 401 controls the elements 301 to 304 in the acquisition unit 310 and the HDD 320 to manage the data acquired by the acquisition unit 310 and the data stored in the HDD 320. The file system 401 conforms to UDF (Universal Disc Format). In addition, the file system 401 may be compliant with ISO9660. The file system 401 represents data in a directory / file format. That is, these data are acquired by the acquisition unit 310 in directory units or file units, and are read and written by the HDD 320. The file system 401 also controls the establishment / disconnection of the connection between the network interface 302 and the network 107, the loading / unloading of the optical disk 101 in the optical disk drive 303, the loading / unloading of the memory card 108 in the card reader 304, and the like. Notify
　制御部402は、ＵＯモジュール330からの信号が示すユーザ操作と、ファイルシステム401からの通知とに応じて描画部370を制御する。特に、ＵＯモジュール330からの信号がストリートビューの起動を示す場合、制御部402はファイルシステム401にネットワーク・インタフェース302を制御させて、サーバ106から描画部370へストリートビュー情報を次のようにダウンロードさせる。ユーザがリモコン105を操作して、表示装置103の画面131に表示された地図上の一つの地点をアバター202の位置として指定したとき、ＵＯモジュール330からの信号はその地点を表す。制御部402は、その信号に応じて、その地点に割り当てられたＩＤを検索し、ネットワーク・インタフェース302を通してサーバ106に渡す。サーバ106は、渡されたＩＤと同じＩＤを含むストリートビュー情報を検索して、再生装置102に提供する。制御部402は更に、描画部370にストリートビュー情報を適切なステレオ画像に変換させ、出力部380にそのステレオ画像を出力させる。ストリートビュー情報の詳細については後述する。 The control unit 402 controls the drawing unit 370 according to the user operation indicated by the signal from the UO module 330 and the notification from the file system 401. In particular, when the signal from the UO module 330 indicates the start of street view, the control unit 402 causes the file system 401 to control the network interface 302 and downloads the street view information from the server 106 to the drawing unit 370 as follows. Let When the user operates the remote controller 105 to designate one point on the map displayed on the screen 131 of the display device 103 as the position of the avatar 202, the signal from the UO module 330 represents that point. In response to the signal, the control unit 402 searches for the ID assigned to the point and passes it to the server 106 through the network interface 302. The server 106 searches for street view information including the same ID as the passed ID and provides it to the playback device 102. The control unit 402 further causes the drawing unit 370 to convert the street view information into an appropriate stereo image, and causes the output unit 380 to output the stereo image. Details of the street view information will be described later.
　ファイルシステム401は、取得部310からストリートビュー情報を渡されたとき、そのストリートビュー情報から圧縮パノラマ画像と圧縮パノラマ・デプスとを分離し、圧縮パノラマ画像をデコーダ371に渡し、圧縮パノラマ・デプスをデプス生成部372に渡す。「圧縮パノラマ画像」は、ＪＰＥＧ形式で圧縮された画像データであり、特定の地点を視点とするパノラマ画像を表す。「圧縮パノラマ・デプス」は、ＰＮＧ形式で圧縮された画像データであり、圧縮パノラマ画像の奥行き情報を表す。奥行き情報とは、パノラマ画像に写る建物の壁又は路面等の物体の奥行き、すなわち視点から被写体までの距離を画素単位で表す２次元配列である。 When the file system 401 receives the street view information from the acquisition unit 310, the file system 401 separates the compressed panorama image and the compressed panorama depth from the street view information, passes the compressed panorama image to the decoder 371, and converts the compressed panorama depth. It passes to the depth generation unit 372. The “compressed panorama image” is image data compressed in the JPEG format, and represents a panoramic image with a specific point as a viewpoint. “Compressed panorama depth” is image data compressed in PNG format, and represents depth information of the compressed panorama image. The depth information is a two-dimensional array that represents the depth of an object such as a building wall or a road surface that appears in a panoramic image, that is, the distance from the viewpoint to the subject in pixel units.
　デコーダ371は圧縮パノラマ画像からパノラマ画像をデコードする。そのパノラマ画像は、ＲＧＢ形式又はＹＵＶ形式の画素データの２次元配列、すなわちテクスチャであり、左目用テクスチャ・メモリ411に展開される。このパノラマ画像は、視点に位置する者の左目に映るパノラマ画像として利用されるので、「左目用テクスチャ」という。 Decoder 371 decodes the panorama image from the compressed panorama image. The panoramic image is a two-dimensional array of pixel data in RGB format or YUV format, that is, a texture, and is developed in the texture memory 411 for the left eye. Since this panoramic image is used as a panoramic image that appears in the left eye of the person positioned at the viewpoint, it is referred to as a “left eye texture”.
　デプス生成部372は圧縮パノラマ・デプスから奥行き情報をデコードし、その奥行き情報に基づいてデプスマップを生成してデプスマップ・メモリ410に格納する。デプスマップは、左目用テクスチャの全ての画素に、その画素の表す画像の部分の奥行きを対応させた２次元配列である。デプスマップの各画素の輝度はＲＧＢ形式又はＹＵＶ形式で表現され、その画素に対応する左目用テクスチャの画素の表す画像の部分の奥行きを示す。デプス生成部372は、奥行き情報には表されていない画像の部分の奥行きについても、補間等を利用して適切な値を決定する。 The depth generation unit 372 decodes the depth information from the compressed panorama depth, generates a depth map based on the depth information, and stores the depth map in the depth map memory 410. The depth map is a two-dimensional array in which all the pixels of the left eye texture are associated with the depth of the image portion represented by the pixels. The luminance of each pixel of the depth map is expressed in RGB format or YUV format, and indicates the depth of the image portion represented by the pixel of the left-eye texture corresponding to the pixel. The depth generation unit 372 also determines an appropriate value using interpolation or the like for the depth of the portion of the image that is not represented in the depth information.
　視差パノラマ画像生成部373は、左目用テクスチャ・メモリ411から左目用テクスチャを読み出し、デプスマップ・メモリ410からデプスマップを読み出す。視差パノラマ画像生成部373は更に、読み出されたデータにＤＩＢＲ（Depth Image based Renderring）を適用して右目用テクスチャを生成し、右目用テクスチャ・メモリ412に格納する。「右目用テクスチャ」は、左目用テクスチャが、視点に位置する者の左目に映るパノラマ画像を表すとき、その者の右目に映るパノラマ画像を表すテクスチャである。「ＤＩＢＲ」とは、人の一方の目に映る２Ｄ画像を表すテクスチャと、そのテクスチャに対するデプスマップとから、その人の他方の目に映る２Ｄ画像を表すテクスチャを生成する処理をいう。一方の目に映る画像と、他方の目に映る画像とでは、両目の視差に起因して被写体の水平方向の位置が異なる。ＤＩＢＲでは、デプスマップの表す奥行きから、視差に起因する画像の変位量、すなわち視差値が画素ごとに計算され、テクスチャの各画素の座標が、対応する視差値だけ水平方向にシフトする。それにより、そのテクスチャから新たなテクスチャが生成される。この新たなテクスチャの表す画像を、元のテクスチャの表す画像に対する視差画像という。従って、右目用テクスチャは、左目用テクスチャの表すパノラマ画像に対する視差パノラマ画像を表す。 The parallax panorama image generation unit 373 reads the left-eye texture from the left-eye texture memory 411 and reads the depth map from the depth map memory 410. The parallax panorama image generation unit 373 further applies DIBR (Depth Image based Renderring) to the read data to generate a right eye texture, and stores the right eye texture in the right eye texture memory 412. “Right-eye texture” is a texture that represents a panoramic image that appears in the right eye of the person whose left-eye texture represents a panoramic image that appears in the left eye of the person positioned at the viewpoint. “DIBR” refers to a process of generating a texture representing a 2D image seen in the other person's eye from a texture representing the 2D image seen in one eye of the person and a depth map for the texture. The position of the subject in the horizontal direction differs between the image shown in one eye and the image shown in the other eye due to the parallax between the eyes. In DIBR, a displacement amount of an image caused by parallax, that is, a parallax value is calculated for each pixel from the depth represented by the depth map, and the coordinates of each pixel of the texture are shifted in the horizontal direction by the corresponding parallax value. Thereby, a new texture is generated from the texture. The image represented by the new texture is referred to as a parallax image with respect to the image represented by the original texture. Therefore, the right-eye texture represents a parallax panoramic image with respect to the panoramic image represented by the left-eye texture.
　レンダリング部374は、ＯｐｅｎＧＬ ＥＳ等の３次元コンピュータ・グラフィックスを用いて左目用テクスチャと右目用テクスチャとを処理する。それにより、左目用テクスチャの表すパノラマ画像と、右目用テクスチャの表す視差パノラマ画像とのそれぞれのうち、所定の視方向の領域がステレオ画像に変換される。具体的には、レンダリング部374は、まず、左目用テクスチャ・メモリ411から左目用テクスチャを読み出し、右目用テクスチャ・メモリ412から右目用テクスチャを読み出す。レンダリング部374は、次に、各テクスチャを円筒面モデルに投影し、更にその円筒面モデルを球面モデルに投影する。レンダリング部374は、続いて、仮想カメラを球面モデルの中心に設置し、その仮想カメラを所定の視方向に向ける。その視方向は制御部402によって指定される。制御部402は、ＵＯモジュール330からの信号に基づいて、ユーザが指定したアバター202の方向を解読し、その方向から視方向を決定する。レンダリング部374は更に、球面モデルに投影された画像がその仮想カメラで撮影された際の画像を計算する。その結果、左目用テクスチャからは左目用フレームが得られ、右目用テクスチャからは右目用フレームが得られる。各フレームは、表示装置103の画面131の画素群に対応付けられた２次元配列であり、その配列の各要素が、対応する画素の輝度を表す。レンダリング部374は、左目用フレームを左目用フレームバッファ413に書き込み、右目用フレームを右目用フレームバッファ414に書き込む。出力部380は、左目用フレームバッファ413から左目用フレームを読み出し、右目用フレームバッファ414から右目用フレームを読み出す。出力部380は更に、読み出されたフレームの対をＨＤＭＩ方式のシリアル信号に多重化して出力する。 The rendering unit 374 processes the left-eye texture and the right-eye texture using three-dimensional computer graphics such as OpenGL® ES. Accordingly, a region in a predetermined viewing direction is converted into a stereo image among each of the panoramic image represented by the left-eye texture and the parallax panoramic image represented by the right-eye texture. Specifically, the rendering unit 374 first reads the left-eye texture from the left-eye texture memory 411 and reads the right-eye texture from the right-eye texture memory 412. Next, the rendering unit 374 projects each texture onto a cylindrical surface model, and further projects the cylindrical surface model onto a spherical model. Subsequently, the rendering unit 374 installs the virtual camera at the center of the spherical model and directs the virtual camera in a predetermined viewing direction. The viewing direction is designated by the control unit 402. Based on the signal from the UO module 330, the control unit 402 decodes the direction of the avatar 202 designated by the user, and determines the viewing direction from the direction. The rendering unit 374 further calculates an image when the image projected on the spherical model is captured by the virtual camera. As a result, a left-eye frame is obtained from the left-eye texture, and a right-eye frame is obtained from the right-eye texture. Each frame is a two-dimensional array associated with a pixel group on the screen 131 of the display device 103, and each element of the array represents the luminance of the corresponding pixel. The rendering unit 374 writes the left-eye frame in the left-eye frame buffer 413 and the right-eye frame in the right-eye frame buffer 414. The output unit 380 reads the left eye frame from the left eye frame buffer 413 and reads the right eye frame from the right eye frame buffer 414. The output unit 380 further multiplexes the read pair of frames into an HDMI serial signal and outputs the multiplexed signal.
　ユーザに指定された地点を視点とするパノラマ画像から、ユーザに指定された視方向のステレオ画像が表示装置103の画面131に表示された後、制御部402は、ＵＯモジュール330からの信号を監視する。 After the stereo image in the viewing direction designated by the user is displayed on the screen 131 of the display device 103 from the panoramic image with the viewpoint designated by the user as a viewpoint, the control unit 402 monitors the signal from the UO module 330 To do.
　ＵＯモジュール330からの信号が視方向の変更を示すとき、制御部402はレンダリング部374を制御して、変更後の視方向に合わせて仮想カメラ830の方向を変更させる。それにより、左目用テクスチャからは別の左目用フレームが抽出され、右目用テクスチャからは別の右目用フレームが抽出される。その結果、画面131に表示されるステレオ画像が、変更後の視方向のものに変化する。 When the signal from the UO module 330 indicates a change in the viewing direction, the control unit 402 controls the rendering unit 374 to change the direction of the virtual camera 830 according to the changed viewing direction. Thereby, another left-eye frame is extracted from the left-eye texture, and another right-eye frame is extracted from the right-eye texture. As a result, the stereo image displayed on the screen 131 changes to that of the changed viewing direction.
　ＵＯモジュール330からの信号が視点の変更を示すとき、制御部402は、変更後の視点が位置する地点に割り当てられたＩＤを検索し、ネットワーク・インタフェース302を通してサーバ106に渡す。サーバ106は、渡されたＩＤと同じＩＤを含む新たなストリートビュー情報を検索して再生装置102に提供する。描画部370がその新たなストリートビュー情報から新たなステレオ画像を生成している間、制御部402はレンダリング部374に代替ステレオ画像を生成させ、出力部380にその代替ステレオ画像を出力させる。代替ステレオ画像の詳細については後述する。 When the signal from the UO module 330 indicates a change in viewpoint, the control unit 402 searches for the ID assigned to the point where the changed viewpoint is located and passes it to the server 106 through the network interface 302. The server 106 searches for new street view information including the same ID as the passed ID and provides it to the playback device 102. While the drawing unit 370 generates a new stereo image from the new street view information, the control unit 402 causes the rendering unit 374 to generate a substitute stereo image and causes the output unit 380 to output the substitute stereo image. Details of the alternative stereo image will be described later.
　［ストリートビュー情報］
　図５は、ストリートビュー情報のデータ構造を示す表である。ストリートビュー情報は地図上の所定の地点ごとに設定されている。図５を参照するに、ストリートビュー情報は、ＩＤ501、サイズ502、圧縮パノラマ画像503、緯度504、経度505、標高506、方角507、傾斜508、及び圧縮パノラマ・デプス509を含む。項目「ＩＤ」501は８桁の１６進数であり、ストリートビュー情報が設定された地図上の地点に固有に割り当てられた識別子を表す。項目「圧縮パノラマ画像」503は、ＪＰＥＧ形式で圧縮された画像データであり、ＩＤ501が割り当てられた地点を視点とするパノラマ画像を表す。そのパノラマ画像はメルカトル図法により、２次元配列として表現されている。項目「サイズ」502は、そのパノラマ画像の縦と横とのサイズを画素数で表す。項目「緯度」504、「経度」505、及び「標高」506はそれぞれ、ＩＤ501が割り当てられた地点の緯度、経度、及び標高を表す。項目「方角」507と「傾斜」508とは、全方向カメラでパノラマ画像が撮影された際におけるその全方向カメラの傾きを表す２つの角度である。項目「圧縮パノラマ・デプス」509は、ＰＮＧ形式で圧縮された画像データであり、圧縮パノラマ画像503の奥行き情報を表す。奥行き情報は非可逆圧縮方式で圧縮された場合、ノイズを生じやすい。従って、奥行き情報はＰＮＧ形式などの可逆圧縮形式で圧縮される。 [Street view information]
FIG. 5 is a table showing the data structure of street view information. Street view information is set for each predetermined point on the map. Referring to FIG. 5, the street view information includes ID 501, size 502, compressed panorama image 503, latitude 504, longitude 505, altitude 506, direction 507, slope 508, and compressed panorama depth 509. The item “ID” 501 is an 8-digit hexadecimal number and represents an identifier uniquely assigned to a point on the map where the street view information is set. The item “compressed panoramic image” 503 is image data compressed in the JPEG format, and represents a panoramic image with a point assigned with ID 501 as a viewpoint. The panoramic image is expressed as a two-dimensional array by Mercator projection. The item “size” 502 represents the vertical and horizontal sizes of the panoramic image by the number of pixels. The items “latitude” 504, “longitude” 505, and “elevation” 506 represent the latitude, longitude, and altitude of the point to which the ID 501 is assigned, respectively. The items “direction” 507 and “tilt” 508 are two angles representing the tilt of the omnidirectional camera when a panoramic image is captured by the omnidirectional camera. An item “compressed panorama depth” 509 is image data compressed in the PNG format, and represents depth information of the compressed panorama image 503. Depth information is likely to generate noise when compressed by a lossy compression method. Accordingly, the depth information is compressed in a lossless compression format such as the PNG format.
　図５では、ストリートビュー情報の各項目501～509が一つのまとまった表として記載されている。しかし、それは、ストリートビュー情報が一括してサーバ106から再生装置102へダウンロードされることを意味しない。ストリートビュー情報の各項目が複数に分けられてダウンロードされてもよい。特に、圧縮パノラマ画像503と圧縮パノラマ・デプス509とはデータ量が大きいので、その他の項目とは別にダウンロードされてもよい。 In FIG. 5, the items 501 to 509 of the street view information are described as a single table. However, it does not mean that the street view information is downloaded from the server 106 to the playback device 102 at once. Each item of the street view information may be divided and downloaded. In particular, since the compressed panorama image 503 and the compressed panorama depth 509 have a large data amount, they may be downloaded separately from other items.
　［パノラマ画像とデプスマップ］
　図６の（ａ）は、圧縮パノラマ画像からデコードされたパノラマ画像の一例を示す模式図である。図６の（ａ）を参照するに、このパノラマ画像は、一つの視点から全方向に見える画像を、メルカトル図法で２次元的に表現するテクスチャである。図６の（ａ）に示されているように、このパノラマ画像は、垂直方向の両端に近い領域ほど、実際の光景よりも歪んで見える。このパノラマ画像が円筒面に投影され、更にその円筒面が球面に投影されれば、その球の中心から見える画像が、元の視点から実際に見える風景に一致する。 [Panorama image and depth map]
FIG. 6A is a schematic diagram illustrating an example of a panoramic image decoded from a compressed panoramic image. Referring to FIG. 6A, this panoramic image is a texture that two-dimensionally expresses an image that appears in all directions from a single viewpoint using the Mercator projection. As shown in FIG. 6A, in the panoramic image, the region closer to both ends in the vertical direction appears to be distorted than the actual scene. If this panoramic image is projected onto a cylindrical surface and further projected onto a spherical surface, the image seen from the center of the sphere matches the landscape actually seen from the original viewpoint.
　図６の（ｂ）は、図６の（ａ）に示されているパノラマ画像の奥行きを表すデプスマップを示す模式図である。図６の（ｂ）を参照するに、各画素の輝度が、その画素の表す画像の部分の奥行きを示す。画素の輝度が高いほど、その画素の表す画像の部分は視点に近い。特に、輝度が最低値（図６の（ｂ）では黒色）である場合、奥行きは無限遠であり、輝度が最高値（図６の（ｂ）では白色）である場合、奥行きは視点と一致する。 FIG. 6B is a schematic diagram showing a depth map representing the depth of the panoramic image shown in FIG. Referring to FIG. 6B, the luminance of each pixel indicates the depth of the portion of the image represented by that pixel. The higher the luminance of a pixel, the closer the portion of the image represented by that pixel is to the viewpoint. In particular, when the luminance is the lowest value (black in FIG. 6B), the depth is infinite, and when the luminance is the highest value (white in FIG. 6B), the depth matches the viewpoint. To do.
　［ＤＩＢＲ］
　図７の（ａ）は、左目用テクスチャの表す画像の一例を示す模式図である。図７の（ａ）を参照するに、その画像には球701と柱702とが映っている。図７の（ｂ）は、図７の（ａ）に示されている画像のデプスマップを示す模式図である。図７の（ｂ）を参照するに、球701は柱702よりも輝度が高い。これは、球701が柱702よりも手前に位置していることを意味する。視差パノラマ画像生成部373は、球701、柱702、及びそれらの近傍の輝度分布から、それらの画像を構成する各画素に対する視差値を計算する。視差パノラマ画像生成部373は更に、計算された視差値に従って左目用テクスチャの各画素の座標を水平方向にシフトさせて、右目用テクスチャを生成する。図７の（ｃ）は、図７の（ａ）に示されている左目用テクスチャと、図７の（ｂ）に示されているデプスマップとから、ＤＩＢＲによって生成される右目用テクスチャの表す画像を示す模式図である。図７の（ｃ）を参照するに、球703の座標は、図７の（ａ）に示されている球701の座標から左方向に第１視差値HLだけシフトし、柱704の座標は、図７の（ａ）に示されている柱702の座標から右方向に第２視差値HRだけシフトしている。図７の（ａ）に示されている画像が人の左目に映り、かつ、図７の（ｃ）に示されている画像がその人の右目に映るとき、その人には、球の３Ｄ画像が画面よりも手前に飛び出しているように見え、柱の３Ｄ画像が画面よりも奥に遠ざかっているように見える。 [DIBR]
FIG. 7A is a schematic diagram illustrating an example of an image represented by the texture for the left eye. Referring to (a) of FIG. 7, a sphere 701 and a pillar 702 are shown in the image. FIG. 7B is a schematic diagram showing a depth map of the image shown in FIG. As shown in FIG. 7B, the sphere 701 has higher luminance than the pillar 702. This means that the sphere 701 is positioned in front of the pillar 702. The parallax panoramic image generation unit 373 calculates a parallax value for each pixel constituting the image from the sphere 701, the pillar 702, and the luminance distribution in the vicinity thereof. The parallax panorama image generation unit 373 further shifts the coordinates of each pixel of the left-eye texture in the horizontal direction according to the calculated parallax value to generate a right-eye texture. FIG. 7C shows a right-eye texture generated by DIBR from the left-eye texture shown in FIG. 7A and the depth map shown in FIG. 7B. It is a schematic diagram which shows an image. Referring to FIG. 7C, the coordinates of the sphere 703 are shifted to the left by the first parallax value HL from the coordinates of the sphere 701 shown in FIG. 7 is shifted to the right by the second parallax value HR from the coordinates of the column 702 shown in FIG. When the image shown in (a) of FIG. 7 appears in the left eye of a person and the image shown in (c) of FIG. 7 appears in the right eye of the person, the person is given a 3D sphere. The image appears to jump out from the screen, and the 3D image of the pillar appears to be farther away from the screen.
　上記の説明では、デコーダ371によって圧縮パノラマ画像からデコードされたパノラマ画像が左目用テクスチャとして利用されている。逆に、そのパノラマ画像が右目用テクスチャとして利用されてもよい。その場合、視差パノラマ画像生成部373は、右目用テクスチャとデプスマップとからＤＩＢＲによって左目用テクスチャを生成する。 In the above description, the panorama image decoded from the compressed panorama image by the decoder 371 is used as the left eye texture. Conversely, the panoramic image may be used as the right eye texture. In that case, the parallax panorama image generation unit 373 generates a left-eye texture from the right-eye texture and the depth map by DIBR.
　［レンダリング部によるテクスチャ・マッピング］
　図８の（ａ）は、レンダリング部374がテクスチャを球面モデルに投影する処理を表す模式図である。レンダリング部374は、まず、左目用テクスチャと右目用テクスチャとを円筒面モデル810に投影する。その際、各テクスチャにおいて水平座標が一定の画素列を表す直線は、円筒面モデル810では軸方向の直線801に投影され、各テクスチャにおいて垂直座標が一定の画素列を表す直線は、円筒面モデル810では周方向の曲線802に投影される。レンダリング部374は、次に、円筒面モデル810を球面モデル820に投影する。その際、円筒面モデル810における軸方向の直線801は球面モデル820の経線803に投影され、円筒面モデル810における周方向の曲線802は球面モデル820の緯線804に投影される。 [Texture mapping by rendering unit]
FIG. 8A is a schematic diagram illustrating processing in which the rendering unit 374 projects a texture onto a spherical model. The rendering unit 374 first projects the left eye texture and the right eye texture onto the cylindrical surface model 810. At this time, a straight line representing a pixel row having a constant horizontal coordinate in each texture is projected onto an axial straight line 801 in the cylindrical surface model 810, and a straight line representing a pixel row having a constant vertical coordinate in each texture is a cylindrical surface model. In 810, the image is projected onto a circumferential curve 802. Next, the rendering unit 374 projects the cylindrical surface model 810 onto the spherical model 820. At this time, the axial straight line 801 in the cylindrical surface model 810 is projected onto the meridian 803 of the spherical model 820, and the circumferential curve 802 in the cylindrical surface model 810 is projected onto the latitude line 804 of the spherical model 820.
　図８の（ｂ）は、北極の方向から見える球面モデル820の内部を表す模式図である。図８の（ｂ）を参照するに、球面モデル820の中心に仮想カメラ830が設置されている。レンダリング部374はまず、仮想カメラ830を、経度が０度である基準方向Cに対して角度θの方向に向ける。この角度θは、制御部402により、ユーザが指定したアバター202の方向から、視方向を表す角度として決定される。レンダリング部374は次に、球面モデル820に投影されたパノラマ画像の中から、仮想カメラ830の画角Δθに含まれる領域を抽出する。図８の（ｃ）は、レンダリング部374によって抽出された領域の画像を示す模式図である。図８の（ｃ）を参照するに、その画像は、球面モデル820の中心に位置する者が視方向θに視線を向けた際に、その者に見える風景と一致する。特に、図６の（ａ）に示されているパノラマ画像とは異なり、図８の（ｃ）に示されている画像の垂直方向の端には歪みがない。 (B) of FIG. 8 is a schematic diagram showing the inside of the spherical model 820 seen from the direction of the North Pole. Referring to FIG. 8B, a virtual camera 830 is installed at the center of the spherical model 820. The rendering unit 374 first directs the virtual camera 830 in the direction of the angle θ with respect to the reference direction C where the longitude is 0 degree. This angle θ is determined by the control unit 402 as an angle representing the viewing direction from the direction of the avatar 202 specified by the user. Next, the rendering unit 374 extracts a region included in the angle of view Δθ of the virtual camera 830 from the panoramic image projected on the spherical model 820. FIG. 8C is a schematic diagram illustrating an image of an area extracted by the rendering unit 374. Referring to (c) of FIG. 8, the image coincides with the scenery seen by the person who is located at the center of the spherical model 820 and looks at the viewing direction θ. In particular, unlike the panoramic image shown in FIG. 6A, the vertical end of the image shown in FIG. 8C has no distortion.
　［ストリートビューに関する画像処理］
　図９と図１０とは、再生装置によるストリートビューに関する画像処理のフローチャートである。この処理は、ユーザがリモコン105を操作して、ストリートビューの起動を再生装置102に指示し、制御部402がＵＯモジュール330からの信号を通して、その指示を検出したときに開始される。 [Image processing for street view]
9 and 10 are flowcharts of image processing related to street view by the playback device. This process is started when the user operates the remote controller 105 to instruct the playback device 102 to start the street view, and the control unit 402 detects the instruction through a signal from the UO module 330.
　ステップＳ９０１では、制御部402はＵＯモジュール330からの信号から、ユーザに指定されたアバター202の位置の示す地点を解読して、その地点に割り当てられたＩＤを検索し、ネットワーク・インタフェース302を通してそのＩＤをサーバ106に渡す。サーバ106は、渡されたＩＤと同じＩＤを含むストリートビュー情報を再生装置102に提供する。ファイルシステム401はネットワーク・インタフェース302を通して、そのストリートビュー情報をサーバ106からダウンロードする。その後、処理はステップＳ９０２へ進む。 In step S <b> 901, the control unit 402 decodes the point indicated by the position of the avatar 202 designated by the user from the signal from the UO module 330, searches for the ID assigned to the point, and transmits the ID through the network interface 302. The ID is passed to the server 106. The server 106 provides the playback device 102 with street view information including the same ID as the passed ID. The file system 401 downloads the street view information from the server 106 through the network interface 302. Thereafter, the process proceeds to step S902.
　ステップＳ９０２では、ファイルシステム401がストリートビュー情報から圧縮パノラマ画像を分離して、デコーダ371に渡す。デコーダ371は圧縮パノラマ画像から左目用テクスチャをデコードして、左目用テクスチャ・メモリ411に書き込む。その後、処理はステップＳ９０３へ進む。 In step S902, the file system 401 separates the compressed panoramic image from the street view information and passes it to the decoder 371. The decoder 371 decodes the left-eye texture from the compressed panoramic image and writes it to the left-eye texture memory 411. Thereafter, the process proceeds to step S903.
　ステップＳ９０３では、ファイルシステム401がストリートビュー情報から圧縮パノラマ・デプスを分離して、デプス生成部372に渡す。デプス生成部372は圧縮パノラマ・デプスからデプスマップを生成して、デプスマップ・メモリ410に書き込む。その後、処理はステップＳ９０４へ進む。 In step S903, the file system 401 separates the compressed panorama depth from the street view information and passes it to the depth generation unit 372. The depth generation unit 372 generates a depth map from the compressed panorama depth and writes it to the depth map memory 410. Thereafter, the process proceeds to step S904.
　ステップＳ９０４では、視差パノラマ画像生成部373が、まず、左目用テクスチャ・メモリ411から左目用テクスチャを読み出し、デプスマップ・メモリ410からデプスマップを読み出す。視差パノラマ画像生成部373は、次に、左目用テクスチャとデプスマップとから右目用テクスチャを生成し、右目用テクスチャ・メモリ412へ書き込む。その後、処理はステップＳ９０５へ進む。 In step S904, the parallax panoramic image generation unit 373 first reads the left-eye texture from the left-eye texture memory 411 and reads the depth map from the depth map memory 410. Next, the parallax panoramic image generation unit 373 generates a right eye texture from the left eye texture and the depth map, and writes the right eye texture to the right eye texture memory 412. Thereafter, the process proceeds to step S905.
　ステップＳ９０５では、レンダリング部374が、まず、左目用テクスチャ・メモリ411から左目用テクスチャを読み出し、その左目用テクスチャの表すパノラマ画像を球面モデル820に投影する。レンダリング部374は、次に、制御部402から、ユーザに指定された視方向を表す角度θを受ける。レンダリング部374は、続いて、仮想カメラ830を基準方向Cから角度θの方向に向けて、球面モデル820に投影されたパノラマ画像のうち、その仮想カメラ830の画角Δθに含まれる領域を左目用フレームに変換する。左目用フレームは左目用フレームバッファ413へ書き込まれる。その後、処理はステップＳ９０６へ進む。 In step S905, the rendering unit 374 first reads the left-eye texture from the left-eye texture memory 411 and projects a panoramic image represented by the left-eye texture onto the spherical model 820. Next, the rendering unit 374 receives an angle θ representing the viewing direction designated by the user from the control unit 402. Subsequently, the rendering unit 374 directs the virtual camera 830 in the direction of the angle θ from the reference direction C, and among the panoramic images projected on the spherical model 820, the region included in the angle of view Δθ of the virtual camera 830 is left eye Convert to frames. The left eye frame is written into the left eye frame buffer 413. Thereafter, the process proceeds to step S906.
　ステップＳ９０６では、レンダリング部374が、まず、右目用テクスチャ・メモリ412から右目用テクスチャを読み出し、その右目用テクスチャの表す視差パノラマ画像を球面モデル820に投影する。レンダリング部374は、次に、仮想カメラ830を基準方向Cから角度θの方向に向けて、球面モデル820に投影された視差パノラマ画像のうち、その仮想カメラ830の画角Δθに含まれる領域を右目用フレームに変換する。右目用フレームは右目用フレームバッファ414へ書き込まれる。その後、処理はステップＳ９０７へ進む。 In step S906, the rendering unit 374 first reads the right-eye texture from the right-eye texture memory 412, and projects the parallax panoramic image represented by the right-eye texture onto the spherical model 820. Next, the rendering unit 374 directs the virtual camera 830 in the direction of the angle θ from the reference direction C, and among the parallax panoramic images projected on the spherical model 820, the region included in the angle of view Δθ of the virtual camera 830 is displayed. Convert to right eye frame. The right eye frame is written into the right eye frame buffer 414. Thereafter, the process proceeds to step S907.
　ステップＳ９０７では、出力部380がまず、左目用フレームバッファ413から左目用フレームを読み出し、右目用フレームバッファ414ら右目用フレームを読み出す。出力部380は次に、左目用フレームと右目用フレームとをＨＤＭＩ方式のシリアル信号に多重化して、そのシリアル信号を表示装置103へ出力する。その後、処理はステップＳ９０８へ進む。 In step S907, the output unit 380 first reads the left-eye frame from the left-eye frame buffer 413, and reads the right-eye frame from the right-eye frame buffer 414. Next, the output unit 380 multiplexes the left-eye frame and the right-eye frame into an HDMI serial signal and outputs the serial signal to the display device 103. Thereafter, the process proceeds to step S908.
　ステップＳ９０８では、ＵＯモジュール330がユーザからストリートビューの終了の指示を受けたか否かを、制御部402がチェックする。その指示を受けていた場合、処理は終了する。その指示を受けていない場合、処理はステップＳ１００１へ進む。 In step S908, the control unit 402 checks whether the UO module 330 has received an instruction to end the street view from the user. If the instruction has been received, the process ends. If the instruction has not been received, the process proceeds to step S1001.
　ステップＳ１００１では、ＵＯモジュール330がユーザから視方向の変更、すなわちアバター202の方向の変更を指示されていたか否かを、制御部402がチェックする。その変更を指示されていた場合、処理はステップＳ１００２へ進む。その変更が指示されていない場合、処理はステップＳ１００６へ進む。 In step S1001, the control unit 402 checks whether or not the UO module 330 has been instructed by the user to change the viewing direction, that is, the direction of the avatar 202. If the change has been instructed, the process proceeds to step S1002. If the change is not instructed, the process proceeds to step S1006.
　ステップＳ１００２では、ＵＯモジュール330がユーザからアバター202の方向の変更を指示されている。制御部402は、ＵＯモジュール330からの信号の示すアバター202の新たな方向を解読して、その新たな方向から変更後の視方向を決定する。制御部402は更に、その変更後の視方向をレンダリング部374に指示する。レンダリング部374は仮想カメラ830をその変更後の視方向に向ける。その後、処理はステップＳ１００３へ進む。 In step S1002, the UO module 330 is instructed by the user to change the direction of the avatar 202. The control unit 402 decodes the new direction of the avatar 202 indicated by the signal from the UO module 330, and determines the changed viewing direction from the new direction. The control unit 402 further instructs the rendering unit 374 to change the viewing direction. The rendering unit 374 points the virtual camera 830 in the changed viewing direction. Thereafter, the process proceeds to step S1003.
　ステップＳ１００３では、レンダリング部374が、球面モデル820に投影されたパノラマ画像のうち、仮想カメラ830の画角Δθに含まれる領域を左目用フレームに変換する。左目用フレームは左目用フレームバッファ413へ書き込まれる。その後、処理はステップＳ１００４へ進む。 In step S1003, the rendering unit 374 converts an area included in the angle of view Δθ of the virtual camera 830 in the panoramic image projected onto the spherical model 820 into a left-eye frame. The left eye frame is written into the left eye frame buffer 413. Thereafter, the process proceeds to step S1004.
　ステップＳ１００４では、レンダリング部374が、球面モデル820に投影された視差パノラマ画像のうち、仮想カメラ830の画角Δθに含まれる領域を右目用フレームに変換する。右目用フレームは右目用フレームバッファ414へ書き込まれる。その後、処理はステップＳ９０８から繰り返される。 In step S1004, the rendering unit 374 converts a region included in the angle of view Δθ of the virtual camera 830 in the parallax panorama image projected onto the spherical model 820 into a right eye frame. The right eye frame is written into the right eye frame buffer 414. Thereafter, the process is repeated from step S908.
　ステップＳ１００６では、ＵＯモジュール330がユーザから視点の変更、すなわちアバター202の位置の変更を指示されていたか否かを、制御部402がチェックする。その変更を指示されていた場合、処理はステップＳ１００７へ進む。その変更が指示されていない場合、処理はステップＳ９０８から繰り返される。 In step S1006, the control unit 402 checks whether or not the UO module 330 has been instructed by the user to change the viewpoint, that is, the position of the avatar 202. If the change has been instructed, the process proceeds to step S1007. If the change is not instructed, the process is repeated from step S908.
　ステップＳ１００７では、制御部402が描画部370に代替ステレオ画像を生成させ、出力部380にその代替ステレオ画像を表示装置103へ出力させる。その処理の詳細については後述する。一方、その処理と並行して、変更後の視点から見えるパノラマ画像についてステップＳ９０１から処理が繰り返される。ステップＳ９０７により、変更後の視点から見える左目用フレームと右目用フレームとの対が出力されるまで、表示装置103の画面131には代替ステレオ画像が表示される。 In step S1007, the control unit 402 causes the drawing unit 370 to generate a substitute stereo image, and causes the output unit 380 to output the substitute stereo image to the display device 103. Details of the processing will be described later. On the other hand, in parallel with the process, the process is repeated from step S901 on the panoramic image that can be seen from the changed viewpoint. In step S907, the alternative stereo image is displayed on the screen 131 of the display device 103 until the pair of the left-eye frame and the right-eye frame that can be seen from the changed viewpoint is output.
　［代替ステレオ画像］
　図９に示されているステップＳ９０１～Ｓ９０７の処理には数秒～数十秒の時間が必要である。特に、ネットワークが混雑している場合、又は、サーバ106に多くの要求が集中してその処理を遅らせている場合、サーバ106からストリートビュー情報をダウンロードするのに要する時間が長くなる。その結果、ステップＳ９０１～Ｓ９０７の処理に要する時間が更に長くなる。１つの視点から見えるステレオ画像が表示装置103の画面131に表示された後、視点の変更がユーザから指示された場合、変更後の視点から見えるパノラマ画像についてステップＳ９０１～Ｓ９０７の処理が繰り返される。その処理が完了するまでの待ち時間は長いので、その待ち時間中、変更前の視点から見えるステレオ画像が画面131に表示され続ければ、ユーザが不快感を受ける。その不快感を軽減させる目的で、制御部402は描画部370に代替ステレオ画像を生成させ、出力部380にその代替ステレオ画像を表示装置103へ出力させる。それにより、上記の待ち時間中、代替ステレオ画像が画面131に表示される。 [Alternative stereo image]
The processing of steps S901 to S907 shown in FIG. 9 requires several seconds to several tens of seconds. In particular, when the network is congested or when many requests are concentrated on the server 106 and the processing is delayed, the time required for downloading the street view information from the server 106 becomes long. As a result, the time required for the processing in steps S901 to S907 is further increased. After the stereo image that can be seen from one viewpoint is displayed on the screen 131 of the display device 103, when the change of the viewpoint is instructed by the user, the processes in steps S901 to S907 are repeated for the panoramic image that is seen from the changed viewpoint. Since the waiting time until the process is completed is long, if a stereo image that can be seen from the viewpoint before the change continues to be displayed on the screen 131 during the waiting time, the user feels uncomfortable. In order to reduce the discomfort, the control unit 402 causes the drawing unit 370 to generate a substitute stereo image and causes the output unit 380 to output the substitute stereo image to the display device 103. Thereby, the substitute stereo image is displayed on the screen 131 during the waiting time.
　以下の説明では、視点がアバター202の方向で変更される場合を想定する。すなわち、視点が、表示装置103の画面131に映る物体に接近するように変更される。その場合、次のような視覚効果が代替ステレオ画像の生成に利用される。カメラが被写体に接近する場合、そのカメラに写る画像ではその被写体が拡大するように見える。そこで、制御部402はレンダリング部374に、変更前の視点から見えるステレオ画像をスケーリングさせ、それによって得られたステレオ画像を代替ステレオ画像として利用する。代替ステレオ画像では、変更前の視点から見えるステレオ画像よりも、被写体のサイズが大きい。その結果、画面131を見ている者には、視点が被写体に接近しているように見える。従って、代替ステレオ画像の挿入がユーザに与える違和感を抑えることができる。 In the following description, it is assumed that the viewpoint is changed in the direction of the avatar 202. That is, the viewpoint is changed so as to approach the object shown on the screen 131 of the display device 103. In that case, the following visual effects are used to generate a substitute stereo image. When the camera approaches the subject, the subject appears to expand in the image captured by the camera. Therefore, the control unit 402 causes the rendering unit 374 to scale the stereo image that can be seen from the viewpoint before the change, and uses the stereo image obtained as a substitute stereo image. In the alternative stereo image, the size of the subject is larger than the stereo image seen from the viewpoint before the change. As a result, for the person who is viewing the screen 131, it appears that the viewpoint is approaching the subject. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be suppressed.
　図１１は、レンダリング部374によるステレオ画像のスケーリング処理を示す模式図である。各フレームバッファ413、414には、変更前の視点から見えるステレオ画像のフレーム対が格納されている。レンダリング部374はまず、そのフレーム対を所定の倍率でスケーリングして、変更前の視点から見えるステレオ画像1101を拡大する。レンダリング部374は次に、拡大されたステレオ画像1102の中央部から１フレーム・サイズの領域1103を抽出する。ここで、その領域1103の中心が、元のステレオ画像1101の中心と一致するように、領域1103の位置が調節される。一方、その領域1103よりも外側の領域（図１１では破線で示されている。）に属する画素データが破棄される。こうして、その領域1103の画素データが各フレームバッファ413、414に上書きされ、代替ステレオ画像として利用される。図１１に示されているように、代替ステレオ画像1103に映る物体1105は、元のステレオ画像1101に写る物体1104よりもサイズが大きい。その結果、画面131を見ている者には、視点がその物体に接近しているように見える。 FIG. 11 is a schematic diagram illustrating a stereo image scaling process performed by the rendering unit 374. Each frame buffer 413 and 414 stores a frame pair of a stereo image that can be seen from the viewpoint before the change. First, the rendering unit 374 scales the frame pair by a predetermined magnification to enlarge the stereo image 1101 that can be seen from the viewpoint before the change. Next, the rendering unit 374 extracts a one-frame size region 1103 from the center of the enlarged stereo image 1102. Here, the position of the area 1103 is adjusted so that the center of the area 1103 coincides with the center of the original stereo image 1101. On the other hand, pixel data belonging to an area outside the area 1103 (indicated by a broken line in FIG. 11) is discarded. Thus, the pixel data in the area 1103 is overwritten in the frame buffers 413 and 414 and used as a substitute stereo image. As shown in FIG. 11, the object 1105 shown in the alternative stereo image 1103 is larger in size than the object 1104 shown in the original stereo image 1101. As a result, for the person who is viewing the screen 131, the viewpoint appears to approach the object.
　制御部402はスケーリングの倍率を以下のように決定する。図１２の（ａ）は、第１視点VP1に設置されたカメラで被写体OBJを撮影した際の様子を模式的に表す上面図である。Ｚ軸はカメラの視方向を表し、Ｙ軸はＺ軸に対して垂直な水平方向を表す。第１視点VP1は被写体OBJからＺ軸方向に第１距離d1だけ離れている。カメラの撮像面SCRには被写体OBJの画像IM1が投影されている。Ｙ軸方向における被写体OBJのサイズS0に対する、Ｙ軸方向における被写体OBJの画像IM1のサイズS1の比S1／S0は、第１距離d1に対する第１視点VP1と撮像面SCRとの間の距離L0の比L0／d1に等しい：S1／S0＝L0／d1。図１２の（ｂ）は、第２視点VP2に設置されたカメラで被写体OBJを撮影した際の様子を模式的に表す上面図である。第２視点VP2は被写体OBJからＺ軸方向に第２距離d2だけ離れている。第２距離d2は第１距離d1よりも、第１視点VP1と第２視点VP2との間の距離Lだけ短い：d1＝d2＋L。カメラの撮像面SCRには被写体OBJの画像IM2が投影されている。Ｙ軸方向における被写体OBJのサイズS0に対する、Ｙ軸方向における被写体OBJの画像IM2のサイズS2の比S2／S0は、第２距離d2に対する第２視点VP2と撮像面SCRとの間の距離L0の比L0／d2に等しい：S2／S0＝L0／d2。視点が第１視点VP1から第２視点VP2へ移動した場合、Ｙ軸方向における被写体OBJの画像のサイズは拡大される。そのときのスケーリングの倍率SR＝S2／S1は次式（１）で表される： The control unit 402 determines the scaling factor as follows. FIG. 12A is a top view schematically showing a state when the subject OBJ is photographed by the camera installed at the first viewpoint VP1. The Z axis represents the viewing direction of the camera, and the Y axis represents the horizontal direction perpendicular to the Z axis. The first viewpoint VP1 is separated from the subject OBJ by a first distance d1 in the Z-axis direction. An image IM1 of the subject OBJ is projected on the imaging surface SCR of the camera. The ratio S1 / S0 of the size S1 of the image IM1 of the subject OBJ in the Y-axis direction to the size S0 of the subject OBJ in the Y-axis direction is the distance L0 between the first viewpoint VP1 and the imaging surface SCR with respect to the first distance d1. It is equal to the ratio L0 / d1: S1 / S0 = L0 / d1. FIG. 12B is a top view schematically showing a state when the subject OBJ is photographed by the camera installed at the second viewpoint VP2. The second viewpoint VP2 is separated from the subject OBJ by a second distance d2 in the Z-axis direction. The second distance d2 is shorter than the first distance d1 by the distance L between the first viewpoint VP1 and the second viewpoint VP2: d1 = d2 + L. An image IM2 of the subject OBJ is projected on the imaging surface SCR of the camera. The ratio S2 / S0 of the size S2 of the image IM2 of the subject OBJ in the Y-axis direction to the size S0 of the subject OBJ in the Y-axis direction is the distance L0 between the second viewpoint VP2 and the imaging surface SCR with respect to the second distance d2. It is equal to the ratio L0 / d2: S2 / S0 = L0 / d2. When the viewpoint moves from the first viewpoint VP1 to the second viewpoint VP2, the size of the image of the subject OBJ in the Y-axis direction is enlarged. The scaling factor SR = S2 / S1 at that time is expressed by the following equation (1):
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000001
　制御部402は、変更前後の視点間の距離Lと第２距離d2とから、式（１）によってスケーリングの倍率SRを決定する。ここで、実際の画像には様々な被写体があるので、第１距離d1と第２距離d2とのそれぞれを一意に決定することはできない。また、基準の被写体を定めて第１距離d1と第２距離d2とを正確に決定してもよいが、その決定に必要な計算量は大きいので、処理時間が長い。従って、制御部402は、第１視点VP1と第２視点VP2との間の距離Lを正確に計算する一方、第２距離d2を所定数に固定する。制御部402はその他に、変更前の視点におけるデプスマップを利用して、各画素の奥行きに比例する数を求めて、その数をその画素における第２距離d2として利用してもよい。 The control unit 402 determines the scaling factor SR according to Equation (1) from the distance L between the viewpoints before and after the change and the second distance d2. Here, since there are various subjects in the actual image, each of the first distance d1 and the second distance d2 cannot be uniquely determined. In addition, the first distance d1 and the second distance d2 may be accurately determined by setting a reference subject. However, since the calculation amount necessary for the determination is large, the processing time is long. Therefore, the control unit 402 accurately calculates the distance L between the first viewpoint VP1 and the second viewpoint VP2, while fixing the second distance d2 to a predetermined number. In addition, the control unit 402 may obtain a number proportional to the depth of each pixel using the depth map at the viewpoint before the change, and use the number as the second distance d2 at the pixel.
　代替ステレオ画像は、フレームバッファ413、414に既に格納されているフレームを加工するだけで生成可能である。従って、変更後の視点から見えるパノラマ画像についてステップＳ９０１～Ｓ９０７の処理が完了するよりも十分に早く、代替ステレオ画像が生成される。それ故、その処理の待ち時間中に、その代替ステレオ画像を画面131に表示することができる。 An alternative stereo image can be generated simply by processing the frames already stored in the frame buffers 413 and 414. Therefore, an alternative stereo image is generated sufficiently earlier than the processing of steps S901 to S907 for the panoramic image seen from the changed viewpoint. Therefore, the alternative stereo image can be displayed on the screen 131 during the waiting time of the processing.
　図１３は、図１０に示されているステップＳ１００７における代替ステレオ画像の生成処理のフローチャートである。実施形態１では、上記のとおり、代替ステレオ画像が、フレームバッファ413、414に既に格納されているフレームをスケーリングすることによって生成される。 FIG. 13 is a flowchart of the alternative stereo image generation process in step S1007 shown in FIG. In the first embodiment, as described above, the substitute stereo image is generated by scaling the frames already stored in the frame buffers 413 and 414.
　ステップＳ１３０１では、制御部402が変更前後の各視点の緯度と経度とを求める。具体的には、制御部402が、変更前後の各視点に関するストリートビュー情報を参照して、緯度504と経度505とに記載された値を読み取る。その後、処理はステップＳ１３０２へ進む。 In step S1301, the control unit 402 obtains the latitude and longitude of each viewpoint before and after the change. Specifically, the control unit 402 reads the values written in the latitude 504 and the longitude 505 with reference to the street view information regarding each viewpoint before and after the change. Thereafter, processing proceeds to step S1302.
　ステップＳ１３０２では、制御部402が、ステップＳ１３０１で求めた緯度と経度とを利用して、変更前の視点と変更後の視点との間の距離を求める。具体的には、まず、地球の形が球で近似される。次に、変更前の視点と地球の中心とを結ぶ線分l1と、変更後の視点と地球の中心とを結ぶ線分l2とがなす角をｘとおく。すると、角ｘは、球面三角法により、変更前の視点の緯度δ1と経度λ1、及び変更後の視点の緯度δ2と経度λ2を用いて次式（２）で表される： In step S1302, the control unit 402 obtains the distance between the viewpoint before change and the viewpoint after change using the latitude and longitude obtained in step S1301. Specifically, the shape of the earth is first approximated by a sphere. Next, let x be the angle formed by the line segment l 1 connecting the viewpoint before change and the center of the earth and the line segment l 2 connecting the viewpoint after change and the center of the earth. Then, the angle x is expressed by the following formula (2) by using the spherical trigonometry and using the latitude δ 1 and longitude λ 1 of the viewpoint before the change and the latitude δ 2 and longitude λ 2 of the viewpoint after the change:
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000002
　制御部402は式（２）を用いて角ｘを求め、更に、角ｘと地球の半径Rとの積を変更前後の視点間の距離Lとして決定する：L＝R×x。その後、処理はステップＳ１３０３へ進む。 The control unit 402 obtains the angle x using the formula (2), and further determines the product of the angle x and the radius R of the earth as the distance L between the viewpoints before and after the change: L = R × x. Thereafter, processing proceeds to step S1303.
　ステップＳ１３０３では、制御部402は、ステップＳ１３０２で求めた距離Lと所定数d2とを式（１）に代入して、スケーリングの倍率SRを求める。その後、処理はステップＳ１３０４へ進む。 In step S1303, the control unit 402 calculates the scaling factor SR by substituting the distance L and the predetermined number d2 obtained in step S1302 into the equation (1). Thereafter, processing proceeds to step S1304.
　ステップＳ１３０４では、制御部402はレンダリング部374に、左目用フレームをスケーリングさせる。具体的には、レンダリング部374はまず、左目用フレームバッファ413から左目用フレームを読み出し、ステップＳ１３０３で求められた倍率SRで左目用フレームをスケーリングする。レンダリング部374は次に、スケーリング後の左目用フレームの中央部から１フレーム・サイズの領域を抽出して、左目用フレームバッファ413に上書きする。その後、処理はステップＳ１３０５へ進む。 In step S1304, the control unit 402 causes the rendering unit 374 to scale the left eye frame. Specifically, the rendering unit 374 first reads the left-eye frame from the left-eye frame buffer 413, and scales the left-eye frame with the magnification SR obtained in step S1303. Next, the rendering unit 374 extracts an area of one frame size from the center portion of the scaled left eye frame, and overwrites it in the left eye frame buffer 413. Thereafter, processing proceeds to step S1305.
　ステップＳ１３０５では、制御部402はレンダリング部374に、右目用フレームをスケーリングさせる。具体的には、レンダリング部374はまず、右目用フレームバッファ414から右目用フレームを読み出し、ステップＳ１３０３で求められた倍率SRで右目用フレームをスケーリングする。レンダリング部374は次に、スケーリング後の右目用フレームの中央部から１フレーム・サイズの領域を抽出して、右目用フレームバッファ414に上書きする。その後、処理はステップＳ１３０６へ進む。 In step S1305, the control unit 402 causes the rendering unit 374 to scale the right eye frame. Specifically, the rendering unit 374 first reads the right-eye frame from the right-eye frame buffer 414, and scales the right-eye frame with the magnification SR obtained in step S1303. Next, the rendering unit 374 extracts an area of one frame size from the center part of the scaled right eye frame, and overwrites the right eye frame buffer 414. Thereafter, the process proceeds to step S1306.
　ステップＳ１３０６では、出力部380が、まず、左目用フレームバッファ413から左目用フレームを読み出し、右目用フレームバッファ414から右目用フレームを読み出す。出力部380は次に、読み出されたフレームの対をＨＤＭＩ方式のシリアル信号に多重化して、そのシリアル信号を表示装置103へ出力する。こうして、変更前の視点から見えるステレオ画像の中央部が拡大されて、代替ステレオ画像として表示装置103の画面131に表示される。代替ステレオ画像が画面131に表示されている間に、変更後の視点から見えるパノラマ画像についての処理が、図９に示されているステップＳ９０１から繰り返される。 In step S1306, the output unit 380 first reads the left-eye frame from the left-eye frame buffer 413 and reads the right-eye frame from the right-eye frame buffer 414. Next, the output unit 380 multiplexes the read frame pair into an HDMI serial signal and outputs the serial signal to the display device 103. In this way, the central portion of the stereo image that can be seen from the viewpoint before the change is enlarged and displayed on the screen 131 of the display device 103 as an alternative stereo image. While the alternative stereo image is displayed on the screen 131, the process for the panoramic image seen from the changed viewpoint is repeated from step S901 shown in FIG.
　上記の説明では、視点がアバター202の方向で変更される。一方、視点がアバター202の方向とは逆に、すなわち、表示装置103の画面131に映る物体から遠ざかるように変更される場合、変更前の視点から見えるステレオ画像を縮小したものが代替ステレオ画像として利用されてもよい。その場合、縮小された画像の外側に、透明色又は背景色の画素データが追加される。その他に、視点がアバター202の方向とは異なる方向に変更される場合、ステレオ画像が一旦、変更前の視点から、視点が変更される方向を見たときのステレオ画像に変更され、その後、そのステレオ画像をスケーリングされたものが代替ステレオ画像として利用されてもよい。 In the above description, the viewpoint is changed in the direction of the avatar 202. On the other hand, when the viewpoint is changed in the direction opposite to the direction of the avatar 202, that is, when the viewpoint is changed so as to be away from the object displayed on the screen 131 of the display device 103, a reduced stereo image seen from the viewpoint before the change is used as an alternative stereo image. It may be used. In that case, transparent or background pixel data is added to the outside of the reduced image. In addition, when the viewpoint is changed in a direction different from the direction of the avatar 202, the stereo image is temporarily changed from the viewpoint before the change to the stereo image when the direction in which the viewpoint is changed is viewed. A scaled stereo image may be used as an alternative stereo image.
　本発明の実施形態１による再生装置102は、上記のとおり、パノラマ画像の視点の変更が要求されたとき、まず、変更前の視点から見えるステレオ画像をスケーリングして代替ステレオ画像を生成する。再生装置102は、次に、変更後の視点から見えるパノラマ画像が取得されて新たなステレオ画像が生成されるまで、代替ステレオ画像を出力する。代替ステレオ画像の被写体は、変更前の視点から見えるステレオ画像の被写体よりもサイズが拡大されているので、代替ステレオ画像の視点が変更前の視点よりも被写体に接近しているように見える。従って、代替ステレオ画像の挿入がユーザに与える違和感を抑えることができる。また、代替ステレオ画像は、既に生成済みのフレーム対をスケーリングするだけで生成される。従って、代替ステレオ画像の生成処理は新たなステレオ画像の生成処理よりも十分に速い。それにより、視点の変更が要求されたとき、表示装置103の画面131には代替ステレオ画像が短時間で表示される。このように、再生装置102は視点の変更の要求に対して短時間で応答するので、ユーザに与える不快感を低減することができる。 As described above, when the change of the viewpoint of the panoramic image is requested, the playback device 102 according to the first embodiment of the present invention first generates a substitute stereo image by scaling the stereo image seen from the viewpoint before the change. Next, the playback device 102 outputs a substitute stereo image until a panoramic image seen from the changed viewpoint is acquired and a new stereo image is generated. Since the subject of the alternative stereo image is larger in size than the subject of the stereo image seen from the viewpoint before the change, the viewpoint of the alternative stereo image seems to be closer to the subject than the viewpoint before the change. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be suppressed. The alternative stereo image is generated only by scaling the already generated frame pair. Therefore, the alternative stereo image generation process is sufficiently faster than the new stereo image generation process. Thereby, when a change of viewpoint is requested, the alternative stereo image is displayed on the screen 131 of the display device 103 in a short time. In this way, the playback device 102 responds to the request for changing the viewpoint in a short time, so that it is possible to reduce discomfort given to the user.
　［変形例］
　（A）実施形態１では、変更前後の視点間の距離Lを式（１）に代入して得られる倍率SRで、変更前の視点から見えるステレオ画像をスケーリングしたものが代替ステレオ画像として利用される。その他に、制御部402は、スケーリングの倍率を１から上記の倍率SRまで、所定の間隔で変化させる度に、レンダリング部374に、変更前の視点から見えるステレオ画像から代替ステレオ画像を繰り返し生成させてもよい。その場合、表示装置103の画面131を見る者には、画面131に表示されるステレオ画像の視点が徐々に変更後の視点へ移動しているように見える。従って、代替ステレオ画像の挿入がユーザに与える違和感を更に抑えることができる。 [Modification]
(A) In the first embodiment, the scaled SR obtained by substituting the distance L between the viewpoints before and after the change into the equation (1), and the scaled stereo image seen from the viewpoint before the change is used as the substitute stereo image. The In addition, the control unit 402 causes the rendering unit 374 to repeatedly generate a substitute stereo image from the stereo image that can be seen from the viewpoint before the change every time the scaling magnification is changed from 1 to the above-described magnification SR at a predetermined interval. May be. In that case, it seems to the viewer who views the screen 131 of the display device 103 that the viewpoint of the stereo image displayed on the screen 131 is gradually moving to the changed viewpoint. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be further suppressed.
　また、スケーリングの倍率は、式（１）で得られる倍率SRの他に、変更前後の視点間の距離Lに任意の比例定数を乗じた値として決定されてもよい。その倍率は、式（１）で得られる倍率SRよりも正確さには欠けても、より簡単な演算で求められる。 Further, the scaling factor may be determined as a value obtained by multiplying the distance L between the viewpoints before and after the change by an arbitrary proportional constant in addition to the magnification SR obtained by the equation (1). The magnification can be obtained by a simpler calculation even if it is less accurate than the magnification SR obtained by the equation (1).
　（B）実施形態１では、スケーリングされたステレオ画像がそのまま、代替ステレオ画像として出力される。その場合、その代替ステレオ画像では元のステレオ画像よりも視差値が拡大されるので、代替ステレオ画像の奥行き感が実際の風景の奥行きよりも強調される。それは、代替ステレオ画像を見る者に違和感を与える危険性がある。そこで、制御部402は、スケーリングの倍率SRが所定値よりも大きい場合、代替ステレオ画像の視差値を補正して、より自然な奥行き感が得られるようにしてもよい。具体的には、制御部402はまず、各フレームバッファ413、414に格納されたフレームからデプスマップを生成する。その場合、制御部402は、ステレオ・マッチング等、公知の手法を用いて、左目用フレームと右目用フレームとのそれぞれから、共通の画素データが位置する画素の座標を特定し、それらの座標の差をデプスマップの画素データとして設定する。制御部402は次に、そのデプスマップの各画素が表す奥行きを画面の奥行きに接近させる。制御部402は続いて、視差パノラマ画像生成部373に、そのデプスマップと左目用フレームとから右目用フレームを生成させる。こうして得られた左目用フレームと右目用フレームとの対が代替ステレオ画像として利用される。制御部402は、その他に、左目用フレームの各画素の座標を一律に左方向にシフトさせ、右目用フレームの各画素の座標を一律に右方向へシフトさせてもよい。その場合、代替ステレオ画像全体の奥行きが、視点から遠ざかる方向に変更されるので、特に画面よりも手前に見える物体の奥行き感が弱められる。 (B) In Embodiment 1, the scaled stereo image is output as it is as an alternative stereo image. In that case, since the parallax value of the alternative stereo image is larger than that of the original stereo image, the sense of depth of the alternative stereo image is emphasized more than the actual depth of the landscape. There is a risk of giving a strange feeling to those who view the alternative stereo image. Therefore, when the scaling factor SR is larger than a predetermined value, the control unit 402 may correct the parallax value of the alternative stereo image to obtain a more natural sense of depth. Specifically, the control unit 402 first generates a depth map from the frames stored in the frame buffers 413 and 414. In that case, the control unit 402 specifies the coordinates of the pixel where the common pixel data is located from each of the left-eye frame and the right-eye frame using a known method such as stereo matching, and The difference is set as the pixel data of the depth map. Next, the control unit 402 causes the depth represented by each pixel of the depth map to approach the depth of the screen. Subsequently, the control unit 402 causes the parallax panoramic image generation unit 373 to generate a right eye frame from the depth map and the left eye frame. A pair of the left-eye frame and the right-eye frame obtained in this way is used as an alternative stereo image. In addition, the control unit 402 may shift the coordinates of the pixels of the left-eye frame uniformly in the left direction and shift the coordinates of the pixels of the right-eye frame uniformly in the right direction. In that case, since the depth of the entire alternative stereo image is changed in a direction away from the viewpoint, the sense of depth of an object that is visible in front of the screen is particularly weakened.
　（C）実施形態１では、代替ステレオ画像の生成時、制御部402はレンダリング部374に、各フレームバッファ413、414に格納されたフレーム対をスケーリングさせる。制御部402はその他に、描画部370に左目用テクスチャとデプスマップとをスケーリングさせて、視差パノラマ画像生成部373にスケーリング後の左目用テクスチャとデプスマップとから右目用テクスチャを生成させてもよい。その場合、代替ステレオ画像は、スケーリング後の左目用テクスチャと右目用テクスチャとの中から、所定の視方向の領域を抽出することで得られる。尚、左目用テクスチャとデプスマップとはメルカトル図法で表現されているので、スケーリング後のテクスチャが球面モデルに投影された場合、極付近に大きな歪みが生じる。従って、制御部402はレンダリング部374に、左目用フレームと右目用フレームとのそれぞれの上端部と下端部とにぼかし処理を加える。それにより、歪みが見えにくくなるので、代替ステレオ画像を見る者に与える違和感を低減させることができる。 (C) In the first embodiment, when generating the substitute stereo image, the control unit 402 causes the rendering unit 374 to scale the frame pairs stored in the frame buffers 413 and 414, respectively. In addition, the control unit 402 may cause the drawing unit 370 to scale the left-eye texture and the depth map, and cause the parallax panoramic image generation unit 373 to generate the right-eye texture from the scaled left-eye texture and depth map. . In this case, an alternative stereo image is obtained by extracting a region in a predetermined viewing direction from the scaled left-eye texture and right-eye texture. Since the left-eye texture and the depth map are expressed by the Mercator projection, when the scaled texture is projected onto the spherical model, a large distortion occurs in the vicinity of the pole. Therefore, the control unit 402 applies blurring processing to the rendering unit 374 on the upper end portion and the lower end portion of the left eye frame and the right eye frame, respectively. This makes it difficult to see the distortion, thereby reducing the uncomfortable feeling given to the viewer of the alternative stereo image.
　（D）図１では、再生装置102が表示装置103から独立している。その他に、再生装置102が表示装置103に組み込まれていてもよい。また、再生装置102のうち、図４に示されているストリートビューに関する画像処理に利用される機能部だけが表示装置103に実装されていてもよい。 (D) In FIG. 1, the playback device 102 is independent of the display device 103. In addition, the playback device 102 may be incorporated in the display device 103. Further, only the functional unit used for the image processing related to the street view shown in FIG. 4 in the playback device 102 may be mounted on the display device 103.
　（E）描画部370の要素371～374は、複数のチップに分離されていてもよい。また、デコーダ371とレンダリング部374として、３Ｄ映像の再生に利用されるデコーダとレンダリング部とが兼用されてもよい。 (E) The elements 371 to 374 of the drawing unit 370 may be separated into a plurality of chips. In addition, as the decoder 371 and the rendering unit 374, a decoder and a rendering unit that are used for reproducing 3D video may be combined.
　（F）図９では、ステップＳ９０２の後にステップＳ９０３が続いている。しかし、ステップＳ９０２とステップＳ９０３とは並列に実行されてもよい。 (F) In FIG. 9, step S902 is followed by step S903. However, step S902 and step S903 may be executed in parallel.
　《実施形態２》
　本発明の実施形態２による再生装置は、実施形態１による再生装置とは、代替ステレオ画像の生成方法が異なる。構成等、その他の特徴については、実施形態２による再生装置は実施形態１による再生装置と同様である。同様な構成要素の詳細は、実施形態１についての説明を援用する。 << Embodiment 2 >>
The playback device according to the second embodiment of the present invention differs from the playback device according to the first embodiment in a method of generating an alternative stereo image. Regarding other features such as configuration, the playback device according to the second embodiment is the same as the playback device according to the first embodiment. For the details of the similar components, the description of the first embodiment is cited.
　ストリートビューにおいて視点が被写体に接近するように変更される場合、変更後の視点は変更前の視点よりもその被写体に近い。そこで、実施形態２では、変更前の視点から見えるステレオ画像に写る物体の奥行きが視点に接近するように、そのステレオ画像の視差値が増減される。その結果、得られたステレオ画像が代替ステレオ画像として利用される。 When the viewpoint is changed so as to approach the subject in Street View, the viewpoint after the change is closer to the subject than the viewpoint before the change. Therefore, in the second embodiment, the parallax value of the stereo image is increased or decreased so that the depth of the object shown in the stereo image seen from the viewpoint before the change approaches the viewpoint. As a result, the obtained stereo image is used as a substitute stereo image.
　図１４の（ａ）は、変更前の視点から見える右目用フレームの画像を表す模式図である。図１４の（ａ）を参照するに、その画像には球1401と柱1402とが写っている。球1401の奥行きは画面よりも手前であり、柱1402の奥行きは画面よりも奥である。図１４の（ａ）には、変更前の視点から見える左目用フレームにおける球1403と柱1404との位置が破線で示されている。図１４の（ａ）に矢印で示されているように、右目用フレームにおける球1401は左目用フレームにおける球1403よりも第１視差値HL1だけ左に位置し、右目用フレームにおける柱1402は左目用フレームにおける柱1404よりも第２視差値HR1だけ右に位置している。この場合において、ユーザが、視点を球1401と柱1402とに接近させるように指示したとする。制御部402は、ＵＯモジュール330からの信号がその指示を表すとき、レンダリング部374に右目用フレームの画素の座標を一律に左方向にシフトさせる。その結果、得られた右目用フレームが左目用フレームと共に、代替ステレオ画像として利用される。 FIG. 14A is a schematic diagram showing an image of the right-eye frame that can be seen from the viewpoint before the change. Referring to FIG. 14A, the image includes a sphere 1401 and a column 1402. The depth of the sphere 1401 is in front of the screen, and the depth of the pillar 1402 is inward of the screen. In FIG. 14A, the positions of the sphere 1403 and the pillar 1404 in the left-eye frame that can be seen from the viewpoint before the change are indicated by broken lines. As indicated by an arrow in FIG. 14A, the sphere 1401 in the right eye frame is positioned to the left by the first parallax value HL1 relative to the sphere 1403 in the left eye frame, and the column 1402 in the right eye frame is the left eye. The second disparity value HR1 is positioned to the right of the pillar 1404 in the work frame. In this case, it is assumed that the user instructs the viewpoint to approach the sphere 1401 and the pillar 1402. When the signal from the UO module 330 represents the instruction, the control unit 402 causes the rendering unit 374 to shift the coordinates of the pixels of the right-eye frame uniformly in the left direction. As a result, the obtained right-eye frame is used as a substitute stereo image together with the left-eye frame.
　図１４の（ｂ）は、代替ステレオ画像の右目用フレームの画像を表す模式図である。図１４の（ｂ）には、左目用フレームにおける球1403と柱1404との位置が破線で示されている。図１４の（ｂ）に細い矢印で示されているように、右目用フレームにおける球1405は左目用フレームにおける球1403よりも第３視差値HL2だけ左に位置し、右目用フレームにおける柱1406は左目用フレームにおける柱1404よりも第４視差値HR2だけ右に位置している。図１４の（ｂ）に太い矢印で示されているように、第３視差値HL2は第１視差値HL1よりも差ΔHだけ大きく、第４視差値HR2は第２視差値HR1よりも差ΔHだけ小さい。制御部402は変更前後の視点間の距離から視差値の増減量ΔHを決定する。それにより、代替ステレオ画像における球と柱とは、変更前の視点から見えるステレオ画像における球と柱とよりも、変更前後の視点間の距離だけ視点に近い位置に見える。その結果、代替ステレオ画像を見る者には、視点が変更前の視点よりも球と柱とに接近したように見える。 (B) of FIG. 14 is a schematic diagram showing an image of the right-eye frame of the alternative stereo image. In FIG. 14B, the positions of the sphere 1403 and the pillar 1404 in the left eye frame are indicated by broken lines. As shown by a thin arrow in FIG. 14B, the sphere 1405 in the right eye frame is positioned to the left by the third parallax value HL2 from the sphere 1403 in the left eye frame, and the column 1406 in the right eye frame is The fourth parallax value HR2 is positioned to the right of the pillar 1404 in the left eye frame. As indicated by a thick arrow in FIG. 14B, the third parallax value HL2 is larger than the first parallax value HL1 by a difference ΔH, and the fourth parallax value HR2 is different from the second parallax value HR1 by a difference ΔH. Only small. The control unit 402 determines the increase / decrease amount ΔH of the parallax value from the distance between the viewpoints before and after the change. Thereby, the sphere and the column in the alternative stereo image appear closer to the viewpoint by the distance between the viewpoints before and after the change than the sphere and the column in the stereo image viewed from the viewpoint before the change. As a result, for the viewer who sees the alternative stereo image, the viewpoint appears to be closer to the sphere and the column than the viewpoint before the change.
　代替ステレオ画像は、右目用フレームバッファ414に既に格納されている右目用フレームを加工するだけで生成可能である。従って、変更後の視点から見えるパノラマ画像について、図９に示されているステップＳ９０１～Ｓ９０７の処理が完了するよりも十分に早く、代替ステレオ画像が生成される。それ故、その処理の待ち時間中に、その代替ステレオ画像を画面131に表示することができる。 The alternative stereo image can be generated simply by processing the right eye frame already stored in the right eye frame buffer 414. Therefore, for the panoramic image that can be seen from the changed viewpoint, an alternative stereo image is generated sufficiently earlier than the processing of steps S901 to S907 shown in FIG. 9 is completed. Therefore, the alternative stereo image can be displayed on the screen 131 during the waiting time of the processing.
　図１５は、図１０に示されているステップＳ１００７における代替ステレオ画像の生成処理のフローチャートである。実施形態２では、上記のとおり、右目用フレームバッファ414に既に格納されている右目用フレームの画素の座標がシフトすることによって、代替ステレオ画像が生成される。 FIG. 15 is a flowchart of the alternative stereo image generation process in step S1007 shown in FIG. In the second embodiment, as described above, the substitute stereo image is generated by shifting the coordinates of the pixels of the right-eye frame already stored in the right-eye frame buffer 414.
　ステップＳ１５０１では、図１３に示されているステップＳ１３０１と同様に、制御部402が変更前後の各視点の緯度と経度とを求める。その後、処理はステップＳ１５０２へ進む。 In step S1501, as in step S1301 shown in FIG. 13, the control unit 402 obtains the latitude and longitude of each viewpoint before and after the change. Thereafter, the process proceeds to step S1502.
　ステップＳ１５０２では、図１３に示されているステップＳ１３０２と同様に、制御部402が、ステップＳ１５０１で求めた緯度と経度とを式（２）に代入することにより、変更前の視点と変更後の視点との間の距離を求める。その後、処理はステップＳ１５０３へ進む。 In step S1502, similarly to step S1302 shown in FIG. 13, the control unit 402 substitutes the latitude and longitude obtained in step S1501 into equation (2), so that the viewpoint before the change and the post-change viewpoint are changed. Find the distance to the viewpoint. Thereafter, processing proceeds to step S1503.
　ステップＳ１５０３では、制御部402は、ステップＳ１５０２で求めた距離から、代替ステレオ画像の視差値の増減量ΔH、すなわち、右目用フレームの画素の座標を一律にシフトさせる画素数を求める。その後、処理はステップＳ１５０４へ進む。 In step S1503, the control unit 402 obtains the increase / decrease amount ΔH of the parallax value of the alternative stereo image, that is, the number of pixels by which the coordinates of the pixels of the right-eye frame are uniformly shifted from the distance obtained in step S1502. Thereafter, processing proceeds to step S1504.
　ステップＳ１５０４では、制御部402はレンダリング部374に、右目用フレームの画素の座標を視差値の増減量ΔHだけ左方向にシフトさせる。具体的には、レンダリング部374はまず、右目用フレームバッファ414から右目用フレームを読み出す。レンダリング部374は次に、各画素の座標が、ステップＳ１５０３で求められた増減量ΔHだけ左方向にシフトするように、右目用フレームを右目用フレームバッファ414に上書きする。その後、処理はステップＳ１５０５へ進む。 In step S1504, the control unit 402 causes the rendering unit 374 to shift the coordinates of the pixel of the right eye frame to the left by the increase / decrease amount ΔH of the parallax value. Specifically, the rendering unit 374 first reads the right eye frame from the right eye frame buffer 414. Next, the rendering unit 374 overwrites the right-eye frame in the right-eye frame buffer 414 so that the coordinates of each pixel are shifted leftward by the increase / decrease amount ΔH obtained in step S1503. Thereafter, processing proceeds to step S1505.
　ステップＳ１５０５では、出力部380が、まず、左目用フレームバッファ413から左目用フレームを読み出し、右目用フレームバッファ414から右目用フレームを読み出す。出力部380は次に、読み出されたフレームの対をＨＤＭＩ方式のシリアル信号に多重化して、そのシリアル信号を表示装置103へ出力する。こうして、変更前の視点から見えるステレオ画像の視差値が変更されて、代替ステレオ画像として表示装置103の画面131に表示される。代替ステレオ画像が画面131に表示されている間に、変更後の視点から見えるパノラマ画像についての処理が、図９に示されているステップＳ９０１から繰り返される。 In step S1505, the output unit 380 first reads the left-eye frame from the left-eye frame buffer 413 and reads the right-eye frame from the right-eye frame buffer 414. Next, the output unit 380 multiplexes the read frame pair into an HDMI serial signal and outputs the serial signal to the display device 103. In this way, the parallax value of the stereo image seen from the viewpoint before the change is changed and displayed on the screen 131 of the display device 103 as an alternative stereo image. While the alternative stereo image is displayed on the screen 131, the process for the panoramic image seen from the changed viewpoint is repeated from step S901 shown in FIG.
　上記の説明では、視点が被写体に接近するように変更される。すなわち、視線がアバター202の方向で変更される。一方、視点がアバター202の方向とは逆に、すなわち、表示装置103の画面131に映る物体から遠ざかるように変更される場合、右目用フレームの画素の座標が一律に右方向にシフトされてもよい。それにより、被写体が、変更前の視点から見えるステレオ画像に写るものよりも、奥に移動したように見える。その他に、視点がアバター202の方向とは異なる方向に変更される場合、ステレオ画像が一旦、変更前の視点から、視点が変更される方向を見たときのステレオ画像に変更され、その後、そのステレオ画像の視差値を増減したものが代替ステレオ画像として利用されてもよい。 In the above description, the viewpoint is changed so as to approach the subject. That is, the line of sight is changed in the direction of the avatar 202. On the other hand, when the viewpoint is changed in the direction opposite to the direction of the avatar 202, that is, when the viewpoint is changed so as to move away from the object displayed on the screen 131 of the display device 103, the coordinates of the pixels of the right-eye frame are uniformly shifted to the right. Good. As a result, the subject appears to have moved to the back rather than the stereo image seen from the viewpoint before the change. In addition, when the viewpoint is changed in a direction different from the direction of the avatar 202, the stereo image is temporarily changed from the viewpoint before the change to the stereo image when the direction in which the viewpoint is changed is viewed. A stereo image obtained by increasing or decreasing the parallax value may be used as an alternative stereo image.
　本発明の実施形態２による再生装置102は、上記のとおり、パノラマ画像の視点の変更が要求されたとき、まず、変更前の視点から見えるステレオ画像の視差値を増減して代替ステレオ画像を生成する。再生装置102は、次に、変更後の視点から見えるパノラマ画像が取得されて新たなステレオ画像が生成されるまで、代替ステレオ画像を出力する。代替ステレオ画像の被写体は、変更前の視点から見えるステレオ画像の被写体よりも手前に位置するように見える。従って、代替ステレオ画像の挿入がユーザに与える違和感を抑えることができる。また、代替ステレオ画像は、既に生成済みのフレームの一方について画素の座標をシフトさせるだけで生成される。従って、代替ステレオ画像の生成処理は新たなステレオ画像の生成処理よりも十分に速い。それにより、視点の変更が要求されたとき、表示装置103の画面131には代替ステレオ画像が短時間で表示される。このように、再生装置102は視点の変更の要求に対して短時間で応答するので、ユーザに与える不快感を低減することができる。 As described above, when the change of the viewpoint of the panoramic image is requested, the playback device 102 according to the second embodiment of the present invention first generates an alternative stereo image by increasing or decreasing the parallax value of the stereo image seen from the viewpoint before the change. To do. Next, the playback device 102 outputs a substitute stereo image until a panoramic image seen from the changed viewpoint is acquired and a new stereo image is generated. The subject of the alternative stereo image appears to be positioned in front of the subject of the stereo image seen from the viewpoint before the change. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be suppressed. In addition, the alternative stereo image is generated only by shifting the pixel coordinates for one of the already generated frames. Therefore, the alternative stereo image generation process is sufficiently faster than the new stereo image generation process. Thereby, when a change of viewpoint is requested, the alternative stereo image is displayed on the screen 131 of the display device 103 in a short time. In this way, the playback device 102 responds to the request for changing the viewpoint in a short time, so that it is possible to reduce discomfort given to the user.
　実施形態２では、変更前後の視点間の距離から得られる視差値の増減量ΔHだけ、右目用フレームの画素の座標を左方向にシフトさせたものが、代替ステレオ画像の右目用フレームとして利用される。その他に、制御部402は、視差値の増減量を０から上記の増減量ΔHまで、所定の間隔で変化させる度に、レンダリング部374に、変更前の視点から見えるステレオ画像から代替ステレオ画像を繰り返し生成させてもよい。その場合、表示装置103の画面131を見る者には、画面131に表示されるステレオ画像の視点が徐々に変更後の視点へ移動しているように見える。従って、代替ステレオ画像の挿入がユーザに与える違和感を更に抑えることができる。 In the second embodiment, the pixel coordinates of the right-eye frame shifted to the left by the amount of increase / decrease ΔH of the parallax value obtained from the distance between the viewpoints before and after the change are used as the right-eye frame of the alternative stereo image. The In addition, every time the control unit 402 changes the increase / decrease amount of the parallax value from 0 to the above increase / decrease amount ΔH at a predetermined interval, the control unit 402 causes the rendering unit 374 to substitute an alternative stereo image from the stereo image that can be seen from the viewpoint before the change. It may be generated repeatedly. In that case, it seems to the viewer who views the screen 131 of the display device 103 that the viewpoint of the stereo image displayed on the screen 131 is gradually moving to the changed viewpoint. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be further suppressed.
　《実施形態３》
　本発明の実施形態３による再生装置は、実施形態１による再生装置とは、代替ステレオ画像の生成方法が異なる。構成等、その他の特徴については、実施形態３による再生装置は実施形態１による再生装置と同様である。同様な構成要素の詳細は、実施形態１についての説明を援用する。 << Embodiment 3 >>
The playback device according to the third embodiment of the present invention differs from the playback device according to the first embodiment in a method for generating an alternative stereo image. Regarding other features such as configuration, the playback device according to the third embodiment is the same as the playback device according to the first embodiment. For the details of the similar components, the description of the first embodiment is cited.
　ストリートビューにおいて視点が被写体に接近するように変更される場合、変更後の視点は変更前の視点よりもその物体に近い。そこで、実施形態３では、制御部402がレンダリング部374に、球面モデル820に投影されたパノラマ画像を撮影する仮想カメラ830を、その球面モデル820の中心から視方向に移動させる。移動後の位置から仮想カメラ830によって撮影されたステレオ画像が代替ステレオ画像として利用される。 When the viewpoint is changed so as to approach the subject in the street view, the viewpoint after the change is closer to the object than the viewpoint before the change. Therefore, in the third embodiment, the control unit 402 causes the rendering unit 374 to move the virtual camera 830 that captures a panoramic image projected on the spherical model 820 from the center of the spherical model 820 in the viewing direction. A stereo image taken by the virtual camera 830 from the moved position is used as a substitute stereo image.
　図１６は、北極の方向から見える球面モデル820の内部を表す模式図である。図１６を参照するに、仮想カメラ830の初期位置は球面モデル820の中心CTRである。制御部402は、ＵＯモジュール330からの信号が視点の変更を示しているとき、レンダリング部374に仮想カメラ830を、中心CRTから視方向VDに向かって距離ΔDだけ移動させる。ここで、その距離ΔDは、制御部402により、変更前後の視点間の距離に比例する値に設定される。仮想カメラ830の移動に伴い、球面モデル820に投影されたパノラマ画像のうち、仮想カメラ830の画角に含まれる領域が狭められる。すなわち、移動後の仮想カメラ830の画角には、中心CRTに位置したときの仮想カメラ830の画角に含まれる領域A1のうち、その中心部A2のみが含まれる。 FIG. 16 is a schematic diagram showing the inside of the spherical model 820 seen from the north pole direction. Referring to FIG. 16, the initial position of virtual camera 830 is the center CTR of spherical model 820. When the signal from the UO module 330 indicates a change in viewpoint, the control unit 402 causes the rendering unit 374 to move the virtual camera 830 by a distance ΔD from the center CRT toward the viewing direction VD. Here, the distance ΔD is set by the control unit 402 to a value proportional to the distance between the viewpoints before and after the change. As the virtual camera 830 moves, the region included in the angle of view of the virtual camera 830 in the panoramic image projected onto the spherical model 820 is narrowed. That is, the angle of view of the virtual camera 830 after movement includes only the center portion A2 of the area A1 included in the angle of view of the virtual camera 830 when located at the center CRT.
　図１７は、レンダリング部374による仮想カメラの移動に伴うステレオ画像の変化を示す模式図である。各テクスチャ・メモリ411、412には、変更前の視点から見えるパノラマ画像と視差パノラマ画像とがそれぞれ、左目用テクスチャと右目用テクスチャとして格納されている。レンダリング部374は各テクスチャを再び、球面モデルに投影する。レンダリング部374は続いて、仮想カメラを移動後の位置から視方向に向け、球面モデルに投影されたパノラマ画像をその仮想カメラで撮影した際の画像を計算する。図１６に示されているように、仮想カメラ830の移動に伴い、仮想カメラ830で撮影されるパノラマ画像の範囲は、領域A1からその中心部A2へと変化する。従って、移動前の仮想カメラで撮影されたステレオ画像A1では、図１７に破線で示されている中心部A2に相当する領域が、移動後の仮想カメラで撮影されたステレオ画像A3として生成される。このステレオ画像A3が各フレームバッファ413、414に上書きされ、代替ステレオ画像として利用される。図１７に示されているように、代替ステレオ画像A3に映る物体1701は、元のステレオ画像A1に写る物体1702よりもサイズが大きい。その結果、画面131を見ている者には、視点がその物体に接近しているように見える。 FIG. 17 is a schematic diagram showing a change in the stereo image accompanying the movement of the virtual camera by the rendering unit 374. In each of the texture memories 411 and 412, a panorama image and a parallax panorama image that can be seen from the viewpoint before the change are stored as a left-eye texture and a right-eye texture, respectively. The rendering unit 374 projects each texture onto the spherical model again. Next, the rendering unit 374 directs the virtual camera from the moved position to the viewing direction, and calculates an image when the panoramic image projected on the spherical model is captured by the virtual camera. As shown in FIG. 16, with the movement of the virtual camera 830, the range of the panoramic image captured by the virtual camera 830 changes from the area A1 to the center A2. Accordingly, in the stereo image A1 captured by the virtual camera before movement, an area corresponding to the central portion A2 indicated by the broken line in FIG. 17 is generated as the stereo image A3 captured by the virtual camera after movement. . The stereo image A3 is overwritten in the frame buffers 413 and 414 and used as a substitute stereo image. As shown in FIG. 17, the object 1701 shown in the alternative stereo image A3 is larger in size than the object 1702 shown in the original stereo image A1. As a result, for the person who is viewing the screen 131, the viewpoint appears to approach the object.
　代替ステレオ画像は、各テクスチャ・メモリ411、412に既に格納されているテクスチャ対を加工するだけで生成可能である。従って、変更後の視点から見えるパノラマ画像について、図９に示されているステップＳ９０１～Ｓ９０７の処理が完了するよりも十分に早く、代替ステレオ画像が生成される。それ故、その処理の待ち時間中に、その代替ステレオ画像を画面131に表示することができる。 An alternative stereo image can be generated simply by processing a texture pair already stored in the texture memories 411 and 412. Therefore, for the panoramic image that can be seen from the changed viewpoint, an alternative stereo image is generated sufficiently earlier than the processing of steps S901 to S907 shown in FIG. 9 is completed. Therefore, the alternative stereo image can be displayed on the screen 131 during the waiting time of the processing.
　図１８は、図１０に示されているステップＳ１００７における代替ステレオ画像の生成処理のフローチャートである。実施形態３では、上記のとおり、各テクスチャ・メモリ411、412に既に格納されている各テクスチャからステレオ画像を再び生成することによって、代替ステレオ画像が生成される。 FIG. 18 is a flowchart of an alternative stereo image generation process in step S1007 shown in FIG. In the third embodiment, as described above, an alternative stereo image is generated by generating a stereo image again from each texture already stored in each texture memory 411, 412.
　ステップＳ１８０１では、図１３に示されているステップＳ１３０１と同様に、制御部402が変更前後の各視点の緯度と経度とを求める。その後、処理はステップＳ１８０２へ進む。 In step S1801, as in step S1301 shown in FIG. 13, the control unit 402 obtains the latitude and longitude of each viewpoint before and after the change. Thereafter, processing proceeds to step S1802.
　ステップＳ１８０２では、図１３に示されているステップＳ１３０２と同様に、制御部402が、ステップＳ１５０１で求めた緯度と経度とを式（２）に代入することにより、変更前の視点と変更後の視点との間の距離を求める。その後、処理はステップＳ１８０３へ進む。 In step S1802, similarly to step S1302 shown in FIG. 13, the control unit 402 substitutes the latitude and longitude obtained in step S1501 into equation (2), so that the viewpoint before the change and the post-change viewpoint are changed. Find the distance to the viewpoint. Thereafter, processing proceeds to step S1803.
　ステップＳ１８０３では、制御部402はレンダリング部374に仮想カメラ830を、図１６に示されているように、球面モデル820の中心CTRから視方向VDに向けて、ステップＳ１８０２で求めた距離ΔDだけ移動させる。それに伴い、球面モデル820に投影されたパノラマ画像のうち、仮想カメラ830の画角に含まれる範囲は、図１６に示されているように、領域A1からその中心部A2へと変化する。その後、処理はステップＳ１８０４へ進む。 In step S1803, the control unit 402 moves the virtual camera 830 to the rendering unit 374 by the distance ΔD obtained in step S1802 from the center CTR of the spherical model 820 toward the viewing direction VD as shown in FIG. Let Accordingly, the range included in the angle of view of the virtual camera 830 in the panoramic image projected on the spherical model 820 changes from the area A1 to the center A2 as shown in FIG. Thereafter, processing proceeds to step S1804.
　ステップＳ１８０４では、制御部402はレンダリング部374に、左目用フレームを、移動後の仮想カメラ830で撮影される画像に変換させる。具体的には、レンダリング部374はまず、左目用テクスチャ・メモリ411から左目用テクスチャを読み出す。レンダリング部374は次に、左目用テクスチャを球面モデルに投影し、その投影された左目用テクスチャを移動後の仮想カメラで撮影した際の画像を計算する。レンダリング部374は更に、その計算で得られた画像を新たな左目用フレームとして左目用フレームバッファ413に上書きする。その後、処理はステップＳ１８０５へ進む。 In step S1804, the control unit 402 causes the rendering unit 374 to convert the left-eye frame into an image photographed by the virtual camera 830 after movement. Specifically, the rendering unit 374 first reads the left eye texture from the left eye texture memory 411. Next, the rendering unit 374 projects the left-eye texture onto the spherical model, and calculates an image when the projected left-eye texture is captured by the moved virtual camera. The rendering unit 374 further overwrites the image obtained by the calculation in the left-eye frame buffer 413 as a new left-eye frame. Thereafter, processing proceeds to step S1805.
　ステップＳ１８０５では、制御部402はレンダリング部374に、右目用フレームを、移動後の仮想カメラ830で撮影される画像に変換させる。具体的には、レンダリング部374はまず、右目用テクスチャ・メモリ412から右目用テクスチャを読み出す。レンダリング部374は次に、右目用テクスチャを球面モデルに投影し、その投影された右目用テクスチャを移動後の仮想カメラで撮影した際の画像を計算する。レンダリング部374は更に、その計算で得られた画像を新たな右目用フレームとして右目用フレームバッファ414に上書きする。その後、処理はステップＳ１８０６へ進む。 In step S1805, the control unit 402 causes the rendering unit 374 to convert the right-eye frame into an image captured by the virtual camera 830 after movement. Specifically, the rendering unit 374 first reads the right eye texture from the right eye texture memory 412. Next, the rendering unit 374 projects the right-eye texture onto the spherical model, and calculates an image when the projected right-eye texture is captured by the moved virtual camera. The rendering unit 374 further overwrites the right-eye frame buffer 414 with the image obtained by the calculation as a new right-eye frame. Thereafter, processing proceeds to step S1806.
　ステップＳ１８０６では、出力部380が、まず、左目用フレームバッファ413から左目用フレームを読み出し、右目用フレームバッファ414から右目用フレームを読み出す。出力部380は次に、読み出されたフレームの対をＨＤＭＩ方式のシリアル信号に多重化して、そのシリアル信号を表示装置103へ出力する。こうして、変更前の視点から見えるステレオ画像の中心部が拡大されて、代替ステレオ画像として表示装置103の画面131に表示される。代替ステレオ画像が画面131に表示されている間に、変更後の視点から見えるパノラマ画像についての処理が、図９に示されているステップＳ９０１から繰り返される。 In step S1806, the output unit 380 first reads the left-eye frame from the left-eye frame buffer 413 and reads the right-eye frame from the right-eye frame buffer 414. Next, the output unit 380 multiplexes the read frame pair into an HDMI serial signal and outputs the serial signal to the display device 103. In this way, the center portion of the stereo image seen from the viewpoint before the change is enlarged and displayed on the screen 131 of the display device 103 as an alternative stereo image. While the alternative stereo image is displayed on the screen 131, the process for the panoramic image seen from the changed viewpoint is repeated from step S901 shown in FIG.
　上記の説明では、視点が被写体に接近するように変更される。すなわち、視線がアバター202の方向で変更される。一方、視点がアバター202の方向とは逆に、すなわち、表示装置103の画面131に映る物体から遠ざかるように変更される場合、制御部402はレンダリング部374に仮想カメラ830を、球面モデル820の中心CTRから視方向VDとは逆方向に移動させてもよい。その移動に伴い、球面モデル820に投影されたパノラマ画像のうち、仮想カメラ830の画角に含まれる領域が拡がる。レンダリング部374は、左目用テクスチャと右目用テクスチャとのうち、移動後の仮想カメラ830の画角に含まれる領域をフレーム対に変換することで代替ステレオ画像を生成する。それにより、代替ステレオ画像では、被写体が、変更前の視点から見えるステレオ画像に写るものよりも、奥に移動したように見える。その他に、視点がアバター202の方向とは異なる方向に変更される場合、ステレオ画像が一旦、変更前の視点から、視点が変更される方向を見たときのステレオ画像に変更されてもよい。その後、レンダリング部は、視点が変更される方向に仮想カメラを移動させてパノラマ画像を撮影し直す。その結果、得られたステレオ画像が代替ステレオ画像として利用されてもよい。 In the above description, the viewpoint is changed so as to approach the subject. That is, the line of sight is changed in the direction of the avatar 202. On the other hand, when the viewpoint is changed in the direction opposite to the direction of the avatar 202, that is, when the viewpoint is changed so as to move away from the object reflected on the screen 131 of the display device 103, the control unit 402 causes the rendering unit 374 to display the virtual camera 830 and You may move from the center CTR in the direction opposite to the viewing direction VD. Along with the movement, an area included in the angle of view of the virtual camera 830 is expanded in the panoramic image projected on the spherical model 820. The rendering unit 374 generates an alternative stereo image by converting a region included in the angle of view of the virtual camera 830 after the movement from the left-eye texture and the right-eye texture into a frame pair. Thereby, in the alternative stereo image, it appears that the subject has moved to the back rather than the stereo image seen from the viewpoint before the change. In addition, when the viewpoint is changed in a direction different from the direction of the avatar 202, the stereo image may be changed from the viewpoint before the change to a stereo image when the direction in which the viewpoint is changed is viewed. Thereafter, the rendering unit moves the virtual camera in the direction in which the viewpoint is changed, and recaptures the panoramic image. As a result, the obtained stereo image may be used as a substitute stereo image.
　本発明の実施形態３による再生装置102は、上記のとおり、パノラマ画像の視点の変更が要求されたとき、まず、仮想カメラ830を球面モデル820の中心CTRから移動させることによって、変更前の視点から見えるステレオ画像を代替ステレオ画像に変換する。再生装置102は、次に、変更後の視点から見えるパノラマ画像が取得されて新たなステレオ画像が生成されるまで、代替ステレオ画像を出力する。代替ステレオ画像の被写体は、変更前の視点から見えるステレオ画像の被写体よりもサイズが拡大されているので、代替ステレオ画像の視点が変更前の視点よりも被写体に接近しているように見える。従って、代替ステレオ画像の挿入がユーザに与える違和感を抑えることができる。また、代替ステレオ画像は、既に生成済みのテクスチャ対から生成される。従って、代替ステレオ画像の生成処理は新たなステレオ画像の生成処理よりも十分に速い。それにより、視点の変更が要求されたとき、表示装置103の画面131には代替ステレオ画像が短時間で表示される。このように、再生装置102は視点の変更の要求に対して短時間で応答するので、ユーザに与える不快感を低減することができる。 As described above, the playback device 102 according to the third embodiment of the present invention first moves the virtual camera 830 from the center CTR of the spherical model 820 when the change of the viewpoint of the panoramic image is requested. The stereo image that can be seen from is converted into a substitute stereo image. Next, the playback device 102 outputs a substitute stereo image until a panoramic image seen from the changed viewpoint is acquired and a new stereo image is generated. Since the subject of the alternative stereo image is larger in size than the subject of the stereo image seen from the viewpoint before the change, the viewpoint of the alternative stereo image seems to be closer to the subject than the viewpoint before the change. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be suppressed. The alternative stereo image is generated from the already generated texture pair. Therefore, the alternative stereo image generation process is sufficiently faster than the new stereo image generation process. Thereby, when a change of viewpoint is requested, the alternative stereo image is displayed on the screen 131 of the display device 103 in a short time. In this way, the playback device 102 responds to the request for changing the viewpoint in a short time, so that it is possible to reduce discomfort given to the user.
　実施形態３では、仮想カメラ830を変更前後の視点間の距離だけ移動させて生成された代替ステレオ画像が利用される。その他に、制御部402は、仮想カメラ830の変位量を０から変更前後の視点間の距離まで、所定の間隔で変化させる度に、レンダリング部374に、変更前の視点から見えるパノラマ画像から代替ステレオ画像を繰り返し生成させてもよい。その場合、表示装置103の画面131を見る者には、画面131に表示されるステレオ画像の視点が徐々に変更後の視点へ移動しているように見える。従って、代替ステレオ画像の挿入がユーザに与える違和感を更に抑えることができる。 In the third embodiment, an alternative stereo image generated by moving the virtual camera 830 by the distance between the viewpoints before and after the change is used. In addition, every time the control unit 402 changes the displacement of the virtual camera 830 from 0 to the distance between the viewpoints before and after the change at a predetermined interval, the control unit 402 substitutes the rendering unit 374 for a panoramic image that can be seen from the viewpoint before the change. Stereo images may be repeatedly generated. In that case, it seems to the viewer who views the screen 131 of the display device 103 that the viewpoint of the stereo image displayed on the screen 131 is gradually moving to the changed viewpoint. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be further suppressed.
　《実施形態４》
　本発明の実施形態４による再生装置は、実施形態１による再生装置とは、代替ステレオ画像の生成方法が異なる。構成等、その他の特徴については、実施形態４による再生装置は実施形態１による再生装置と同様である。同様な構成要素の詳細は、実施形態１についての説明を援用する。 << Embodiment 4 >>
The playback apparatus according to the fourth embodiment of the present invention differs from the playback apparatus according to the first embodiment in a method for generating an alternative stereo image. Regarding other features such as configuration, the playback device according to the fourth embodiment is the same as the playback device according to the first embodiment. For the details of the similar components, the description of the first embodiment is cited.
　ストリートビューにおいて、ユーザが視点の変更を指示した場合、図９に示されているステップＳ９０１～Ｓ９０７の処理が繰り返される。この処理に数秒～数十秒の時間が必要であるのは、主に、ストリートビュー情報に含まれる圧縮パノラマ画像のデータ量が膨大だからである。そこで、実施形態４では、１つの視点について、本来の解像度のパノラマ画像に加えて、その解像度よりも低い解像度のパノラマ画像（以下、低解像度パノラマ画像という。）がサーバ106に準備される。例えば、パノラマ画像の解像度が３５８４画素×１５３６画素である場合、低解像度パノラマ画像の解像度は３５８４／２画素×１５３６／２画素＝１７９２画素×７６８画素に設定される。ユーザが視点の変更を指示した場合、本来の解像度のパノラマ画像についてステップＳ９０１～Ｓ９０７の処理が行われるよりも先に、低解像度パノラマ画像について同様の処理が行われる。低解像度パノラマ画像は本来の解像度のパノラマ画像よりもデータ量が小さいので、上記の処理は十分に早く終了する。従って、低解像度パノラマ画像から変換されたステレオ画像を代替ステレオ画像として利用することができる。 In the street view, when the user instructs to change the viewpoint, the processes of steps S901 to S907 shown in FIG. 9 are repeated. The reason why this processing requires several seconds to several tens of seconds is mainly because the data amount of the compressed panoramic image included in the street view information is enormous. Therefore, in the fourth embodiment, for one viewpoint, in addition to the panorama image having the original resolution, a panorama image having a resolution lower than that resolution (hereinafter referred to as a low-resolution panorama image) is prepared in the server 106. For example, when the resolution of the panorama image is 3584 pixels × 1536 pixels, the resolution of the low-resolution panorama image is set to 3584/2 pixels × 1536/2 pixels = 1792 pixels × 768 pixels. When the user instructs to change the viewpoint, the same processing is performed for the low-resolution panoramic image before the processing of steps S901 to S907 is performed for the original resolution panoramic image. Since the low-resolution panoramic image has a smaller amount of data than the original resolution panoramic image, the above processing ends sufficiently early. Therefore, a stereo image converted from a low-resolution panoramic image can be used as an alternative stereo image.
　低解像度パノラマ画像は、本来の解像度のパノラマ画像と同様に、ストリートビュー情報に組み込まれてサーバ106から再生装置102へダウンロードされる。図１９は、低解像度パノラマ画像が組み込まれたストリートビュー情報（以下、低解像度ストリートビュー情報という。）のデータ構造を示す表である。低解像度ストリートビュー情報は、図５に示されているストリートビュー情報と同様に、ＩＤ、サイズ、緯度、経度、標高、方角、及び傾斜を含む。一方、低解像度ストリートビュー情報は、図５に示されているストリートビュー情報とは異なり、圧縮パノラマ画像と圧縮パノラマ・デプスとに代えて、低解像度圧縮パノラマ画像1901と低解像度圧縮パノラマ・デプス1902とを含む。項目「低解像度圧縮パノラマ画像」1901は、ＪＰＥＧ形式で圧縮された画像データであり、ＩＤが割り当てられた地点を視点とする低解像度パノラマ画像を表す。項目「低解像度圧縮パノラマ・デプス」1902は、ＰＮＧ形式で圧縮された画像データであり、低解像度圧縮パノラマ画像1901の奥行き情報、すなわち、低解像度パノラマ画像に写る建物の壁又は路面等の物体の奥行きを画素単位で表す。 The low-resolution panorama image is incorporated into the street view information and downloaded from the server 106 to the playback device 102 in the same manner as the original resolution panorama image. FIG. 19 is a table showing a data structure of street view information (hereinafter referred to as low resolution street view information) in which a low resolution panoramic image is incorporated. The low-resolution street view information includes ID, size, latitude, longitude, altitude, direction, and slope, like the street view information shown in FIG. On the other hand, unlike the street view information shown in FIG. 5, the low resolution street view information is replaced with the low resolution compressed panorama image 1901 and the low resolution compressed panorama depth 1902 instead of the compressed panorama image and the compressed panorama depth. Including. The item “low-resolution compressed panoramic image” 1901 is image data compressed in JPEG format, and represents a low-resolution panoramic image with a point assigned with an ID as a viewpoint. The item “low-resolution compressed panorama depth” 1902 is image data compressed in PNG format, and depth information of the low-resolution compressed panoramic image 1901, that is, an object such as a building wall or road surface reflected in the low-resolution panoramic image. Depth is expressed in pixels.
　図２０は、図１０に示されているステップＳ１００７における代替ステレオ画像の生成処理のフローチャートである。実施形態４では、上記のとおり、低解像度パノラマ画像から代替ステレオ画像が生成される。図２０に示されている処理は、ユーザがリモコン105を操作して、ストリートビューにおける視点の変更を再生装置102に指示したときに開始される。 FIG. 20 is a flowchart of the alternative stereo image generation process in step S1007 shown in FIG. In the fourth embodiment, as described above, the substitute stereo image is generated from the low-resolution panoramic image. The process shown in FIG. 20 is started when the user operates the remote controller 105 to instruct the playback device 102 to change the viewpoint in the street view.
　ステップＳ２００１では、ＵＯモジュール330からの信号が視点の変更を示すことを制御部402が検出する。制御部402はその信号から、変更後の視点が位置する地点を解読して、その地点に割り当てられたＩＤを検索し、ネットワーク・インタフェース302を通してサーバ106に渡す。サーバ106は、渡されたＩＤと同じＩＤを含む低解像度ストリートビュー情報を再生装置102に提供する。ファイルシステム401はネットワーク・インタフェース302を通して、その低解像度ストリートビュー情報をサーバ106からダウンロードする。その後、処理はステップＳ２００２へ進む。 In step S2001, the control unit 402 detects that the signal from the UO module 330 indicates a change in viewpoint. The control unit 402 decodes the point where the changed viewpoint is located from the signal, searches for the ID assigned to the point, and passes it to the server 106 through the network interface 302. The server 106 provides the playback device 102 with low-resolution street view information including the same ID as the passed ID. The file system 401 downloads the low resolution street view information from the server 106 through the network interface 302. Thereafter, the process proceeds to step S2002.
　ステップＳ２００２では、ファイルシステム401が低解像度ストリートビュー情報から低解像度圧縮パノラマ画像を分離して、デコーダ371に渡す。デコーダ371は低解像度圧縮パノラマ画像から左目用テクスチャをデコードして、左目用テクスチャ・メモリ411に書き込む。その後、処理はステップＳ２００３へ進む。 In step S2002, the file system 401 separates the low-resolution compressed panoramic image from the low-resolution street view information and passes it to the decoder 371. The decoder 371 decodes the left-eye texture from the low-resolution compressed panoramic image and writes it to the left-eye texture memory 411. Thereafter, the process proceeds to step S2003.
　ステップＳ２００３では、ファイルシステム401が低解像度ストリートビュー情報から低解像度圧縮パノラマ・デプスを分離して、デプス生成部372に渡す。デプス生成部372は低解像度圧縮パノラマ・デプスからデプスマップを生成して、デプスマップ・メモリ410に書き込む。尚、ステップＳ２００２とステップＳ２００３とは並列に実行されてもよい。その後、処理はステップＳ２００４へ進む。 In step S2003, the file system 401 separates the low resolution compressed panorama depth from the low resolution street view information, and passes it to the depth generation unit 372. The depth generation unit 372 generates a depth map from the low resolution compressed panorama depth and writes the depth map in the depth map memory 410. Note that step S2002 and step S2003 may be executed in parallel. Thereafter, the process proceeds to step S2004.
　ステップＳ２００４では、視差パノラマ画像生成部373が、まず、左目用テクスチャ・メモリ411から左目用テクスチャを読み出し、デプスマップ・メモリ410からデプスマップを読み出す。視差パノラマ画像生成部373は、次に、左目用テクスチャとデプスマップとから右目用テクスチャを生成し、右目用テクスチャ・メモリ412へ書き込む。その後、処理はステップＳ２００５へ進む。 In step S2004, the parallax panorama image generation unit 373 first reads the left-eye texture from the left-eye texture memory 411 and reads the depth map from the depth map memory 410. Next, the parallax panoramic image generation unit 373 generates a right eye texture from the left eye texture and the depth map, and writes the right eye texture to the right eye texture memory 412. Thereafter, the process proceeds to step S2005.
　ステップＳ２００５では、レンダリング部374が、まず、左目用テクスチャ・メモリ411から左目用テクスチャを読み出し、その左目用テクスチャの表すパノラマ画像を球面モデル820に投影する。レンダリング部374は、次に、制御部402から、ユーザに指定された視方向を表す角度θを受ける。レンダリング部374は、続いて、仮想カメラ830を基準方向Cから角度θの方向に向けて、球面モデル820に投影されたパノラマ画像のうち、その仮想カメラ830の画角Δθに含まれる領域を左目用フレームに変換する。左目用フレームは左目用フレームバッファ413へ書き込まれる。その後、処理はステップＳ２００６へ進む。 In step S2005, the rendering unit 374 first reads the left-eye texture from the left-eye texture memory 411 and projects a panoramic image represented by the left-eye texture onto the spherical model 820. Next, the rendering unit 374 receives an angle θ representing the viewing direction designated by the user from the control unit 402. Subsequently, the rendering unit 374 directs the virtual camera 830 in the direction of the angle θ from the reference direction C, and among the panoramic images projected on the spherical model 820, the region included in the angle of view Δθ of the virtual camera 830 is left eye Convert to frames. The left eye frame is written into the left eye frame buffer 413. Thereafter, the process proceeds to step S2006.
　ステップＳ２００６では、レンダリング部374が、まず、右目用テクスチャ・メモリ412から右目用テクスチャを読み出し、その右目用テクスチャの表す視差パノラマ画像を球面モデル820に投影する。レンダリング部374は、次に、仮想カメラ830を基準方向Cから角度θの方向に向けて、球面モデル820に投影された視差パノラマ画像のうち、その仮想カメラ830の画角Δθに含まれる領域を右目用フレームに変換する。右目用フレームは右目用フレームバッファ414へ書き込まれる。その後、処理はステップＳ２００７へ進む。 In step S2006, the rendering unit 374 first reads the right-eye texture from the right-eye texture memory 412 and projects the parallax panoramic image represented by the right-eye texture onto the spherical model 820. Next, the rendering unit 374 directs the virtual camera 830 in the direction of the angle θ from the reference direction C, and among the parallax panoramic images projected on the spherical model 820, the region included in the angle of view Δθ of the virtual camera 830 is displayed. Convert to right eye frame. The right eye frame is written into the right eye frame buffer 414. Thereafter, the process proceeds to step S2007.
　ステップＳ２００７では、出力部380がまず、左目用フレームバッファ413から左目用フレームを読み出し、右目用フレームバッファ414ら右目用フレームを読み出す。出力部380は次に、左目用フレームと右目用フレームとをＨＤＭＩ方式のシリアル信号に多重化して、そのシリアル信号を表示装置103へ出力する。こうして、低解像度パノラマ画像から変換されたステレオ画像が代替ステレオ画像として表示装置103の画面131に表示される。代替ステレオ画像が画面131に表示されている間に、変更後の視点から見えるパノラマ画像についての処理が、図９に示されているステップＳ９０１から繰り返される。 In step S2007, the output unit 380 first reads the left-eye frame from the left-eye frame buffer 413, and reads the right-eye frame from the right-eye frame buffer 414. Next, the output unit 380 multiplexes the left-eye frame and the right-eye frame into an HDMI serial signal and outputs the serial signal to the display device 103. In this way, the stereo image converted from the low-resolution panoramic image is displayed on the screen 131 of the display device 103 as an alternative stereo image. While the alternative stereo image is displayed on the screen 131, the process for the panoramic image seen from the changed viewpoint is repeated from step S901 shown in FIG.
　本発明の実施形態４による再生装置102は、上記のとおり、パノラマ画像の視点の変更が要求されたとき、低解像度パノラマ画像を本来の解像度のパノラマ画像よりも先に取得して、その低解像度パノラマ画像を代替ステレオ画像に変換する。再生装置102は、次に、本来の解像度のパノラマ画像が取得されて新たなステレオ画像が生成されるまで、代替ステレオ画像を出力する。代替ステレオ画像は、変更後の視点から見えるステレオ画像よりも解像度が低いだけで、被写体の大まかな形状は一致している。従って、代替ステレオ画像の挿入がユーザに与える違和感を抑えることができる。また、低解像度パノラマ画像は本来の解像度のパノラマ画像よりもデータ量が十分に小さい。従って、代替ステレオ画像の生成処理は新たなステレオ画像の生成処理よりも十分に速い。それにより、視点の変更が要求されたとき、表示装置103の画面131には代替ステレオ画像が短時間で表示される。このように、再生装置102は視点の変更の要求に対して短時間で応答するので、ユーザに与える不快感を低減することができる。 As described above, the playback device 102 according to the fourth embodiment of the present invention acquires a low-resolution panoramic image before a panoramic image of the original resolution when a change of the viewpoint of the panoramic image is requested, and the low-resolution Convert panoramic images to alternate stereo images. Next, the playback device 102 outputs a substitute stereo image until a panoramic image with the original resolution is acquired and a new stereo image is generated. The alternative stereo image has only a lower resolution than the stereo image seen from the changed viewpoint, and the rough shape of the subject matches. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be suppressed. Further, the data amount of the low-resolution panoramic image is sufficiently smaller than that of the original resolution panoramic image. Therefore, the alternative stereo image generation process is sufficiently faster than the new stereo image generation process. Thereby, when a change of viewpoint is requested, the alternative stereo image is displayed on the screen 131 of the display device 103 in a short time. In this way, the playback device 102 responds to the request for changing the viewpoint in a short time, so that it is possible to reduce discomfort given to the user.
　実施形態４では他の実施形態とは異なり、低解像度パノラマ画像を代替ステレオ画像に変換する際の視方向が視点の変更方向と異なっていてもよい。すなわち、視点がアバター202の方向とは異なる方向に変更される場合、低解像度パノラマ画像からは、変更後の視点からアバター202の方向に見えるステレオ画像が代替ステレオ画像として生成される。 In the fourth embodiment, unlike the other embodiments, the viewing direction when the low-resolution panoramic image is converted into the alternative stereo image may be different from the viewpoint changing direction. That is, when the viewpoint is changed in a direction different from the direction of the avatar 202, a stereo image that is visible in the direction of the avatar 202 from the changed viewpoint is generated as a substitute stereo image from the low-resolution panoramic image.
　上記の説明では、低解像度パノラマ画像から変換されたステレオ画像そのものが代替ステレオ画像として利用される。その他に、そのステレオ画像を用いたモーフィングによって、変更前の視点から見えるステレオ画像を変化させたものが代替ステレオ画像として利用されてもよい。モーフィングとは、１つの画像が別の画像へ自然に変化していく過程を動画で表現するコンピュータ・グラフィックスの技法をいう。制御部402は、ＵＯモジュール330からの信号が視点の変更を示すとき、サーバ106から低解像度パノラマ画像をダウンロードし、描画部370にその低解像度パノラマ画像を、変更後の視点から見えるステレオ画像に変換させる。制御部402は更にレンダリング部374に、モーフィングによって、変更前の視点から見えるステレオ画像が、変更後の視点から見えるステレオ画像へ自然に変化していく過程を表す一連のステレオ画像を代替ステレオ画像として生成させる。 In the above description, the stereo image itself converted from the low-resolution panoramic image is used as the alternative stereo image. In addition, what changed the stereo image seen from the viewpoint before change by morphing using the stereo image may be used as an alternative stereo image. Morphing is a computer graphics technique that expresses a process in which one image naturally changes to another image as a moving image. When the signal from the UO module 330 indicates a change in viewpoint, the control unit 402 downloads the low-resolution panoramic image from the server 106 and converts the low-resolution panoramic image into a stereo image that can be seen from the changed viewpoint. Convert it. The control unit 402 further causes the rendering unit 374 to substitute a series of stereo images representing a process in which a stereo image seen from the viewpoint before the change is naturally changed to a stereo image seen from the viewpoint after the change as a substitute stereo image. Generate.
　図２１の（ａ）－（ｄ）は、モーフィングによって、変更前の視点から見えるステレオ画像が、変更後の視点から見えるステレオ画像へ自然に変化していく過程を表す一連の代替ステレオ画像を表す模式図である。代替ステレオ画像は、図２１の（ａ）、（ｂ）、（ｃ）、（ｄ）の順に表示される。図２１の（ａ）に示されている代替ステレオ画像は、変更前の視点から見える第１のステレオ画像2101に一致している。図２１の（ｄ）に示されている代替ステレオ画像は、変更後の視点から見える第２のステレオ画像2102に一致している。図２１の（ｂ）には、第１のステレオ画像2101の被写体の中に、第２のステレオ画像2102の被写体2111、2112とオーバーラップしたような形状の物体2113、2114が現れている。図２１の（ｃ）では、被写体2115、2116の形状が更に、第２のステレオ画像2102の被写体2111、2112の形状に近づいている。このように、一連の代替ステレオ画像は、被写体が、第１のステレオ画像2101における形状から第２のステレオ画像2102における形状へと徐々に変化していく過程を表現する。その結果、ユーザが代替ステレオ画像から受ける違和感を更に低減させることができる。 FIGS. 21A to 21D show a series of alternative stereo images showing a process in which a stereo image seen from the viewpoint before change is naturally changed to a stereo image seen from the viewpoint after change by morphing. It is a schematic diagram. The alternative stereo images are displayed in the order of (a), (b), (c), and (d) in FIG. The alternative stereo image shown in FIG. 21A matches the first stereo image 2101 that can be seen from the viewpoint before the change. The alternative stereo image shown in (d) of FIG. 21 matches the second stereo image 2102 seen from the changed viewpoint. In FIG. 21B, objects 2113 and 2114 having shapes that overlap with the subjects 2111 and 2112 of the second stereo image 2102 appear in the subject of the first stereo image 2101. In FIG. 21C, the shapes of the subjects 2115 and 2116 are closer to the shapes of the subjects 2111 and 2112 of the second stereo image 2102. In this way, the series of alternative stereo images represents a process in which the subject gradually changes from the shape in the first stereo image 2101 to the shape in the second stereo image 2102. As a result, the uncomfortable feeling that the user receives from the alternative stereo image can be further reduced.
　図２２は、図１０に示されているステップＳ１００７においてモーフィングを用いた代替ステレオ画像の生成処理のフローチャートである。図２２に示されている処理は、ユーザがリモコン105を操作して、ストリートビューにおける視点の変更を再生装置102に指示したときに開始される。 FIG. 22 is a flowchart of an alternative stereo image generation process using morphing in step S1007 shown in FIG. The process shown in FIG. 22 is started when the user operates the remote controller 105 to instruct the playback device 102 to change the viewpoint in the street view.
　ステップＳ２２０１では、ＵＯモジュール330からの信号が視点の変更を示すことを制御部402が検出する。制御部402はその信号から、変更後の視点が位置する地点を解読して、その地点に割り当てられたＩＤを検索し、ネットワーク・インタフェース302を通してサーバ106に渡す。サーバ106は、渡されたＩＤと同じＩＤを含む低解像度ストリートビュー情報を再生装置102に提供する。ファイルシステム401はネットワーク・インタフェース302を通して、その低解像度ストリートビュー情報をサーバ106からダウンロードする。その後、処理はステップＳ２２０２へ進む。 In step S2201, the control unit 402 detects that the signal from the UO module 330 indicates a change in viewpoint. The control unit 402 decodes the point where the changed viewpoint is located from the signal, searches for the ID assigned to the point, and passes it to the server 106 through the network interface 302. The server 106 provides the playback device 102 with low-resolution street view information including the same ID as the passed ID. The file system 401 downloads the low resolution street view information from the server 106 through the network interface 302. Thereafter, the process proceeds to step S2202.
　ステップＳ２２０２では、ファイルシステム401が低解像度ストリートビュー情報から低解像度圧縮パノラマ画像を分離して、デコーダ371に渡す。デコーダ371は低解像度圧縮パノラマ画像から左目用テクスチャをデコードして、左目用テクスチャ・メモリ411に書き込む。それにより、左目用テクスチャ・メモリ411には、変更前の視点から見える本来の解像度のパノラマ画像を表す第１の左目用テクスチャと、変更後の視点から見える低解像度のパノラマ画像を表す第２の左目用テクスチャとの両方が格納される。その後、処理はステップＳ２２０３へ進む。 In step S2202, the file system 401 separates the low-resolution compressed panoramic image from the low-resolution street view information and passes it to the decoder 371. The decoder 371 decodes the left-eye texture from the low-resolution compressed panoramic image and writes it to the left-eye texture memory 411. Accordingly, the left-eye texture memory 411 stores the first left-eye texture representing the original resolution panoramic image that can be seen from the viewpoint before the change and the second texture that represents the low-resolution panoramic image that can be seen from the viewpoint after the change. Both the left eye texture and the left eye texture are stored. Thereafter, the process proceeds to step S2203.
　ステップＳ２２０３では、ファイルシステム401が低解像度ストリートビュー情報から低解像度圧縮パノラマ・デプスを分離して、デプス生成部372に渡す。デプス生成部372は低解像度圧縮パノラマ・デプスからデプスマップを生成して、デプスマップ・メモリ410に書き込む。それにより、デプスマップ・メモリ410には、変更前の視点から見える本来の解像度のパノラマ画像に対する第１のデプスマップと、変更後の視点から見える低解像度のパノラマ画像に対する第２のデプスマップとの両方が格納される。尚、ステップＳ２２０２とステップＳ２２０３とは並列に実行されてもよい。その後、処理はステップＳ２２０４へ進む。 In step S2203, the file system 401 separates the low-resolution compressed panorama depth from the low-resolution street view information and passes it to the depth generation unit 372. The depth generation unit 372 generates a depth map from the low resolution compressed panorama depth and writes the depth map in the depth map memory 410. As a result, the depth map memory 410 includes a first depth map for a panoramic image having an original resolution that can be seen from the viewpoint before the change, and a second depth map for a panoramic image having a low resolution that can be seen from the viewpoint after the change. Both are stored. Note that step S2202 and step S2203 may be executed in parallel. Thereafter, processing proceeds to step S2204.
　ステップＳ２２０４では、描画部370が、第１の左目用テクスチャと第２の左目用テクスチャとの対を左目用テクスチャ・メモリ411から読み出して、その対からモーフィングによって代替テクスチャを生成する。代替テクスチャは左目用テクスチャ・メモリ411に格納される。描画部370は、一対の左目用テクスチャに対してステップＳ２２０４が繰り返される度に、代替テクスチャの表すパノラマ画像が、変更前の視点から見えるパノラマ画像から、変更後の視点から見えるパノラマ画像へ自然に変化していくように、代替テクスチャを生成する。ステップＳ２２０４の後、処理はステップＳ２２０５へ進む。 In step S2204, the drawing unit 370 reads a pair of the first left-eye texture and the second left-eye texture from the left-eye texture memory 411, and generates an alternative texture by morphing from the pair. The substitute texture is stored in the left-eye texture memory 411. Each time step S2204 is repeated for the pair of left-eye textures, the drawing unit 370 naturally changes the panorama image represented by the alternative texture from the panorama image seen from the viewpoint before the change to the panorama image seen from the viewpoint after the change. Create alternate textures to change. After step S2204, the process proceeds to step S2205.
　ステップＳ２２０５では、描画部370が、第１のデプスマップと第２のデプスマップとの対をデプスマップ・メモリ410から読み出して、その対からモーフィングによって代替デプスマップを生成する。代替デプスマップはデプスマップ・メモリ410に格納される。描画部370は、一組のデプスマップに対してステップＳ２２０５が繰り返される度に、代替デプスマップが、変更前の視点から見えるパノラマ画像のデプスマップから、変更後の視点から見えるパノラマ画像のデプスマップへ自然に変化していくように、代替デプスマップを生成する。ステップＳ２２０５の後、処理はステップＳ２２０６へ進む。 In step S2205, the drawing unit 370 reads a pair of the first depth map and the second depth map from the depth map memory 410, and generates an alternative depth map from the pair by morphing. The alternative depth map is stored in the depth map memory 410. Each time step S2205 is repeated for a set of depth maps, the rendering unit 370 changes the depth map of the panoramic image viewed from the viewpoint after the change from the depth map of the panorama image viewed from the viewpoint before the change. An alternative depth map is generated so as to change naturally. After step S2205, the process proceeds to step S2206.
　ステップＳ２２０６では、視差パノラマ画像生成部373が、まず、左目用テクスチャ・メモリ411から代替テクスチャを読み出し、デプスマップ・メモリ410から代替デプスマップを読み出す。視差パノラマ画像生成部373は、次に、代替テクスチャと代替デプスマップとから右目用テクスチャを生成し、右目用テクスチャ・メモリ412へ書き込む。その後、処理はステップＳ２２０７へ進む。 In step S2206, the parallax panoramic image generation unit 373 first reads the alternative texture from the left-eye texture memory 411 and reads the alternative depth map from the depth map memory 410. Next, the parallax panoramic image generation unit 373 generates a right eye texture from the alternative texture and the alternative depth map, and writes the right eye texture to the right eye texture memory 412. Thereafter, processing proceeds to step S2207.
　ステップＳ２２０７では、レンダリング部374が、まず、左目用テクスチャ・メモリ411から代替テクスチャを読み出し、その代替テクスチャの表すパノラマ画像を球面モデル820に投影する。レンダリング部374は、次に、制御部402から、ユーザに指定された視方向を表す角度θを受ける。レンダリング部374は、続いて、仮想カメラ830を基準方向Cから角度θの方向に向けて、球面モデル820に投影されたパノラマ画像のうち、その仮想カメラ830の画角Δθに含まれる領域を左目用フレームに変換する。左目用フレームは左目用フレームバッファ413へ書き込まれる。その後、処理はステップＳ２２０８へ進む。 In step S2207, the rendering unit 374 first reads an alternative texture from the left-eye texture memory 411, and projects a panoramic image represented by the alternative texture onto the spherical model 820. Next, the rendering unit 374 receives an angle θ representing the viewing direction designated by the user from the control unit 402. Subsequently, the rendering unit 374 directs the virtual camera 830 in the direction of the angle θ from the reference direction C, and among the panoramic images projected on the spherical model 820, the region included in the angle of view Δθ of the virtual camera 830 is left eye Convert to frames. The left eye frame is written into the left eye frame buffer 413. Thereafter, processing proceeds to step S2208.
　ステップＳ２２０８では、レンダリング部374が、まず、右目用テクスチャ・メモリ412から右目用テクスチャを読み出し、その右目用テクスチャの表す視差パノラマ画像を球面モデル820に投影する。レンダリング部374は、次に、仮想カメラ830を基準方向Cから角度θの方向に向けて、球面モデル820に投影された視差パノラマ画像のうち、その仮想カメラ830の画角Δθに含まれる領域を右目用フレームに変換する。右目用フレームは右目用フレームバッファ414へ書き込まれる。その後、処理はステップＳ２２０９へ進む。 In step S2208, the rendering unit 374 first reads the right-eye texture from the right-eye texture memory 412, and projects the parallax panoramic image represented by the right-eye texture onto the spherical model 820. Next, the rendering unit 374 directs the virtual camera 830 in the direction of the angle θ from the reference direction C, and among the parallax panoramic images projected on the spherical model 820, the region included in the angle of view Δθ of the virtual camera 830 is displayed. Convert to right eye frame. The right eye frame is written into the right eye frame buffer 414. Thereafter, the process proceeds to step S2209.
　ステップＳ２２０９では、出力部380がまず、左目用フレームバッファ413から左目用フレームを読み出し、右目用フレームバッファ414ら右目用フレームを読み出す。出力部380は次に、左目用フレームと右目用フレームとをＨＤＭＩ方式のシリアル信号に多重化して、そのシリアル信号を表示装置103へ出力する。こうして、代替テクスチャから変換されたステレオ画像が代替ステレオ画像として表示装置103の画面131に表示される。その後、処理はステップＳ２２１０へ進む。 In step S2209, the output unit 380 first reads the left-eye frame from the left-eye frame buffer 413, and reads the right-eye frame from the right-eye frame buffer 414. Next, the output unit 380 multiplexes the left-eye frame and the right-eye frame into an HDMI serial signal and outputs the serial signal to the display device 103. Thus, the stereo image converted from the alternative texture is displayed on the screen 131 of the display device 103 as the alternative stereo image. Thereafter, processing proceeds to step S2210.
　ステップＳ２２１０では、代替テクスチャが第２の左目用テクスチャと一致したか否かを制御部402が判断する。代替テクスチャが第２の左目用テクスチャと一致した場合、処理は終了する。代替テクスチャが第２の左目用テクスチャと一致していない場合、処理がステップＳ２２０４から繰り返される。その処理の繰り返しと並行して、変更後の視点から見える本来の解像度のパノラマ画像について、図９に示されているステップＳ９０１～Ｓ９０７の処理が実行される。すなわち、変更後の視点から見える本来の解像度のパノラマ画像がステレオ画像に変換される間、表示装置103の画面131では代替ステレオ画像が、変更前の視点から見えるパノラマ画像から、変更後の視点から見えるパノラマ画像へ自然に変化していく。従って、代替ステレオ画像の挿入がユーザに与える違和感を更に抑えることができる。 In step S2210, the control unit 402 determines whether the alternative texture matches the second left-eye texture. If the alternative texture matches the second left-eye texture, the process ends. If the alternative texture does not match the second left-eye texture, the process is repeated from step S2204. In parallel with the repetition of the processing, the processing of steps S901 to S907 shown in FIG. 9 is executed for the original panoramic image that can be seen from the changed viewpoint. That is, while the original resolution panoramic image that can be seen from the changed viewpoint is converted into a stereo image, the alternative stereo image is displayed on the screen 131 of the display device 103 from the panoramic image that can be seen from the viewpoint before the change, from the viewpoint that has been changed. Naturally changes to a visible panoramic image. Therefore, the uncomfortable feeling given to the user by the insertion of the alternative stereo image can be further suppressed.
　一連の代替ステレオ画像は低解像度パノラマ画像を利用して生成される。低解像度パノラマ画像は本来の解像度のパノラマ画像よりもデータ量が小さいので、モーフィングの処理が追加されても、低解像度パノラマ画像から代替ステレオ画像を生成する処理は、本来の解像度のパノラマ画像をステレオ画像に変換する処理よりも十分に速い。従って、本来の解像度のパノラマ画像をステレオ画像に変換する処理の間に、一連の代替ステレオ画像を表示装置103の画面131に表示することができる。このように、再生装置102は視点の変更の要求に対して短時間で応答するので、ユーザに与える不快感を低減することができる。 A series of alternative stereo images are generated using low-resolution panoramic images. Since the low-resolution panorama image has a smaller amount of data than the panorama image at the original resolution, even if morphing processing is added, the process of generating an alternative stereo image from the low-resolution panorama image is a stereo image of the panorama image at the original resolution. It's much faster than converting to an image. Therefore, a series of alternative stereo images can be displayed on the screen 131 of the display device 103 during the process of converting the panoramic image of the original resolution into a stereo image. In this way, the playback device 102 responds to the request for changing the viewpoint in a short time, so that it is possible to reduce discomfort given to the user.
　本発明は、パノラマ画像をステレオ画像に変換する技術に関し、上記のとおり、視点の変更が指示された際、変更後の視点から見えるパノラマ画像がステレオ画像に変換されるまでの間、代替ステレオ画像を画面に表示する。このように、本発明は明らかに産業上利用可能である。 The present invention relates to a technique for converting a panoramic image into a stereo image. As described above, when a viewpoint change is instructed, an alternative stereo image is displayed until the panoramic image seen from the changed viewpoint is converted into a stereo image. Is displayed on the screen. Thus, the present invention is clearly industrially applicable.
　1101　変更前の視点から見えるステレオ画像
　1102　拡大されたステレオ画像
　1103　代替ステレオ画像
　1104　変更前の視点から見えるステレオ画像1101に写る物体
　1105　代替ステレオ画像1103に写る物体 1101 Stereo image seen from viewpoint before change 1102 Enlarged stereo image 1103 Alternative stereo image 1104 Object shown in stereo image 1101 seen from viewpoint before change 1105 Object shown in alternative stereo image 1103

Claims (13)

  1. 　パノラマ画像のうち、視点に対して所定の視方向に位置する領域をステレオ画像に変換して出力する装置であって、
    　前記パノラマ画像と、前記パノラマ画像に写っている物体の奥行きを表す奥行き情報とを取得する取得部、
    　前記奥行き情報の表す奥行きに応じて前記パノラマ画像の各画素の座標をシフトすることによって、視差パノラマ画像を生成する視差パノラマ画像生成部、
    　前記パノラマ画像と前記視差パノラマ画像とを立体モデルに投影し、投影された画像のうち、前記視点に対して前記視方向に位置する領域をステレオ画像に変換するレンダリング部、
    　前記レンダリング部によって変換されたステレオ画像を出力する出力部、及び、
    　パノラマ画像の視点の変更が要求されたとき、変更後の視点から見えるパノラマ画像が取得されてステレオ画像に変換されるまで、代替ステレオ画像を前記出力部に出力させる制御部、
    を備え、
    　前記代替ステレオ画像は、変更前の視点から見えるステレオ画像と、前記変更後の視点から見えるステレオ画像との少なくともいずれかに近似したステレオ画像であり、
    　前記代替ステレオ画像の生成処理は、変更後の視点から見えるパノラマ画像を取得してステレオ画像に変換する処理よりも速い
    ことを特徴とする画像出力装置。     A device that converts a region located in a predetermined viewing direction with respect to a viewpoint from a panoramic image into a stereo image and outputs the stereo image,
    An acquisition unit that acquires the panoramic image and depth information representing a depth of an object reflected in the panoramic image;
    A parallax panoramic image generation unit that generates a parallax panoramic image by shifting the coordinates of each pixel of the panoramic image according to the depth represented by the depth information;
    A rendering unit configured to project the panoramic image and the parallax panoramic image onto a stereoscopic model, and convert a region located in the viewing direction with respect to the viewpoint to a stereo image among the projected images;
    An output unit that outputs a stereo image converted by the rendering unit; and
    A control unit that outputs an alternative stereo image to the output unit until a panoramic image seen from the changed viewpoint is acquired and converted into a stereo image when a change in the viewpoint of the panoramic image is requested;
    With
    The alternative stereo image is a stereo image approximated to at least one of a stereo image seen from a viewpoint before change and a stereo image seen from the viewpoint after change,
    The alternative stereo image generation process is faster than the process of acquiring a panoramic image seen from a changed viewpoint and converting it to a stereo image.
  2. 　前記代替ステレオ画像は、前記制御部が前記レンダリング部に、前記変更前の視点から見えるパノラマ画像から変換された第１のステレオ画像を加工させたものであることを特徴とする、請求項１に記載の画像出力装置。 The substitute stereo image is obtained by causing the rendering unit to process the first stereo image converted from a panoramic image seen from the viewpoint before the change by the rendering unit. The image output device described.
  3. 　前記代替ステレオ画像は、前記第１のステレオ画像が所定の倍率でスケーリングされたものであることを特徴とする、請求項２に記載の画像出力装置。 The image output apparatus according to claim 2, wherein the alternative stereo image is obtained by scaling the first stereo image at a predetermined magnification.
  4. 　前記所定の倍率は、前記変更前の視点と前記変更後の視点との間の距離に応じて決定されることを特徴とする、請求項３に記載の画像出力装置。 The image output apparatus according to claim 3, wherein the predetermined magnification is determined according to a distance between the viewpoint before the change and the viewpoint after the change.
  5. 　前記代替ステレオ画像は、前記第１のステレオ画像がスケーリングされた後に、前記第１のステレオ画像の視差値が補正されたものであることを特徴とする、請求項３に記載の画像出力装置。 The image output device according to claim 3, wherein the substitute stereo image is obtained by correcting a parallax value of the first stereo image after the first stereo image is scaled.
  6. 　前記代替ステレオ画像は、前記第１のステレオ画像の視差値が増減されたものであることを特徴とする、請求項２に記載の画像出力装置。 The image output apparatus according to claim 2, wherein the substitute stereo image is obtained by increasing or decreasing a parallax value of the first stereo image.
  7. 　前記視差値の増減量は、前記変更前の視点と前記変更後の視点との間の距離に応じて決定されることを特徴とする、請求項６に記載の画像出力装置。 The image output apparatus according to claim 6, wherein the increase / decrease amount of the parallax value is determined according to a distance between the viewpoint before the change and the viewpoint after the change.
  8. 　前記代替ステレオ画像は、前記制御部が前記レンダリング部に、前記変更前の視点から外れた場所に前記仮想カメラを移動させて、前記場所から前記視方向に向けられた前記仮想カメラで、前記立体モデルに投影された画像を撮影させたものである
    ことを特徴とする、請求項１に記載の画像出力装置。     The substitute stereo image is the stereoscopic camera in which the control unit moves the virtual camera to a place that is out of the viewpoint before the change to the rendering unit, and is directed to the viewing direction from the place. The image output apparatus according to claim 1, wherein an image projected on a model is captured.
  9. 　前記場所は、前記変更前の視点に対する前記変更後の視点の位置に応じて決定されることを特徴とする、請求項８に記載の画像出力装置。 The image output device according to claim 8, wherein the location is determined according to a position of the viewpoint after the change with respect to the viewpoint before the change.
  10. 　前記取得部は、低解像度パノラマ画像と、前記低解像度パノラマ画像に写っている物体の奥行きを表す低解像度奥行き情報とを更に取得し、
    　前記低解像度パノラマ画像は、前記変更後の視点から見えるパノラマ画像であって、前記変更前の視点から見えるパノラマ画像よりも解像度が低いものであり、
    　前記制御部は、
    　前記視差パノラマ画像生成部には、前記低解像度パノラマ画像と前記低解像度奥行き情報とから低解像度視差パノラマ画像を生成させ、
    　前記レンダリング部には、前記低解像度パノラマ画像と前記低解像度視差パノラマ画像とを前記立体モデルに投影させ、投影された画像のうち、前記変更後の視点に対して前記視方向に位置する領域を新たなステレオ画像に変換させ、前記新たなステレオ画像を利用して前記代替ステレオ画像を生成させる
    ことを特徴とする、請求項１に記載の画像出力装置。     The acquisition unit further acquires a low-resolution panoramic image and low-resolution depth information representing the depth of an object shown in the low-resolution panoramic image,
    The low-resolution panoramic image is a panoramic image that can be seen from the viewpoint after the change, and has a lower resolution than a panoramic image that can be seen from the viewpoint before the change,
    The controller is
    The parallax panorama image generation unit generates a low resolution parallax panorama image from the low resolution panorama image and the low resolution depth information,
    The rendering unit projects the low-resolution panoramic image and the low-resolution parallax panoramic image onto the stereo model, and among the projected images, an area located in the viewing direction with respect to the changed viewpoint The image output apparatus according to claim 1, wherein the alternative stereo image is generated by converting into a new stereo image and using the new stereo image.
  11. 　前記代替ステレオ画像は、前記新たなステレオ画像を用いたモーフィングによって、前記変更前の視点から見えるステレオ画像を変化させたものであることを特徴とする、請求項１０に記載の画像出力装置。 11. The image output apparatus according to claim 10, wherein the alternative stereo image is obtained by changing a stereo image seen from the viewpoint before the change by morphing using the new stereo image.
  12. 　パノラマ画像のうち、視点に対して所定の視方向に位置する領域をステレオ画像に変換して出力する方法であって、
    　前記パノラマ画像と、前記パノラマ画像に写っている物体の奥行きを表す奥行き情報とを取得するステップ、
    　前記奥行き情報の表す奥行きに応じて前記パノラマ画像の各画素の座標をシフトすることによって、視差パノラマ画像を生成するステップ、
    　前記パノラマ画像と前記視差パノラマ画像とを立体モデルに投影し、投影された画像のうち、前記視点に対して前記視方向に位置する領域をステレオ画像に変換するステップ、
    　変換されたステレオ画像を出力するステップ、及び、
    　パノラマ画像の視点の変更が要求されたとき、変更後の視点から見えるパノラマ画像が取得されてステレオ画像に変換されるまで、代替ステレオ画像を出力するステップ、
    を有し、
    　前記代替ステレオ画像は、変更前の視点から見えるステレオ画像と、前記変更後の視点から見えるステレオ画像との少なくともいずれかに近似したステレオ画像であり、
    　前記代替ステレオ画像の生成処理は、変更後の視点から見えるパノラマ画像を取得してステレオ画像に変換する処理よりも速い
    ことを特徴とする画像出力方法。     A method of converting an area located in a predetermined viewing direction with respect to a viewpoint from a panoramic image into a stereo image and outputting the stereo image,
    Obtaining the panoramic image and depth information representing the depth of an object shown in the panoramic image;
    Generating a parallax panoramic image by shifting the coordinates of each pixel of the panoramic image according to the depth represented by the depth information;
    Projecting the panoramic image and the parallax panoramic image onto a three-dimensional model, and converting a projected image from a region located in the viewing direction with respect to the viewpoint to a stereo image;
    Outputting the converted stereo image; and
    Outputting a substitute stereo image until a panoramic image seen from the changed viewpoint is acquired and converted into a stereo image when a change of the viewpoint of the panoramic image is requested;
    Have
    The alternative stereo image is a stereo image approximated to at least one of a stereo image seen from a viewpoint before change and a stereo image seen from the viewpoint after change,
    The alternative stereo image generation process is faster than the process of acquiring a panoramic image seen from a changed viewpoint and converting it to a stereo image.
  13. 　画像出力装置に、パノラマ画像のうち、視点に対して所定の視方向に位置する領域をステレオ画像に変換させて出力させるためのプログラムであって、
    　前記パノラマ画像と、前記パノラマ画像に写っている物体の奥行きを表す奥行き情報とを取得するステップ、
    　前記奥行き情報の表す奥行きに応じて前記パノラマ画像の各画素の座標をシフトすることによって、視差パノラマ画像を生成するステップ、
    　前記パノラマ画像と前記視差パノラマ画像とを立体モデルに投影し、投影された画像のうち、前記視点に対して前記視方向に位置する領域をステレオ画像に変換するステップ、
    　変換されたステレオ画像を出力するステップ、及び、
    　パノラマ画像の視点の変更が要求されたとき、変更後の視点から見えるパノラマ画像が取得されてステレオ画像に変換されるまで、代替ステレオ画像を出力するステップ、
    を前記画像出力装置に実行させ、
    　前記代替ステレオ画像は、前記変更前の視点から見えるステレオ画像と、前記変更後の視点から見えるステレオ画像との少なくともいずれかに近似したステレオ画像であり、
    　前記代替ステレオ画像の生成処理は、変更後の視点から見えるパノラマ画像を取得してステレオ画像に変換する処理よりも速い
    ことを特徴とする画像出力プログラム。     A program for causing an image output device to output a panoramic image by converting a region located in a predetermined viewing direction with respect to a viewpoint into a stereo image,
    Obtaining the panoramic image and depth information representing the depth of an object shown in the panoramic image;
    Generating a parallax panoramic image by shifting the coordinates of each pixel of the panoramic image according to the depth represented by the depth information;
    Projecting the panoramic image and the parallax panoramic image onto a three-dimensional model, and converting a projected image from a region located in the viewing direction with respect to the viewpoint to a stereo image;
    Outputting the converted stereo image; and
    Outputting a substitute stereo image until a panoramic image seen from the changed viewpoint is acquired and converted into a stereo image when a change of the viewpoint of the panoramic image is requested;
    To the image output device,
    The alternative stereo image is a stereo image approximated to at least one of a stereo image seen from the viewpoint before the change and a stereo image seen from the viewpoint after the change,
    The alternative stereo image generation process is faster than the process of acquiring a panoramic image seen from a changed viewpoint and converting it to a stereo image.
PCT/JP2012/001676 2011-03-31 2012-03-12 Omnidirectional stereo image output device WO2012132267A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161470044P 2011-03-31 2011-03-31
US61/470,044 2011-03-31

Publications (1)

Publication Number Publication Date
WO2012132267A1 true WO2012132267A1 (en) 2012-10-04

Family

ID=46930061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001676 WO2012132267A1 (en) 2011-03-31 2012-03-12 Omnidirectional stereo image output device

Country Status (1)

Country Link
WO (1) WO2012132267A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014126A1 (en) * 2015-07-21 2017-01-26 株式会社リコー Image management system, image management method and program
WO2018135321A1 (en) * 2017-01-19 2018-07-26 ソニー株式会社 Image processing device and method
CN111434121A (en) * 2017-10-20 2020-07-17 交互数字Vc控股公司 Method, apparatus and stream for volumetric video format
CN114827569A (en) * 2022-04-24 2022-07-29 咪咕视讯科技有限公司 Picture display method and device, virtual reality equipment and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205653A (en) * 1998-01-19 1999-07-30 Canon Inc Camera control system, camera control method, client and storage medium storing program executing operation processing
JP2009010557A (en) * 2007-06-27 2009-01-15 National Institute Of Information & Communication Technology Depth data output device, and depth data receiver
JP2011039358A (en) * 2009-08-14 2011-02-24 Shibaura Institute Of Technology Stereoscopic image map

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205653A (en) * 1998-01-19 1999-07-30 Canon Inc Camera control system, camera control method, client and storage medium storing program executing operation processing
JP2009010557A (en) * 2007-06-27 2009-01-15 National Institute Of Information & Communication Technology Depth data output device, and depth data receiver
JP2011039358A (en) * 2009-08-14 2011-02-24 Shibaura Institute Of Technology Stereoscopic image map

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Google Maps JavaScript API V2 Reference", 19 May 2010 (2010-05-19), Retrieved from the Internet <URL:https://developers.google.com/maps/documentation/javascript/v2/reference> *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014126A1 (en) * 2015-07-21 2017-01-26 株式会社リコー Image management system, image management method and program
CN107925740A (en) * 2015-07-21 2018-04-17 株式会社理光 Image management system, image management method and program
EP3328073A4 (en) * 2015-07-21 2018-05-30 Ricoh Company, Ltd. Image management system, image management method and program
JPWO2017014126A1 (en) * 2015-07-21 2018-06-14 株式会社リコー Image management system, image management method and program
WO2018135321A1 (en) * 2017-01-19 2018-07-26 ソニー株式会社 Image processing device and method
US10944975B2 (en) 2017-01-19 2021-03-09 Sony Corporation Image processing device and image processing method
CN111434121A (en) * 2017-10-20 2020-07-17 交互数字Vc控股公司 Method, apparatus and stream for volumetric video format
CN114827569A (en) * 2022-04-24 2022-07-29 咪咕视讯科技有限公司 Picture display method and device, virtual reality equipment and storage medium
CN114827569B (en) * 2022-04-24 2023-11-10 咪咕视讯科技有限公司 Picture display method and device, virtual reality equipment and storage medium

Similar Documents

Publication Publication Date Title
US20160041662A1 (en) Method for changing play mode, method for changing display mode, and display apparatus and 3d image providing system using the same
US8907968B2 (en) Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US6747610B1 (en) Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image
US6496598B1 (en) Image processing method and apparatus
JP5320524B1 (en) Stereo camera
EP2448276B1 (en) GUI providing method, and display apparatus and 3D image providing system using the same
TWI523488B (en) A method of processing parallax information comprised in a signal
JP5592005B2 (en) Method and apparatus for intelligent use of active space in frame packing format
JP5833667B2 (en) Method and apparatus for providing monovision in a multi-view system
WO2012029298A1 (en) Image capture device and image-processing method
KR20180053367A (en) Systems and methods for creating a surround view
US20130038611A1 (en) Image conversion device
JP2010522475A (en) 2D / 3D digital information acquisition and display device
JP2007097129A (en) Stereoscopic display device and control method therefor
JP2010273333A (en) Three-dimensional image combining apparatus
KR20110129903A (en) Transferring of 3d viewer metadata
US8866887B2 (en) Computer graphics video synthesizing device and method, and display device
JPH1127703A (en) Display device and its control method
CN113891060A (en) Free viewpoint video reconstruction method, playing processing method, device and storage medium
JP2011139209A (en) Image processing apparatus and method
WO2012132267A1 (en) Omnidirectional stereo image output device
WO2008122838A1 (en) Improved image quality in stereoscopic multiview displays
KR101987062B1 (en) System for distributing and combining multi-camera videos through ip and a method thereof
US20110134226A1 (en) 3d image display apparatus and method for determining 3d image thereof
CN104994370A (en) 3D (three-dimensional) video image acquisition system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12765034

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12765034

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP