WO2018135052A1 - 画像生成装置、及び画像表示制御装置 - Google Patents

画像生成装置、及び画像表示制御装置 Download PDF

Info

Publication number
WO2018135052A1
WO2018135052A1 PCT/JP2017/037383 JP2017037383W WO2018135052A1 WO 2018135052 A1 WO2018135052 A1 WO 2018135052A1 JP 2017037383 W JP2017037383 W JP 2017037383W WO 2018135052 A1 WO2018135052 A1 WO 2018135052A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
panoramic image
projection plane
unit
observation point
Prior art date
Application number
PCT/JP2017/037383
Other languages
English (en)
French (fr)
Inventor
友博 大戸
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US16/478,255 priority Critical patent/US10699372B2/en
Priority to EP17893297.6A priority patent/EP3573018B1/en
Priority to JP2018562874A priority patent/JP6719596B2/ja
Priority to CN201780083800.6A priority patent/CN110192221B/zh
Publication of WO2018135052A1 publication Critical patent/WO2018135052A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations

Definitions

  • the present invention relates to an image generation device that generates a panoramic image, an image display control device that displays a panoramic image, an image generation method, a program, and image data.
  • a format such as equirectangular projection is known as an image format of a panoramic image in which the scenery of the whole sky seen from the observation point is projected onto a two-dimensional plane.
  • a panoramic image By using such a panoramic image, it is possible to realize a panorama viewer that displays a scenery in an arbitrary direction in accordance with, for example, an operation of the viewpoint direction by the user.
  • a specific direction such as the front of the user or a place where a specific subject is captured may be important.
  • such an important direction is not distinguished from the other direction.
  • the present invention has been made in view of the above circumstances, and one of its purposes is image data of a panoramic image capable of displaying important directions at higher resolution, and an image generation apparatus and image corresponding to the image data.
  • a display control device, an image generation method, and a program are provided.
  • An image generation apparatus is a panoramic image obtained by converting a projection plane onto which a landscape of at least a partial range on a virtual sphere viewed from an observation point is converted into a planar shape, and is viewed from the observation point.
  • a panorama image generation unit that generates a panorama image in which a unit area on the virtual sphere including a given direction of interest is converted to an area larger than other unit areas, and an image output that outputs the generated panorama image
  • the projection plane includes a trunk line connecting a position in the direction of interest and a position in the opposite direction of the direction of interest, and the panoramic image generation unit includes a portion around the observation point of the trunk line. Generating the panorama image corresponding to the projection plane so that the length of the portion corresponding to the unit amount of the rotation angle in the panorama image is the longest at the position closest to the direction of interest.
  • An image display control device is a panoramic image obtained by converting a projection plane onto which a landscape of at least a partial range on a virtual sphere viewed from an observation point is converted into a planar shape, viewed from the observation point Based on the acquired panorama image, an acquisition unit that acquires a panorama image in which a unit area on the virtual sphere including a given direction of attention is converted to a larger area than the other unit areas.
  • a drawing unit that draws a display image indicating a field of view range and displays the image on a screen of a display device, and the projection plane connects a position on the attention direction and a position on the opposite direction of the attention direction.
  • the panorama image includes a trunk line, and the panorama image has a length in the panorama image corresponding to a unit amount of a rotation angle around the observation point in the trunk line that is the longest at a position closest to the attention direction.
  • An image generation method is a panoramic image obtained by converting a projection plane onto which a landscape of at least a partial range on a virtual sphere viewed from an observation point is converted into a planar shape, and is viewed from the observation point. Generating a panoramic image in which a unit area on the virtual sphere including a given direction of interest has been converted to a larger area than the other unit areas; and outputting the generated panoramic image.
  • the projection plane includes a trunk line connecting a position in the attention direction and a position in the opposite direction of the attention direction, and in the step of generating the panoramic image, a rotation angle around the observation point in the trunk line
  • the panorama image corresponding to the projection plane is generated so that the length of the portion corresponding to the unit amount in the panorama image is the longest at the position closest to the direction of interest. .
  • a program according to the present invention is a panoramic image obtained by converting a projection plane onto which a landscape of at least a partial range on a virtual sphere seen from an observation point is projected into a planar shape, and is given from the observation point.
  • a panorama image generation unit that generates a panorama image in which a unit area on the virtual sphere including a direction of interest is converted to a larger area than other unit areas, and an image output unit that outputs the generated panorama image
  • the projection plane includes a trunk line connecting a position on the attention direction and a position on the opposite direction of the attention direction, and the panorama image generation unit Among the projection planes, the length corresponding to the unit amount of the rotation angle around the observation point is the longest in the panoramic image at the position closest to the direction of interest.
  • the image data according to the present invention is a panoramic image obtained by converting a projection plane onto which a landscape of at least a partial range on a virtual sphere viewed from an observation point is converted into a planar shape, and is given from the observation point.
  • the unit area on the virtual sphere including the attention direction is converted to a larger area than the other unit areas, and the position on the attention direction and the direction opposite to the attention direction are included in the projection plane.
  • the projection plane is such that the length in the panorama image corresponding to the unit amount of the rotation angle around the observation point among the trunk lines connecting the positions is the longest at the position closest to the direction of interest.
  • FIG. 3 is a diagram illustrating a part of a panoramic image obtained by converting a scene projected on a projection plane in FIG. 2. It is a figure which shows an example of a panoramic image. It is a figure which shows another example of a projection surface. It is a figure which shows another example of a part of panoramic image. It is a figure which shows an example of the trunk line formed with the curve.
  • 1 is a block diagram illustrating a configuration of an image display system. It is a functional block diagram which shows the function of an image display system.
  • the image generation apparatus generates a panoramic image including the entire sky or a partial range of scenery as viewed from the observation point.
  • a panoramic image generated by the image generating apparatus according to the present embodiment is referred to as a panoramic image I.
  • the panoramic image I is two-dimensional (planar) image data including the entire sky or a partial range of scenery.
  • the whole sky means all directions of 360 degrees in the horizontal direction (left and right direction) and 180 degrees from the zenith to the nadir in the vertical direction (up and down direction) when viewed from the observation point.
  • the view of the whole sky as seen from the observation point is represented on a virtual sphere centered on the position of the observation point.
  • a virtual sphere corresponding to the scenery of the whole sky is defined as a virtual sphere S.
  • a coordinate system consisting of three axes of x-axis, y-axis, and z-axis orthogonal to each other is used with the center point O of the virtual sphere S corresponding to the observation point as the origin.
  • the x-axis and the z-axis are arranged along the horizontal plane, and the y-axis is arranged along the vertical direction.
  • a particularly important direction is set from the observation point in the whole sky.
  • this important direction is referred to as the attention direction.
  • the attention direction may be a direction that the user is expected to pay particular attention to, or a direction that the creator of the panoramic image I wants the user to pay particular attention, for example, a direction in which an important subject is captured.
  • the panoramic image I is generated so that the region closer to the attention direction on the phantom sphere S has higher image quality (higher resolution).
  • each of the four 1 ⁇ 4 spheres has a symmetrical shape with respect to one plane that passes through the center point O and is parallel to the direction of interest.
  • FIG. 2 is a perspective view showing a specific example of the projection plane A1.
  • the center line along the direction of interest of the projection plane A1 is hereinafter referred to as a trunk line T.
  • the trunk line T represents the shape when the projection plane A1 is cut along the center plane. That is, the trunk line T is a line connecting one end on the attention direction side and one end on the opposite side in a central plane that is a plane including the center point O and parallel to the attention direction.
  • FIG. 3 shows a specific example of the shape of the trunk line T in the center plane.
  • the projection plane A1 is configured by connecting six polygons.
  • the trunk line T is composed of six line segments as shown in FIG.
  • the position in the center plane is represented by a two-dimensional coordinate system composed of an X axis and a Y axis orthogonal to each other.
  • the X-axis coincides with the x-axis of the three-dimensional space, but the Y-axis is inclined by 45 ° to the z-axis side.
  • the six line segments constituting the trunk line T are assumed to be T 1 , T 2 , T 3 , T 4 , T 5 , T 6 in order from the opposite side to the direction of interest.
  • the end points of the trunk T in the opposite direction (X-axis negative direction) side of the target direction as a starting point P 1
  • the end points of each line segment, the relay point P 2 in order from a side close to the starting point P 1, P 3, P 4
  • Let P 5 and P 6 Let P 5 and P 6 .
  • the end points of the trunk T of the target direction (X-axis positive direction side) as the end point P 7.
  • this angle (an angle at which each line segment is viewed from the center point O) is referred to as a corresponding angle ⁇ .
  • the line segments T 1 to T 6 each cover the range of the corresponding angle ⁇ when viewed from the center point O.
  • Origin P 1 is set from the center point O to a predetermined distance away in the opposite direction (X-axis negative direction) of the target direction.
  • the angle OP 1 P 2 here is referred to as an emission angle ⁇ .
  • the relay point P 3 is determined so that the angle P 2 OP 3 is 30 ° and the angle OP 2 P 3 is 90 °.
  • Each of the remaining relay points P 4 to P 6 and end point P 7 has an angle P n ⁇ 1 OP n (corresponding angle ⁇ ) of 30 ° and an angle OP n ⁇ 1 P n (injection angle ⁇ ) of 90 °. Are determined sequentially.
  • the shape of the trunk line T in the center plane is determined.
  • the line segments T 1 to T 6 are all different in length, and the length is longer as the line segment is closer to the direction of interest, and the length is shorter as the line segment is closer to the opposite direction of the direction of interest. That is, the shape of the trunk line T is asymmetric with respect to a plane passing through the center point O and perpendicular to the direction of interest, and the portion on the direction of interest side is longer than the portion on the opposite side.
  • r is the distance to the center point O.
  • ⁇ is an angle value in which the negative X-axis direction is 0 ° and the counterclockwise direction is a positive direction, and takes a value of 0 ° to 180 °.
  • the function f is a monotonically increasing function in which r increases as ⁇ increases. Thereby, the length of the trunk line T per unit angle can be made longer as it approaches the direction of interest.
  • branch lines F 1 to F 5 are arranged so as to pass through the relay points P 2 to P 6 respectively.
  • These branch lines F correspond to ribs when the trunk line T is viewed as the spine, and are arranged so as to extend left and right when viewed from the extending direction of the trunk line T.
  • the branch lines F 1 to F 5 are arranged along a direction orthogonal to the center plane.
  • the branch lines F 1 to F 5 are all arranged so that the midpoints thereof coincide with the relay points on the trunk line T.
  • the length of each branch line F is determined so as to correspond to the 1 ⁇ 4 spherical surface S1.
  • Branch F 1 as an example will be specifically described the arrangement.
  • Figure 4 shows a state of a plane perpendicular to the x axis including a relay point P 2 and the branch F 1.
  • 1/4 sphere S1 when it is cut in a plane orthogonal to relay point P 2 and as noted direction and fan shape having a central angle of 90 °. Therefore, branch F 1 also, as shown in FIG. 4, as the angle formed between a point on both ends and the x-axis is 90 °, its length is determined.
  • the length of the branch line F 1 at this time is equal to twice the distance from the relay point P 2 to the x-axis. Since the middle point of the branch line F 1 corresponds to the relay point P 2, branch F 1 is symmetric with respect to the center plane. Similar to the branch line F 1 , the lengths of the branch lines F 2 to F 5 are determined so as to be equal to twice the distance from the corresponding relay point to the x-axis.
  • the projection plane A1 has a shape formed by connecting the starting point P 1 and the end point P 7 of the trunk T, and both ends of each branch F.
  • the scenery of the 1 ⁇ 4 spherical surface S1 is projected onto this projection plane A1.
  • the entire projection plane A1 is also symmetric with respect to the center plane, like the 1 ⁇ 4 spherical surface S1.
  • a branch line F d is set on the projection plane A1.
  • This branch line F d is a line segment on the projection plane A1 parallel to the other branch lines F 1 to F 5 . For the method of determining the position of the branch F d, it will be described later.
  • the scenery projected on the projection plane A1 is converted into a planar shape and becomes a part of the panoramic image I.
  • an area in the panoramic image I corresponding to the projection plane A1 is referred to as an image portion Ip1.
  • the image portion Ip1 is assumed to have a square shape.
  • FIG. 5 shows the image portion Ip1, and the line segments corresponding to the trunk line T and the branch lines F 1 to F 5 in the projection plane A1 are shown.
  • the trunk line T is associated with one diagonal line of the image portion Ip1.
  • the upper right vertex of the image portion Ip1 corresponds to the starting point P 1
  • the lower left vertex corresponds to the end point P 7.
  • the diagonal line P 1 P 7 is divided into six parts and is associated with any one of the line segments T 1 to T 6 constituting the trunk line T.
  • the length of each line segment in the image portion Ip1 is determined according to the length of the line segments T 1 to T 6 in the projection plane A1. However, the six line segments do not need to be converted so as to keep the ratio of the length on the projection plane A1, but may be converted to a length corrected according to the position in the center plane. .
  • n-th correction coefficient a n for the line T n of the correction coefficient a n-1 for the (n-1) -th line T n-1 (i.e., the line segments adjacent the opposite side of the target direction)
  • a n a n ⁇ 1 ⁇ sin ( ⁇ ) / sin (180 ° ⁇ )
  • a n a n-1 / sin 60 ° It becomes.
  • the correction coefficients for the line segments T 2 to T 6 are similarly calculated in order. Table 1 shows the correction coefficient for each line segment calculated by this calculation formula.
  • the corrected length of each line segment is a value obtained by multiplying the length in the projection plane A1 by this correction coefficient.
  • the length of each line segment in the image portion Ip1 is calculated so as to coincide with the corrected length. That is, assuming that the total length of the corrected lengths of the line segments T 1 to T 6 is Lt, the ratio of the length of each line segment in the image portion Ip1 to the total length of the trunk line T is (corrected length). Length) / Lt. The length of each line segment in the actual image portion Ip1 is a value obtained by multiplying this ratio by the length of the diagonal line of the image portion Ip1.
  • the unit angle refers to a unit amount of the angle ⁇ which is a rotation angle around the center point (observation point) O in the center plane including the trunk line T.
  • the size of the area in the image portion Ip1 corresponding to the unit area on the virtual sphere S (that is, the density of information included in the image) also changes discontinuously. It is not preferable. Therefore, by performing correction by the correction coefficient a n, as described above, it is possible to prevent such discontinuities.
  • the correspondence between the position of an arbitrary point on each line segment on the projection plane A1 and the position on each line segment in the image portion Ip1 may be determined by interpolation calculation such as linear interpolation.
  • the branch lines F 1 to F 5 in the projection plane A1 are converted into line segments parallel to the diagonal line that intersects the diagonal line corresponding to the trunk line T in the image portion Ip1, respectively. Specifically, the branch lines F 1 to F 5 are converted so as to pass through the relay points P 2 to P 6 in the image portion Ip1 as in the projection plane A1.
  • each branch line F is orthogonal to the trunk line T.
  • the diagonal line itself that intersects the diagonal line corresponding to the trunk line T is also set as one of the branch lines F.
  • Position of branch line F d in the projection plane A1 is set to a position corresponding to the diagonal position in the image portion within Ip1.
  • the position in the projection plane A1 is converted into the position in the image portion Ip1.
  • triangle surrounded by the branch line F 1 and the starting point P 1 and the triangle surrounded by the branch line F 5 and end P 7 are respectively converted upper right of the image portion Ip1, and the lower left of the triangle.
  • the trapezoid sandwiched between two adjacent branch lines F is converted into a trapezoid sandwiched by the same two branch lines F in the image portion Ip1.
  • the method of converting a rectangle is not limited to that described above.
  • the trapezoid formed by the two branch lines F on the projection plane A1 may be divided into two triangles, and each of them may be converted onto the image portion Ip1.
  • the tessellation process may be executed to further divide the triangle or quadrangle on the projection plane A1, and perform conversion in units of polygons obtained by the division. According to such a conversion method, it is possible to suppress the degree of error that occurs with the conversion. Also, such polygon-to-polygon conversion processing including tessellation can be easily realized using a known computer graphics library or the like.
  • the scenery in the 1 ⁇ 4 spherical surface S1 is converted into the image portion Ip1 having a planar shape.
  • the image portions Ip2 to Ip4 are obtained by projecting the scenery inside to the projection surfaces A2 to A4 and performing the same conversion.
  • a planar panoramic image I including the scenery of the whole sky is generated.
  • FIG. 6 shows an example of the panoramic image I obtained in this way. Since each image portion is a square, the panoramic image I also has a square shape as a whole.
  • the center C of the panoramic image I corresponds to the direction of interest (the positive x-axis direction).
  • curves representing respective ranges of up to 30 °, up to 60 °, up to 90 °, and up to 120 ° with respect to the direction of interest are shown.
  • a region closer to the direction of interest is assigned a wider area in the panoramic image I.
  • the panoramic image I includes more information as it is closer to the direction of interest, and contains relatively less information on the opposite side of the direction of interest.
  • an image can be drawn with higher image quality at a location closer to the direction of interest.
  • the projection plane A1 is composed of six polygons, and the trunk line T is composed of six line segments correspondingly.
  • the trunk line T may be composed of an arbitrary number of three or more line segments.
  • FIG. 7 shows the shape of the projection plane A1 when the trunk line T is composed of four line segments and the shape of the projection plane A1 is determined by the same procedure as described above.
  • the trunk line T is configured with a smaller number of line segments in this way, the difference in information density between the attention direction and the opposite side of the attention direction becomes larger.
  • the shape of the trunk line T approaches a semicircle, and the difference in information density between the attention direction and the opposite side becomes smaller.
  • the plurality of line segments constituting the trunk line T are determined so that the corresponding angles ⁇ are equal to each other.
  • the corresponding angle ⁇ may be different for each line segment.
  • the exit angle ⁇ is 90 °.
  • a is an arbitrary coefficient that takes a positive value.
  • the length ratio per 30 ° matches the length ratio weighted for each line segment constituting the trunk line T illustrated in FIG.
  • FIG. 8 shows the shape of the trunk line T formed by this curve.
  • the trunk line T in FIG. 3 is indicated by a one-dot chain line for comparison.
  • the two-dot chain line in the figure is obtained by changing the distances of line segments T 2 to T 6 other than the line segment T 1 constituting the trunk line T in FIG. 3 according to the curved trunk line T.
  • the ratio of the length of each line segment whose distance is changed and the trunk line T of the curve corresponding to the same angle range is constant at any angle.
  • the branch line F is not limited to the shape and arrangement as described above.
  • the branch line F may have a shape constituted by a plurality of line segments in a plane that passes through the corresponding relay point and is perpendicular to the direction of interest.
  • the shape may include a curved line such as an arc shape.
  • the branch line F has a symmetrical shape with respect to the center plane, and corresponds to an angle at which the branch line F is viewed from a point on the x axis (an angle formed by both ends of the branch line F and the central angle O). / 4 is determined to coincide with the spherical surface (that is, 90 °).
  • the branch line F may be arranged in a plane that passes through the corresponding relay point and the center point O and is perpendicular to the center plane.
  • the attention direction is a direction parallel to the horizontal plane.
  • the present invention is not limited to this, and the attention direction may be set to an arbitrary direction around the whole sky.
  • the panoramic image I is set so that the amount of information increases as it approaches the direction of interest by determining the arrangement positions of the projection planes A1 to A4 so that the center plane is parallel to the direction of interest with reference to the direction of interest. Can be generated.
  • the direction when dividing the phantom sphere S into 1 ⁇ 4 spherical surfaces may be set to an arbitrary direction.
  • the panoramic image I in the present embodiment is not limited to this, and a partial view of the entire sky view. May be included.
  • the panoramic image I may include a landscape corresponding to only one of the 1 ⁇ 4 spherical surfaces S1 to S4, or a landscape corresponding to two 1 ⁇ 4 spherical surfaces (ie, hemispheres). May be included.
  • the panoramic image I in the present embodiment may be generated by converting only a partial range of scenery into an image portion for a certain 1 ⁇ 4 spherical surface.
  • the range in which the scenery is not projected may be a pixel having dummy information in the panoramic image I (for example, a pixel having a pixel value of 0).
  • the panoramic image I can be generated by the method of the present embodiment.
  • each of the projection surfaces A1 to A4 corresponding to the 1 ⁇ 4 spherical surface may be converted into an image portion having a shape other than a square (for example, a rectangular shape).
  • the shape is not limited to this, and the shape of the trunk line T may not be a shape in which the length per unit angle becomes longer as it approaches the direction of interest.
  • the shape of the trunk line T may be a symmetric shape on the attention direction side and the opposite side when viewed from the center point O, or may be a shape close to a semicircle.
  • the trunk line T has such a shape, when the projection plane including the trunk line T is converted into the planar panorama image I, the conversion ratio is changed for each portion of the projection plane, thereby the trunk line T.
  • the effect similar to the case of having a shape in which the length per unit angle becomes longer as the angle approaches the direction of interest can be obtained.
  • each of a plurality of portions constituting the trunk line T is converted so that the portion in the panorama image I becomes longer as the portion is closer to the direction of interest.
  • the trunk line T itself in the projection plane is not so long that the length per unit angle approaches the direction of interest, but in the panoramic image I, the length per unit angle of the trunk line T is It gets longer as it gets closer to the direction of attention.
  • the correspondence relationship between the trunk line T in the panorama image I and the trunk line T in the projection plane is such that the unit length of the trunk line T in the panorama image I is closer to the direction of interest in the projection plane and the larger angle ⁇ .
  • the unit length of the trunk line T in the panorama image I may be a length corresponding to the pixel size of each pixel of the panorama image I.
  • the length per unit angle of the trunk line T in the panoramic image I is continuously increased as it approaches the direction of interest.
  • the length per unit angle may be temporarily reduced depending on the structure of the projection plane and how to define the correspondence. Even in such a case, if the correspondence is defined so that the length per unit angle is the longest at the position closest to the direction of interest, a panoramic image I with a large amount of information is generated near the direction of interest. can do.
  • the projection plane corresponding to one 1 ⁇ 4 spherical surface is converted into a square image portion as illustrated in FIG. 4, and four such image portions are arranged to arrange the entire sky.
  • the panoramic image I including the scenery is generated.
  • the image portion corresponding to the 1 ⁇ 4 spherical surface is not limited to such a shape.
  • the scenery included in the 1 ⁇ 4 spherical surface may be converted into a right isosceles triangular shape.
  • FIG. 9 shows an example of the image portion in this case. In the example of this figure, the image portion Ip1 including the scenery of the 1 ⁇ 4 spherical surface S1 is shown as in FIG.
  • the trunk line T is composed of a perpendicular line extending from the apex angle to the bottom side, and the bottom side, and the half of the trunk line T opposite to the direction of interest corresponds to both of the two line segments that bisect the bottom side. ing. Accordingly, the starting point P 1 is P 1L point corresponding to base angles of the right and left, which corresponds to the point P 1R. Similarly, the relay points P 2 to P 5 respectively correspond to two points on the bottom side.
  • a panoramic image I having a square shape as a whole can be generated. Also in this example, each of the polygon surrounded by the trunk line T and the branch line in the projection plane is converted into a triangle or a trapezoid in the panorama image I.
  • the image generation apparatus 10 is an information processing apparatus that generates a panoramic image I, and may be, for example, a home game machine, a portable game machine, a personal computer, a smartphone, or a tablet. As illustrated in FIG. 10, the image generation apparatus 10 includes a control unit 11, a storage unit 12, and a communication unit 13.
  • the control unit 11 includes at least one processor such as a CPU, and executes various types of information processing by executing programs stored in the storage unit 12. In particular, in the present embodiment, the control unit 11 executes a panorama image I generation process.
  • the storage unit 12 includes at least one memory device such as a RAM, and stores a program executed by the control unit 11 and data processed by the program.
  • the communication unit 13 is a communication interface such as a LAN card, and transmits panoramic image I data to the image display control device 20 via a communication network.
  • the image display control device 20 is an information processing device that performs display control of an image based on the panoramic image I generated by the image generation device 10. Like the image generation device 10, the image display control device 20 is a home game machine or a portable game machine. A personal computer, a smartphone, a tablet, or the like.
  • the image display control device 20 includes a control unit 21, a storage unit 22, and a communication unit 23. Further, the image display control device 20 is connected to the display device 24 and the operation device 25.
  • the control unit 21 includes at least one processor such as a CPU, and executes various types of information processing by executing programs stored in the storage unit 22. In particular, in the present embodiment, the control unit 21 executes a process of drawing a display image based on the panoramic image I.
  • the storage unit 22 includes at least one memory device such as a RAM, and stores a program executed by the control unit 21 and data processed by the program.
  • the communication unit 23 is a communication interface such as a LAN card, and receives data transmitted from the image generation apparatus 10 via a communication network.
  • the display device 24 is a liquid crystal display or the like, and displays an image according to a video signal supplied by the image display control device 20.
  • the display device 24 may be a stereoscopic image display device that displays a stereoscopically viewable image supplied by the image display control device 20.
  • the display device 24 may be a head-mounted display device such as a head-mounted display that can be mounted on the head of the user.
  • the operation device 25 is a controller or a pointing device of a consumer game machine, and is used by the user to perform various instruction operations on the image generation apparatus 10.
  • the content of the user's operation input to the operation device 25 is transmitted to the image display control device 20 by either wired or wireless.
  • the operation device 25 may include operation buttons, a touch panel, and the like arranged on the surface of the casing of the image display control device 20.
  • the image generation device 10 functionally includes a landscape information acquisition unit 31, a panorama image generation unit 32, and a panorama image transmission unit 33. These functions are realized when the control unit 11 executes a program stored in the storage unit 12.
  • the image display control device 20 functionally includes a panoramic image acquisition unit 34, a direction acquisition unit 35, and a display image drawing unit 36. These functions are realized when the control unit 21 executes a program stored in the storage unit 22.
  • a program executed by each device may be provided to each device via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disk.
  • the scenery information acquisition unit 31 acquires scenery information that is original data for generating the panoramic image I.
  • the scenery information is information necessary for specifying the color (pixel value) of each unit area on the surface of the virtual sphere S when the entire sky view from the observation point is projected onto the virtual sphere S.
  • the landscape information may be a panoramic image generated in an image format different from the present embodiment, such as equirectangular projection. Further, it may be image data of a panoramic photograph taken by a panoramic camera.
  • the scenery information acquisition unit 31 may receive scenery information from another device via a communication network, or may read the scenery information from a device such as a camera connected to the image generation apparatus 10.
  • landscape information stored in an information storage medium such as a flash memory may be read.
  • the panoramic image generation unit 32 generates a panoramic image I using the landscape information acquired by the landscape information acquisition unit 31.
  • the panoramic image I is two-dimensional image data including all or a part of the scenery of the entire sky.
  • the panoramic image generation unit 32 determines the direction of interest and the positions and shapes of the projection planes A1 to A4 according to given conditions.
  • the panorama image I is generated by calculating the pixel value of each pixel in the panorama image I based on the landscape information in accordance with the correspondence relationship between the position in the projection plane and the position in the panorama image I described above.
  • the correspondence between the position in the projection plane and the position in the panorama image I is determined by the position and shape of the projection plane.
  • the position and shape of the projection plane are defined by the direction of interest and the positions and shapes of the trunk line T and the branch line F.
  • Information defining the position and shape of the projection plane is necessary for the image display control device 20 to reproduce the scenery included in the panoramic image I. Therefore, the panorama image generation unit 32 outputs information defining the configuration of the panorama image I (hereinafter referred to as image definition information) in association with the generated panorama image I.
  • the panorama image generation unit 32 may generate panorama image data for stereoscopic viewing.
  • the image data generated in this case includes, for example, a square panoramic image I for generating a left-eye image in the left half and a vertical and horizontal direction including a square panoramic image I for generating a right-eye image in the right half. It may be rectangular image data having a ratio of 1: 2.
  • the panoramic image generation unit 32 may generate the panoramic image I as a moving image that changes with time.
  • the panorama image transmission unit 33 transmits the panorama image I generated by the panorama image generation unit 32 to the image display control device 20. At this time, the panoramic image transmission unit 33 also transmits the image definition information.
  • the panorama image acquisition unit 34 acquires the panorama image I transmitted by the panorama image transmission unit 33 of the image generation apparatus 10 by receiving the panorama image I.
  • the panorama image acquisition unit 34 directly receives the panorama image I transmitted from the image generation apparatus 10 via the communication network.
  • the present invention is not limited to this, and the panoramic image acquisition unit 34 may receive the panoramic image I via another device such as a server computer.
  • the direction acquisition unit 35 acquires direction information used for determining the visual field range (display range) of the display image displayed on the display device 24 based on a user instruction or the like.
  • the direction information acquired by the direction acquisition unit 35 is used as the imaging direction of the virtual camera when the display image drawing unit 36 described later generates a display image.
  • This imaging direction is defined by, for example, a yaw angle that represents an angle in the horizontal direction and a pitch angle that represents an angle in the vertical direction.
  • the direction acquisition unit 35 may also acquire a roll angle indicating a rotation angle of the camera with the imaging direction as a rotation axis.
  • the direction acquisition unit 35 acquires the direction information by receiving an operation input that instructs the user's direction with respect to the operation device 25.
  • the direction acquisition unit 35 may acquire the direction information from the detection result of the motion sensor built in the image display control device 20 when the user performs an operation of tilting the main body of the image display control device 20.
  • the image display control device 20 includes a small housing such as a smartphone or a tablet
  • the user can change the visual field range in an arbitrary direction by changing the direction of the image display control device 20. Can do.
  • the direction acquisition unit 35 may acquire direction information from a detection result of a motion sensor built in the display device 24.
  • the visual field range can be changed according to the change in the orientation of the user's head.
  • the display image drawing unit 36 draws a display image showing a scenery within the visual field range determined according to the direction information acquired by the direction acquisition unit 35, and displays the display device. 24.
  • the user can view the scenery within the specific visual field range included in the panoramic image I.
  • by changing the visual field range by an operation input to the operation device 25 or the like it is possible to view a landscape in any direction of the entire sky.
  • the display image drawing unit 36 arranges the projection planes A1 to A4 in the virtual space based on the image definition information transmitted together with the panoramic image I. In addition, the display image drawing unit 36 arranges the virtual camera at the center position (a position corresponding to the center point O of the virtual sphere S). At this time, the virtual camera is arranged with a direction and an inclination determined according to the direction information acquired by the direction acquisition unit 35.
  • the display image drawing unit 36 pastes a texture generated based on the panoramic image I inside the projection planes A1 to A4.
  • the display image drawing unit 36 arranges the projection plane A1 as illustrated in FIG. 2 in the virtual space. Further, the projection planes A2 to A4 having the same shape as the projection plane A1 are arranged in a direction rotated by 90 degrees. Then, the image included in the image portion Ip1 illustrated in FIG. 5 is pasted as a texture inside the projection plane A1.
  • the display image drawing unit 36 divides the image portion Ip1 into five trapezoids and two triangles by branch lines F 1 to F 5 and F d .
  • a polygon such as a triangle or a trapezoid obtained by this division is converted into a shape corresponding to a plane in the corresponding projection plane A1 by affine transformation reverse to that when the image is generated.
  • the texture obtained by this conversion is pasted in the projection plane A1.
  • the upper right of the triangle formed by the starting point P 1 and the branch F 1 in the image portion within Ip1 is affixed to the triangular portion having a start point P 1 to the vertex projection plane A1.
  • trapezoidal sandwiched by branch F 1 and the branch F 2 in the image portion Ip1 is converted into a trapezoidal sandwiched by branch F 1 and the branch F 2 even within the projection plane A1.
  • the display image drawing unit 36 may execute tessellation processing to divide the trapezoid into a plurality of smaller polygons, and perform conversion for each divided polygon. At least a part of such drawing processing may be realized by a GPU or the like.
  • the display image drawing unit 36 draws a state of viewing the projection planes A1 to A4 to which the texture is pasted from the virtual camera arranged at the position corresponding to the center point O of the virtual sphere S. Generate a display image. For example, when the virtual camera is directed to the target direction, so that the end point P 7 near the area of the projection surface A1, and the display image including the region of the projection surface A2 ⁇ A4 adjacent thereto is drawn.
  • the panoramic image I has an image format that occupies a larger area in the region near the direction of interest.
  • a display image based on such a panoramic image I it is possible to generate a display image that represents a landscape with higher resolution in the vicinity of the direction of interest compared to other regions.
  • the display image drawing unit 36 updates the display image in real time according to the change in the direction acquired by the direction acquisition unit 35. That is, when the direction acquired by the direction acquisition unit 35 changes, the display image drawing unit 36 changes the direction of the virtual camera in a direction corresponding to the changed direction. More specifically, when the pitch angle and the yaw angle change, the imaging direction of the virtual camera is changed in conjunction with the change. When the roll angle changes, the virtual camera is tilted with the imaging direction as the rotation axis in conjunction with the change. Thereby, the visual field range of the virtual camera changes in conjunction with the change in the direction acquired by the direction acquisition unit 35.
  • the display image drawing unit 36 redraws the state of the inner surfaces of the projection planes A1 to A4 based on the updated visual field range, updates the display image, and displays the display image on the screen of the display device 24.
  • the display image drawing unit 36 repeatedly executes a redrawing (updating) process of the display image according to the change in the direction acquired by the direction acquisition unit 35 every predetermined time. According to such control, the user can view the scenery at an arbitrary position on the whole sky included in the panoramic image I by moving the visual field range.
  • the direction acquisition unit 35 may acquire not only the direction of the virtual camera but also the position of the virtual camera based on a user instruction or the like.
  • the display image drawing unit 36 translates the virtual camera in the virtual space based on the change in the position information. As a result, it is possible to display a state where the scenery pasted on the projection surfaces A1 to A4 is viewed from different positions.
  • the display image is a single planar image, but the display image drawing unit 36 may draw a three-dimensional image.
  • the display image drawing unit 36 arranges two virtual cameras arranged in the left-right direction at the center of the projection planes A1 to A4. Then, a display image for the left eye is generated by drawing a state in which the inner surfaces of the projection surfaces A1 to A4 to which the texture generated based on the panorama image I for the left eye is pasted are viewed from the left virtual camera. Similarly, a display image for the right eye is generated by drawing a state in which the inner surfaces of the projection surfaces A1 to A4 to which the texture generated based on the panorama image I for the right eye is pasted are viewed from the right virtual camera.
  • the panorama image I is generated in an image format in which the amount of information per unit area of the virtual sphere S corresponding to the entire sky increases as the direction of interest becomes closer. For this reason, while it is possible to display important portions with high resolution, the entire data amount of the panoramic image I can be relatively suppressed.
  • the image generation apparatus 10 transmits the panoramic image I to the image display control apparatus 20 via the communication network.
  • the image generation apparatus 10 is an information storage medium such as a flash memory.
  • the panorama image I may be written to the image display control device 20, and the image display control device 20 may read and acquire the panorama image I from such an information storage medium.
  • the image generation device 10 and the image display control device 20 are independent devices, but one information processing device may realize both generation of the panoramic image I and display control. Good.
  • the display image drawing unit 36 refers to the image definition information and arranges the projection surface having the same shape as that when the panoramic image I is generated in the virtual space.
  • the display image drawing unit 36 may draw a display image by pasting a texture onto a spherical projection plane based on the panoramic image I corresponding to the projection plane illustrated in FIG.
  • the display image drawing unit 36 refers to the image definition information, identifies the area occupied by each part in the panoramic image I in the projection plane, and pastes the texture generated based on the part to the identified area. wear.
  • the texture representing the scenery included in the panorama image I can be developed on the projection plane having a shape different from the projection plane at the time of generating the panorama image I.
  • the distance from the virtual camera to the projection plane when drawing the display image is When it changes according to the direction of the virtual camera, the apparent distance to the object at the same distance changes depending on the direction. Therefore, the user may feel uncomfortable.
  • the distance from the virtual camera to the projection plane can be kept unchanged in any direction.
  • the display image drawing unit 36 performs tessellation processing to divide the panoramic image I into relatively small triangular small areas. For example, the display image drawing unit 36 divides the panoramic image I into small squares in a grid pattern, and further divides each divided square into two triangular small regions with diagonal lines facing the center of the panoramic image I. . For each small area obtained by this division, the position of the vertex in the virtual space is calculated. At this time, the position of each vertex is calculated based on the shape of the projection plane when the original panoramic image I is generated (in other words, the position information of the trunk line T and each branch line F).
  • the display image drawing unit 36 arranges the small regions so as to have a substantially spherical shape in the virtual space according to the calculated position of each vertex. In this way, a spherical projection plane that reproduces the scenery included in the panoramic image I can be generated.
  • each small area is arranged so as to be substantially equidistant from the center point (virtual camera position).
  • the present invention is not limited to this.
  • the distance may be changed. Thereby, the distance to a projection surface can also be changed according to an azimuth
  • 1 image display system 10 image generation device, 11, 21 control unit, 12, 22 storage unit, 13, 23 communication unit, 20 image display control device, 24 display device, 25 operation device, 31 landscape information acquisition unit, 32 panorama Image generation unit, 33 panorama image transmission unit, 34 panorama image acquisition unit, 35 direction acquisition unit, 36 display image drawing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、観測点から見て所与の注目方向を含む仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成し、生成されたパノラマ画像を出力する画像生成装置であって、注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線のうち、観測点回りの回転角の単位量に対応する部分のパノラマ画像内における長さが、注目方向に最も近い位置で最も長くなるように、投影面に対応するパノラマ画像を生成する画像生成装置である。

Description

画像生成装置、及び画像表示制御装置
　本発明は、パノラマ画像を生成する画像生成装置、パノラマ画像を表示する画像表示制御装置、画像生成方法、プログラム、及び画像データに関する。
　観測点から見た全天周の景色を２次元平面に投影したパノラマ画像の画像フォーマットとして、正距円筒図法などのフォーマットが知られている。このようなパノラマ画像を用いることによって、例えばユーザーによる視点の向きの操作に応じて任意の方向の景色を表示するパノラマビューアを実現することができる。
　上述した画像フォーマットを利用してパノラマ画像をユーザーに閲覧させる場合、ユーザーの前方や、特定の被写体が写っている箇所など、特定の方向が重要になることがある。しかしながら、従来のパノラマ画像のフォーマットでは、このような重要な方向とそうでない方向とが区別されていなかった。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、重要な方向をより高解像度で表示可能なパノラマ画像の画像データ、及びこれに対応した画像生成装置、画像表示制御装置、画像生成方法、及びプログラムを提供することにある。
　本発明に係る画像生成装置は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部と、前記生成されたパノラマ画像を出力する画像出力部と、を含み、前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、前記パノラマ画像生成部は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成することを特徴とする。
　本発明に係る画像表示制御装置は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を取得する取得部と、前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、を含み、前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、前記パノラマ画像は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面を変換してなるパノラマ画像であることを特徴とする。
　本発明に係る画像生成方法は、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するステップと、前記生成されたパノラマ画像を出力するステップと、を含み、前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、前記パノラマ画像を生成するステップでは、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成することを特徴とする。
　本発明に係るプログラムは、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部、及び、前記生成されたパノラマ画像を出力する画像出力部、としてコンピュータを機能させるためのプログラムであって、前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、前記パノラマ画像生成部は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成するプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
　本発明に係る画像データは、観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面が平面形状に変換されてなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されており、前記投影面に含まれる、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面が変換されてなるパノラマ画像の画像データである。
全天周の景色に対応する仮想球を示す図である。 １／４球面の景色が投影される投影面の一例を示す図である。 投影面を構成する幹線の一例を示す図である。 投影面を構成する支線の一例を示す図である。 図２の投影面に投影される景色が変換されてなるパノラマ画像の一部分を示す図である。 パノラマ画像の一例を示す図である。 投影面の別の例を示す図である。 パノラマ画像の一部分の別の例を示す図である。 曲線により形成された幹線の一例を示す図である。 画像表示システムの構成を示す構成ブロック図である。 画像表示システムの機能を示す機能ブロック図である。
　以下、本発明の実施形態について、図面に基づき詳細に説明する。
[パノラマ画像の画像フォーマット]
　本実施形態に係る画像生成装置は、観測点から見た全天周の全部、又は一部範囲の景色を含んだパノラマ画像を生成する。以下では、本実施形態に係る画像生成装置によって生成されるパノラマ画像をパノラマ画像Ｉと表記する。パノラマ画像Ｉは、全天周の全部、又は一部範囲の景色を含んだ２次元（平面）の画像データである。ここで全天周とは、観測点から見て水平方向（左右方向）に３６０度、鉛直方向（上下方向）に天頂から天底まで１８０度の全ての方位を意味している。
　以下、本実施形態におけるパノラマ画像Ｉの画像フォーマットの具体例について、説明する。観測点から見た全天周の景色は、観測点の位置を中心とした仮想的な球面上に表される。ここで、全天周の景色に対応する仮想的な球を仮想球Ｓとする。以下では説明のために、観測点に対応する仮想球Ｓの中心点Ｏを原点として、互いに直交するｘ軸、ｙ軸、ｚ軸の３軸からなる座標系を使用する。ｘ軸、及びｚ軸は水平面上に沿って配置され、ｙ軸は鉛直方向に沿って配置されるものとする。
　本実施形態では、全天周のうち、観測点から見て特に重要な方向が設定される。以下では、この重要な方向を注目方向という。ここでは、注目方向はｘ軸正方向に設定されるものとする。注目方向は、ユーザーが特に注目すると想定される方向や、パノラマ画像Ｉの生成者がユーザーに特に注目して欲しいと考える方向であって、例えば重要な被写体が写っている方向などであってよい。本実施形態では、仮想球Ｓ上において注目方向に近い領域ほど、高画質（高解像度）になるようにパノラマ画像Ｉが生成される。
　仮想球Ｓを、その中心点Ｏを通り、注目方向に平行で互いに直交する２つの平面によって４分割すると、図１に示すように４個の１／４球面Ｓ１～Ｓ４が得られる。この図では、仮想球Ｓはｘｙ平面（鉛直面）及びｘｚ平面（水平面）の二つの平面によって４分割されている。４個の１／４球面は、いずれも中心点Ｏを通り注目方向に平行な一つの平面に対して対称な形状になっている。具体的に、１／４球面Ｓ１、及び１／４球面Ｓ３は、いずれもｙ＝ｚで表される平面に対して対称な形状を有する。また、１／４球面Ｓ２、及び１／４球面Ｓ４は、いずれもｙ＝－ｚで表される平面に対して対称な形状を有する。
　以下では、４個の１／４球面のうちの１／４球面Ｓ１を例として、この１／４球面Ｓ１に対応する景色を含んだパノラマ画像Ｉの一部分の生成方法を説明する。この１／４球面Ｓ１に対応する範囲の景色は、互いに連結された複数の多角形（三角形又は四角形）によって構成される投影面Ａ１に投影される。図２は、この投影面Ａ１の具体例を示す斜視図である。投影面Ａ１の注目方向に沿った中心線を、以下では幹線Ｔという。前述した通り１／４球面Ｓ１はｙ＝ｚで表される平面に対して対称な形状となっているので、これに対応して幹線Ｔもこの平面上に配置される。以下では、幹線Ｔが配置される平面（ここではｙ＝ｚで表される平面）を中心面という。幹線Ｔは、投影面Ａ１を中心面で切断した際の形状を表している。すなわち、幹線Ｔは、中心点Ｏを含み注目方向に平行な平面である中心面内において、注目方向側の一端と、その逆側の一端とを結ぶ線になっている。
　図３は中心面内における幹線Ｔの形状の具体例を示している。なお、ここでは一例として、投影面Ａ１は６個の多角形が連結されて構成されているものとする。これに対応して、幹線Ｔは図３に示すように６個の線分によって構成される。また、以下では中心面内の位置を、互いに直交するＸ軸及びＹ軸からなる２次元座標系で表すこととする。ここで、Ｘ軸は３次元空間のｘ軸に一致するが、Ｙ軸はｙ軸をｚ軸側に４５°傾けた向きになっている。
　以下、幹線Ｔの形状の決定方法について、説明する。ここでは、幹線Ｔを構成する６個の線分を、注目方向と反対側から順にＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６とする。また、注目方向の反対方向（Ｘ軸負方向）側の幹線Ｔの端点を起点Ｐ１とし、各線分の端点を、起点Ｐ１に近い側から順に中継点Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６とする。さらに、注目方向（Ｘ軸正方向）側の幹線Ｔの端点を終点Ｐ７とする。
　中継点Ｐ２～Ｐ６は、線分Ｔ１～Ｔ６それぞれを中心点Ｏから見込む角（すなわち、各線分の両端と中心点Ｏにより形成される角）が互いに等しくなるように配置されている。すなわち、角Ｐ１ＯＰ７（＝１８０°）を６等分する５本の補助線を引いた場合に、中継点Ｐ２～Ｐ６はこれらの補助線上に配置されることになる。つまり、角Ｐ１ＯＰ２、角Ｐ２ＯＰ３、角Ｐ３ＯＰ４、角Ｐ４ＯＰ５、角Ｐ５ＯＰ６、角Ｐ６ＯＰ７は互いに等しく、全て３０°（＝１８０°／６）になる。以下ではこの角度（中心点Ｏから各線分を見込む角）を対応角αという。線分Ｔ１～Ｔ６は、それぞれ中心点Ｏから見て対応角αの範囲をカバーすることになる。
　起点Ｐ１は、注目方向の反対方向（Ｘ軸負方向）側において中心点Ｏから所定の距離離れた位置に設定される。ここでは起点Ｐ１の位置座標を（Ｘ＝－１，Ｙ＝０）とする。さらに、中継点Ｐ２は、起点Ｐ１を通り直線ＯＰ１に垂直な直線と、起点Ｐ１に最も近い補助線とが交差する位置に設定される。つまり、中継点Ｐ２の位置は、角Ｐ１ＯＰ２がα＝３０°で、角ＯＰ１Ｐ２が９０°になるように決定される。ここでの角ＯＰ１Ｐ２を射出角βという。さらに、中継点Ｐ３は、角Ｐ２ＯＰ３が３０°、角ＯＰ２Ｐ３が９０°になるように決定される。残る中継点Ｐ４～Ｐ６、及び終点Ｐ７のそれぞれも、角Ｐｎ－１ＯＰｎ（対応角α）が３０°、角ＯＰｎ－１Ｐｎ（射出角β）が９０°になるように、順次決定される。
　このようにして起点Ｐ１、中継点Ｐ２～Ｐ６、及び終点Ｐ７の位置が決定されると、中心面内における幹線Ｔの形状が決定される。このとき、線分Ｔ１～Ｔ６は全て長さが異なり、しかも注目方向に近い線分ほど長さが長くなり、注目方向の反対方向に近い線分ほど長さが短くなる。つまり、幹線Ｔの形状は、中心点Ｏを通り注目方向に垂直な平面に対して非対称となっており、注目方向側の部分が反対側の部分よりも長くなる。
　ここで、中心面内の位置座標を極座標（ｒ，θ）で表すことを考える。このとき、幹線Ｔの形状はｒ＝ｆ（θ）という極座標系の一価関数によって表現される。ｒは、中心点Ｏまでの距離である。θは、Ｘ軸負方向を０°とし、反時計回り方向を正方向とする角度値であって、０°以上１８０°以下の値をとる。以上説明したような方法で決定された幹線Ｔをこのように関数ｆで表現すると、関数ｆはθが増加するにつれてｒが増加する単調増加関数となっている。これにより、注目方向に近づくにつれて、単位角度あたりの幹線Ｔの長さが長くなるようにすることができる。
　幹線Ｔの形状が決定されると、次に、中継点Ｐ２～Ｐ６のそれぞれを通るように、５本の支線Ｆ１～Ｆ５が配置される。これらの支線Ｆは、幹線Ｔを背骨と見た場合の肋骨に相当し、幹線Ｔの延伸方向から見て左右に延びるように配置される。具体的に、ここでは支線Ｆ１～Ｆ５は、中心面と直交する方向に沿って配置される。また、支線Ｆ１～Ｆ５は、いずれもその中点が幹線Ｔ上の中継点に一致するように配置される。各支線Ｆの長さは、１／４球面Ｓ１に対応するように決定される。
　支線Ｆ１を例として、その配置を具体的に説明する。図４は、中継点Ｐ２及び支線Ｆ１を含むｘ軸に垂直な平面内の様子を示している。１／４球面Ｓ１を、中継点Ｐ２を通り注目方向と直交する平面で切断した場合、中心角９０°の扇形形状となる。そのため、支線Ｆ１も、図４に示されるように、その両端とｘ軸上の点とでなす角が９０°になるように、その長さが決定される。このとき支線Ｆ１の長さは、中継点Ｐ２からｘ軸までの距離の２倍に等しくなる。なお、支線Ｆ１の中点は中継点Ｐ２に一致するので、支線Ｆ１は、中心面に対して対称になっている。支線Ｆ１と同様に、支線Ｆ２～Ｆ５も、対応する中継点からｘ軸までの距離の２倍に等しくなるように、その長さが決定される。
　このようにして幹線Ｔ、及び支線Ｆ１～Ｆ５の位置が決定されると、投影面Ａ１の全体形状が決定されることになる。すなわち、投影面Ａ１は、幹線Ｔの起点Ｐ１と終点Ｐ７、及び各支線Ｆの両端を結んでできる形状となる。１／４球面Ｓ１の景色は、この投影面Ａ１に投影される。各支線Ｆ１～Ｆ５は中心面に対して対称なので、投影面Ａ１全体も、１／４球面Ｓ１と同様、中心面に対して対称になる。なお、投影面Ａ１上には、支線Ｆ１～Ｆ５のほかに、支線Ｆｄが設定される。この支線Ｆｄは、他の支線Ｆ１～Ｆ５と平行する投影面Ａ１上の線分である。支線Ｆｄの位置の決定方法については、後述する。
　投影面Ａ１に投影された景色は、平面形状に変換されてパノラマ画像Ｉの一部となる。以下では、投影面Ａ１に対応するパノラマ画像Ｉ内の領域を、画像部分Ｉｐ１という。本実施形態では、画像部分Ｉｐ１は正方形の形状を有するものとする。図５は、この画像部分Ｉｐ１を示しており、投影面Ａ１内の幹線Ｔ、及び支線Ｆ１～Ｆ５に対応する線分が図示されている。
　図５に示されるように、幹線Ｔは、画像部分Ｉｐ１の一方の対角線に対応づけられる。ここでは、画像部分Ｉｐ１の右上の頂点が起点Ｐ１に対応し、左下の頂点が終点Ｐ７に対応している。この対角線Ｐ１Ｐ７は、６分割されて、それぞれ幹線Ｔを構成する線分Ｔ１～Ｔ６のいずれかに対応づけられる。画像部分Ｉｐ１内における各線分の長さは、投影面Ａ１内における線分Ｔ１～Ｔ６の長さに応じて決定される。ただし、６個の線分は、投影面Ａ１上における長さの比を完全に保つように変換される必要はなく、その中心面内における位置に応じて補正された長さに変換されてよい。
　具体的な長さの補正の例について、説明する。投影面Ａ１内におけるＯＰ１の長さを１とすると、投影面Ａ１内における線分Ｔ１～Ｔ６の長さは、以下の表１に示される値となる。
Figure JPOXMLDOC01-appb-T000001
　各線分の長さは、補正係数を乗じた値に補正される。ｎ番目の線分Ｔｎに対する補正係数ａｎは、（ｎ－１）番目の線分Ｔｎ－１（すなわち、注目方向と反対側の隣接する線分）に対する補正係数ａｎ－１と、対応角α、及び射出角βを用いて、以下の式により算出される。
ａｎ＝ａｎ－１×ｓｉｎ（β）／ｓｉｎ（１８０°－α－β）
ここでは、全ての線分について対応角α＝３０°、射出角β＝９０°であるため、
ａｎ＝ａｎ－１／ｓｉｎ６０°
となる。また、線分Ｔ１については補正の必要はないので、ａ１＝１である。そのため、例えばａ２は
ａ２＝１／ｓｉｎ６０°
で計算され、およそ１．１５となる。線分Ｔ２～Ｔ６に対する補正係数についても、同様にして順に計算される。表１には、この計算式によって計算された各線分に対する補正係数が示されている。各線分の補正後の長さは、投影面Ａ１内の長さに対してこの補正係数を乗じた値である。
　画像部分Ｉｐ１内における各線分の長さは、この補正後の長さと一致するように計算される。すなわち、線分Ｔ１～Ｔ６までの補正後の長さの合計値をＬｔとすると、画像部分Ｉｐ１内における各線分の長さが幹線Ｔの全長に対して占める割合は、（補正後の長さ）／Ｌｔで求められる。実際の画像部分Ｉｐ１内における各線分の長さは、この割合に画像部分Ｉｐ１の対角線の長さを乗じた値となる。
　このような補正は、単位角度に対する幹線Ｔの長さの変化の不連続を緩和するためのものである。ここで単位角度とは、幹線Ｔを含む中心面内における、中心点（観測点）Ｏを中心とした回転角である角度θの単位量を指している。前述したように極座標系の一価関数ｒ＝ｆ（θ）で幹線Ｔの形状を表現する場合において、θを増加させていくと、角度θの単位量に対する幹線Ｔの長さは、線分と線分の境界で不連続に変化する。このような不連続性が存在すると、仮想球Ｓ上の単位領域に対応する画像部分Ｉｐ１内の領域の広さ（すなわち、画像内に含まれる情報の密度）も不連続に変化することになり、好ましくない。そこで、上述したような補正係数ａｎによる補正を行うことにより、このような不連続を防止することができる。なお、投影面Ａ１の各線分上における任意の点の位置と、画像部分Ｉｐ１内の各線分内における位置との対応関係は、線形補間等の補間計算により決定されてよい。
　投影面Ａ１内の支線Ｆ１～Ｆ５は、それぞれ、画像部分Ｉｐ１内において、幹線Ｔに対応する対角線と交差する対角線に平行な線分に変換される。具体的に支線Ｆ１～Ｆ５は、それぞれ投影面Ａ１内と同様に、画像部分Ｉｐ１内でも中継点Ｐ２～Ｐ６を通るように変換される。なお、ここでは画像部分Ｉｐ１を正方形としているので、各支線Ｆは幹線Ｔと直交する。
　さらに、幹線Ｔに対応する対角線と交差する対角線そのものも、支線Ｆの一つとして設定される。これが、前述した支線Ｆｄである。投影面Ａ１内における支線Ｆｄの位置は、画像部分Ｉｐ１内における対角線の位置に対応した位置に設定される。
　このようにして幹線Ｔ、及び各支線Ｆの対応関係が決定されることにより、投影面Ａ１内の位置は画像部分Ｉｐ１内の位置に変換される。具体的に、投影面Ａ１のうち、支線Ｆ１と起点Ｐ１で囲まれる三角形、及び支線Ｆ５と終点Ｐ７で囲まれる三角形は、それぞれ画像部分Ｉｐ１の右上、及び左下の三角形に変換される。また、支線Ｆ１～Ｆ５、及びＦｄのうち、隣接する２個の支線Ｆで挟まれた台形は、画像部分Ｉｐ１内で同じ２個の支線Ｆにより挟まれる台形に変換される。
　なお、三角形を三角形に変換する場合、その内部に含まれる点の変換後の位置は、一意に決定される。一方、四角形を四角形に変換する場合、その内部に含まれる点の変換後の位置は、一意に定まらない。そこで、例えば以下のように変換を行う。すなわち、まず幹線Ｔに平行な方向の位置を、線形に補間する。その後、幹線Ｔと交差する方向（すなわち、支線Ｆに平行な方向）の位置を、線形に補間する。このような変換によって、投影面Ａ１上の任意の点を、画像部分Ｉｐ１内の位置に対応させることができる。
　なお、四角形の変換の方法は、以上説明したものに限られない。例えば投影面Ａ１上において２個の支線Ｆにより形成される台形を２個の三角形に分割し、そのそれぞれを画像部分Ｉｐ１上に変換してもよい。また、テッセレーション処理を実行することによって投影面Ａ１上の三角形や四角形をさらに分割し、分割によって得られるポリゴン単位で変換を行ってもよい。このような変換方法によれば、変換に伴って発生する誤差の程度を抑えることができる。また、テッセレーションを含むこのような多角形から多角形への変換処理は、公知のコンピュータグラフィックスライブラリ等を利用して容易に実現することができる。
　以上説明したような変換によって、１／４球面Ｓ１内の景色は、平面形状を有する画像部分Ｉｐ１に変換される。１／４球面Ｓ２～Ｓ４についても、その内部の景色を投影面Ａ２～Ａ４に投影し、同様の変換を行うことによって、画像部分Ｉｐ２～Ｉｐ４が得られる。このようにして得られる４個の画像部分Ｉｐ１～Ｉｐ４を並べることで、全天周の景色を含んだ平面形状のパノラマ画像Ｉが生成される。
　図６は、このようにして得られるパノラマ画像Ｉの一例を示している。各画像部分が正方形なので、パノラマ画像Ｉも全体として正方形の形状を有している。パノラマ画像Ｉの中心Ｃが、注目方向（ｘ軸正方向）に対応している。この図においては、注目方向に対して角度３０°までの範囲、６０°までの範囲、９０°までの範囲、及び１２０°までの範囲のそれぞれを表す曲線が図示されている。この図に示されるように、注目方向に近い場所ほど、パノラマ画像Ｉ内においてより広い領域が割り当てられる。そのため、パノラマ画像Ｉは注目方向に近い場所ほどより多くの情報を含み、注目方向と反対側については比較的少ない情報しか含まないようになっている。このようなパノラマ画像Ｉを用いて景色画像を描画した場合、注目方向に近い箇所ほど高画質で画像を描画できることになる。
　なお、以上の説明では投影面Ａ１は６個の多角形から構成されることとし、これに対応して幹線Ｔは６個の線分により構成されることとした。しかしながらこれに限らず、幹線Ｔは３本以上の任意の数の線分によって構成されてよい。図７は、幹線Ｔを４本の線分によって構成することとし、以上の説明と同様の手順で投影面Ａ１の形状を決定した場合における投影面Ａ１の形状を示している。このように幹線Ｔをより少ない数の線分で構成すると、注目方向と注目方向の反対側とで情報密度の差がより大きくなる。逆に幹線Ｔを構成する線分の数を増加させると、幹線Ｔの形状は半円に近づいていき、注目方向とその反対側との間の情報密度の差は小さくなる。
　また、以上の説明では、幹線Ｔを構成する複数の線分のそれぞれは、対応角αが互いに等しくなるように決定されることとした。しかしながら、対応角αは線分ごとに異なってもよい。
　また、以上の説明では射出角βを９０°としたが、これに限らず射出角βは９０°より大きく１８０°より小さな任意の値であってもよい。射出角が９０°≦β＜１８０°であれば、幹線Ｔの形状を表す関数ｒ＝ｆ（θ）は単調増加関数となる。そのため、幹線Ｔを構成する複数の線分を、注目方向に近づくにつれて順に長くなるようにすることができる。ただし、射出角βは、次の対応角αに対して、α＋β＜１８０°の関係を満たす必要がある。なお、このように幹線Ｔを構成する各線分の対応角αと射出角βがこれまでの説明と異なる値をとる場合にも、前述した補正係数ａｎについては、同様の計算式で順に算出することができる。
　また、幹線Ｔは、その一部又は全部が曲線により構成されてもよい。この場合にも、関数ｒ＝ｆ（θ）が単調増加関数となるように幹線Ｔの形状を定義することで、注目方向に近くなるほど、仮想球Ｓ上の単位領域に対応するパノラマ画像Ｉ内の領域が広くなるようにすることができる。
　このような関数の具体例について、説明する。例えば幹線Ｔは、関数ｆ（θ）＝ｅａθで定義される曲線であってよい。ここでａは、正の値をとる任意の係数である。この場合、幹線Ｔは、注目方向に近づくにつれて、単位角度あたりの長さが指数的に増加する。係数ａが
ａ＝６・ｌｏｇ（４／３・π）
のとき、この関数によって定義される曲線は、３０°あたりの長さの比率が、図３に例示した幹線Ｔを構成する各線分に対して重み付けをした長さの比率と一致する。図８は、この曲線によって形成された幹線Ｔの形状を示している。この図においては、比較のために図３の幹線Ｔが一点鎖線で示されている。また、図中の二点鎖線は、図３の幹線Ｔを構成する線分Ｔ１以外の線分Ｔ２～Ｔ６を、曲線の幹線Ｔに合わせて距離を変化させたものである。距離を変化させた各線分と、同じ角度範囲に対応する曲線の幹線Ｔとの長さの比は、どの角度でも一定になっている。
　また、支線Ｆも、以上説明したような形状及び配置のものに限られない。例えば支線Ｆは、対応する中継点を通り、注目方向に垂直な平面内において、複数の線分によって構成される形状であってもよい。あるいは、弧状に形成されるなど、曲線を含む形状であってもよい。いずれにせよ、支線Ｆは、中心面に対して対称な形状であって、支線Ｆをｘ軸上の点から見込む角（支線Ｆの両端と中心角Ｏにより形成される角）が対応する１／４球面に一致するように（すなわち、９０°になるように）決定される。また、支線Ｆは、対応する中継点、及び中心点Ｏを通り、中心面に垂直な平面内に配置されてもよい。
　また、以上の説明では、注目方向は水平面に平行な方向であることとしたが、これに限らず注目方向は全天周の任意の方向に設定されてよい。この場合も、注目方向を基準として、中心面が注目方向に平行になるように投影面Ａ１～Ａ４の配置位置を決定することで、注目方向に近づくほど情報量が大きくなるようにパノラマ画像Ｉを生成することができる。なお、仮想球Ｓを１／４球面に分割する際の向きについても、任意の向きに設定されてよい。
　また、以上の説明では全天周の景色の全てをパノラマ画像Ｉに含めることとしたが、本実施形態におけるパノラマ画像Ｉはこのようなものに限られず、全天周の一部の範囲の景色のみを含むものであってもよい。例えばパノラマ画像Ｉは、１／４球面Ｓ１～Ｓ４のうちの１個のみに対応する景色を含んだものであってもよいし、２個の１／４球面（すなわち、半球）に対応する景色を含んだものであってもよい。
　さらに、本実施形態におけるパノラマ画像Ｉは、ある１／４球面について、その一部範囲の景色のみを画像部分に変換して生成されるものであってもよい。この場合、景色が投影されていない範囲については、パノラマ画像Ｉ内においてダミー情報を持った画素（例えば画素値０の画素）としてもよい。これにより、例えば天底に近い高緯度の範囲など、一部範囲の景色に関する情報がない場合であっても、本実施形態の手法によりパノラマ画像Ｉを生成することができる。また、１／４球面に対応する投影面Ａ１～Ａ４のそれぞれは、正方形以外の形状（例えば長方形形状）の画像部分に変換されることとしてもよい。
　以下、本実施形態におけるパノラマ画像Ｉの変形例についてさらに説明する。
　以上の説明では、幹線Ｔは、極座標系の角度θを変数とする単調増加関数ｒ＝ｆ（θ）によって表現可能な形状であることとした。すなわち、幹線Ｔは、注目方向（θ＝１８０°）に近づくにつれて単位角度あたりの長さが長くなるような形状となっている。これにより、パノラマ画像Ｉ内における注目方向近傍の領域の情報量を増やすことができる。しかしながらこれに限らず、幹線Ｔの形状は、単位角度あたりの長さが注目方向に近づくにつれて長くなる形状でなくともよい。例えば幹線Ｔの形状は、中心点Ｏから見て注目方向側とその逆側とで対称な形状であってよく、半円に近い形状であってもよい。
　幹線Ｔがこのような形状を有していても、幹線Ｔを含む投影面を平面形状のパノラマ画像Ｉに変換する際に、投影面の部分毎に変換の比率を変化させることで、幹線Ｔが注目方向に近づくにつれて単位角度あたりの長さが長くなる形状を有している場合と同様の効果を得ることができる。具体的には、幹線Ｔを構成する複数の部分のそれぞれを、注目方向に近い部分ほどパノラマ画像Ｉ内における長さが長くなるように変換することとする。これにより、注目方向に近い領域ほど単位角度あたりの情報量が多いパノラマ画像Ｉを生成することができる。この例では、投影面内における幹線Ｔそのものは、単位角度あたりの長さが注目方向に近づくほど長くなっているわけではないが、パノラマ画像Ｉ内では、幹線Ｔの単位角度あたりの長さが、注目方向に近づくほど長くなっている。
　換言すると、パノラマ画像Ｉ内の幹線Ｔと投影面内における幹線Ｔとの対応関係は、パノラマ画像Ｉ内における幹線Ｔの単位長さが、投影面内においては注目方向に近いほどより大きな角度θに対応するように、定義される。ここで、パノラマ画像Ｉ内における幹線Ｔの単位長さは、パノラマ画像Ｉの各画素の画素サイズに相当する長さであってもよい。このような対応関係にしたがって投影面とパノラマ画像Ｉとの間の変換を行うことによって、注目方向ほど解像度の高い映像を提供できるようになる。
　なお、これまでの説明では、パノラマ画像Ｉ内における幹線Ｔの単位角度あたりの長さは、注目方向に近づくにつれて一貫して増加し続けることとした。しかしながら、投影面の構造や対応関係の定義の仕方によっては、単位角度あたりの長さが一時的に減少する場合があってもよい。そのような場合であっても、注目方向に最も近い位置で単位角度あたりの長さが最も長くなるように対応関係が定義されていれば、注目方向近傍で情報量の多いパノラマ画像Ｉを生成することができる。
　また、以上の説明では、１個の１／４球面に対応する投影面を図４に例示したような正方形の画像部分に変換し、このような画像部分を４個並べることで全天周の景色を含んだパノラマ画像Ｉを生成することとした。しかしながら、１／４球面に対応する画像部分は、このような形状に限られない。例えば１／４球面に含まれる景色は、直角二等辺三角形の形状に変換されてもよい。図９は、この場合の画像部分の一例を示している。この図の例では、図５と同様に１／４球面Ｓ１の景色を含んだ画像部分Ｉｐ１が示されており、直角二等辺三角形の頂角が注目方向に対応している。また、幹線Ｔは、頂角から底辺に延びる垂線、及び底辺によって構成されており、幹線Ｔのうち注目方向と逆側の半分は、底辺を二分してなる２つの線分の双方に対応している。これに伴って、起点Ｐ１は左右の底角に対応する点Ｐ１Ｌ、点Ｐ１Ｒに対応している。同様に、中継点Ｐ２～Ｐ５もそれぞれ底辺上の二点に対応する。このような画像部分を、注目方向に対応する頂角が中心で重なるように４個並べて配置することで、全体として正方形のパノラマ画像Ｉを生成することができる。この例でも、投影面内において幹線Ｔ、及び支線によって囲まれる多角形のそれぞれが、パノラマ画像Ｉ内において三角形ないし台形に変換されている。
［画像表示システムの構成、及び機能］
　次に、本発明の実施形態に係る画像生成装置１０、及び画像表示制御装置２０を含んだ画像表示システム１の構成を説明する。
　画像生成装置１０は、パノラマ画像Ｉを生成する情報処理装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。図１０に示されるように、画像生成装置１０は、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される。
　制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部１１はパノラマ画像Ｉの生成処理を実行する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部１３は、ＬＡＮカード等の通信インタフェースであって、通信ネットワーク経由で画像表示制御装置２０に対してパノラマ画像Ｉのデータを送信する。
　画像表示制御装置２０は、画像生成装置１０で生成されたパノラマ画像Ｉに基づく画像の表示制御を行う情報処理装置であって、画像生成装置１０と同様に、家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。画像表示制御装置２０は、制御部２１、記憶部２２、及び通信部２３を含んで構成されている。さらに画像表示制御装置２０は、表示装置２４及び操作デバイス２５と接続されている。
　制御部２１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部２２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部２１は、パノラマ画像Ｉに基づいて表示画像を描画する処理を実行する。記憶部２２はＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部２１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部２３は、ＬＡＮカード等の通信インタフェースであって、画像生成装置１０から送信されるデータを通信ネットワーク経由で受信する。
　表示装置２４は、液晶ディスプレイ等であって、画像表示制御装置２０が供給する映像信号に従って画像を表示する。表示装置２４は、画像表示制御装置２０が供給する立体視可能な画像を表示する立体画像表示装置であってもよい。また、表示装置２４は、ユーザーが頭部に装着可能なヘッドマウントディスプレイ等の頭部装着型表示装置であってもよい。
　操作デバイス２５は、家庭用ゲーム機のコントローラやポインティングデバイス等であって、ユーザーが画像生成装置１０に対して各種の指示操作を行うために使用される。操作デバイス２５に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより画像表示制御装置２０に送信される。なお、操作デバイス２５は画像表示制御装置２０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。
　次に、画像生成装置１０及び画像表示制御装置２０が実現する機能について、図１１を用いて説明する。図１１に示すように、画像生成装置１０は、機能的に、景色情報取得部３１と、パノラマ画像生成部３２と、パノラマ画像送信部３３と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。また、画像表示制御装置２０は、機能的に、パノラマ画像取得部３４と、方向取得部３５と、表示画像描画部３６と、を含む。これらの機能は、制御部２１が記憶部２２に記憶されたプログラムを実行することにより実現される。各装置で実行されるプログラムは、インターネット等の通信ネットワークを介して各装置に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
　景色情報取得部３１は、パノラマ画像Ｉを生成するための元データとなる景色情報を取得する。景色情報は、観測点から見た全天周の景色を仮想球Ｓに投影した場合に、仮想球Ｓの表面上の各単位領域の色（画素値）を特定するのに必要な情報である。例えば景色情報は、正距円筒図法のように本実施形態とは異なる画像フォーマットで生成されたパノラマ画像であってもよい。また、パノラマカメラによって撮影されたパノラマ写真の画像データであってもよい。景色情報取得部３１は、景色情報を通信ネットワーク経由で他の装置から受信してもよいし、画像生成装置１０に接続されたカメラ等のデバイスから読み込んでもよい。また、フラッシュメモリー等の情報記憶媒体に記憶された景色情報を読み出してもよい。
　パノラマ画像生成部３２は、景色情報取得部３１が取得した景色情報を用いてパノラマ画像Ｉを生成する。パノラマ画像Ｉは、前述したように全天周の全部、又は一部の景色を含んだ２次元の画像データである。具体的にパノラマ画像生成部３２は、所与の条件により、注目方向、並びに投影面Ａ１～Ａ４の位置及び形状を決定する。そして、前述した投影面内の位置とパノラマ画像Ｉ内の位置との対応関係に従って、パノラマ画像Ｉ内の各画素の画素値を景色情報に基づいて算出することにより、パノラマ画像Ｉを生成する。
　なお、投影面内の位置とパノラマ画像Ｉ内の位置との対応関係は、投影面の位置及び形状によって決定される。そして、これまで説明したように、投影面の位置及び形状は、注目方向がどの方向かと、幹線Ｔ及び支線Ｆの位置及び形状によって定義される。これらの投影面の位置及び形状を定義づける情報は、画像表示制御装置２０がパノラマ画像Ｉを用いてその中に含まれる景色を再現するために必要となる。そこでパノラマ画像生成部３２は、このようなパノラマ画像Ｉの構成を定義する情報（以下、画像定義情報という）を、生成したパノラマ画像Ｉに関連づけて出力する。
　また、パノラマ画像生成部３２は、立体視用のパノラマ画像データを生成してもよい。この場合に生成される画像データは、例えば左半分に左目用画像を生成するための正方形のパノラマ画像Ｉを含み、右半分に右目用画像を生成するための正方形のパノラマ画像Ｉを含んだ縦横比１：２の矩形の画像データであってよい。また、パノラマ画像生成部３２は、時間とともに変化する動画像としてパノラマ画像Ｉを生成してもよい。
　パノラマ画像送信部３３は、パノラマ画像生成部３２が生成したパノラマ画像Ｉを、画像表示制御装置２０に対して送信する。このときパノラマ画像送信部３３は、画像定義情報を併せて送信する。
　パノラマ画像取得部３４は、画像生成装置１０のパノラマ画像送信部３３が送信するパノラマ画像Ｉを受信することによって、取得する。ここではパノラマ画像取得部３４は、通信ネットワークを介して画像生成装置１０から送信されるパノラマ画像Ｉを直接受信することとする。しかしながら、これに限らず、パノラマ画像取得部３４はサーバコンピュータ等の他の装置を経由してパノラマ画像Ｉを受信してもよい。
　方向取得部３５は、ユーザーの指示などに基づいて、表示装置２４に表示される表示画像の視野範囲（表示範囲）を決定するために用いられる方向情報を取得する。方向取得部３５が取得する方向情報は、後述する表示画像描画部３６が表示画像を生成する際の仮想カメラの撮像方向として使用される。この撮像方向は、例えば水平方向の角度を表すヨー角と上下方向の角度を表すピッチ角とによって定義される。さらに方向取得部３５は、撮像方向を回転軸としたカメラの回転の角度を示すロール角も取得してもよい。
　具体的に、例えば方向取得部３５は、操作デバイス２５に対するユーザーの方向を指示する操作入力を受け付けることによって、方向情報を取得する。あるいは方向取得部３５は、ユーザーが画像表示制御装置２０の本体を傾ける動作を行った場合に、画像表示制御装置２０に内蔵されているモーションセンサーの検出結果から方向情報を取得してもよい。これにより、例えば画像表示制御装置２０がスマートフォンやタブレットのように小型の筐体を備えている場合、ユーザーは画像表示制御装置２０の向きを変化させることによって任意の向きに視野範囲を変化させることができる。また、表示装置２４が頭部装着型表示装置である場合、方向取得部３５は、この表示装置２４内に内蔵されたモーションセンサーの検出結果から方向情報を取得してもよい。これにより、ユーザーの頭部の向きの変化に応じて視野範囲を変化させることができる。
　表示画像描画部３６は、パノラマ画像取得部３４が取得したパノラマ画像Ｉに基づいて、方向取得部３５が取得した方向情報に応じて決まる視野範囲内の景色を示す表示画像を描画し、表示装置２４に表示させる。これによりユーザーは、パノラマ画像Ｉ内に含まれる特定の視野範囲内の景色を閲覧することができる。さらに、操作デバイス２５に対する操作入力等によって視野範囲を変化させることで、全天周の任意の方向の景色を閲覧することができる。
　具体的に、表示画像描画部３６は、パノラマ画像Ｉとともに送信された画像定義情報に基づいて、仮想空間内に投影面Ａ１～Ａ４を配置する。併せて表示画像描画部３６は、その中心位置（仮想球Ｓの中心点Ｏに対応する位置）に仮想カメラを配置する。このとき仮想カメラは、方向取得部３５が取得した方向情報に応じて決まる向き、及び傾きで配置される。
　続いて表示画像描画部３６は、投影面Ａ１～Ａ４の内側に、パノラマ画像Ｉに基づいて生成されるテクスチャーを貼り付ける。具体例として、図６に例示したパノラマ画像Ｉを用いて描画処理を行う場合、表示画像描画部３６は、図２に例示したような投影面Ａ１を仮想空間内に配置する。また、投影面Ａ１と同形の投影面Ａ２～Ａ４を、９０度ずつ回転させた向きに配置する。そして、図５に例示される画像部分Ｉｐ１に含まれる画像を、投影面Ａ１の内側にテクスチャーとして貼り付ける。具体的に、表示画像描画部３６は、画像部分Ｉｐ１を支線Ｆ１～Ｆ５、及びＦｄによって５個の台形と２個の三角形に分割する。そして、この分割によって得られる三角形や台形などのポリゴンを、画像が生成された際と逆のアフィン変換によって、対応する投影面Ａ１内の平面に応じた形状に変換する。そして、この変換によって得られるテクスチャーを投影面Ａ１内に貼り付ける。例えば画像部分Ｉｐ１内において起点Ｐ１と支線Ｆ１によって形成される右上の三角形は、投影面Ａ１で起点Ｐ１を頂点に持つ三角形部分に貼り付けられる。同様に、画像部分Ｉｐ１内において支線Ｆ１と支線Ｆ２で挟まれる台形は投影面Ａ１内でも支線Ｆ１と支線Ｆ２で挟まれる台形に変換される。このようにして、パノラマ画像Ｉ内の全ての三角形や台形などのポリゴンが、対応する投影面Ａ１～Ａ４に応じた形状に変換されて貼り付けられる。このような処理は、公知の頂点シェーダー等によって実現できる。また、表示画像描画部３６は、前述したように、テッセレーション処理を実行して台形をより小さな複数のポリゴンに分割し、分割されたポリゴンごとに変換を行ってもよい。このような描画処理の少なくとも一部は、ＧＰＵ等によって実現されてもよい。
　その後、表示画像描画部３６は、仮想球Ｓの中心点Ｏに対応する位置に配置された仮想カメラから、このテクスチャーが貼り付けられた投影面Ａ１～Ａ４を見た様子を描画することで、表示画像を生成する。例えば仮想カメラが注目方向に向けられている場合、投影面Ａ１の終点Ｐ７近傍の領域、及びこれと隣接する投影面Ａ２～Ａ４の領域を含んだ表示画像が描画されることになる。
　ここで、前述したようにパノラマ画像Ｉは、注目方向近傍の領域についてより多くの面積を占める画像フォーマットになっている。このようなパノラマ画像Ｉに基づいて表示画像を生成することで、注目方向の近傍では、他の領域と比較して高解像度で景色を表す表示画像を生成することができる。
　さらに本実施形態では、表示画像描画部３６は、方向取得部３５が取得する方向の変化に応じて、表示画像をリアルタイムで更新する。すなわち、表示画像描画部３６は、方向取得部３５が取得する方向が変化すると、その変化した向きと対応する方向に仮想カメラの向きを変化させる。より具体的に、ピッチ角、及びヨー角が変化した場合には、この変化に連動させて仮想カメラの撮像方向を変化させる。また、ロール角が変化した場合には、この変化に連動させて、撮像方向を回転軸として仮想カメラを傾けさせる。これにより、仮想カメラの視野範囲は方向取得部３５が取得する方向の変化に連動して変化することになる。表示画像描画部３６は、更新された視野範囲に基づいて投影面Ａ１～Ａ４の内面の様子を再描画して表示画像を更新し、表示装置２４の画面に表示する。表示画像描画部３６は、このような方向取得部３５が取得する方向の変化に応じた表示画像の再描画（更新）処理を、所定時間おきに繰り返し実行する。このような制御によれば、ユーザーは視野範囲を動かしてパノラマ画像Ｉ内に含まれる全天周の任意の位置の景色を閲覧することができる。
　また、方向取得部３５は、ユーザーの指示などに基づいて、仮想カメラの向きだけでなく、仮想カメラの位置の情報を取得してもよい。この場合、表示画像描画部３６は、この位置の情報の変化に基づいて、仮想カメラを仮想空間内で平行移動させる。これにより、投影面Ａ１～Ａ４に貼り付けられた景色を異なる位置から見た様子を表示させることができる。
　なお、以上の説明では表示画像は一つの平面画像であるとしたが、表示画像描画部３６は立体画像を描画してもよい。この場合、表示画像描画部３６は、投影面Ａ１～Ａ４の中心に左右方向に並んだ二つの仮想カメラを配置する。そして、左目用のパノラマ画像Ｉに基づいて生成したテクスチャーを貼り付けた投影面Ａ１～Ａ４の内面を左側の仮想カメラから見た様子を描画することにより、左目用の表示画像を生成する。同様に、右目用のパノラマ画像Ｉに基づいて生成したテクスチャーを貼り付けた投影面Ａ１～Ａ４の内面を右側の仮想カメラから見た様子を描画することにより、右目用の表示画像を生成する。これら二つの表示画像を立体視に対応する表示装置２４に表示させることによって、ユーザーは全天周の景色を立体的に閲覧することが可能となる。
　以上説明したように、本実施形態では、注目方向に近ければ近いほど全天周に対応する仮想球Ｓの単位領域あたりの情報量が増加するような画像フォーマットでパノラマ画像Ｉが生成される。このため、重要な部分については高解像度で表示することが可能でありながら、パノラマ画像Ｉの全体のデータ量を比較的抑えることができる。
　なお、以上の説明では画像生成装置１０は通信ネットワークを介してパノラマ画像Ｉを画像表示制御装置２０に送信することとしたが、これに限らず、画像生成装置１０はフラッシュメモリー等の情報記憶媒体にパノラマ画像Ｉを書き込むこととし、画像表示制御装置２０はこのような情報記憶媒体からパノラマ画像Ｉを読み出して取得することとしてもよい。また、例えば以上の説明では画像生成装置１０と画像表示制御装置２０は互いに独立した装置であることとしたが、一つの情報処理装置がパノラマ画像Ｉの生成と表示制御の双方を実現してもよい。
　また、以上の説明において表示画像描画部３６は、画像定義情報を参照してパノラマ画像Ｉが生成された際と同じ形状の投影面を仮想空間内に配置することとしたが、本発明の実施の形態はこのようなものに限られない。例えば表示画像描画部３６は、図２に例示した投影面に対応するパノラマ画像Ｉに基づいて、球状の投影面にテクスチャーを貼り付けて、表示画像を描画してもよい。この場合、表示画像描画部３６は、画像定義情報を参照してパノラマ画像Ｉ内の各部分が投影面内において占める領域を特定し、当該部分に基づいて生成されたテクスチャーを特定した領域に貼り付ける。このような処理によって、パノラマ画像Ｉ生成時の投影面とは異なる形状の投影面に、パノラマ画像Ｉに含まれる景色を表すテクスチャーを展開することができる。
　特に、前述したように表示画像描画部３６が視差による立体視を実現するための右目用画像、及び左目用画像を描画する場合、表示画像を描画する際の仮想カメラから投影面までの距離が仮想カメラの方向に応じて変化すると、同じ距離にある物体までの見かけの距離が方向によって変化してしまう。そのため、ユーザーが違和感を覚える場合がある。表示画像を描画する際に球に近い投影面を使用することで、どの方向でも仮想カメラから投影面までの距離が変わらないようにすることができる。
　球状の投影面にレンダリングする処理の具体例について、以下に説明する。まず表示画像描画部３６は、テッセレーション処理を実行してパノラマ画像Ｉを比較的小さな三角形の小領域に分割する。例えば表示画像描画部３６は、パノラマ画像Ｉを格子状に小さな正方形に分割し、分割された各正方形を、さらにパノラマ画像Ｉの中心に対向する向きの対角線で二つの三角形の小領域に分割する。この分割によって得られる小領域のそれぞれについて、その頂点の仮想空間内における位置を算出する。このとき、各頂点の位置は、元のパノラマ画像Ｉが生成された際の投影面の形状（換言すると、幹線Ｔ及び各支線Ｆの位置情報）に基づいて算出される。そして、表示画像描画部３６は、算出された各頂点の位置に応じて、仮想空間内に略球形状となるように小領域を配置していく。このようにすることで、パノラマ画像Ｉに含まれる景色を再現した球状の投影面を生成することができる。
　なお、ここでは各小領域を中心点（仮想カメラの位置）から略等距離になるように配置することとしたが、これに限らず、注視点からの方位を保ったまま各小領域までの距離を変化させてもよい。これにより、方位に応じて投影面までの距離を変化させることもできる。
　１　画像表示システム、１０　画像生成装置、１１，２１　制御部、１２，２２　記憶部、１３，２３　通信部、２０　画像表示制御装置、２４　表示装置、２５　操作デバイス、３１　景色情報取得部、３２　パノラマ画像生成部、３３　パノラマ画像送信部、３４　パノラマ画像取得部、３５　方向取得部、３６　表示画像描画部。

Claims (9)

  1. 　観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部と、
    　前記生成されたパノラマ画像を出力する画像出力部と、
    　を含み、
    　前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、
    　前記パノラマ画像生成部は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  2. 　請求項１に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記投影面が前記パノラマ画像に変換された際、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に近い位置ほど長くなるように、前記投影面に対応する前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  3. 　請求項２に記載の画像生成装置において、
    　前記投影面は、前記幹線に対して対称に形成され、当該幹線は、前記注目方向に近づくほど、前記観測点からの距離が大きくなる形状を有する
    　ことを特徴とする画像生成装置。
  4. 　請求項１から３のいずれか一項に記載の画像生成装置において、
    　前記投影面は、複数の多角形が連結された形状を有する
    　ことを特徴とする画像生成装置。
  5. 　請求項１から４のいずれか一項に記載の画像生成装置において、
    　前記パノラマ画像内において前記注目方向に対応する点は、前記パノラマ画像の中心に位置する
    　ことを特徴とする画像生成装置。
  6. 　観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を取得する取得部と、
    　前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、
    　を含み、
    　前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、
    　前記パノラマ画像は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面を変換してなるパノラマ画像である
    　ことを特徴とする画像表示制御装置。
  7. 　観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するステップと、
    　前記生成されたパノラマ画像を出力するステップと、
    　を含み、
    　前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、
    　前記パノラマ画像を生成するステップでは、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成する
    　ことを特徴とする画像生成方法。
  8. 　観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面を平面形状に変換してなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されているパノラマ画像を生成するパノラマ画像生成部、及び、
    　前記生成されたパノラマ画像を出力する画像出力部、
    　としてコンピュータを機能させるためのプログラムであって、
    　前記投影面は、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線を含み、
    　前記パノラマ画像生成部は、前記幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面に対応する前記パノラマ画像を生成する
    　プログラム。
  9. 　観測点から見た仮想球上の少なくとも一部範囲の景色を投影した投影面が平面形状に変換されてなるパノラマ画像であって、前記観測点から見て所与の注目方向を含む前記仮想球上の単位領域が、他の単位領域よりも広い領域に変換されており、
    　前記投影面に含まれる、前記注目方向上の位置と当該注目方向の反対方向上の位置とを結ぶ幹線のうち、前記観測点回りの回転角の単位量に対応する部分の前記パノラマ画像内における長さが、前記注目方向に最も近い位置で最も長くなるように、前記投影面が変換されてなるパノラマ画像の画像データ。
PCT/JP2017/037383 2017-01-19 2017-10-16 画像生成装置、及び画像表示制御装置 WO2018135052A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/478,255 US10699372B2 (en) 2017-01-19 2017-10-16 Image generation apparatus and image display control apparatus
EP17893297.6A EP3573018B1 (en) 2017-01-19 2017-10-16 Image generation device, and image display control device
JP2018562874A JP6719596B2 (ja) 2017-01-19 2017-10-16 画像生成装置、及び画像表示制御装置
CN201780083800.6A CN110192221B (zh) 2017-01-19 2017-10-16 图像生成装置和图像显示控制装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2017/001752 2017-01-19
PCT/JP2017/001752 WO2018134946A1 (ja) 2017-01-19 2017-01-19 画像生成装置、及び画像表示制御装置

Publications (1)

Publication Number Publication Date
WO2018135052A1 true WO2018135052A1 (ja) 2018-07-26

Family

ID=62908477

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2017/001752 WO2018134946A1 (ja) 2017-01-19 2017-01-19 画像生成装置、及び画像表示制御装置
PCT/JP2017/037383 WO2018135052A1 (ja) 2017-01-19 2017-10-16 画像生成装置、及び画像表示制御装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001752 WO2018134946A1 (ja) 2017-01-19 2017-01-19 画像生成装置、及び画像表示制御装置

Country Status (5)

Country Link
US (1) US10699372B2 (ja)
EP (1) EP3573018B1 (ja)
JP (1) JP6719596B2 (ja)
CN (1) CN110192221B (ja)
WO (2) WO2018134946A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
KR20220153366A (ko) * 2021-05-11 2022-11-18 삼성전자주식회사 이미지 왜곡을 보정하는 방법 및 그 전자 장치
CN117278733B (zh) * 2023-11-22 2024-03-19 潍坊威龙电子商务科技有限公司 全景摄像在vr头显中的显示方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013057993A (ja) * 2011-09-07 2013-03-28 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび画像処理システム
JP2014127001A (ja) * 2012-12-26 2014-07-07 Ricoh Co Ltd 画像処理システム、画像処理方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912670A (en) * 1996-08-05 1999-06-15 International Business Machines Corporation Method and apparatus for overlaying a bit map image on an environment map
US6559853B1 (en) * 2000-02-16 2003-05-06 Enroute, Inc. Environment map creation using texture projections with polygonal curved surfaces
JP2004056335A (ja) 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
EP2100453B1 (en) 2006-12-18 2013-07-03 FUJIFILM Corporation Monitoring system, monitoring method and program
US8016426B2 (en) * 2008-02-27 2011-09-13 6115187 Canada Inc. Method and device for projecting a panoramic image with a variable resolution
JP2012095229A (ja) 2010-10-28 2012-05-17 Sharp Corp 画像表示装置及び画像表示装置用のコンピュータプログラム
JP2013101525A (ja) * 2011-11-09 2013-05-23 Sony Corp 画像処理装置および方法、並びにプログラム
CN103139580B (zh) * 2011-11-29 2015-11-25 长春理工大学 一种三维全景空间立体图像生成方法
JP2014183353A (ja) 2013-03-18 2014-09-29 Sony Corp 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム
JP6450064B2 (ja) 2013-03-18 2019-01-09 任天堂株式会社 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
JP2014192566A (ja) 2013-03-26 2014-10-06 Sony Corp 映像処理装置、映像処理方法およびコンピュータプログラム
JP5741659B2 (ja) 2013-09-17 2015-07-01 カシオ計算機株式会社 動画選別装置、動画選別方法及びプログラム
US9836816B2 (en) * 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
KR101587147B1 (ko) * 2014-06-10 2016-01-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP2016019194A (ja) * 2014-07-09 2016-02-01 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置
CN107409233B (zh) 2015-03-05 2020-04-14 索尼公司 图像处理装置和图像处理方法
JP6359993B2 (ja) 2015-03-09 2018-07-18 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
WO2016153326A1 (ko) 2015-03-26 2016-09-29 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US20180176650A1 (en) 2015-06-12 2018-06-21 Sony Corporation Information processing apparatus and information processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013057993A (ja) * 2011-09-07 2013-03-28 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび画像処理システム
JP2014127001A (ja) * 2012-12-26 2014-07-07 Ricoh Co Ltd 画像処理システム、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2018135052A1 (ja) 2019-11-07
US10699372B2 (en) 2020-06-30
CN110192221A (zh) 2019-08-30
JP6719596B2 (ja) 2020-07-08
CN110192221B (zh) 2023-11-14
US20190355090A1 (en) 2019-11-21
WO2018134946A1 (ja) 2018-07-26
EP3573018A4 (en) 2020-09-02
EP3573018A1 (en) 2019-11-27
EP3573018B1 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
JP6672315B2 (ja) 画像生成装置、及び画像表示制御装置
US10321109B1 (en) Large volume video data transfer over limited capacity bus
KR20160130433A (ko) 가변 렌더링 및 래스터화 파라미터 하에서 가변 뷰포트에 대하여 오브젝트를 효율적으로 리렌더링하는 방법
JP6310898B2 (ja) 画像処理装置、情報処理装置、および画像処理方法
WO2017128887A1 (zh) 全景图像的校正3d显示方法和系统及装置
US11417060B2 (en) Stereoscopic rendering of virtual 3D objects
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
JP2021034885A (ja) 画像生成装置、画像表示装置および画像処理方法
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
JP6791991B2 (ja) 画像配信装置
WO2024004134A1 (ja) 画像送信装置および画像送信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17893297

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018562874

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017893297

Country of ref document: EP

Effective date: 20190819