WO2023162799A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2023162799A1
WO2023162799A1 PCT/JP2023/005103 JP2023005103W WO2023162799A1 WO 2023162799 A1 WO2023162799 A1 WO 2023162799A1 JP 2023005103 W JP2023005103 W JP 2023005103W WO 2023162799 A1 WO2023162799 A1 WO 2023162799A1
Authority
WO
WIPO (PCT)
Prior art keywords
display surface
angle
image
stereoscopic
display
Prior art date
Application number
PCT/JP2023/005103
Other languages
English (en)
French (fr)
Inventor
一樹 横山
瑠璃 大屋
友哉 谷野
勇太 吉水
典之 加藤
晃己 渡部
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023162799A1 publication Critical patent/WO2023162799A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the present disclosure relates to an image processing device and method, and more particularly to an image processing device and method capable of suppressing reduction in stereoscopic effect and visibility of a stereoscopic image and suppressing contradiction in convergence adjustment.
  • a spatial reproduction display device that displays a stereoscopic object capable of stereoscopic vision has been developed (see Patent Document 1, for example).
  • a spatial reproduction display device has a display surface that serves as a light source for a stereoscopic image, and displays a stereoscopic object as a stereoscopic image on the display surface.
  • the present disclosure has been made in view of this situation, and is intended to suppress the reduction in the stereoscopic effect and visibility of stereoscopic images, and to suppress the contradiction of convergence accommodation.
  • An image processing apparatus uses a scaling conversion unit that performs scaling conversion of a stereoscopic object according to an angle of a display surface with respect to a horizontal plane of a real space, and the stereoscopic object that has been subjected to the scaling conversion. and a display control unit configured to display the stereoscopic image on the display surface.
  • An image processing method performs scaling conversion of a stereoscopic object according to an angle of a display surface with respect to a horizontal plane of a real space, and uses the stereoscopic object subjected to the scaling conversion to perform the scaling conversion on the display surface. and displaying the stereoscopic image on the display surface.
  • the stereoscopic object is scaled according to the angle of the display surface with respect to the horizontal plane of the real space, and the stereoscopic object that has been scaled is used.
  • a stereoscopic image to be displayed on the display surface is generated, and the stereoscopic image is displayed on the display surface.
  • FIG. 1 is a block diagram showing a main configuration example of a spatial reproduction display system;
  • FIG. FIG. 4 is a diagram showing an example of an overview of the appearance of a display unit;
  • FIG. 4 is a diagram showing an example of an overview of the appearance of a display unit;
  • FIG. 10 is a diagram illustrating a display example of a stereoscopic image;
  • FIG. 4 is a diagram showing an example of an overview of the appearance of a display unit;
  • FIG. 4 is a diagram showing an example of an overview of the appearance of a display unit;
  • FIG. 10 is a diagram illustrating an example of image defect of a stereoscopic object;
  • FIG. 10 is a diagram illustrating an example of image defect of a stereoscopic object;
  • FIG. 10 is a diagram illustrating an example of scaling conversion of a stereoscopic object;
  • FIG. 10 is a diagram illustrating an example of scaling conversion of a stereoscopic object;
  • 10 is a flowchart for explaining an example of the flow of spatial reproduction display processing;
  • FIG. 11 is a block diagram showing another configuration example of the spatial reproduction display system; It is a figure explaining the control example of a display surface angle. It is a figure explaining the control example of a display surface angle.
  • FIG. 11 is a flowchart for explaining another example of the flow of spatial reproduction display processing;
  • FIG. FIG. 11 is a block diagram showing another configuration example of the spatial reproduction display system;
  • FIG. 10 is a diagram illustrating clip processing of a stereoscopic object
  • FIG. 10 is a diagram illustrating clip processing of a stereoscopic object
  • FIG. 10 is a diagram illustrating clip processing of a stereoscopic object
  • FIG. 11 is a flowchart for explaining another example of the flow of spatial reproduction display processing
  • FIG. It is a block diagram which shows the main structural examples of a computer.
  • Patent Document 1 (mentioned above)
  • a spatial reproduction display device that displays a stereoscopic object capable of stereoscopic viewing, as described in Patent Document 1, for example.
  • This spatial reproduction display device has a display surface that serves as a light source for a stereoscopic image, and displays a stereoscopic object as a stereoscopic image on the display surface.
  • Convergence is the movement of the eyeballs inward or outward when trying to gaze at an object with both eyes.
  • Accommodation is the change in thickness of the crystalline lens in the eye to focus on the object being viewed.
  • Vergence accommodation contradiction is the contradiction that occurs in these movements.
  • Second Embodiment> ⁇ Scaling conversion of stereoscopic object> Therefore, as shown in the top row of the table in FIG. 1, the stereoscopic object is displayed after being scaled according to the display plane angle (Method 1). Scaling conversion is processing for converting the scale (size) of a stereoscopic object. As a result, it is possible to suppress the occurrence of image defects, and to suppress the decrease in stereoscopic effect and visibility of the stereoscopic image. In addition, it is possible to suppress an increase in the amount of parallax and suppress a contradiction in convergence adjustment.
  • FIG. 2 is a block diagram showing an example configuration of a spatial reproduction display system, which is one aspect of an image processing apparatus to which the present technology is applied.
  • a spatial reproduction display system 100 shown in FIG. 2 is a system for displaying a stereoscopic image.
  • the spatial reproduction display system 100 applies the present technology to display a stereoscopic image.
  • FIG. 2 shows main elements such as processing units and data flow, and not all of them are shown in FIG.
  • the spatial reproduction display system 100 may have devices and processing units that are not shown as blocks in FIG.
  • the spatial reproduction display system 100 has a spatial reproduction display device 101 and a spatial reproduction control device 102 .
  • the spatial reproduction display device 101 is a device that displays a stereoscopic image.
  • the spatial reproduction control device 102 is a device that performs processing related to control of display of a stereoscopic image by the spatial reproduction display device 101 .
  • the spatial reproduction display device 101 and the spatial reproduction control device 102 are communicably connected to each other, and can perform wired communication, wireless communication, or both.
  • the spatial reproduction control device 102 acquires a stereoscopic object that is content (3D data) to be displayed as a stereoscopic image, generates a stereoscopic image using the stereoscopic object, and displays the stereoscopic image on the display surface. It may be supplied as an image to the spatial reproduction display device 101 and displayed. The display surface image indicates an image to be displayed on the display surface.
  • the spatial reproduction display device 101 may display the display surface image (stereoscopic image) supplied from the spatial reproduction control device 102 according to such control by the spatial reproduction control device 102 . Therefore, the spatial reproduction display device 101 and the spatial reproduction control device 102 can be said to be image processing devices.
  • the spatial reproduction display device 101 has a viewpoint position detection unit 111 , a display unit 112 and an angle detection unit 113 .
  • the spatial reproduction control device 102 has a scaling conversion section 121 , an image generation section 122 and a display control section 123 .
  • the viewpoint position detection unit 111 performs processing related to the position (viewpoint position) of the viewpoint 131A of the observer 131 observing the stereoscopic image.
  • the viewpoint position detection unit 111 has a device for detecting the viewpoint position.
  • the viewpoint position detection unit 111 may have, as its device, a camera, a depth camera, a motion sensor, or a combination thereof. In that case, the device such as camera, depth camera, motion sensor, etc. may be singular or plural.
  • the viewpoint position detection unit 111 may detect the viewpoint position of the observer 131 using such a device.
  • the viewpoint 131A may be the observer's 131 right eye, left eye, or both eyes.
  • the viewpoint position detection unit 111 may also detect the line-of-sight direction of the observer 131 .
  • the viewpoint position detection unit 111 may supply information indicating the detected viewpoint position to the spatial reproduction control device 102 .
  • the display unit 112 performs processing related to displaying a stereoscopic image.
  • the display unit 112 has a display device (for example, an autostereoscopic display) that displays a stereoscopic image on a display surface.
  • the display unit 112 may acquire a display surface image (stereoscopic image) supplied from the display control unit 123 . Further, the display unit 112 may display the acquired display surface image (stereoscopic image) on the display surface of the display device.
  • the observer 131 observes the stereoscopic image displayed on the display surface from the viewpoint position.
  • the angle detection unit 113 performs processing related to detection of the display surface angle of the display unit 112 .
  • the display surface angle indicates the angle of the display surface of the display unit 112 with respect to the horizontal plane of the real space.
  • the angle detection unit 113 has a device for detecting the display surface angle.
  • the angle detection unit 113 may have an acceleration sensor, a gyro sensor, a magnetic sensor, or a combination thereof as its device. In that case, the device such as the acceleration sensor, gyro sensor, magnetic sensor, etc. may be singular or plural.
  • the angle detection unit 113 may detect the display surface angle by a mechanical configuration.
  • the angle detection unit 113 may detect the display surface angle of the display unit 112 using such a device.
  • the angle detection unit 113 may supply information indicating the detected display surface angle to the spatial reproduction control device 102 .
  • the scaling conversion unit 121 performs processing related to scaling conversion. For example, the scaling conversion unit 121 may acquire a stereoscopic object supplied to the spatial reproduction control device 102 . Also, the scaling conversion unit 121 may acquire the display surface angle supplied from the angle detection unit 113 . Further, the scaling conversion unit 121 may perform scaling conversion on the obtained stereoscopic object according to the obtained display surface angle. The scaling conversion unit 121 may supply the stereoscopic object subjected to the scaling conversion to the image generation unit 122 .
  • the image generation unit 122 performs processing related to generation of display surface images (stereoscopic images). For example, the image generator 122 may acquire a stereoscopic object supplied from the scaling converter 121 . Also, the image generator 122 may acquire information indicating the viewpoint position supplied from the viewpoint position detector 111 . Also, the image generator 122 may acquire information indicating the display surface angle supplied from the angle detector 113 . For example, the image generator 122 may render the acquired stereoscopic object in the drawing space. Further, the image generation unit 122 performs orthogonal projection on the rendered image of the stereoscopic object using the obtained viewpoint position as a virtual viewpoint, and performs orthogonal projection according to the viewpoint position to obtain a virtual viewpoint image (also referred to as a virtual viewpoint image).
  • a virtual viewpoint image also referred to as a virtual viewpoint image
  • a viewpoint image indicates an image viewed from a certain viewpoint.
  • the image generation unit 122 may generate virtual viewpoint images (left-eye image and right-eye image) for each of the left eye and the right eye. Further, the image generator 122 may convert the generated virtual viewpoint image into the display surface image by projecting the generated virtual viewpoint image onto the display surface from the viewpoint position based on the acquired display surface angle. The image generator 122 may supply the generated display surface image to the display controller 123 .
  • the display control unit 123 performs processing related to control of display of stereoscopic images. For example, the display control unit 123 may acquire a display surface image (stereoscopic image) supplied from the image generation unit 122 . Further, the display control unit 123 may generate a display light source image from the acquired display surface image and supply it to the display unit 112 . The display light source image is control information for the display unit 112 to display the display surface image. The display unit 112 can display the display surface image on the display surface by being driven according to the display light source image.
  • FIG. 3 is an external view for explaining a main configuration example of the display unit 112.
  • the display section 112 may have a display surface 141, a fixing section 142, and a hinge section 143, as shown in FIG.
  • the display surface 141 has a display device capable of displaying a stereoscopic image, and by driving the display device according to the control of the spatial reproduction control device 102 (display light source image supplied from the spatial reproduction control device 102), Display the display surface image.
  • the fixed part 142 is a part fixed to another object.
  • the fixed part 142 is fixed so as to be on the horizontal plane of the real space.
  • the hinge portion 143 is configured to connect the display surface 141 and the fixing portion 142 .
  • the hinge portion 143 connects the display surface 141 to the fixed portion 142 in a rotatable state with respect to the fixed portion 142 .
  • FIG. 4 shows an example of the appearance of the display unit 112 when viewed from the direction of the arrow 151 (horizontal direction in FIG. 3).
  • a hinge portion 143 is provided at an end (lower end in the drawing) of the display surface 141 . That is, the display surface 141 is connected to the fixed portion 142 at its lower end. Since the fixed portion 142 is fixed along the horizontal plane of the real space, the angle ⁇ of the display surface 141 with respect to the fixed portion 142 is the display surface angle, as indicated by the double-headed arrow 153 . The display surface 141 is rotatable with respect to the fixed portion 142 around the hinge portion 143 as indicated by the double arrow 152 . Therefore, the display surface angle ⁇ is variable.
  • the angle detection unit 113 in FIG. 2 detects this display surface angle ⁇ .
  • FIG. 5 is a diagram showing an example of how the display unit 112 displays a stereoscopic image.
  • the display unit 112 displays a display surface image (stereoscopic image) including the stereoscopic object 155 on the display surface 141 .
  • a display screen image (stereoscopic image) is composed of a left-eye image and a right-eye image having parallax with each other. Due to the parallax, the stereoscopic object 155 (stereoscopic image) stands in a virtual space surrounded by the floor surface 154A, the back wall surface 154B, the left wall surface 154C, and the right wall surface 154D from the position of the observer's 131 viewpoint 131A. It looks like there is
  • FIG. 4 illustrates that the hinge portion 143 is provided at the lower end of the display surface 141
  • the position of the hinge portion 143 is arbitrary.
  • a hinge portion 143 may be provided at the upper end of the display surface 141 .
  • the display surface 141 is connected to the fixing portion 142 at its upper end.
  • an angle ⁇ of the display surface 141 with respect to the fixing portion 142 is the display surface angle.
  • the display surface 141 is rotatable with respect to the fixed portion 142 about its upper end (the hinge portion 143 thereof) as indicated by a double-headed arrow 161 . Therefore, the display surface angle ⁇ is variable.
  • the angle detection unit 113 in FIG. 2 detects this display surface angle ⁇ .
  • the display surface angle of the display unit 112 may be variable as shown in the fifth row from the top of the table in FIG. Also, the angle detection unit 113 may detect the display surface angle (method 1-2).
  • the end of the display surface 141 may be rotatable as shown in the sixth row from the top of the table in FIG. 1 (method 1-2-1).
  • the lower end of the display surface 141 may be rotatable as in the example of FIG. 4, or the upper end of the display surface 141 may be rotatable as in the example of FIG.
  • the non-end portion (portion other than the end portion) of the display surface 141 may be rotatable (method 1-2-2). That is, the hinge portion 143 may be provided at a portion other than the end portion of the display surface 141 .
  • FIG. 7 An example is shown in FIG. In the example of FIG. 7, the fixed part 142 is fixed so as to be on the vertical plane of the real space.
  • the hinge portion 143 is provided at the central portion (non-end portion) of the display surface 141 , and the display surface 141 is connected to the fixed portion 142 by the hinge portion 143 in a rotatable state with respect to the fixed portion 142 . be.
  • an angle ⁇ of the display surface 141 with respect to the horizontal plane (dotted line) of the real space is the display surface angle.
  • the display surface 141 is rotatable about the hinge portion 143 with respect to the fixed portion 142 as indicated by the double arrow 163 . Therefore, the display surface angle ⁇ is variable.
  • the angle detection unit 113 in FIG. 2 detects this display surface angle ⁇ .
  • Each configuration example described above is one example.
  • the configuration of the display unit 112 is arbitrary and is not limited to these examples.
  • the display surface 141 displays the display surface image, and the observer 131 sees the stereoscopic object 181 on the display surface 141 on the floor surface 171 parallel to the horizontal plane of the real space. appear to be standing on It is also assumed that the display surface angle is ⁇ 1.
  • the range between the dotted line 172 connecting the viewpoint 131A and the upper end of the display surface 141 and the dotted line 173 connecting the viewpoint 131A and the lower end of the display surface 141 corresponds to the viewer 131.
  • This is the range in which the display surface 141 can be seen from .
  • the stereoscopic object 181 is within this range (within the display surface 141) when viewed from the position of the viewpoint 131A of the observer 131. It looks like a three-dimensional image.
  • the display surface 141 is tilted to reduce the display surface angle (the orientation of the display surface 141 is made closer to the horizontal plane of the real space).
  • the display surface angle in FIG. 9 be ⁇ 2 ( ⁇ 2 ⁇ 1).
  • the range in which the display surface 141 can be seen by the observer 131 becomes narrower.
  • the head 181A of the stereoscopic object 181 is positioned above the dotted line 172 and out of the range where the display surface 141 can be seen by the observer 131.
  • FIG. 9 the example of FIG.
  • the stereoscopic object 181 protrudes from the display surface 141, and there is a risk that the stereoscopic object 181 will be image-defective due to the relationship with the observer's 131 viewpoint position. If the stereoscopic object 181 has an image defect, there is a possibility that the stereoscopic effect may deteriorate or the visibility may deteriorate due to a contradiction with the binocular parallax. In addition, there is a possibility that the contradiction of congestion adjustment will increase. An increase in clothing adjustment contradictions may cause eye strain of the observer 131 .
  • the scaling conversion unit 121 applies the method 1 described above, and performs scaling conversion on the stereoscopic object according to the display surface angle. That is, the scaling conversion unit 121 sets the scale value for scaling conversion according to the display surface angle.
  • a scale value indicates the ratio of the scale after conversion to the scale before conversion. For example, when Method 1 described above is applied, as shown in the second row from the top of the table in FIG. , the scale of the stereoscopic object may be reduced. In other words, the scaling conversion unit 121 may increase the scale of the stereoscopic object as the display surface angle increases (as the display surface moves away from the horizontal plane) (method 1-1).
  • the image generation unit 122 generates a display surface image (a stereoscopic image displayed on the display surface 141) using the stereoscopic object subjected to the scaling conversion, and the display control unit 123 generates the display surface image. It is displayed on the display surface 141 of the display unit 112 .
  • the display unit 112 displays a display surface image including the stereoscopic object 182 scaled down according to the display surface angle ⁇ 2.
  • the stereoscopic object 182 appears to stand on the display surface 141 of the floor surface 171, as in the example of FIG. That is, the stereoscopic object 182 fits within the range where the display surface 141 can be seen from the observer 131 . Therefore, the stereoscopic object 182 does not protrude from the display surface 141, and the stereoscopic object 182 does not have image defects.
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object by scaling the stereoscopic object by the scaling conversion unit 121 . Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image. In addition, the spatial reproduction display system 100 can suppress an increase in the amount of parallax and suppress contradiction in vergence accommodation.
  • scaling conversion section 121 performs scaling conversion uniformly in the three-dimensional direction as shown in the third row from the top of the table in FIG. Good (Method 1-1-1). That is, the scaling conversion unit 121 may perform scaling conversion in each of the height direction and the width direction to maintain the height-to-width ratio of the stereoscopic object.
  • the scaling conversion unit 121 performs scaling conversion only in the height direction, as shown in the fourth row from the top of the table in FIG. (Method 1-1-2). That is, it is not necessary to maintain the height-to-width ratio of the stereoscopic object in the scaling conversion.
  • the graph shown in FIG. 11 shows an example of the relationship between the display surface angle and the scale value in scaling conversion.
  • the horizontal axis indicates the display surface angle.
  • the vertical axis indicates scale values.
  • the scaling conversion unit 121 converts the pre-conversion scale of the stereoscopic object into the post-conversion scale by multiplying the scale value according to the display plane angle.
  • the scale value corresponding to each display surface angle changes like a solid line 191.
  • the scale value is 1 when the display surface angle is around 90 degrees and the display surface 141 is nearly perpendicular to the horizontal plane of the real space, that is, when the display surface angle is greater than or equal to a certain first threshold. That is, in this case the scaling transform does not change the scale. That is, substantially no scaling conversion is performed.
  • the scale value is reduced in proportion to the display surface angle. That is, in this case, scale conversion is performed with a scale value corresponding to the display surface angle.
  • the scale value takes the minimum value. . That is, in this case, scale conversion is performed with the minimum scale value.
  • the scaling conversion unit 121 can change the scale value according to the display surface angle. For example, the scaling conversion unit 121 can reduce the scale of the stereoscopic object as the display surface angle decreases. Also, the scaling conversion unit 121 can increase the scale of the stereoscopic object as the display surface angle increases.
  • the range of display surface angles in which the scale value changes is arbitrary.
  • the scale value may change over the entire range of possible values of the display surface angle (movable range of the display surface 141), or the scale value may change in part of the range as in the example of FIG. good too.
  • how the scale value changes according to the display surface angle is arbitrary.
  • the scale value may be reduced in proportion to the display surface angle as in the example of FIG. 11, or may be changed so that the solid line 191 becomes a curved line.
  • the value of the minimum scale value is arbitrary within a range smaller than one.
  • the scale value corresponding to each display surface angle may be given as table information, or may be derived by calculation using a formula or the like.
  • Information indicating the relationship between the display surface angle and the scale value may be stored in advance in the spatial reproduction control device 102 (or the scaling conversion unit 121), It may be supplied from the outside of the spatial reproduction control device 102 in the same manner as the stereoscopic object information and the like.
  • the scaling conversion unit 121 sets the scale value according to the display surface angle, but the scale value may also be set based on the position of the viewpoint 131A of the observer 131. .
  • the scaling conversion unit 121 sets the scale value so that the stereoscopic object is within the display surface 141 (within the range where the display surface 141 can be seen from the observer 131) when viewed from the position of the viewpoint 131A of the observer 131, Scale conversion may be performed using the set scale value.
  • the angle detection unit 113 detects the display surface angle in step S101.
  • the method 1 described above the method 1-2 described above may be applied, the display surface angle of the display unit 112 may be variable, and the angle detection unit 113 may detect the display surface angle.
  • method 1-2-1 may be applied and the end of display surface 141 may be rotatable.
  • method 1-2-2 the non-end portion of the display surface 141 may be rotatable.
  • step S102 the spatial reproduction control device 102 acquires stereoscopic object information supplied from the outside.
  • step S103 the scaling conversion unit 121 applies method 1 described above, and scales the stereoscopic object acquired in step S102 according to the display surface angle detected in step S101.
  • the scaling conversion unit 121 applies the above-described method 1-1. , the scale of the stereoscopic object may be increased.
  • the scaling conversion unit 121 may apply the above-described method 1-1-1 to uniformly perform scaling conversion in the three-dimensional direction. Also, when the above-described method 1-1 is applied, the scaling conversion unit 121 may apply the above-described method 1-1-2 and perform scaling conversion only in the height direction.
  • the scaling conversion unit 121 may perform scaling conversion within a predetermined range of display surface angles. Also, the scaling conversion unit 121 may perform scaling conversion so that the stereoscopic object can fit within the display surface 141 when viewed from the viewpoint position of the observer 131 .
  • step S104 the viewpoint position detection unit 111 detects the viewpoint position of the observer.
  • step S105 the image generation unit 122 renders the stereoscopic object that has undergone scaling conversion in step S103 in the drawing space.
  • step S106 the image generation unit 122 orthographically projects the rendered image of the stereoscopic object using the viewpoint position detected in step S104 as a virtual viewpoint, and performs orthogonal projection according to the viewpoint position. Generate a virtual viewpoint image.
  • step S107 the image generator 122 projects the virtual viewpoint image generated in step S106 onto the display surface from the viewpoint position based on the display surface angle detected in step S101, thereby displaying the virtual viewpoint image. Convert to plane image.
  • step S108 the display control unit 123 generates a display light source image from the display surface image generated in step S107, and supplies it to the display unit 112.
  • the display unit 112 displays the display surface image on the display surface 141 by being driven according to the display light source image.
  • step S109 the spatial reproduction control device 102 determines whether or not to end the spatial reproduction display process. If it is determined not to end the spatial reproduction display process, the process returns to step S102 and the subsequent processes are executed. The processes of steps S102 to S109 are repeatedly executed until it is determined in step S109 that the spatial reproduction display process is finished. Then, when it is determined in step S109 that the spatial reproduction display processing is to be terminated, the spatial reproduction display processing is terminated.
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object. Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image. In addition, the spatial reproduction display system 100 can suppress an increase in the amount of parallax and suppress contradiction in vergence accommodation.
  • FIG. 2 shows a configuration example of the spatial reproduction display system 100
  • the configuration of the spatial reproduction display system 100 is arbitrary and is not limited to the example of FIG.
  • part or all of the configuration of the spatial reproduction display device 101 may be configured integrally with the spatial reproduction control device 102 . Therefore, the spatial reproduction display system 100 can be said to be an image processing device.
  • the spatial reproduction control device 102 may have the viewpoint position detection unit 111 . That is, the spatial reproduction control device 102 further includes a viewpoint position detection unit 111 that detects the viewpoint position of the observer of the stereoscopic image, and the image generation unit 122 generates a stereoscopic image (display surface image) based on the viewpoint position. may be generated.
  • the spatial reproduction control device 102 may have the display unit 112 and the angle detection unit 113 . That is, the spatial reproduction control device 102 includes a display unit 112 having a display surface 141 and a hinge portion 143 that forms a display surface angle, and an angle detection unit that detects the display surface angle formed by the hinge portion 143. 113 , and the scaling conversion unit 121 may perform scaling conversion according to the display surface angle detected by the angle detection unit 113 . Then, as described above, the hinge portion 143 may rotate the display surface 141 about the end of the display surface 141 as an axis. Moreover, the hinge portion 143 may rotate the display surface 141 about a position other than the end of the display surface 141 as an axis.
  • the spatial reproduction control device 102 may include all of the viewpoint position detection section 111 to the angle detection section 113 . Spatial reproduction control device 102 may further include other configurations.
  • Second Embodiment> ⁇ Display surface angle control>
  • the spatial reproduction display system 100 as described above as shown in the eighth row from the top of the table in FIG. Good (Method 2).
  • FIG. 13 is a block diagram showing a main configuration example of the spatial reproduction display system 100 in that case.
  • the spatial reproduction display device 101 has an angle control section 211 in addition to the configuration shown in FIG.
  • the spatial reproduction control device 102 has a display surface angle setting unit 221 .
  • the angle control unit 211 performs processing related to control of the display surface angle.
  • the angle control section 211 has a device for controlling the orientation of the display surface 141 .
  • the angle control section 211 may have, as its device, a stepping motor, a servo motor, or the like that drives the hinge section 143 . In that case, the number of devices such as stepping motors and servo motors may be singular or plural.
  • the angle control unit 211 may control the display surface angle by driving the hinge unit 143 of the display unit 112 using such a device and controlling the posture (inclination) of the display surface 141 .
  • the angle control unit 211 may acquire control information indicating the display surface angle supplied from the display surface angle setting unit 221, for example. Then, the angle control section 211 may control the display surface angle by driving based on the control information.
  • the display surface angle setting unit 221 performs processing related to setting the display surface angle. For example, the display surface angle setting unit 221 may set the display surface angle. The display surface angle setting unit 221 may also supply control information indicating the set display surface angle to the angle control unit 211 .
  • the display surface angle setting unit 221 may acquire a stereoscopic object supplied to the spatial reproduction control device 102 and set the display surface angle according to the acquired stereoscopic object. Then, the angle control section 211 may control the attitude of the display surface 141 so that the display surface angle becomes the set angle.
  • the display surface angle setting unit 221 may set the display surface angle according to the depth-to-height ratio of the stereoscopic object. For example, the display surface angle setting unit 221 may set the display surface angle smaller as the depth of the stereoscopic object is longer than the height. In other words, the display surface angle setting unit 221 may set the display surface angle larger as the depth of the stereoscopic object is shorter than the height.
  • the display surface angle setting unit 221 sets the surface that touches the outside surrounding the stereoscopic object to the top, bottom, front and back to form a rectangular parallelepiped, and sets the inclination of the diagonal line of the rectangular parallelepiped viewed from the side as the display surface angle.
  • the display surface angle setting unit 221 may derive the display surface angle using Equation (1) below.
  • a value obtained by adding a predetermined margin to the value derived by this formula (1) may be used as the scale value. By doing so, it is possible to secure a margin in the upper part in the vertical direction.
  • Figs. 14 and 15 show an example of how the display surface angle is set.
  • the display plane angle setting unit 221 sets the display plane angle ⁇ 11 corresponding to the stereoscopic object 231 .
  • the display surface angle setting unit 221 obtains the inclination of the diagonal line (double-ended arrow 232) surrounding the stereoscopic object 231 as indicated on the left side of the arrow 230 in the center of FIG.
  • the tilt is set as the display surface angle ⁇ 11 so that That is, ⁇ 11 is set to an angle corresponding to the depth-to-height ratio of the stereoscopic object 231 .
  • the display surface angle setting unit 221 sets the display surface angle ⁇ 12 corresponding to the stereoscopic object 241.
  • the display surface angle setting unit 221 obtains the inclination of the diagonal line (double-ended arrow 242) surrounding the stereoscopic object 241 as indicated on the left side of the arrow 240 in the center of FIG.
  • the tilt is set as the display surface angle ⁇ 12 so that That is, ⁇ 12 is set to an angle corresponding to the depth-to-height ratio of the stereoscopic object 241 .
  • the display surface angle setting unit 221 sets ⁇ 11 to a value larger than ⁇ 12.
  • the display surface angle setting unit 221 sets the display surface angle to a large value.
  • the angle control unit 211 sets the display surface angle to that value, the stereoscopic object can be seen at a position close to the display surface 141 . Therefore, it is possible to suppress an increase in the amount of parallax and suppress accommodation convergence contradiction. Also, the stereoscopic object can be displayed in a larger size, and reduction in stereoscopic effect and visibility can be suppressed.
  • the display plane angle setting unit 221 sets the display plane angle to a small value.
  • the angle control unit 211 sets the display surface angle to that value, the stereoscopic object can be seen at a position close to the display surface 141 . Therefore, it is possible to suppress an increase in the amount of parallax and suppress accommodation convergence contradiction. Also, it is possible to draw a stereoscopic object in a wider range.
  • ⁇ Scaling conversion> It should be noted that method 1 described above may be applied, and the scaling conversion unit 121 may perform scaling conversion of the stereoscopic object according to the display surface angle thus set.
  • the angle detection unit 113 may detect the display surface angle controlled by the angle control unit 211, and the scaling conversion unit 121 may perform scaling conversion of the stereoscopic object according to the display surface angle.
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in a stereoscopic object. Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image. In addition, the spatial reproduction display system 100 can suppress an increase in the amount of parallax and suppress contradiction in vergence accommodation.
  • the spatial reproduction control device 102 acquires externally supplied stereoscopic object information in step S201.
  • the display plane angle setting unit 221 applies the method 2-1 described above, and sets the display plane angle according to the stereoscopic object acquired in step S201.
  • the display surface angle setting unit 221 may set the display surface angle according to the depth-to-height ratio of the stereoscopic object.
  • the display surface angle setting unit 221 may set the display surface angle smaller as the depth of the stereoscopic object is longer than the height.
  • the display surface angle setting unit 221 may set the display surface angle larger as the depth of the stereoscopic object is shorter than the height.
  • the angle control unit 211 controls the posture of the display surface 141 so that the display surface angle of the display unit 112 becomes the angle set as described above.
  • step S203 the angle detection unit 113 detects the display surface angle.
  • step S204 to step S210 is executed in the same manner as each process from step S103 to step S109 in FIG.
  • step S210 If it is determined in step S210 that the spatial reproduction display process should not end, the process returns to step S201 and the subsequent processes are executed. The processing from step S201 to step S210 is repeatedly executed until it is determined in step S210 that the spatial reproduction display processing is finished. Then, when it is determined in step S210 that the spatial reproduction display process is to be terminated, the spatial reproduction display process is terminated.
  • the spatial reproduction display system 100 can suppress an increase in the amount of parallax and suppress a contradiction in convergence adjustment.
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object. Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image.
  • the angle control unit 211 may control the display surface angle so as to guarantee the minimum angle, as shown in the tenth row from the top of the table in FIG. Method 2-2). For example, if the posture (inclination) of the display surface 141 is controlled by an external force of the user or the like, and the display surface angle becomes too small, the stereoscopic object will be image-defective, and the display surface image displayed on the display surface 141 (stereoscopic There was a risk that the stereoscopic effect and visibility of the visual image) would be reduced.
  • the angle control unit 211 may apply the method 2-2 described above to control the display surface angle so as to guarantee the minimum angle.
  • the angle control section 211 may drive the hinge section 143 of the display section 112 so that the display surface angle is greater than or equal to a predetermined angle.
  • the angle control unit 211 drives the hinge unit 143 of the display unit 112 so that the display surface angle becomes less than the minimum angle.
  • the posture (inclination) of the display surface 141 may be changed so as to increase the display surface angle.
  • This minimum angle is arbitrary.
  • the minimum angle may be an angle that does not reduce the stereoscopic effect and visibility of the display surface image.
  • This minimum angle may be determined in advance, or may be set by the display surface angle setting unit 221 or the like according to the stereoscopic object or the like.
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object. Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image. In addition, the spatial reproduction display system 100 can suppress an increase in the amount of parallax and suppress contradiction in vergence accommodation. It is also possible to make the player feel the force of hitting a stereoscopic object.
  • the spatial reproduction control device 102 may have the angle control section 211 . That is, the space reproduction control device 102 controls the display surface angle setting unit 221 that sets the display surface angle, and the hinge unit 143 of the display unit 112 so that the display surface angle is set by the display surface angle setting unit 221. may further include an angle control unit 211 that drives the .
  • the spatial reproduction control device 102 may include all of the viewpoint position detection section 111 to the angle detection section 113 and the angle control section 211 . Spatial reproduction control device 102 may further include other configurations.
  • FIG. 17 is a block diagram showing a main configuration example of the spatial reproduction display system 100 in that case.
  • the spatial reproduction control device 102 has a clip processing section 321 instead of the scaling conversion section 121 of the configuration shown in FIG.
  • the clip processing unit 321 performs processing related to clipping of stereoscopic objects.
  • the clip processing unit 321 may acquire a stereoscopic object supplied to the spatial reproduction control device 102 .
  • the clip processing unit 321 may acquire the viewpoint position supplied from the viewpoint position detection unit 111 .
  • the clip processing unit 321 may acquire the display surface angle supplied from the angle detection unit 113 .
  • the clip processing unit 321 may clip a part of the acquired stereoscopic object according to the acquired viewpoint position and display surface angle.
  • Clipping is processing for cutting out an object. For example, a portion of the stereoscopic object is cut out by clipping the portion. In other words, other parts are deleted.
  • the clip processing unit 321 may supply the clipped stereoscopic object to the image generation unit 122 .
  • the spatial reproduction control device 102 clips the stereoscopic object instead of performing the scaling conversion of the first embodiment.
  • the image generation unit 122 generates a display surface image (a stereoscopic image displayed on the display surface 141) using the clipped stereoscopic object, and the display control unit 123 displays the display surface image on the display unit 112. is displayed on the display surface 141 of .
  • the image generator 122 may render the clipped stereoscopic object in the drawing space. Further, the image generation unit 122 generates a binocular virtual viewpoint image by orthographically projecting the rendered stereoscopic object image according to the obtained viewpoint position as a virtual viewpoint. may Further, the image generator 122 may convert the generated virtual viewpoint image into the display surface image by projecting the generated virtual viewpoint image onto the display surface from the viewpoint position based on the acquired display surface angle. For example, the display control unit 123 may generate a light source image for display from the display surface image (stereoscopic image) and supply it to the display unit 112 .
  • FIG. 18 is a diagram showing an example of how a stereoscopic object is displayed on the display surface 141.
  • the stereoscopic object 331 appears to the observer 131 to exist on the display surface 141 on the floor surface 171 parallel to the horizontal plane of the real space. ing.
  • the range between the dotted line 341 connecting the viewpoint 131A and the upper end of the display surface 141 and the dotted line 342 connecting the viewpoint 131A and the lower end of the display surface 141 is the range where the display surface 141 can be seen by the observer 131 .
  • the upper portion of the stereoscopic object 331 is positioned above the dotted line 341 and outside the range where the display surface 141 can be seen by the observer 131 .
  • the clip processing unit 321 applies Method 3 described above to clip the stereoscopic object according to the display surface angle and the viewpoint position. That is, the clip processing unit 321 sets a clipping plane according to the display plane angle and the viewpoint position, and clips the stereoscopic object on the clipping plane.
  • a clipping plane indicates the bounding surface of a clip. That is, the clip processing unit 321 clips the stereoscopic object using this clip plane as a boundary (end).
  • a plane connecting a predetermined reference point and a display surface endpoint may be set as a clipping plane, as shown in the twelfth row from the top of the table in FIG. 1 (method 3-1). .
  • FIG. 19 shows an example of this situation.
  • the clip processing unit 321 performs clip processing from the position of the viewpoint 131A within the range where the display surface 141 can be seen from the observer 131 (that is, within the range between the dotted lines 341 and 342).
  • the reference point 131B may be set at a position close to the display surface 141.
  • the clip processing unit 321 clips the plane connecting the reference point 131B and the end of the display surface 141 (that is, the plane shown as the dotted line 351 or the plane shown as the dotted line 352 in FIG. 19, or both). It may be flat. Then, the clip processing section 321 may clip the stereoscopic object 331 on the clipping plane.
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object. Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image.
  • the clip processing unit 321 sets the reference point 131C so that the clipping planes indicated by dotted lines 361 and 362 are vertical or horizontal planes in the real space. Then, the clip processing unit 321 may clip the stereoscopic object 331 on the clipping plane (that is, the vertical plane or the horizontal plane in the real space, or both).
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object, as in the example of FIG. 19 . . Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image.
  • the same effect can be achieved by setting the front clip plane of the virtual camera that acquires the virtual viewpoint image to two planes. .
  • step S301 is executed in the same manner as the process of step S101 in FIG. 12, and the display surface angle is detected.
  • the process of step S302 is executed in the same manner as the process of step S102 in FIG. 12, and the stereoscopic object information is acquired.
  • the process of step S303 is executed in the same manner as the process of step S104 in FIG. 12, and the viewpoint position of the observer 131 is detected.
  • step S304 the clip processing unit 321 applies method 3 described above to set a clipping plane according to the viewpoint position detected in step S303 and the display plane angle detected in step S301. Clip the stereoscopic object obtained in with its clipping plane.
  • the clip processing unit 321 may apply the above-described method 3-1 and set the plane connecting the predetermined reference point and the display surface end point as the clipping plane. For example, the clip processing unit 321 may set a reference point at a position closer to the display surface 141 than the viewpoint position. For example, the clip processing unit 321 may set the reference point at a position closer to the display surface 141 than the viewpoint position within the range where the display surface 141 can be seen from the observer 131 . Then, the clip processing unit 321 may clip the stereoscopic object with a plane connecting the reference point and the edge of the display plane.
  • the clip processing unit 321 may apply the above-described method 3-1-1 and set the vertical plane or the horizontal plane of the real space, or both, as the clipping plane. That is, the clip processing unit 321 may set the reference point so that the clipping plane is the vertical plane or horizontal plane of the real space. Then, the clip processing unit 321 may clip the stereoscopic object 331 on the vertical plane or the horizontal plane of the real space, or both.
  • step S305 to step S309 is executed in the same manner as each process from step S105 to step S109 in FIG.
  • step S309 If it is determined in step S309 that the spatial reproduction display process should not end, the process returns to step S302 and the subsequent processes are executed. The processes of steps S302 to S309 are repeatedly executed until it is determined in step S309 that the spatial reproduction display process is finished. Then, when it is determined in step S309 that the spatial reproduction display processing is to be terminated, the spatial reproduction display processing is terminated.
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object. Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image.
  • the configuration of the spatial reproduction display system 100 is arbitrary, and is not limited to the example of FIG.
  • part or all of the configuration of the spatial reproduction display device 101 may be configured integrally with the spatial reproduction control device 102 .
  • the spatial reproduction control device 102 may have the viewpoint position detection unit 111 . That is, the spatial reproduction control device 102 further includes a viewpoint position detection unit 111 that detects the viewpoint position of the observer of the stereoscopic image, and the clip processing unit 321 detects the stereoscopic image according to the display surface angle and the viewpoint position.
  • the object may be clipped and the image generator 122 may generate a stereoscopic image (display surface image) based on the viewpoint position.
  • the spatial reproduction control device 102 may have the display unit 112 and the angle detection unit 113 . That is, the spatial reproduction control device 102 includes a display unit 112 having a display surface 141 and a hinge portion 143 that forms a display surface angle, and an angle detection unit that detects the display surface angle formed by the hinge portion 143. 113, and the clip processing unit may clip the stereoscopic object according to its display surface angle and viewpoint position. Then, as described above, the hinge portion 143 may rotate the display surface 141 about the end of the display surface 141 as an axis. Moreover, the hinge portion 143 may rotate the display surface 141 about a position other than the end of the display surface 141 as an axis.
  • the spatial reproduction control device 102 may include all of the viewpoint position detection section 111 to the angle detection section 113 . Spatial reproduction control device 102 may further include other configurations.
  • Both the scaling conversion described in the first embodiment and the clipping described in the present embodiment may be performed on the stereoscopic object.
  • the clip processing unit 321 in FIG. 17 may be added to the configuration of the spatial reproduction control device 102 shown in FIG.
  • the process of step S304 of FIG. 21 may be executed after the process of step S104 in the flowchart of the spatial reproduction display process shown in FIG.
  • the scaling conversion unit 121 performs scaling conversion of the stereoscopic object according to the angle of the display surface with respect to the horizontal plane of the real space, and the stereoscopic object is displayed on the display surface 141 using the stereoscopic object subjected to the scaling conversion.
  • a spatial reproduction control device 102 that includes an image generation unit 122 that generates an image and a display control unit 123 that displays the stereoscopic image on the display surface 141 includes a clip processing unit 321, and the clip processing unit 321 performs the method 3 may be applied, and the stereoscopic object may be clipped according to the viewer's display surface angle and viewpoint position of the stereoscopic image.
  • the clip processing unit 321 applies method 3-1, sets a reference point at a position closer to the display surface 141 than the viewpoint position, and sets a plane connecting the reference point and the edge of the display surface as a clipping plane,
  • the stereoscopic object may be clipped on the clipping plane.
  • the clip processing unit 321 applies method 3-1-1, sets a reference point so that the vertical plane or horizontal plane in the real space, or both, passing through the edge of the display plane becomes the clipping plane, and sets the reference point to the clipping plane. You can clip the stereoscopic object with .
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object due to scaling conversion or clipping of the stereoscopic object, or both. Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image.
  • the clip processing unit 321 in FIG. 2 may be added to the configuration of the spatial reproduction control device 102 shown in FIG.
  • the process of step S103 of FIG. 12 may be executed after the process of step S301 in the flowchart of the spatial reproduction display process shown in FIG.
  • a clip processing unit that clips a part of the stereoscopic object according to the angle of the display surface 141 with respect to the horizontal plane of the real space and the viewpoint position of the observer 131 of the stereoscopic image displayed on the display surface 141;
  • the spatial reproduction control device 102 which includes an image generation unit that generates a stereoscopic image using a stereoscopic object whose part is clipped, and a display control unit that displays the stereoscopic image on the display surface 141, performs scaling conversion.
  • a unit 121 may be provided, and the scaling conversion unit 121 may apply method 1 and perform scaling conversion of the stereoscopic object according to the display surface angle.
  • the scaling conversion unit 121 applies method 1-1 to reduce the scale of the stereoscopic object as the display surface angle decreases, and increase the scale of the stereoscopic object as the display surface angle increases. good too. Also, the scaling conversion unit 121 may perform scaling conversion within a predetermined range of display surface angles. Also, the scaling conversion unit 121 may perform scaling conversion so that the stereoscopic object fits within the display surface 141 when viewed from the viewpoint position.
  • the scaling conversion unit 121 may apply method 1-1-1 to perform scaling conversion while maintaining the height-to-width ratio of the stereoscopic object.
  • the scaling conversion unit 121 may apply method 1-1-2 and perform scaling conversion only in the height direction of the stereoscopic object.
  • the spatial reproduction display system 100 can suppress the occurrence of image defects in the stereoscopic object due to scaling conversion or clipping of the stereoscopic object, or both. Therefore, the spatial reproduction display system 100 can suppress reduction in the stereoscopic effect and visibility of the stereoscopic image.
  • both the control of the display surface angle described in the second embodiment and the clipping of the stereoscopic object described in the present embodiment may be performed.
  • the angle control section 211 shown in FIG. 13 may be added to the configuration of the spatial reproduction display device 101 shown in FIG. 13 may be added to the configuration of the spatial reproduction control device 102 shown in FIG.
  • the process of step S202 in FIG. 16 may be executed after the process of step S302 in the flowchart of the spatial reproduction display process shown in FIG.
  • a clip processing unit that clips a part of the stereoscopic object according to the angle of the display surface 141 with respect to the horizontal plane of the real space and the viewpoint position of the observer 131 of the stereoscopic image displayed on the display surface 141;
  • a spatial reproduction control device 102 comprising an image generating unit that generates a stereoscopic image using a stereoscopic object partly clipped and a display control unit that displays the stereoscopic image on the display surface 141,
  • An angle setting unit 221 may be provided, and the display surface angle setting unit 221 may apply Method 2 to set the display surface angle.
  • the display surface angle setting unit 221 may apply method 2-1 and set the display surface angle according to the stereoscopic object.
  • the display surface angle setting unit 221 may set the display surface angle according to the depth-to-height ratio of the stereoscopic object.
  • the display surface angle setting unit 221 may set the display surface angle smaller as the depth is longer than the height, and set the display surface angle larger as the depth is shorter than the height.
  • the spatial reproduction control device 102 shown in FIG. 17 may further include the angle control section 211 shown in FIG. Then, the angle control section 211 may apply method 2 and drive the hinge section 143 so that the display surface angle is the angle set by the display surface angle setting section 221 .
  • the angle control unit 211 may apply method 2-2 and drive the hinge unit 143 so that the display surface angle is equal to or greater than a predetermined angle.
  • the spatial reproduction display system 100 can obtain the same effect as described in the second embodiment.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 22 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by means of a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 910 is also connected to the bus 904 .
  • An input unit 911 , an output unit 912 , a storage unit 913 , a communication unit 914 and a drive 915 are connected to the input/output interface 910 .
  • the input unit 911 is composed of, for example, a keyboard, mouse, microphone, touch panel, input terminals, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a nonvolatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • Drive 915 drives removable media 921 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 901 loads, for example, a program stored in the storage unit 913 into the RAM 903 via the input/output interface 910 and the bus 904, and executes the above-described series of programs. is processed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • a program executed by a computer can be applied by being recorded on removable media 921 such as package media, for example.
  • the program can be installed in the storage unit 913 via the input/output interface 910 by loading the removable medium 921 into the drive 915 .
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913 .
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • This technology can be applied to any configuration.
  • the present technology can be applied to various electronic devices.
  • the present technology includes a processor (e.g., video processor) as a system LSI (Large Scale Integration), etc., a module (e.g., video module) using a plurality of processors, etc., a unit (e.g., video unit) using a plurality of modules, etc.
  • a processor e.g., video processor
  • LSI Large Scale Integration
  • module e.g., video module
  • a unit e.g., video unit
  • it can be implemented as a part of the configuration of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • the present technology can also be applied to a network system configured by a plurality of devices.
  • the present technology may be implemented as cloud computing in which a plurality of devices share and jointly process via a network.
  • this technology is implemented in cloud services that provide image (moving image) services to arbitrary terminals such as computers, AV (Audio Visual) equipment, portable information processing terminals, and IoT (Internet of Things) devices. You may make it
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field, such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, and nature monitoring. . Moreover, its use is arbitrary.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications are possible without departing from the gist of the present technology.
  • a configuration described as one device may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • the above-described program may be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step of one flowchart may be executed by one device, or may be executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • a computer-executed program may be configured such that the processing of the steps described in the program is executed in chronological order according to the order described in this specification, in parallel, or when calls are executed. It may also be executed individually at necessary timings such as when it is interrupted. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • the present technology can also take the following configuration.
  • a scaling conversion unit that scales the stereoscopic object according to the angle of the display surface with respect to the horizontal plane of the real space; an image generating unit that generates a stereoscopic image to be displayed on the display surface using the stereoscopic object subjected to the scaling conversion; and a display control unit that displays the stereoscopic image on the display surface.
  • the scaling conversion unit reduces the scale of the stereoscopic object as the angle decreases, and increases the scale of the stereoscopic object as the angle increases.
  • the scaling conversion unit performs the scaling conversion within a predetermined range of the angle.
  • an angle setting unit that sets the angle;
  • the image processing device (11) The image processing device according to (10), wherein the angle setting unit sets the angle according to the stereoscopic object. (12) The image processing device according to (11), wherein the angle setting unit sets the angle according to a depth-to-height ratio of the stereoscopic object. (13) The image processing device according to (12), wherein the angle setting unit sets the angle smaller as the depth is longer than the height. (14) The image processing apparatus according to any one of (10) to (13), wherein the angle control unit drives the structure so that the angle is equal to or greater than a predetermined angle. (15) The image processing apparatus according to any one of (1) to (14), further comprising a clip processing unit that clips the stereoscopic object according to the angle and the observer's viewpoint position of the stereoscopic image.
  • the image generation unit rendering the stereoscopic object; generating a binocular virtual viewpoint image viewed from the observer's viewpoint position of the stereoscopic image;
  • the image processing device according to (1), wherein the virtual viewpoint image is converted into the stereoscopic image to be displayed on the display surface.
  • (20) performing scaling conversion of the stereoscopic object according to the angle of the display surface with respect to the horizontal plane of the real space; generating a stereoscopic image to be displayed on the display surface using the stereoscopic object subjected to the scaling conversion; An image processing method for displaying the stereoscopic image on the display surface.
  • a clip processing unit that clips a part of a stereoscopic object according to the angle of the display surface with respect to the horizontal plane of the real space and the viewpoint position of the viewer of the stereoscopic image displayed on the display surface; an image generating unit that generates the stereoscopic image using the partially clipped stereoscopic object; and a display control unit that displays the stereoscopic image on the display surface.
  • the clip processing unit clips the stereoscopic object with a plane connecting a reference point at a position closer to the display surface than the viewpoint position and an edge of the display surface.
  • (25) a display unit having the display surface and a structure forming the angle; an angle detection unit that detects the angle formed by the structure,
  • the image processing device according to any one of (21) to (24), wherein the clip processing unit clips the stereoscopic object according to the angle detected by the angle detection unit and the viewpoint position.
  • the image processing apparatus according to (25), wherein the structure enables the display surface to rotate about an end of the display surface.
  • an angle setting unit that sets the angle;
  • the image processing apparatus according to any one of (25) to (27), further comprising: an angle control section that drives the structure so that the angle is set by the angle setting section.
  • the image processing device (33), wherein the scaling conversion unit reduces the scale of the stereoscopic object as the angle decreases, and increases the scale of the stereoscopic object as the angle increases. (35) The image processing device according to (34), wherein the scaling conversion unit performs the scaling conversion within a predetermined range of the angle. (36) The image processing device according to any one of (33) to (35), wherein the scaling conversion unit performs the scaling conversion so that the stereoscopic object fits within the display plane when viewed from the viewpoint position. . (37) The image processing device according to any one of (33) to (36), wherein the scaling conversion unit performs the scaling conversion while maintaining a height-to-width ratio of the stereoscopic object.
  • the image processing device according to any one of (33) to (36), wherein the scaling conversion unit performs the scaling conversion only in the height direction of the stereoscopic object.
  • the image generation unit rendering the stereoscopic object; generating a binocular virtual viewpoint image viewed from the viewpoint position;
  • the image processing device according to any one of (21) to (38), wherein the virtual viewpoint image is converted into the stereoscopic image to be displayed on the display surface.
  • An image processing method comprising: generating the stereoscopic image using the partially clipped stereoscopic object, and displaying the stereoscopic image on the display surface.
  • Spatial reproduction display system 101 Spatial reproduction display device, 102 Spatial reproduction control device, 111 Viewpoint position detection unit, 112 Display unit, 113 Angle detection unit, 121 Scaling conversion unit, 122 Image generation unit, 123 Display control unit, 131 Observation Person, 131A viewpoint, 141 display surface, 142 fixed part, 143 hinge part, 155 stereoscopic object, 181 stereoscopic object, 211 angle control part, 221 display surface angle setting part, 231 stereoscopic object, 241 stereoscopic object, 321 Clip processing unit, 331 stereoscopic object, 900 computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本開示は、立体視画像の立体感および視認性の低減を抑制し、輻輳調節矛盾を抑制することができるようにする画像処理装置および方法に関する。 実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換を行い、そのスケーリング変換が行われた立体視オブジェクトを用いて表示面に表示する立体視画像を生成し、その立体視画像を表示面に表示させる。本開示は、例えば、画像処理装置、電子機器、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、立体視画像の立体感および視認性の低減を抑制し、輻輳調節矛盾を抑制することができるようにした画像処理装置および方法に関する。
　従来、立体視が可能な立体視オブジェクトを表示する空間再現表示装置が開発された（例えば、特許文献１参照）。空間再現表示装置は、立体視画像の光源となる表示面を有し、その表示面において、立体視画像として立体視オブジェクトを表示する。
国際公開第２０１８／１１６５８０号
　しかしながら、特許文献１に記載の方法では、立体視オブジェクトが表示面から突出する量が増大することにより高さ方向において立体視オブジェクトの画欠けが生じ、両眼視差との矛盾で立体感や視認性が低減するおそれがあった。また、立体視オブジェクトに対する両目の輻輳と表示面への調節との矛盾である輻輳調節矛盾が増大するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、立体視画像の立体感および視認性の低減を抑制し、輻輳調節矛盾を抑制することができるようにするものである。
　本技術の一側面の画像処理装置は、実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換を行うスケーリング変換部と、前記スケーリング変換が行われた前記立体視オブジェクトを用いて前記表示面に表示する立体視画像を生成する画像生成部と、前記立体視画像を前記表示面に表示させる表示制御部とを備える画像処理装置である。
　本技術の一側面の画像処理方法は、実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換を行い、前記スケーリング変換が行われた前記立体視オブジェクトを用いて前記表示面に表示する立体視画像を生成し、前記立体視画像を前記表示面に表示させる画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換が行われ、そのスケーリング変換が行われた立体視オブジェクトを用いて表示面に表示する立体視画像が生成され、その立体視画像が表示面に表示される。
立体視画像の表示方法の例について説明する図である。 空間再現表示システムの主な構成例を示すブロック図である。 表示部の外観の概要の例を示す図である。 表示部の外観の概要の例を示す図である。 立体視画像の表示例について説明する図である。 表示部の外観の概要の例を示す図である。 表示部の外観の概要の例を示す図である。 立体視オブジェクトの画欠けの例について説明する図である。 立体視オブジェクトの画欠けの例について説明する図である。 立体視オブジェクトのスケーリング変換の例について説明する図である。 立体視オブジェクトのスケーリング変換の例について説明する図である。 空間再現表示処理の流れの例を説明するフローチャートである。 空間再現表示システムの他の構成例を示すブロック図である。 表示面角度の制御例について説明する図である。 表示面角度の制御例について説明する図である。 空間再現表示処理の流れの他の例を説明するフローチャートである。 空間再現表示システムの他の構成例を示すブロック図である。 立体視オブジェクトのクリップ処理について説明する図である。 立体視オブジェクトのクリップ処理について説明する図である。 立体視オブジェクトのクリップ処理について説明する図である。 空間再現表示処理の流れの他の例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．立体視画像の表示
　２．第１の実施の形態（スケーリング変換）
　３．第２の実施の形態（表示面角度制御）
　４．第３の実施の形態（クリップ処理）
　５．付記
　＜１．立体視画像の表示＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の特許文献等に記載されている内容や以下の特許文献において参照されている他の文献の内容等も含まれる。
　特許文献１：（上述）
　つまり、上述の特許文献に記載されている内容や、上述の特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
　　＜空間再現表示＞
　従来、例えば特許文献１に記載のように、立体視が可能な立体視オブジェクトを表示する空間再現表示装置が開発された。この空間再現表示装置は、立体視画像の光源となる表示面を有し、その表示面において、立体視画像として立体視オブジェクトを表示する。
　しかしながら、特許文献１に記載の方法では、立体視オブジェクトが表示面から突出する量が増大することにより高さ方向において立体視オブジェクトの画欠けが生じるおそれがあった。そのため、視差と２次元的なオクルージョン手がかりとの間で視覚的な矛盾を生じ、立体感を損なうおそれがあった。また視認性が低減するおそれもあった。また、表示面から遠くなることもあり、視差量が増大するおそれがあった。そのため、輻輳調節矛盾が増大するおそれがあった。
　輻輳は、両眼で対象を注視しようとする時に、眼球が内側に寄ったり、外側に広がったりする運動のことである。調節は、見ている対象に焦点を合わせるために、眼球にある水晶体の厚みを変化させることである。輻輳調節矛盾とは、これらの動きに生じる矛盾のことである。
　一般的に、物を見る際、輻輳と調節の両方が同時に行われる。現実世界では輻輳を行う角度と水晶体の厚みを変化させる調節の量は比例関係にある。これに対して立体視画像を見る場合、調節は表示面に対して行われ、輻輳は立体視オブジェクトに対して行われる。そのため、立体視オブジェクトの奥行き感と表示面の位置とが離れる程、輻輳調節矛盾が増大し、眼精疲労の要因となる。つまり、立体視画像の視差量が増大する程、輻輳調節矛盾が増大するおそれがあった。
　＜２．第１の実施の形態＞
　　＜立体視オブジェクトのスケーリング変換＞
　そこで、図１の表の最上段に示されるように、立体視オブジェクトに対して表示面角度に応じてスケーリング変換を行い、表示する（方法１）。スケーリング変換は、立体視オブジェクトのスケール（大きさ）を変換する処理である。これにより、画欠けの発生を抑制し、立体視画像の立体感および視認性の低減を抑制することができる。また、視差量の増大を抑制し、輻輳調節矛盾を抑制することができる。
　　＜空間再現表示システム＞
　図２は、本技術を適用した画像処理装置の一態様である空間再現表示システムの構成の一例を示すブロック図である。図２に示される空間再現表示システム１００は、立体視画像を表示するためのシステムである。空間再現表示システム１００は、本技術を適用して立体視画像を表示する。
　なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、空間再現表示システム１００が、図２においてブロックとして示されていない装置や処理部を有してもよい。また、図２において矢印等として示されていないデータの流れや処理が存在してもよい。
　図２に示されるように、空間再現表示システム１００は、空間再現表示装置１０１および空間再現制御装置１０２を有する。空間再現表示装置１０１は、立体視画像を表示する装置である。空間再現制御装置１０２は、空間再現表示装置１０１による立体視画像の表示の制御に関する処理を行う装置である。空間再現表示装置１０１と空間再現制御装置１０２は、互いに通信可能に接続されており、有線通信若しくは無線通信またはその両方を行うことができる。
　例えば、空間再現制御装置１０２は、立体視画像として表示させるコンテンツ（3Dデータ）である立体視オブジェクトを取得し、その立体視オブジェクトを用いて立体視画像を生成し、その立体視画像を表示面画像として空間再現表示装置１０１へ供給し、表示させてもよい。表示面画像は、表示面に表示させる画像のことを示す。空間再現表示装置１０１は、空間再現制御装置１０２のそのような制御に従って、空間再現制御装置１０２から供給される表示面画像（立体視画像）を表示してもよい。したがって、空間再現表示装置１０１および空間再現制御装置１０２は、画像処理装置と言える。
　空間再現表示装置１０１は、視点位置検出部１１１、表示部１１２、および角度検出部１１３を有する。空間再現制御装置１０２は、スケーリング変換部１２１、画像生成部１２２、および表示制御部１２３を有する。
　視点位置検出部１１１は、立体視画像を観察する観察者１３１の視点１３１Ａの位置（視点位置）に関する処理を行う。視点位置検出部１１１は、視点位置を検出するためのデバイスを有する。例えば、視点位置検出部１１１は、そのデバイスとして、カメラ、デプスカメラ、若しくは人感センサ、またはそれらの組み合わせ等を有してもよい。その場合、そのカメラ、デプスカメラ、人感センサ等のデバイスは、単数であってもよいし複数であってもよい。視点位置検出部１１１は、このようなデバイスを用いて、観察者１３１の視点位置を検出してもよい。なお、視点１３１Ａは観察者１３１の右目であってもよいし、左目であってもよいし、両眼であってもよい。また視点位置検出部１１１は、観察者１３１の視線方向も検出してもよい。視点位置検出部１１１は、検出した視点位置を示す情報を空間再現制御装置１０２へ供給してもよい。
　表示部１１２は、立体視画像の表示に関する処理を行う。表示部１１２は、立体視画像を表示面に表示する表示デバイス（例えば裸眼立体ディスプレイ）を有する。例えば、表示部１１２は、表示制御部１２３から供給される表示面画像（立体視画像）を取得してもよい。また、表示部１１２は、取得した表示面画像（立体視画像）を表示デバイスの表示面に表示してもよい。観察者１３１は、その表示面に表示された立体視画像を視点位置から観察する。
　角度検出部１１３は、表示部１１２の表示面角度の検出に関する処理を行う。表示面角度とは、表示部１１２の表示面の、実空間の水平面に対する角度のことを示す。角度検出部１１３は、表示面角度を検出するためのデバイスを有する。例えば、角度検出部１１３は、そのデバイスとして、加速度センサ、ジャイロセンサ、若しくは磁気センサ、またはそれらの組み合わせ等を有してもよい。その場合、その加速度センサ、ジャイロセンサ、磁気センサ等のデバイスは、単数であってもよいし複数であってもよい。また、角度検出部１１３は、機械的な構成により表示面角度を検出してもよい。角度検出部１１３は、このようなデバイスを用いて、表示部１１２の表示面角度を検出してもよい。角度検出部１１３は、検出した表示面角度を示す情報を空間再現制御装置１０２へ供給してもよい。
　スケーリング変換部１２１は、スケーリング変換に関する処理を行う。例えば、スケーリング変換部１２１は、空間再現制御装置１０２に供給される立体視オブジェクトを取得してもよい。また、スケーリング変換部１２１は、角度検出部１１３から供給される表示面角度を取得してもよい。また、スケーリング変換部１２１は、取得した立体視オブジェクトに対して、取得した表示面角度に応じてスケーリング変換を行ってもよい。スケーリング変換部１２１は、スケーリング変換が行われた立体視オブジェクトを画像生成部１２２へ供給してもよい。
　画像生成部１２２は、表示面画像（立体視画像）の生成に関する処理を行う。例えば、画像生成部１２２は、スケーリング変換部１２１から供給される立体視オブジェクトを取得してもよい。また、画像生成部１２２は、視点位置検出部１１１から供給される視点位置を示す情報を取得してもよい。また、画像生成部１２２は、角度検出部１１３から供給される表示面角度を示す情報を取得してもよい。例えば、画像生成部１２２は、取得した立体視オブジェクトを描画空間にレンダリングしてもよい。また、画像生成部１２２は、そのレンダリングした立体視オブジェクトの画像を、取得した視点位置を仮想視点とし、その視点位置に応じて正射影を行うことで、仮想の視点画像（仮想視点画像とも称する）を生成してもよい。視点画像とはある視点から見た画像のことを示す。その際、画像生成部１２２は、左目と右目のそれぞれについて、仮想視点画像（左目用画像および右目用画像）を生成してもよい。また、画像生成部１２２は、取得した表示面角度に基づいて、生成した仮想視点画像を視点位置から表示面に投影させることで、その仮想視点画像を表示面画像に変換してもよい。画像生成部１２２は、生成した表示面画像を表示制御部１２３へ供給してもよい。
　表示制御部１２３は、立体視画像の表示の制御に関する処理を行う。例えば、表示制御部１２３は、画像生成部１２２から供給される表示面画像（立体視画像）を取得してもよい。また、表示制御部１２３は、取得した表示面画像から表示用光源画像を生成し、表示部１１２へ供給してもよい。表示用光源画像は、表示部１１２が表示面画像を表示するための制御情報である。表示部１１２は、その表示用光源画像に従って駆動することにより、表示面画像を表示面に表示することができる。
　　＜表示部＞
　表示部１１２について説明する。図３は、表示部１１２の主な構成例を説明するための外観図である。例えば、図３のように、表示部１１２が、表示面１４１、固定部１４２、およびヒンジ部１４３を有してもよい。
　表示面１４１は、立体視画像を表示可能な表示デバイスを有し、空間再現制御装置１０２の制御（空間再現制御装置１０２から供給される表示用光源画像）に従ってその表示デバイスを駆動することにより、表示面画像を表示する。固定部１４２は、他の物体に固定される部分である。固定部１４２は、実空間の水平面となるように固定される。ヒンジ部１４３は、表示面１４１と固定部１４２とを接続する構成である。ヒンジ部１４３により、表示面１４１は、固定部１４２に対して回転可能な状態で固定部１４２に接続される。
　この表示部１１２の外観を、矢印１５１の方向（図３の横方向）から見た場合の例を図４に示す。図４に示されるように、ヒンジ部１４３が、表示面１４１の端部（図中、下端）に設けられている。つまり、表示面１４１は、その下端において固定部１４２に接続される。固定部１４２は、実空間の水平面に沿って固定されるので、両矢印１５３に示されるように、表示面１４１の固定部１４２に対する角度θが表示面角度となる。表示面１４１は、両矢印１５２に示されるように、このヒンジ部１４３を軸として固定部１４２に対して回転可能である。したがって、表示面角度θは、可変である。図２の角度検出部１１３は、この表示面角度θを検出する。
　図５は、表示部１１２による立体視画像の表示の様子の例を示す図である。例えば、表示部１１２が表示面１４１に立体視オブジェクト１５５を含む表示面画像（立体視画像）を表示する。表示面画像（立体視画像）は、互いに視差を有する左目用画像および右目用画像により構成される。その視差により、観察者１３１の視点１３１Ａの位置からは、床面１５４Ａ、背壁面１５４Ｂ、左側壁面１５４Ｃ、および右側壁面１５４Ｄに囲まれた仮想空間に、立体視オブジェクト１５５（立体像）が立っているように見える。
　図４においては、表示面１４１の下端にヒンジ部１４３が設けられるように説明したが、ヒンジ部１４３の位置は任意である。例えば図６のように、表示面１４１の上端にヒンジ部１４３が設けられてもよい。この場合、表示面１４１は、その上端において固定部１４２に接続される。そして、両矢印１６２に示されるように、表示面１４１の固定部１４２に対する角度θが表示面角度となる。そして、表示面１４１は、両矢印１６１に示されるように、その上端（のヒンジ部１４３）を軸として固定部１４２に対して回転可能である。したがって、表示面角度θは、可変である。図２の角度検出部１１３は、この表示面角度θを検出する。
　つまり、上述した方法１が適用される場合、図１の表の上から５段目に示されるように、表示部１１２の表示面角度が可変としてもよい。また、角度検出部１１３が、その表示面角度を検出してもよい（方法１－２）。
　そして、その方法１－２が適用される場合、図１の表の上から６段目に示されるように、表示面１４１の端部が回転可能としてもよい（方法１－２－１）。図４の例のように表示面１４１の下端を回転可能としてもよいし、図６の例のように表示面１４１の上端を回転可能としてもよい。
　なお、方法１－２が適用される場合、図１の表の上から７段目に示されるように、表示面１４１の非端部（端部以外の部分）が回転可能としてもよい（方法１－２－２）。つまり、表示面１４１の端部以外にヒンジ部１４３が設けられてもよい。図７にその例を示す。図７の例の場合、固定部１４２は、実空間の垂直面となるように固定される。ヒンジ部１４３は、表示面１４１の中央部（非端部）に設けられており、表示面１４１は、そのヒンジ部１４３により、固定部１４２に対して回転可能な状態で固定部１４２に接続される。両矢印１６４に示されるように、表示面１４１の実空間の水平面（点線）に対する角度θが表示面角度となる。表示面１４１は、両矢印１６３に示されるように、このヒンジ部１４３を軸として固定部１４２に対して回転可能である。したがって、表示面角度θは、可変である。図２の角度検出部１１３は、この表示面角度θを検出する。
　上述した各構成例は、それぞれ１つの例である。表示部１１２の構成は任意であり、これらの例に限定されない。
　　＜スケーリング変換＞
　例えば、図８に示されるように、表示面１４１が表示面画像を表示し、観察者１３１には、立体視オブジェクト１８１が、実空間の水平面と平行な床面１７１の、表示面１４１のところに立っているように見えるとする。また、表示面角度がθ１であるとする。この場合、視点１３１Ａと表示面１４１の上端とを結ぶ点線１７２と、視点１３１Ａと表示面１４１の下端とを結ぶ点線１７３との間の範囲（両矢印１７４で示される範囲）が、観察者１３１から表示面１４１が見える範囲である。図８の例の場合、観察者１３１の視点１３１Ａの位置から見て、立体視オブジェクト１８１は、この範囲内に収まる（表示面１４１内に収まる）ので、観察者１３１は、立体視オブジェクト１８１が立体像であるかのように見える。
　ここで、図９の例のように、この表示面１４１を倒して表示面角度を小さくする（表示面１４１の向きが実空間の水平面に近づくようにする）。図９における表示面角度をθ２（θ２＜θ１）とする。表示面角度が小さくなると、観察者１３１から表示面１４１が見える範囲（両矢印１７４で示される範囲）が狭くなる。図９の例の場合、立体視オブジェクト１８１の頭部１８１Ａが、点線１７２の上側に位置し、この観察者１３１から表示面１４１が見える範囲外となっている。
　このように、表示面角度が小さくなると、立体視オブジェクト１８１が表示面１４１から突出し、観察者１３１の視点位置との関係で立体視オブジェクト１８１に画欠けが生じるおそれがあった。立体視オブジェクト１８１に画欠けが生じると、両眼視差との矛盾で、立体感が落ちたり、視認性が低下したりするおそれがあった。また、輻輳調節矛盾が増大するおそれがあった。服装調節矛盾が増大すると観察者１３１の眼精疲労の要因となるおそれがあった。
　そこで、スケーリング変換部１２１は、上述した方法１を適用し、表示面角度に応じて立体視オブジェクトに対してスケーリング変換を行う。つまり、スケーリング変換部１２１は、スケーリング変換のスケール値を表示面角度に応じて設定する。スケール値とは、変換前のスケールに対する変換後のスケールの比を示す。例えば、上述した方法１が適用される場合、図１の表の上から２段目に示されるように、スケーリング変換部１２１は、表示面角度が小さくなる程（表示面が水平面に近づくほど）、立体視オブジェクトのスケールを小さくしてもよい。換言するに、スケーリング変換部１２１は、表示面角度が大きくなる程（表示面が水平面から離れるほど）、立体視オブジェクトのスケールを大きくしてもよい（方法１－１）。
　そして、画像生成部１２２が、そのスケーリング変換が行われた立体視オブジェクトを用いて表示面画像（表示面１４１に表示する立体視画像）を生成し、表示制御部１２３が、その表示面画像を表示部１１２の表示面１４１に表示させる。
　このようにすることにより、例えば、図１０に示されるように、表示部１１２が、表示面角度θ２に合わせてスケールを小さくされた立体視オブジェクト１８２を含む表示面画像を表示する。これにより、観察者１３１の視点１３１Ａからは、図１０の例のように、立体視オブジェクト１８２が、床面１７１の、表示面１４１のところに立っているように見える。つまり、立体視オブジェクト１８２が、この観察者１３１から表示面１４１が見える範囲内に収まる。したがって、立体視オブジェクト１８２は表示面１４１から突出せず、立体視オブジェクト１８２に画欠けが生じなくなる。すなわち、スケーリング変換部１２１が立体視オブジェクトをスケーリング変換することにより、空間再現表示システム１００は、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。また、空間再現表示システム１００は、視差量の増大を抑制し、輻輳調節矛盾を抑制することができる。
　このスケーリング変換において上述した方法１－１が適用される場合、スケーリング変換部１２１は、図１の表の上から３段目に示されるように、３次元方向に一律にスケーリング変換を行ってもよい（方法１－１－１）。つまり、スケーリング変換部１２１は、高さ方向と幅方向のそれぞれについてスケーリング変換を行い、立体視オブジェクトの高さと幅の比を維持するようにしてもよい。
　また、このスケーリング変換において上述した方法１－１が適用される場合、スケーリング変換部１２１は、図１の表の上から４段目に示されるように、高さ方向についてのみ、スケーリング変換を行ってもよい（方法１－１－２）。つまり、スケーリング変換において、立体視オブジェクトの高さと幅の比を維持しなくてもよい。
　図１１に示されるグラフは、スケーリング変換における表示面角度とスケール値との関係の例を示している。横軸は表示面角度を示す。縦軸は、スケール値を示す。スケーリング変換部１２１は、この表示面角度に応じたスケール値を乗算することにより、立体視オブジェクトの変換前のスケールを変換後のスケールに変換する。
　図１１の例の場合、各表示面角度に対応するスケール値は、実線１９１のように変化する。表示面角度が９０度付近であり、表示面１４１が実空間の水平面に対して垂直に近い場合、すなわち表示面角度がある第１の閾値以上である場合、スケール値は１である。つまり、この場合、スケーリング変換によりスケールが変化しない。すなわち、実質的にスケーリング変換が行われない。そして、表示面角度が、その第１の閾値より小さく、かつ、第１の閾値よりも小さいある第２の閾値以上である場合、その表示面角度に比例してスケール値が低減する。つまり、この場合、表示面角度に応じたスケール値でスケール変換が行われる。そして、表示面角度が０度付近であり、表示面１４１が実空間の水平面に対して平行に近い場合、すなわち表示面角度が第２の閾値よりも小さい場合、スケール値は、最小値をとる。つまり、この場合、最小スケール値でスケール変換が行われる。
　このような情報に基づいてスケール値を設定することにより、スケーリング変換部１２１は、表示面角度に応じてスケール値を変化させることができる。例えば、スケーリング変換部１２１は、表示面角度が小さくなる程、立体視オブジェクトのスケールを小さくすることができる。また、スケーリング変換部１２１は、表示面角度が大きくなる程、立体視オブジェクトのスケールを大きくすることができる。
　なお、スケール値が変化する表示面角度の範囲は任意である。表示面角度が取り得る値の範囲（表示面１４１の可動範囲）の全体においてスケール値が変化してもよいし、図１１の例のように、その範囲の一部においてスケール値が変化してもよい。また、表示面角度に応じたスケール値の変化の様子（つまり各表示面角度に対応するスケール値）は任意である。図１１の例のように表示面角度に比例してスケール値が低減してもよいし、実線１９１が曲線となるように変化してもよい。また、最小スケール値の値は１より小さい範囲で任意である。
　なお、各表示面角度に対応するスケール値は、テーブル情報として与えられてもよいし、数式等を用いて演算により導出されてもよい。また、このような表示面角度とスケール値との関係を示す情報（例えば、テーブル情報や数式等）は、空間再現制御装置１０２（またはスケーリング変換部１２１）が予め記憶していてもよいし、立体視オブジェクト情報等と同様に、空間再現制御装置１０２の外部から供給されてもよい。
　また、以上においては、スケーリング変換部１２１が表示面角度に応じてスケール値を設定するように説明したが、さらに、観察者１３１の視点１３１Ａの位置にも基づいてスケール値を設定してもよい。例えば、スケーリング変換部１２１は、観察者１３１の視点１３１Ａの位置から見て立体視オブジェクトが表示面１４１内（観察者１３１から表示面１４１が見える範囲内）に収まるようにスケール値を設定し、その設定したスケール値でスケール変換を行ってもよい。
　　＜空間再現表示処理の流れ＞
　このような構成の空間再現表示システム１００により実行される空間再現表示処理の流れの例を、図１２のフローチャートを参照して説明する。
　空間再現表示処理が開始されると、角度検出部１１３は、ステップＳ１０１において、表示面角度を検出する。上述した方法１が適用される場合、上述した方法１－２を適用し、表示部１１２の表示面角度が可変とし、角度検出部１１３が、その表示面角度を検出してもよい。なお、方法１－２が適用される場合、方法１－２－１を適用し、表示面１４１の端部が回転可能としてもよい。また、方法１－２－２を適用し、表示面１４１の非端部が回転可能としてもよい。
　ステップＳ１０２において、空間再現制御装置１０２は、外部から供給される立体視オブジェクト情報を取得する。
　ステップＳ１０３において、スケーリング変換部１２１は、上述した方法１を適用し、ステップＳ１０１において検出された表示面角度に応じて、ステップＳ１０２において取得された立体視オブジェクトのスケーリング変換を行う。
　上述した方法１が適用される場合、スケーリング変換部１２１は、上述した方法１－１を適用し、表示面角度が小さくなる程、立体視オブジェクトのスケールを小さくし、表示面角度が大きくなる程、立体視オブジェクトのスケールを大きくしてもよい。
　また、上述した方法１－１が適用される場合、スケーリング変換部１２１は、上述した方法１－１－１を適用し、３次元方向に一律にスケーリング変換を行ってもよい。また、上述した方法１－１が適用される場合、スケーリング変換部１２１は、上述した方法１－１－２を適用し、高さ方向についてのみ、スケーリング変換を行ってもよい。
　なお、スケーリング変換部１２１は、表示面角度の所定の範囲内でスケーリング変換を行ってもよい。また、スケーリング変換部１２１は、観察者１３１の視点位置から見て立体視オブジェクトが表示面１４１内に収まるように、スケーリング変換を行ってもよい。
　ステップＳ１０４において、視点位置検出部１１１は、観察者の視点位置を検出する。
　ステップＳ１０５において、画像生成部１２２は、ステップＳ１０３においてスケーリング変換が行われた立体視オブジェクトを描画空間にレンダリングする。
　ステップＳ１０６において、画像生成部１２２は、そのレンダリングした立体視オブジェクトの画像を、ステップＳ１０４において検出された視点位置を仮想視点とし、その視点位置に応じて正射影を行うことで、両眼用の仮想視点画像を生成する。
　ステップＳ１０７において、画像生成部１２２は、ステップＳ１０１において検出された表示面角度に基づいて、ステップＳ１０６において生成された仮想視点画像を視点位置から表示面に投影させることで、その仮想視点画像を表示面画像に変換する。
　ステップＳ１０８において、表示制御部１２３は、ステップＳ１０７において生成された表示面画像から表示用光源画像を生成し、それを表示部１１２へ供給する。表示部１１２は、その表示用光源画像に従って駆動することにより、表示面画像を表示面１４１に表示する。
　ステップＳ１０９において、空間再現制御装置１０２は、空間再現表示処理を終了するか否かを判定する。空間再現表示処理を終了しないと判定された場合、処理はステップＳ１０２に戻り、それ以降の処理が実行される。ステップＳ１０９において空間再現表示処理を終了すると判定されるまで、ステップＳ１０２乃至ステップＳ１０９の処理が繰り返し実行される。そして、ステップＳ１０９において空間再現表示処理を終了すると判定された場合、空間再現表示処理が終了する。
　以上のように空間再現表示処理を実行することにより、空間再現表示システム１００は、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。また、空間再現表示システム１００は、視差量の増大を抑制し、輻輳調節矛盾を抑制することができる。
　　＜他の構成例＞
　図２においては、空間再現表示システム１００の構成例を示したが、空間再現表示システム１００の構成は任意であり、図２の例に限定されない。例えば、空間再現表示装置１０１の構成の一部または全部が、空間再現制御装置１０２と一体的に構成されてもよい。したがって、空間再現表示システム１００は、画像処理装置と言える。
　例えば、空間再現制御装置１０２が、視点位置検出部１１１を有してもよい。つまり、空間再現制御装置１０２が、立体視画像の観察者の視点位置を検出する視点位置検出部１１１をさらに備え、画像生成部１２２が、その視点位置に基づいて立体視画像（表示面画像）を生成してもよい。
　また、空間再現制御装置１０２が、表示部１１２および角度検出部１１３を有してもよい。つまり、空間再現制御装置１０２が、表示面１４１とその表示面角度を形成する構造であるヒンジ部１４３とを有する表示部１１２と、ヒンジ部１４３により形成された表示面角度を検出する角度検出部１１３とをさらに備え、スケーリング変換部１２１は、角度検出部１１３により検出された表示面角度に応じてスケーリング変換を行ってもよい。そして、上述したように、そのヒンジ部１４３が、表示面１４１をその表示面１４１の端を軸として回転可能としてもよい。また、そのヒンジ部１４３が、表示面１４１をその表示面１４１の端以外の位置を軸として回転可能としてもよい。
　もちろん、空間再現制御装置１０２が、視点位置検出部１１１乃至角度検出部１１３を全て備えてもよい。空間再現制御装置１０２が、さらに、その他の構成を備えてもよい。
　＜３．第２の実施の形態＞
　　＜表示面角度制御＞
　以上のような空間再現表示システム１００において、図１の表の上から８段目に示されるように、角度が可変な表示面と可動機構を有する表示部の、表示面角度を制御にしてもよい（方法２）。このようにすることにより、立体視オブジェクトに応じた表示を行うことができ、視認性の低減を抑制することができる。
　　＜空間再現表示システム＞
　図１３は、その場合の空間再現表示システム１００の主な構成例を示すブロック図である。図１３に示されるように、この場合、図２に示される構成に加え、空間再現表示装置１０１が角度制御部２１１を有する。また、空間再現制御装置１０２が表示面角度設定部２２１を有する。
　角度制御部２１１は、表示面角度の制御に関する処理を行う。角度制御部２１１は、表示面１４１の姿勢を制御するためのデバイスを有する。例えば、角度制御部２１１は、そのデバイスとして、ヒンジ部１４３を駆動するステッピングモータまたはサーボモータ等を有してもよい。その場合、ステッピングモータやサーボモータ等のデバイスは、単数であってもよいし複数であってもよい。角度制御部２１１は、このようなデバイスを用いて表示部１１２のヒンジ部１４３を駆動し、表示面１４１の姿勢（傾き）を制御することにより、表示面角度を制御してもよい。角度制御部２１１は、例えば、表示面角度設定部２２１から供給される表示面角度を示す制御情報を取得してもよい。そして、角度制御部２１１は、その制御情報に基づいて駆動することにより、表示面角度を制御してもよい。
　表示面角度設定部２２１は、表示面角度の設定に関する処理を行う。例えば、表示面角度設定部２２１は、表示面角度を設定してもよい。また、表示面角度設定部２２１は、設定した表示面角度を示す制御情報を角度制御部２１１へ供給してもよい。
　　＜表示面角度の設定方法＞
　上述した方法２が適用される場合、図１の表の上から９段目に示されるように、表示面角度設定部２２１が、立体視オブジェクトに応じて表示面角度を制御（設定）してもよい（方法２－１）。例えば、表示面角度設定部２２１は、空間再現制御装置１０２に供給される立体視オブジェクトを取得し、その取得した立体視オブジェクトに応じて表示面角度を設定してもよい。そして、角度制御部２１１は、表示面角度がその設定された角度になるように、表示面１４１の姿勢を制御してもよい。
　その際、表示面角度設定部２２１は、立体視オブジェクトの奥行と高さの比に応じて表示面角度を設定してもよい。例えば、表示面角度設定部２２１は、立体視オブジェクトの奥行が高さに対して長い程、表示面角度を小さく設定してもよい。換言するに、表示面角度設定部２２１は、立体視オブジェクトの奥行が高さに対して短い程、表示面角度を大きく設定してもよい。
　例えば、表示面角度設定部２２１は、立体視オブジェクトを囲む外側に接する面を上下前後に設定し、直方体を構成し、その直方体を側面から見た四角形の対角線の傾きを表示面角度として設定してもよい。例えば、表示面角度設定部２２１は、以下の式（１）を用いて表示面角度を導出してもよい。
　スケール値　＝　表示面の縦方向の長さ／四角形の対角線の長さ
　・・・（１）
　なお、この式（１）により導出される値に所定のマージンを持たせた値をスケール値としてもよい。このようにすることにより、縦方向上部に余裕をとることができる。
　図１４および図１５に、その表示面角度の設定の様子の例を示す。図１４において、表示面角度設定部２２１は、立体視オブジェクト２３１に対応する表示面角度θ１１を設定する。例えば、表示面角度設定部２２１は、図１４の中央の矢印２３０の左側に示されるように、立体視オブジェクト２３１を囲む四角形の対角線（両矢印２３２）の傾きを求め、矢印２３０の右側に示されるように、その傾きを表示面角度θ１１として設定する。つまり、このθ１１は、立体視オブジェクト２３１の奥行と高さの比に応じた角度に設定される。
　図１５において、表示面角度設定部２２１は、立体視オブジェクト２４１に対応する表示面角度θ１２を設定する。例えば、表示面角度設定部２２１は、図１５の中央の矢印２４０の左側に示されるように、立体視オブジェクト２４１を囲む四角形の対角線（両矢印２４２）の傾きを求め、矢印２４０の右側に示されるように、その傾きを表示面角度θ１２として設定する。つまり、このθ１２は、立体視オブジェクト２４１の奥行と高さの比に応じた角度に設定される。
　図１４および図１５に示されるように、立体視オブジェクト２４１は、立体視オブジェクト２３１よりも高さに対する奥行が長い。したがって、表示面角度設定部２２１は、θ１１を、θ１２より大きな値に設定する。
　このようにすることにより、例えば図１４に示されるように縦長で奥行が浅い立体視オブジェクト２３１を表示する場合、表示面角度設定部２２１は、表示面角度を大きな値に設定する。角度制御部２１１がその表示面角度をその値にするように、表示面１４１の姿勢を制御することにより、立体視オブジェクトを表示面１４１から近い位置に見えるようにすることができる。したがって、視差量の増大を抑制し、調節輻輳矛盾を抑制することができる。また、立体視オブジェクトをより大きく表示することができ、立体感および視認性の低減を抑制することができる。
　また、図１５に示されるように奥行が深い広範囲な立体視オブジェクト２４１を表示する場合、表示面角度設定部２２１は、表示面角度を小さな値に設定する。角度制御部２１１がその表示面角度をその値にするように、表示面１４１の姿勢を制御することにより、立体視オブジェクトを表示面１４１から近い位置に見えるようにすることができる。したがって、視差量の増大を抑制し、調節輻輳矛盾を抑制することができる。また、立体視オブジェクトのより広い範囲の描画が可能となる。
　　＜スケーリング変換＞
　なお、上述した方法１を適用し、スケーリング変換部１２１が、このように設定された表示面角度に応じて立体視オブジェクトのスケーリング変換を行ってもよい。例えば、角度検出部１１３が角度制御部２１１により制御された表示面角度を検出し、スケーリング変換部１２１がその表示面角度に応じて立体視オブジェクトのスケーリング変換を行ってもよい。
　このようにすることにより、＜２．第１の実施の形態＞において上述したように、空間再現表示システム１００は、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。また、空間再現表示システム１００は、視差量の増大を抑制し、輻輳調節矛盾を抑制することができる。
　なお、この方法１を適用する場合、＜２．第１の実施の形態＞において上述した各種方法（方法１－１、方法１－１－１、方法１－１－２、方法１－２、方法１－２－１、方法１－２－２や、その他の応用例）を適用してもよい。各方法を適用した場合、＜２．第１の実施の形態＞において上述したのと同様の効果を得ることができる。
　　＜空間再現表示処理の流れ＞
　方法２－１が適用される場合の空間再現表示処理の流れの例を、図１６のフローチャートを参照して説明する。
　空間再現表示処理が開始されると、空間再現制御装置１０２は、ステップＳ２０１において、外部から供給される立体視オブジェクト情報を取得する。
　ステップＳ２０２において、表示面角度設定部２２１は、上述した方法２－１を適用し、ステップＳ２０１において取得された立体視オブジェクトに応じて表示面角度を設定する。その際、表示面角度設定部２２１は、立体視オブジェクトの奥行と高さの比に応じて表示面角度を設定してもよい。例えば、表示面角度設定部２２１は、立体視オブジェクトの奥行が高さに対して長い程、表示面角度を小さく設定してもよい。換言するに、表示面角度設定部２２１は、立体視オブジェクトの奥行が高さに対して短い程、表示面角度を大きく設定してもよい。角度制御部２１１は、表示部１１２の表示面角度が、このように設定された角度になるように、表示面１４１の姿勢を制御する。
　ステップＳ２０３において、角度検出部１１３は、表示面角度を検出する。
　ステップＳ２０４乃至ステップＳ２１０の各処理は、図１２のステップＳ１０３乃至ステップＳ１０９の各処理と同様に実行される。
　ステップＳ２１０において、空間再現表示処理を終了しないと判定された場合、処理はステップＳ２０１に戻り、それ以降の処理が実行される。ステップＳ２１０において空間再現表示処理を終了すると判定されるまで、ステップＳ２０１乃至ステップＳ２１０の処理が繰り返し実行される。そして、ステップＳ２１０において空間再現表示処理を終了すると判定された場合、空間再現表示処理が終了する。
　以上のように空間再現表示処理を実行することにより、空間再現表示システム１００は、視差量の増大を抑制し、輻輳調節矛盾を抑制することができる。また、空間再現表示システム１００は、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。
　　＜最小角度の保証＞
　なお、方法２が適用される場合において、図１の表の上から１０段目に示されるように、角度制御部２１１が、最小角度を保証するように表示面角度を制御してもよい（方法２－２）。例えば、表示面１４１の姿勢（傾き）がユーザ等の外力により制御され、表示面角度が小さくなりすぎると、立体視オブジェクトに画欠けが発生し、表示面１４１に表示された表示面画像（立体視画像）の立体感および視認性が低減するおそれがあった。
　そこで、角度制御部２１１が、上述した方法２－２を適用し、最小角度を保証するように表示面角度を制御してもよい。つまり、角度制御部２１１は、表示面角度が所定の角度以上となるように、表示部１１２のヒンジ部１４３を駆動してもよい。例えば、ユーザ等の外力により制御され、表示面角度が所定の最小角度よりも小さくなった場合、角度制御部２１１が、表示部１１２のヒンジ部１４３を駆動し、表示面角度がその最小角度となるように（表示面角度を増大させるように）、表示面１４１の姿勢（傾き）を変更してもよい。この最小角度は任意である。例えば、表示面画像の立体感および視認性が低減しないような角度を最小角度としてもよい。この最小角度は、予め定められていてもよいし、表示面角度設定部２２１等により立体視オブジェクト等に応じて設定されてもよい。このようにすることにより、空間再現表示システム１００は、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。また、空間再現表示システム１００は、視差量の増大を抑制し、輻輳調節矛盾を抑制することができる。また、立体視オブジェクトにぶつかったという力覚を感じさせる事もできる。
　　＜他の構成例＞
　図１３の場合においても、空間再現表示装置１０１の構成の一部または全部が、空間再現制御装置１０２と一体的に構成されてもよい。例えば、空間再現制御装置１０２が、角度制御部２１１を有してもよい。つまり、空間再現制御装置１０２が、表示面角度を設定する表示面角度設定部２２１と、表示面角度を表示面角度設定部２２１により設定された角度にするように、表示部１１２のヒンジ部１４３を駆動する角度制御部２１１とをさらに備えてもよい。
　もちろん、空間再現制御装置１０２が、視点位置検出部１１１乃至角度検出部１１３、並びに、角度制御部２１１を全て備えてもよい。空間再現制御装置１０２が、さらに、その他の構成を備えてもよい。
　＜４．第３の実施の形態＞
　　＜クリップ処理＞
　以上のような空間再現表示システム１００において、図１の表の上から１１段目に示されるように、表示面角度と視点位置に応じて立体視オブジェクトをクリップして表示してもよい（方法３）。これにより、画欠けの発生を抑制し、立体視画像の立体感および視認性の低減を抑制することができる。また、視差量の増大を抑制し、輻輳調節矛盾を抑制することができる。
　　＜空間再現表示システム＞
　図１７は、その場合の空間再現表示システム１００の主な構成例を示すブロック図である。図１７に示されるように、この場合、空間再現制御装置１０２は、図２に示される構成のスケーリング変換部１２１の代わりに、クリップ処理部３２１を有する。
　クリップ処理部３２１は、立体視オブジェクトのクリップに関する処理を行う。例えば、クリップ処理部３２１は、空間再現制御装置１０２に供給される立体視オブジェクトを取得してもよい。また、クリップ処理部３２１は、視点位置検出部１１１から供給される視点位置を取得してもよい。また、クリップ処理部３２１は、角度検出部１１３から供給される表示面角度を取得してもよい。また、クリップ処理部３２１は、取得した視点位置および表示面角度に応じて、取得した立体視オブジェクトの一部をクリップしてもよい。クリップは、対象物を切り出す処理である。例えば、立体視オブジェクトの一部をクリップすることにより、その一部が切り出される。換言するに、その他の部分が削除される。クリップ処理部３２１は、クリップされた立体視オブジェクトを画像生成部１２２へ供給してもよい。
　つまり、この場合、空間再現制御装置１０２は、第１の実施の形態のスケーリング変換を行う代わりに、立体視オブジェクトをクリップする。
　画像生成部１２２は、このクリップが行われた立体視オブジェクトを用いて表示面画像（表示面１４１に表示する立体視画像）を生成し、表示制御部１２３が、その表示面画像を表示部１１２の表示面１４１に表示させる。
　例えば、画像生成部１２２は、このクリップが行われた立体視オブジェクトを描画空間にレンダリングしてもよい。また、画像生成部１２２は、そのレンダリングした立体視オブジェクトの画像を、取得した視点位置を仮想視点とし、その視点位置に応じて正射影を行うことで、両眼用の仮想視点画像を生成してもよい。また、画像生成部１２２は、取得した表示面角度に基づいて、生成した仮想視点画像を視点位置から表示面に投影させることで、その仮想視点画像を表示面画像に変換してもよい。例えば、表示制御部１２３は、その表示面画像（立体視画像）から表示用光源画像を生成し、表示部１１２へ供給してもよい。
　　＜クリップの方法＞
　図１８は、表示面１４１において立体視オブジェクトが表示される様子の例を示す図である。この例の場合、図９の例の場合と同様に、観察者１３１には、立体視オブジェクト３３１が、実空間の水平面と平行な床面１７１の、表示面１４１のところに存在するように見えている。そして、視点１３１Ａと表示面１４１の上端とを結ぶ点線３４１と、視点１３１Ａと表示面１４１の下端とを結ぶ点線３４２との間の範囲が、観察者１３１から表示面１４１が見える範囲である。このとき、図９の例の場合と同様に、立体視オブジェクト３３１の上部が、点線３４１の上側に位置し、この観察者１３１から表示面１４１が見える範囲の外となっている。
　このように立体視オブジェクト３３１が表示面１４１から突出すると、画欠け等が生じてしまい、視差と２次元的なオクルージョン手がかりとの間で視覚的な矛盾が生じ、立体視オブジェクト３３１の立体感や視認性が低減するおそれがあった。
　そこで、クリップ処理部３２１は、上述した方法３を適用し、表示面角度と視点位置に応じて立体視オブジェクトをクリップする。つまり、クリップ処理部３２１は、表示面角度と視点位置に応じてクリッピング平面を設定し、そのクリッピング平面で立体視オブジェクトをクリップする。クリッピング平面とは、クリップの境界面を示す。つまり、クリップ処理部３２１は、立体視オブジェクトを、このクリップ平面を境界（端）としてクリップする。
　上述した方法３が適用される場合、図１の表の上から１２段目に示されるように、所定の基準点と表示面端点とを結ぶ平面をクリッピング平面としてもよい（方法３－１）。図１９にその様子の例を示す。この場合、クリップ処理部３２１は、図１９に示されるように、観察者１３１から表示面１４１が見える範囲内（すなわち、点線３４１と点線３４２との間の範囲内）の、視点１３１Ａの位置よりも表示面１４１に近い位置に基準点１３１Ｂを設定してもよい。そして、クリップ処理部３２１は、その基準点１３１Ｂと表示面１４１の端とを結ぶ面（すなわち、図１９において点線３５１として示される面、若しくは、点線３５２として示される面、またはその両方）をクリッピング平面としてもよい。そして、クリップ処理部３２１は、そのクリッピング平面で立体視オブジェクト３３１をクリップしてもよい。
　このようにクリップすることにより、立体視オブジェクト３３１の上部３３１Ａ（点線枠の部分）が削除される。したがって、立体視オブジェクト３３１は、観察者１３１から表示面１４１が見える範囲内に収まる。したがって、立体視オブジェクト３３１は表示面１４１から突出せず、立体視オブジェクト３３１に画欠けが生じなくなる。すなわち、クリップ処理部３２１がこのように立体視オブジェクトをクリップすることにより、空間再現表示システム１００は、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。
　また、上述した方法３－１が適用される場合、図１の表の最下段に示されるように、実空間の垂直面若しくは水平面またはその両方をクリッピング平面としてもよい（方法３－１－１）。つまり、クリップ処理部３２１は、図２０に示されるように、点線３６１および点線３６２として示されるクリッピング平面が実空間の垂直面または水平面となるように、基準点１３１Ｃを設定する。そして、クリップ処理部３２１は、そのクリッピング平面（すなわち、実空間の垂直面若しくは水平面またはその両方）で立体視オブジェクト３３１をクリップしてもよい。
　このようにクリップすることにより、立体視オブジェクト３３１の上部３３１Ｂ（点線枠の部分）が削除される。したがって、立体視オブジェクト３３１は、観察者１３１から表示面１４１が見える範囲内に収まる。したがって、立体視オブジェクト３３１は表示面１４１から突出せず、立体視オブジェクト３３１に画欠けが生じなくなる。すなわち、クリップ処理部３２１がこのように立体視オブジェクトをクリップすることにより、図１９の例の場合と同様に、空間再現表示システム１００は、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。
　なお、上述のように、クリップ処理部３２１が立体視オブジェクトをクリップする代わりに、仮想視点画像を取得する仮想カメラの前面のクリップ面を２面にすることでも同様の効果を実現することができる。
　　＜空間再現表示処理の流れ＞
　方法３が適用される場合の空間再現表示処理の流れの例を、図２１のフローチャートを参照して説明する。
　空間再現表示処理が開始されると、ステップＳ３０１の処理が図１２のステップＳ１０１の処理と同様に実行され、表示面角度が検出される。そして、ステップＳ３０２の処理が、図１２のステップＳ１０２の処理と同様に実行され、立体視オブジェクト情報が取得される。そして、ステップＳ３０３の処理が図１２のステップＳ１０４の処理と同様に実行され、観察者１３１の視点位置が検出される。
　ステップＳ３０４において、クリップ処理部３２１は、上述した方法３を適用し、ステップＳ３０３において検出された視点位置と、ステップＳ３０１において検出された表示面角度とに応じて、クリッピング平面を設定し、ステップＳ３０２において取得された立体視オブジェクをそのクリッピング平面でクリップする。
　上述した方法３が適用される場合、クリップ処理部３２１は、上述した方法３－１を適用し、所定の基準点と表示面端点とを結ぶ平面をクリッピング平面としてもよい。例えば、クリップ処理部３２１は、視点位置よりも表示面１４１に近い位置の基準点を設定してもよい。例えば、クリップ処理部３２１は、観察者１３１から表示面１４１が見える範囲内の、視点位置よりも表示面１４１に近い位置に基準点を設定してもよい。そして、クリップ処理部３２１は、その基準点と表示面の端とを結ぶ面で立体視オブジェクトをクリップしてもよい。
　また、上述した方法３－１が適用される場合、クリップ処理部３２１は、上述した方法３－１－１を適用し、実空間の垂直面若しくは水平面またはその両方をクリッピング平面としてもよい。つまり、クリップ処理部３２１は、クリッピング平面が実空間の垂直面または水平面となるように基準点を設定してもよい。そして、クリップ処理部３２１は、その実空間の垂直面若しくは水平面またはその両方で立体視オブジェクト３３１をクリップしてもよい。
　ステップＳ３０５乃至ステップＳ３０９の各処理は、図１２のステップＳ１０５乃至ステップＳ１０９の各処理と同様に実行される。
　ステップＳ３０９において、空間再現表示処理を終了しないと判定された場合、処理はステップＳ３０２に戻り、それ以降の処理が実行される。ステップＳ３０９において空間再現表示処理を終了すると判定されるまで、ステップＳ３０２乃至ステップＳ３０９の処理が繰り返し実行される。そして、ステップＳ３０９において空間再現表示処理を終了すると判定された場合、空間再現表示処理が終了する。
　以上のように空間再現表示処理を実行することにより、空間再現表示システム１００は、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。
　　＜他の構成例＞
　この場合も、第１の実施の形態の場合と同様に、空間再現表示システム１００の構成は任意であり、図１７の例に限定されない。例えば、空間再現表示装置１０１の構成の一部または全部が、空間再現制御装置１０２と一体的に構成されてもよい。
　例えば、空間再現制御装置１０２が、視点位置検出部１１１を有してもよい。つまり、空間再現制御装置１０２が、立体視画像の観察者の視点位置を検出する視点位置検出部１１１をさらに備え、クリップ処理部３２１が、表示面角度と、その視点位置とに応じて立体視オブジェクトをクリップし、画像生成部１２２が、その視点位置に基づいて立体視画像（表示面画像）を生成してもよい。
　また、空間再現制御装置１０２が、表示部１１２および角度検出部１１３を有してもよい。つまり、空間再現制御装置１０２が、表示面１４１とその表示面角度を形成する構造であるヒンジ部１４３とを有する表示部１１２と、ヒンジ部１４３により形成された表示面角度を検出する角度検出部１１３とをさらに備え、クリップ処理部は、その表示面角度と、視点位置とに応じて、立体視オブジェクトをクリップしてもよい。そして、上述したように、そのヒンジ部１４３が、表示面１４１をその表示面１４１の端を軸として回転可能としてもよい。また、そのヒンジ部１４３が、表示面１４１をその表示面１４１の端以外の位置を軸として回転可能としてもよい。
　もちろん、空間再現制御装置１０２が、視点位置検出部１１１乃至角度検出部１１３を全て備えてもよい。空間再現制御装置１０２が、さらに、その他の構成を備えてもよい。
　　＜スケーリング変換との併用＞
　立体視オブジェクトに対して、第１の実施の形態において説明したスケーリング変換と、本実施の形態（第３の実施の形態）において説明したクリップとの両方が行われるようにしてもよい。例えば、図２に示される空間再現制御装置１０２の構成に、図１７のクリップ処理部３２１を追加してもよい。例えば、図１２に示される空間再現表示処理のフローチャートの、ステップＳ１０４の処理よりも後において、図２１のステップＳ３０４の処理が実行されるようにしてもよい。
　つまり、実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換を行うスケーリング変換部１２１と、そのスケーリング変換が行われた立体視オブジェクトを用いて表示面１４１に表示する立体視画像を生成する画像生成部１２２と、その立体視画像を表示面１４１に表示させる表示制御部１２３とを備える空間再現制御装置１０２が、クリップ処理部３２１を備え、そのクリップ処理部３２１が、方法３を適用し、立体視画像の観察者の表示面角度と視点位置に応じて立体視オブジェクトをクリップしてもよい。
　なお、クリップ処理部３２１は、方法３－１を適用し、視点位置よりも表示面１４１に近い位置の基準点を設定し、その基準点と表示面の端とを結ぶ面をクリッピング平面とし、そのクリッピング平面で立体視オブジェクトをクリップしてもよい。
　また、クリップ処理部３２１は、方法３－１－１を適用し、表示面の端を通る、実空間の垂直面若しくは水平面または両方がクリッピング平面となるように基準点を設定し、そのクリッピング平面で立体視オブジェクトをクリップしてもよい。
　このようにすることにより、空間再現表示システム１００は、立体視オブジェクトのスケーリング変換若しくはクリップ、またはその両方により、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。
　換言するに、例えば、図１７に示される空間再現制御装置１０２の構成に、図２のクリップ処理部３２１を追加してもよい。例えば、図２１に示される空間再現表示処理のフローチャートの、ステップＳ３０１の処理よりも後において、図１２のステップＳ１０３の処理が実行されるようにしてもよい。
　つまり、実空間の水平面に対する表示面１４１の角度と、表示面１４１に表示された立体視画像の観察者１３１の視点位置とに応じて、立体視オブジェクトの一部をクリップするクリップ処理部と、その一部がクリップされた立体視オブジェクトを用いて立体視画像を生成する画像生成部と、その立体視画像を表示面１４１に表示させる表示制御部とを備える空間再現制御装置１０２が、スケーリング変換部１２１を備え、そのスケーリング変換部１２１が、方法１を適用し、表示面角度に応じて立体視オブジェクトのスケーリング変換を行ってもよい。
　そして、例えば、スケーリング変換部１２１は、方法１－１を適用し、表示面角度が小さくなる程立体視オブジェクトのスケールを小さくし、表示面角度が大きくなる程立体視オブジェクトのスケールを大きくしてもよい。また、スケーリング変換部１２１は、表示面角度の所定の範囲内でスケーリング変換を行ってもよい。また、スケーリング変換部１２１は、視点位置から見て立体視オブジェクトが表示面１４１内に収まるように、スケーリング変換を行ってもよい。
　また、例えば、スケーリング変換部１２１は、方法１－１－１を適用し、立体視オブジェクトの高さと幅の比を維持してスケーリング変換を行ってもよい。また、スケーリング変換部１２１は、方法１－１－２を適用し、立体視オブジェクトの高さ方向についてのみスケーリング変換を行ってもよい。
　このようにすることにより、空間再現表示システム１００は、立体視オブジェクトのスケーリング変換若しくはクリップ、またはその両方により、立体視オブジェクトの画欠けの発生を抑制することができる。したがって、空間再現表示システム１００は、立体視画像の立体感および視認性の低減を抑制することができる。
　　＜表示面角度の制御との併用＞
　また、第２の実施の形態において説明した表示面角度の制御と、本実施の形態（第３の実施の形態）において説明した立体視オブジェクトのクリップとの両方が行われるようにしてもよい。例えば、図１７に示される空間再現表示装置１０１の構成に、図１３の角度制御部２１１を追加してもよい。また、図１７に示される空間再現制御装置１０２の構成に、図１３の表示面角度設定部２２１を追加してもよい。例えば、図２１に示される空間再現表示処理のフローチャートの、ステップＳ３０２の処理よりも後において、図１６のステップＳ２０２の処理が実行されるようにしてもよい。
　つまり、実空間の水平面に対する表示面１４１の角度と、表示面１４１に表示された立体視画像の観察者１３１の視点位置とに応じて、立体視オブジェクトの一部をクリップするクリップ処理部と、その一部がクリップされた立体視オブジェクトを用いて立体視画像を生成する画像生成部と、その立体視画像を表示面１４１に表示させる表示制御部とを備える空間再現制御装置１０２が、表示面角度設定部２２１を備え、その表示面角度設定部２２１が、方法２を適用し、表示面角度を設定してもよい。
　例えば、表示面角度設定部２２１は、方法２－１を適用し、立体視オブジェクトに応じて表示面角度を設定してもよい。例えば、表示面角度設定部２２１は、立体視オブジェクトの奥行と高さの比に応じて表示面角度を設定してもよい。例えば、表示面角度設定部２２１は、その奥行が高さに対して長い程、表示面角度を小さく設定し、奥行が高さに対して短い程、表示面角度を大きく設定してもよい。
　なお、図１７に示される空間再現制御装置１０２が、さらに、図１３の角度制御部２１１を有してもよい。そして、その角度制御部２１１は、方法２を適用し、表示面角度を表示面角度設定部２２１により設定された角度にするように、ヒンジ部１４３を駆動してもよい。
　例えば、角度制御部２１１は、方法２－２を適用し、表示面角度が所定の角度以上となるように、ヒンジ部１４３を駆動してもよい。
　このようにすることにより、空間再現表示システム１００は、第２の実施の形態において説明したのと同様の効果を得ることができる。
　もちろん、第１の実施の形態乃至第３の実施の形態において説明した構成をすべて組み合わせてもよい。
　＜５．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２２に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換を行うスケーリング変換部と、
　前記スケーリング変換が行われた前記立体視オブジェクトを用いて前記表示面に表示する立体視画像を生成する画像生成部と、
　前記立体視画像を前記表示面に表示させる表示制御部と
　を備える画像処理装置。
　（２）　前記スケーリング変換部は、前記角度が小さくなる程前記立体視オブジェクトのスケールを小さくし、前記角度が大きくなる程前記立体視オブジェクトのスケールを大きくする
　（１）に記載の画像処理装置。
　（３）　前記スケーリング変換部は、前記角度の所定の範囲内で前記スケーリング変換を行う
　（２）に記載の画像処理装置。
　（４）　前記スケーリング変換部は、観察者の視点位置から見て前記立体視オブジェクトが前記表示面内に収まるように、前記スケーリング変換を行う
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記スケーリング変換部は、前記立体視オブジェクトの高さと幅の比を維持して前記スケーリング変換を行う
　（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記スケーリング変換部は、前記立体視オブジェクトの高さ方向についてのみ前記スケーリング変換を行う
　（１）乃至（４）のいずれかに記載の画像処理装置。
　（７）　前記表示面、および、前記角度を形成する構造とを有する表示部と、
　前記構造により形成された前記角度を検出する角度検出部と
　をさらに備え、
　前記スケーリング変換部は、前記角度検出部により検出された前記角度に応じて前記スケーリング変換を行う
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記構造は、前記表示面を前記表示面の端を軸として回転可能とする
　（７）に記載の画像処理装置。
　（９）　前記構造は、前記表示面を前記表示面の端以外の位置を軸として回転可能とする
　（７）に記載の画像処理装置。
　（１０）　前記角度を設定する角度設定部と、
　前記角度を前記角度設定部により設定された角度にするように、前記構造を駆動する角度制御部と
　をさらに備える（７）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記角度設定部は、前記立体視オブジェクトに応じて前記角度を設定する
　（１０）に記載の画像処理装置。
　（１２）　前記角度設定部は、前記立体視オブジェクトの奥行と高さの比に応じて前記角度を設定する
　（１１）に記載の画像処理装置。
　（１３）　前記角度設定部は、前記奥行が前記高さに対して長い程、前記角度を小さく設定する
　（１２）に記載の画像処理装置。
　（１４）　前記角度制御部は、前記角度が所定の角度以上となるように、前記構造を駆動する
　（１０）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記角度と前記立体視画像の観察者の視点位置に応じて前記立体視オブジェクトをクリップするクリップ処理部をさらに備える
　（１）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　前記クリップ処理部は、前記視点位置よりも前記表示面に近い位置の基準点と前記表示面の端とを結ぶ面で前記立体視オブジェクトをクリップする
　（１５）に記載の画像処理装置。
　（１７）　前記クリップ処理部は、前記表示面の端を通る、実空間の垂直面若しくは水平面または両方で前記立体視オブジェクトをクリップする
　（１５）に記載の画像処理装置。
　（１８）　前記立体視画像の観察者の視点位置を検出する視点位置検出部をさらに備え、
　前記画像生成部は、前記視点位置に基づいて前記立体視画像を生成する
　（１）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）　前記画像生成部は、
　　前記立体視オブジェクトをレンダリングし、
　　前記立体視画像の観察者の視点位置から見た両眼用の仮想視点画像を生成し、
　　前記仮想視点画像を前記表示面に表示させる前記立体視画像に変換する
　（１）に記載の画像処理装置。
　（２０）　実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換を行い、
　前記スケーリング変換が行われた前記立体視オブジェクトを用いて前記表示面に表示する立体視画像を生成し、
　前記立体視画像を前記表示面に表示させる
　画像処理方法。
　（２１）　実空間の水平面に対する表示面の角度と、前記表示面に表示された立体視画像の観察者の視点位置とに応じて、立体視オブジェクトの一部をクリップするクリップ処理部と、
　前記一部がクリップされた前記立体視オブジェクトを用いて前記立体視画像を生成する画像生成部と、
　前記立体視画像を前記表示面に表示させる表示制御部と
　を備える画像処理装置。
　（２２）　前記クリップ処理部は、前記視点位置よりも前記表示面に近い位置の基準点と前記表示面の端とを結ぶ面で前記立体視オブジェクトをクリップする
　（２１）に記載の画像処理装置。
　（２３）　前記クリップ処理部は、前記表示面の端を通る、実空間の垂直面若しくは水平面または両方で前記立体視オブジェクトをクリップする
　（２１）に記載の画像処理装置。
　（２４）　前記視点位置を検出する視点位置検出部をさらに備え、
　前記クリップ処理部は、前記角度と、前記視点位置検出部により検出された前記視点位置とに応じて、前記立体視オブジェクトをクリップし、
　前記画像生成部は、前記視点位置検出部により検出された前記視点位置に基づいて前記立体視画像を生成する
　（２１）乃至（２３）のいずれかに記載の画像処理装置。
　（２５）　前記表示面、および、前記角度を形成する構造とを有する表示部と、
　前記構造により形成された前記角度を検出する角度検出部と
　をさらに備え、
　前記クリップ処理部は、前記角度検出部により検出された前記角度と、前記視点位置とに応じて、前記立体視オブジェクトをクリップする
　（２１）乃至（２４）のいずれかに記載の画像処理装置。
　（２６）　前記構造は、前記表示面を前記表示面の端を軸として回転可能とする
　（２５）に記載の画像処理装置。
　（２７）　前記構造は、前記表示面を前記表示面の端以外の位置を軸として回転可能とする
　（２５）に記載の画像処理装置。
　（２８）　前記角度を設定する角度設定部と、
　前記角度を前記角度設定部により設定された角度にするように、前記構造を駆動する角度制御部と
　をさらに備える（２５）乃至（２７）のいずれかに記載の画像処理装置。
　（２９）　前記角度設定部は、前記立体視オブジェクトに応じて前記角度を設定する
　（２８）に記載の画像処理装置。
　（３０）　前記角度設定部は、前記立体視オブジェクトの奥行と高さの比に応じて前記角度を設定する
　（２９）に記載の画像処理装置。
　（３１）　前記角度設定部は、前記奥行が前記高さに対して長い程、前記角度を小さく設定する
　（３０）に記載の画像処理装置。
　（３２）　前記角度制御部は、前記角度が所定の角度以上となるように、前記構造を駆動する
　（２８）乃至（３１）のいずれかに記載の画像処理装置。
　（３３）　前記角度に応じて前記立体視オブジェクトのスケーリング変換を行うスケーリング変換部
　をさらに備える（２１）に記載の画像処理装置。
　（３４）　前記スケーリング変換部は、前記角度が小さくなる程前記立体視オブジェクトのスケールを小さくし、前記角度が大きくなる程前記立体視オブジェクトのスケールを大きくする
　（３３）に記載の画像処理装置。
　（３５）　前記スケーリング変換部は、前記角度の所定の範囲内で前記スケーリング変換を行う
　（３４）に記載の画像処理装置。
　（３６）　前記スケーリング変換部は、前記視点位置から見て前記立体視オブジェクトが前記表示面内に収まるように、前記スケーリング変換を行う
　（３３）乃至（３５）のいずれかに記載の画像処理装置。
　（３７）　前記スケーリング変換部は、前記立体視オブジェクトの高さと幅の比を維持して前記スケーリング変換を行う
　（３３）乃至（３６）のいずれかに記載の画像処理装置。
　（３８）　前記スケーリング変換部は、前記立体視オブジェクトの高さ方向についてのみ前記スケーリング変換を行う
　（３３）乃至（３６）のいずれかに記載の画像処理装置。
　（３９）　前記画像生成部は、
　　前記立体視オブジェクトをレンダリングし、
　　前記視点位置から見た両眼用の仮想視点画像を生成し、
　　前記仮想視点画像を前記表示面に表示させる前記立体視画像に変換する
　（２１）乃至（３８）のいずれかに記載の画像処理装置。
　（４０）　実空間の水平面に対する表示面の角度と、前記表示面に表示された立体視画像の観察者の視点位置とに応じて、立体視オブジェクトの一部をクリップし、
　前記一部がクリップされた前記立体視オブジェクトを用いて前記立体視画像を生成し、　前記立体視画像を前記表示面に表示させる
　画像処理方法。
　１００　空間再現表示システム，　１０１　空間再現表示装置，　１０２　空間再現制御装置，　１１１　視点位置検出部，　１１２　表示部，　１１３　角度検出部，　１２１　スケーリング変換部，　１２２　画像生成部，　１２３　表示制御部，　１３１　観察者，　１３１Ａ　視点，　１４１　表示面，　１４２　固定部，　１４３　ヒンジ部，　１５５　立体視オブジェクト，　１８１　立体視オブジェクト，　２１１　角度制御部，　２２１　表示面角度設定部，　２３１　立体視オブジェクト，　２４１　立体視オブジェクト，　３２１　クリップ処理部，　３３１　立体視オブジェクト，　９００　コンピュータ

Claims (20)

  1. 　実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換を行うスケーリング変換部と、
    　前記スケーリング変換が行われた前記立体視オブジェクトを用いて前記表示面に表示する立体視画像を生成する画像生成部と、
    　前記立体視画像を前記表示面に表示させる表示制御部と
    　を備える画像処理装置。
  2. 　前記スケーリング変換部は、前記角度が小さくなる程前記立体視オブジェクトのスケールを小さくし、前記角度が大きくなる程前記立体視オブジェクトのスケールを大きくする
    　請求項１に記載の画像処理装置。
  3. 　前記スケーリング変換部は、前記角度の所定の範囲内で前記スケーリング変換を行う
    　請求項２に記載の画像処理装置。
  4. 　前記スケーリング変換部は、観察者の視点位置から見て前記立体視オブジェクトが前記表示面内に収まるように、前記スケーリング変換を行う
    　請求項１に記載の画像処理装置。
  5. 　前記スケーリング変換部は、前記立体視オブジェクトの高さと幅の比を維持して前記スケーリング変換を行う
    　請求項１に記載の画像処理装置。
  6. 　前記スケーリング変換部は、前記立体視オブジェクトの高さ方向についてのみ前記スケーリング変換を行う
    　請求項１に記載の画像処理装置。
  7. 　前記表示面、および、前記角度を形成する構造とを有する表示部と、
    　前記構造により形成された前記角度を検出する角度検出部と
    　をさらに備え、
    　前記スケーリング変換部は、前記角度検出部により検出された前記角度に応じて前記スケーリング変換を行う
    　請求項１に記載の画像処理装置。
  8. 　前記構造は、前記表示面を前記表示面の端を軸として回転可能とする
    　請求項７に記載の画像処理装置。
  9. 　前記構造は、前記表示面を前記表示面の端以外の位置を軸として回転可能とする
    　請求項７に記載の画像処理装置。
  10. 　前記角度を設定する角度設定部と、
    　前記角度を前記角度設定部により設定された角度にするように、前記構造を駆動する角度制御部と
    　をさらに備える請求項７に記載の画像処理装置。
  11. 　前記角度設定部は、前記立体視オブジェクトに応じて前記角度を設定する
    　請求項１０に記載の画像処理装置。
  12. 　前記角度設定部は、前記立体視オブジェクトの奥行と高さの比に応じて前記角度を設定する
    　請求項１１に記載の画像処理装置。
  13. 　前記角度設定部は、前記奥行が前記高さに対して長い程、前記角度を小さく設定する
    　請求項１２に記載の画像処理装置。
  14. 　前記角度制御部は、前記角度が所定の角度以上となるように、前記構造を駆動する
    　請求項１０に記載の画像処理装置。
  15. 　前記角度と前記立体視画像の観察者の視点位置に応じて前記立体視オブジェクトをクリップするクリップ処理部をさらに備える
    　請求項１に記載の画像処理装置。
  16. 　前記クリップ処理部は、前記視点位置よりも前記表示面に近い位置の基準点と前記表示面の端とを結ぶ面で前記立体視オブジェクトをクリップする
    　請求項１５に記載の画像処理装置。
  17. 　前記クリップ処理部は、前記表示面の端を通る、実空間の垂直面若しくは水平面または両方で前記立体視オブジェクトをクリップする
    　請求項１５に記載の画像処理装置。
  18. 　前記立体視画像の観察者の視点位置を検出する視点位置検出部をさらに備え、
    　前記画像生成部は、前記視点位置に基づいて前記立体視画像を生成する
    　請求項１に記載の画像処理装置。
  19. 　前記画像生成部は、
    　　前記立体視オブジェクトをレンダリングし、
    　　前記立体視画像の観察者の視点位置から見た両眼用の仮想視点画像を生成し、
    　　前記仮想視点画像を前記表示面に表示させる前記立体視画像に変換する
    　請求項１に記載の画像処理装置。
  20. 　実空間の水平面に対する表示面の角度に応じて、立体視オブジェクトのスケーリング変換を行い、
    　前記スケーリング変換が行われた前記立体視オブジェクトを用いて前記表示面に表示する立体視画像を生成し、
    　前記立体視画像を前記表示面に表示させる
    　画像処理方法。
PCT/JP2023/005103 2022-02-28 2023-02-15 画像処理装置および方法 WO2023162799A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022029542 2022-02-28
JP2022-029542 2022-02-28

Publications (1)

Publication Number Publication Date
WO2023162799A1 true WO2023162799A1 (ja) 2023-08-31

Family

ID=87765934

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/005103 WO2023162799A1 (ja) 2022-02-28 2023-02-15 画像処理装置および方法

Country Status (1)

Country Link
WO (1) WO2023162799A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004235926A (ja) * 2003-01-30 2004-08-19 Sharp Corp 撮影装置
JP2012100159A (ja) * 2010-11-04 2012-05-24 Sharp Corp 映像表示装置，テレビジョン受像機
JP2012124721A (ja) * 2010-12-08 2012-06-28 Sharp Corp 折畳み式携帯端末
WO2015053188A1 (ja) * 2013-10-10 2015-04-16 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 表示装置及び画像変形方法
WO2019044188A1 (ja) * 2017-08-29 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004235926A (ja) * 2003-01-30 2004-08-19 Sharp Corp 撮影装置
JP2012100159A (ja) * 2010-11-04 2012-05-24 Sharp Corp 映像表示装置，テレビジョン受像機
JP2012124721A (ja) * 2010-12-08 2012-06-28 Sharp Corp 折畳み式携帯端末
WO2015053188A1 (ja) * 2013-10-10 2015-04-16 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 表示装置及び画像変形方法
WO2019044188A1 (ja) * 2017-08-29 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
CN107193372B (zh) 从多个任意位置矩形平面到可变投影中心的投影方法
US9826225B2 (en) 3D image display method and handheld terminal
US8768043B2 (en) Image display apparatus, image display method, and program
US11315328B2 (en) Systems and methods of rendering real world objects using depth information
JP5160640B2 (ja) 画像のステレオ・マッチングのためのシステム及び方法
US8482598B2 (en) Stereoscopic image display apparatus, stereoscopic image displaying method and computer program product
US8571304B2 (en) Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
US9210407B2 (en) Image processing apparatus and method, and program
WO2020143191A1 (en) Image frame prediction method, image frame prediction apparatus and head display apparatus
US9007404B2 (en) Tilt-based look around effect image enhancement method
KR20140056748A (ko) 영상 처리 방법 및 영상 처리 장치
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
WO2023162799A1 (ja) 画像処理装置および方法
US20130342536A1 (en) Image processing apparatus, method of controlling the same and computer-readable medium
CN116610213A (zh) 虚拟现实中的交互显示方法、装置、电子设备、存储介质
WO2018186168A1 (ja) 映像生成装置、映像生成方法および映像生成プログラム
US11818324B2 (en) Virtual reality environment
US20240098232A1 (en) Partial Perspective Correction with Mitigation of Vertical Disparity
JP7304790B2 (ja) 情報処理装置、生成方法、及び生成プログラム
JP2013030848A (ja) 画像処理装置および画像処理方法
JP2012169822A (ja) 画像処理方法及び画像処理装置
US20170052684A1 (en) Display control apparatus, display control method, and program
Hoang et al. A Virtual Reality System Using View-Dependent Stereoscopic Rendering
KR20150043926A (ko) 좌안 영상 및 우안 영상 한 쌍으로부터의 다시점 3차원 영상 자동 생성장치 및 그 방법
WO2022221048A1 (en) Warped perspective correction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23759800

Country of ref document: EP

Kind code of ref document: A1