WO2019171557A1 - 画像表示システム - Google Patents

画像表示システム Download PDF

Info

Publication number
WO2019171557A1
WO2019171557A1 PCT/JP2018/009092 JP2018009092W WO2019171557A1 WO 2019171557 A1 WO2019171557 A1 WO 2019171557A1 JP 2018009092 W JP2018009092 W JP 2018009092W WO 2019171557 A1 WO2019171557 A1 WO 2019171557A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
space
screen
display
Prior art date
Application number
PCT/JP2018/009092
Other languages
English (en)
French (fr)
Inventor
塁 佐藤
Original Assignee
塁 佐藤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 塁 佐藤 filed Critical 塁 佐藤
Priority to PCT/JP2018/009092 priority Critical patent/WO2019171557A1/ja
Priority to US16/975,605 priority patent/US11425350B2/en
Priority to JP2020504604A priority patent/JP7073481B2/ja
Publication of WO2019171557A1 publication Critical patent/WO2019171557A1/ja
Priority to JP2022078412A priority patent/JP7423683B2/ja
Priority to US17/854,405 priority patent/US11750789B2/en
Priority to US18/208,664 priority patent/US20230328215A1/en
Priority to JP2024005462A priority patent/JP2024054137A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the present invention relates to a technique for displaying on a display an image that can be seen when a three-dimensional object in a virtual three-dimensional space is viewed from a user position.
  • Patent Document 1 discloses a technique for displaying on a flat panel display an image in which a virtual object has a shape that can be seen from the position of a human eye.
  • a three-dimensional image display device includes a display that displays an image, a position measuring device that measures the position of a human eye that views the display, and information that indicates the position of a human eye that is provided from the position measuring device. And a processing means for obtaining a three-dimensional image in which the image displayed on the display is a shape as seen from the direction of the position of the human eye to be viewed by calculation and displaying the same on the display.
  • an image that is a pseudo projection of the object is displayed on the display so that it appears as if it exists at that position.
  • the user can have an illusion that the user sees a three-dimensional object in a virtual space existing behind the display through a pseudo window formed by the display.
  • this technology is used, various experiences can be provided to the user as a virtual reality experience device or an augmented reality experience device using a display.
  • this display can be freely provided on a wall without a window of a hotel, a house, an office, etc., and the indoor landscape can be improved as a pseudo window.
  • the image displayed on the display is natural and close to the actual field of view.
  • the image displayed on the pseudo window is unnatural, the degree of illusion of the user is small, and the indoor landscape may not be improved.
  • a projection image that matches the user's viewpoint cannot be displayed and displayed on the display. The image is unnatural for the user.
  • Patent Document 1 it has not been considered to specify the relative position and orientation of the display and the user with high accuracy. Therefore, the position and orientation of the user with respect to the display cannot be correctly specified, and there is a possibility that an image seen from the user's position cannot be correctly displayed on the display.
  • An object of the present invention is to provide a technique for specifying the position and orientation of a user with respect to a display with high accuracy and displaying an image of a virtual space visible from the position on the display.
  • An image display system captures a user space in front of a display having a screen capable of displaying an image and a screen on which a user who views the image displayed on the display may be present.
  • a user space imaging unit for acquiring an image; screen layout data indicating a position, posture, and shape of a screen in a predetermined reference coordinate space; and imaging unit layout data indicating a position and posture of the user space imaging unit in a reference coordinate space; , Based on the storage unit that holds the three-dimensional data representing the three-dimensional object in the reference coordinate space, the imaging unit arrangement data, and the user space image acquired by the user space imaging unit.
  • the user viewpoint position is specified, and the screen is transferred from the user viewpoint position based on the user viewpoint position, the screen layout data, and the three-dimensional data.
  • Display image appearance to become three-dimensional objects, such as when viewed three-dimensional object in the virtual space Te generates, and displays the display image on a display, comprises a processing unit.
  • the screen layout data of the display, the imaging unit layout data of the user space imaging unit, and the three-dimensional data of the virtual space are set in the same reference coordinate space, the calculation is performed.
  • the position can be specified with high accuracy, and an image of the virtual space that can be seen from the position with high probability can be displayed on the display.
  • FIG. 1 is a block diagram of an image display system according to Embodiment 1.
  • FIG. 1 is a schematic external view of an image display system according to Embodiment 1.
  • FIG. It is a figure for demonstrating a mode that the image display system by Example 1 displays the image according to a user viewpoint position. It is a figure for demonstrating the angle of view of the user space imaging part in the image display system by Example 1.
  • FIG. FIG. 3 is a diagram illustrating data recorded in a storage unit in the first embodiment.
  • 3 is a flowchart of overall processing of the image display system according to the first embodiment.
  • 3 is a flowchart of viewpoint position calculation processing by the image display system according to the first embodiment.
  • 6 is a flowchart of gesture operation processing of the image display system according to the first embodiment. 6 is a block diagram of an image display system according to Embodiment 2.
  • FIG. 1 is a schematic external view of an image display system according to Embodiment 1.
  • FIG. It is a figure for demonstrating
  • FIG. 1 is a block diagram of an image display system according to the first embodiment.
  • FIG. 2 is a schematic external view of the image display system according to the first embodiment.
  • the image display system 10 includes a display 11, two user space imaging units 12-1 and 12-2, a storage unit 13, and a processing unit 14.
  • the user space imaging unit 12-1 and the user space imaging unit 12-2 are the same.
  • the user space imaging units 12-1 and 12-2 may be referred to simply as the user space imaging unit 12 in some cases.
  • the display 11 is an output display device having a screen 111 capable of displaying an image.
  • the display method is not particularly limited, and may be, for example, a liquid crystal display, a plasma display, an organic EL display, or an FED (field emission display).
  • the display 11 may be a display device that projects an image on a screen. In that case, the screen becomes the screen 111.
  • the user space imaging unit 12 captures a user space in front of the screen 111 on which the user 90 viewing the image displayed on the screen 111 of the display 11 may exist, and acquires a user space image.
  • this screen display system 10 is not specifically limited, in addition to the use of improving the indoor landscape by using the surface screen 111 of the display 11 as a pseudo window, amusement facilities such as game centers and theme parks, and stationary entertainment at home
  • the device can be used as a device for experiencing virtual reality or augmented reality to the user, or as an eye-catching object that is displayed indoors or outdoors as a work of art or advertisement.
  • the display 11 according to the image display system 10 can be used as a display device in virtual reality or augmented reality technology, and allows a user to experience realistic virtual reality or augmented reality, similar to an HMD (head-mounted display). In addition, there is no inconvenience that the user wears the device on the head.
  • HMD head-mounted display
  • the installation location of the image display system 10 is not particularly limited.
  • a hotel guest, an office worker working in the office, a resident in the house, and the like are the user 90.
  • 11 is a user space.
  • the user is the user 90, and the user's space is within the range where the user can move (in this case, various situations such as sitting, lying on his back, lying down, etc. are also included) It is space.
  • the storage unit 13 is one or both of a volatile memory and a nonvolatile memory.
  • the storage unit 13 includes screen arrangement data indicating the position, posture, and shape of the screen 111 in a predetermined reference coordinate space, and image pickup unit arrangement indicating the positions and postures of the user space image pickup units 12-1, 12-2 in the reference coordinate space.
  • Data and 3D data representing a virtual 3D object in the reference coordinate space are held.
  • the reference coordinate space is a space represented by a coordinate system (reference coordinate system) having a predetermined origin O serving as a reference for calculation in the present embodiment.
  • the reference coordinate space and its origin O may be set in any way.
  • the reference coordinate space may be fixed with respect to the screen 111, may be fixed with respect to the user space imaging unit 12, or may be fixed with both the screen 111 and the user space imaging unit 12. , It does not have to be fixed to either.
  • the reference coordinate space is a space of an orthogonal coordinate system having three axes of xyz.
  • Pitch m , Roll m ) and shape (Height m , Width m ) are set on this reference coordinate space.
  • the screen 111 is a rectangle, and the shape is expressed by a height and a width.
  • the center position (x h , y h , z h ) of the head of the user 90 on the reference space is set as the user viewpoint position.
  • the user viewpoint position may be any position that can be regarded as the position of the viewpoint of the user 90 or the viewpoint of the user 90. It is not limited to the example of this embodiment.
  • the center of both eyes of the user 90 may be set as the user viewpoint position.
  • the center of the face area recognized by the face recognition process or the person recognition process, or the center of both recognized eyes may be set as the user viewpoint position.
  • the center of the lens of the user space imaging unit 12 is set as the position (x s , y s , z s ) of the user space imaging unit 12. Further, as an example, has a center of the screen 111 position of the screen 111 (x m, y m, z m) and.
  • the processing unit 14 is a device that executes predetermined processing using data recorded in the storage unit 13, and is, for example, a processor that executes processing according to a software program.
  • the processing unit 14 specifies the user viewpoint position in the reference coordinate space based on the imaging unit arrangement data and the images acquired by the two user space imaging units 12-1 and 12-2. Furthermore, the processing unit 14 is based on the user viewpoint position, the screen layout data, and the three-dimensional data, and the three-dimensional object that looks as if the three-dimensional object in the virtual space is viewed from the user viewpoint position through the screen 111.
  • the display image is generated, and the display image is displayed on the display 11. As a result, the display image on the display 11 appears to the user 90 as if a three-dimensional object exists in the virtual space.
  • the processing unit 14 specifies a human (user 90) from each of the user space images acquired at the same time by the two user space imaging units 12-1 and 12-2. Then, the position where the head of the user 90 is shown in the user space image is specified, and the user space imaging unit 12-1 is based on the imaging unit arrangement data and the parallax of the head of the user 90 in the two user space images. , 12-2 to the head of the user 90 may be calculated.
  • An accurate user viewpoint position can be specified with a simple configuration using the principle of triangulation.
  • the configuration and method for specifying the user viewpoint position are not limited to those using the stereo sensor shown here, and any method can be adopted.
  • the user space imaging unit 12 irradiates an infrared laser having a dot pattern having a large number of dots, and the user of the portion hit by each infrared laser from the image of the portion hit by each infrared laser in the captured image
  • a method of calculating the distance from the spatial imaging unit 12 may be used.
  • the infrared laser and / or the dot pattern thereof has a predetermined spread angle, and the size of the dot and / or the interval between the dots increases as the distance from the user space imaging unit 12 increases in the portion hit by the infrared laser dot. . From the dot size and / or the dot interval, the distance from the user space imaging unit 12 to the portion hit by the infrared laser can be calculated.
  • the user space imaging unit 12 irradiates modulated infrared light, projects the infrared light reflected by the object and returns to the array sensor for each pixel, and receives the infrared light irradiated for each pixel.
  • a method of calculating the distance from the user space imaging unit 12 of the object reflected from the infrared laser from the phase difference of the infrared light may be used.
  • there is a technique for calculating the depth of an object in an image from an image captured by a monocular imaging device and this technique may be employed in the user space imaging unit 12.
  • a physical marker having a predetermined shape and / or size that can be easily detected by the sensor, or a light emission that emits predetermined light, such as an infrared LED, on the user himself or an object held or worn by the user
  • a method of attaching a body marker and specifying the user viewpoint position from the position of the marker may be adopted in the user space imaging unit 12.
  • the display 11 and the user space imaging unit 12 may be configured as devices each having a separate casing as illustrated in FIG. 2, or may be configured integrally with a single casing.
  • a processing unit may be provided in each device, and the functions of the processing unit 14 described above may be shared by the processing units of each device. In that case, the processing unit in the device of the display 11 and the processing unit in the device of the user space imaging unit 12 communicate with each other in a wired or wireless manner.
  • FIG. 3 is a diagram for explaining how the image display system according to the first embodiment displays an image corresponding to the user viewpoint position.
  • the user space in front of the screen 111 of the display 11 is a real space.
  • the virtual space defined at the rear of the screen 111 is displayed on the screen 111 as an image that can be seen from the position 91 of the head of the user 90 through a pseudo window (hereinafter also referred to as “pseudo window”).
  • a three-dimensional object in the virtual space is defined by three-dimensional data. In the example of FIG. 3, six trees are arranged side by side as a three-dimensional object.
  • a virtual space is defined behind the screen 111 in FIG.
  • a virtual space may be defined in front of the screen 111, and includes the front and rear of the screen 111.
  • the space may be defined as a virtual space.
  • the virtual space visual field 92A seen from the pseudo window on the screen 111 is wide, and the six trees are displayed on the screen 111 so that all six trees are in the visual field 92A.
  • Display 93A When the user 90 moves in the z direction from the position 91A and comes to a position 91B away from the screen 111, the visual field 92B of the virtual space that can be seen from the pseudo window on the screen 111 becomes narrower. It is displayed as if only a part of the tree on both sides is entered (display 93B).
  • the visual field 92C of the virtual space seen from the pseudo window on the screen 111 changes in the x direction.
  • the screen is viewed from an oblique direction rather than the front with respect to the screen 111, but the horizontal thickness of the tree seen from the pseudo window needs to be the same as when viewed from the front. Yes (display 93C ').
  • the process is displayed on the screen 111 of the display 11 as a process that makes the user 90 look like a natural image with a certain illusion as if a three-dimensional object in the virtual space exists.
  • a process projection conversion
  • a three-dimensional object in a virtual space defined in the three-dimensional data is projected onto the screen 111 of the display 11, that is, a two-dimensional surface.
  • each point of the three-dimensional data in the reference coordinate space may be projected onto a point where a straight line connecting each point and the user viewpoint position intersects the screen 111.
  • a specific matrix or numerical four-value arithmetic processing according to an empirical rule is performed on the three-dimensional parameters of the image and the image. May be.
  • the angle of view of the user space imaging unit 12 is preferably 110 ° or more. In the present embodiment, as an example, it is assumed that the angle of view of the user space imaging unit 12 is 110 °. Hereinafter, the significance that the angle of view of the user space imaging unit 12 is preferably 110 ° or more will be described.
  • FIG. 4 is a diagram for explaining the angle of view of the user space imaging unit in the image display system according to the first embodiment.
  • FIG. 4 is a view of the display 11 and the user 90 of the image display system 10 in the room as viewed from above.
  • FIG. 4 shows one user space imaging unit 12.
  • the user 90 is working or studying in a private room with a pseudo window by the display 11 having a width of 60 cm.
  • the user 90 faces in a direction parallel to the wall near the wall.
  • the width of the display 11 of 60 cm is a size suitable for the depth of a desk for work and study and the width of a general storage furniture used at home, and is one suitable size as the width of a pseudo window.
  • a display is placed so as to surround the user, but the relative relationship between the user and the display placed immediately next to the user at this time It is assumed that the positional relationship is as shown in FIG. For example, in a situation where three displays are arranged in a U-shape in front, right and left sides of the user, it is assumed that the relative relationship between the user and the right and left displays is as shown in FIG.
  • the image on the display 11 is preferably a natural image in a virtual space that can be seen from the position of the viewpoint of the user 90.
  • the body of the user 90 is located at a position coinciding with the end of the display 11, and the user 90 faces in a direction parallel to the display 11. Even in this state, the image display system 10 is required to be able to detect the user viewpoint position of the user 90.
  • the user space imaging unit 12 is arranged in the center of the display 11 in the width direction, and the user viewpoint position is moved backward by shifting the seating surface backward from this position.
  • the user space imaging unit 12 only needs to have an angle of view of 110 ° or more.
  • the user space in front of the screen 111 is imaged at an angle of view of 110 ° or more, and the user viewpoint position is calculated from the obtained user space image.
  • the user viewpoint position can be recognized in the range, and an image on a pseudo window that can be seen by the user in a wide measurement range can be displayed.
  • the display 11 having a width of the screen 111 up to 60 cm, which is familiar with the depth of the desk and the width of the storage furniture, is used if there is an angle of view of 110 ° or more, a general human
  • the shoulder width of 40 cm is taken into consideration, the user viewpoint position can be detected within a range where the head of the user 90 can exist.
  • the window of about 60 cm can be simulated well on the display 11.
  • the screen 111 and the user space imaging unit 12 are arranged on the same reference coordinate space, and the user viewpoint position and the display image are calculated on the reference coordinate space.
  • the common design can be easily applied to a system in which the relative position and / or orientation of the display 11 are different.
  • the user space imaging unit 12 and the display 11 are separate devices, and the user space imaging unit 12 and the display 11 are integrally configured as a relative unit, as well as a system that can freely select the position where each is arranged. Even in a system in which the position and orientation are fixed, if there are a plurality of types having different screen sizes and shapes, the relative positions and orientations of the user space imaging unit 12 and the display 11 are different for each type.
  • a common design can be applied to these different types.
  • the screens 111 of the plurality of displays 11 are arranged on the same reference coordinate space, regardless of the position and angle of the displays 11.
  • the display image on the screen 111 can be calculated on the coordinate space by a common calculation method.
  • the images on the plurality of displays 11 in the same room can be continued with high accuracy. This exhibits a high visual effect in improving indoor landscapes of hotels, houses, offices, and the like.
  • the angle of view of the user space imaging unit 12 is 110 ° or more
  • the width of the screen 111 is 60 cm or less
  • the imaging direction of the user space imaging unit 12 is oriented perpendicular to the screen 111.
  • the angle of view of the user space imaging unit 12 is 110 ° or more
  • the user viewpoint position can be detected satisfactorily even in a system under other conditions.
  • the angle of view is 110 ° or more
  • the screen width is sufficiently practical up to about 100 cm.
  • the imaging direction of the user space imaging unit 12 is perpendicular to the screen 111. It is possible to obtain better results by setting the direction appropriately shifted vertically and horizontally from the direction. That is, the user viewpoint position can be detected in a wider range of the user space.
  • the processing unit 14 detects a predetermined gesture performed by the user 90 from the time-series user space image, and executes a predetermined process corresponding to the gesture.
  • the user space imaging unit 12 acquires a user space image with a wide angle of view, and the processing unit 14 detects a predetermined gesture from the user space image and executes a predetermined process corresponding to the gesture.
  • the desired operation can be performed even if there is no remote controller for operation by the gesture operation by 90.
  • FIG. 5 is a diagram illustrating data recorded in the storage unit in the first embodiment.
  • screen position data 21, screen posture data 22, screen shape data 23, imaging position data 24, imaging posture data 25, three-dimensional data 26, user viewpoint position data 27, and display Image data 28 is recorded.
  • the screen layout data described above includes the screen position data 21, the screen orientation data 22, and the screen shape data 23 referred to here.
  • the above-described imaging unit arrangement data includes the imaging position data 24 and the imaging posture data 25 referred to here.
  • Screen position data 21 is data representing the position of the screen 111 (x m, y m, z m).
  • the position (x m , y m , z m ) of the screen 111 may be determined and set when the display 11 is installed, or numerical values of position information recorded in the storage unit 13 after the display 11 moves freely after installation. May be constantly updated in accordance with movement.
  • the respective positions (x m , y m , z m ) are set.
  • the screen orientation data 22 is data representing the orientation (Yaw m , Pitch m , Roll m ) of the screen 111.
  • the orientation (Yaw m , Pitch m , Roll m ) of the screen 111 may be determined and set when the display 11 is installed, or may be set as a fixed value in advance at the time of design or shipment together with the installation conditions of the display 11. Also good. For example, it is possible to set the display 11 to be horizontal and fix it on the wall surface, and to set the posture (Yaw m , Pitch m , Roll m ) when installed according to the installation conditions in advance.
  • the display 11 may be freely rotated after installation and the numerical value of the posture information recorded in the storage unit 13 may be constantly updated according to the rotation.
  • respective postures Yaw m , Pitch m , Roll m .
  • the screen shape data 23 is data representing the shape (Height m , Width m ) of the screen 111.
  • a fixed value of the display 11 may be set in advance at the time of design or shipment, or the display 11 is freely deformed after installation and recorded in the storage unit 13.
  • the numerical value of the shape information may be constantly updated according to the deformation.
  • respective shapes are set.
  • the shape of the screen 111 is not limited to a rectangle.
  • the screen 111 may be an isosceles triangle and the shape may be expressed by the length and height of the lower base.
  • the screen 111 may be a trapezoid, and the shape may be expressed by an upper base, a lower base, and a height. It is also possible to use a curved screen as the screen 111. If the screen has a shape in which a rectangular plane is bent with a specific curvature, the shape can be expressed by the height and width of the rectangle and the curvature or radius.
  • screens of various shapes such as spheres, spheroids, oblate spheres, and rotating bodies may be expressed by parameters that characterize each shape. Any screen including those exemplified here can define its shape on the reference coordinate space and calculate an image to be displayed.
  • the imaging position data 24 is data representing the respective positions (x s , y s , z s ) of the user space imaging units 12-1 and 12-2 described above.
  • the position (x s , y s , z s ) of the imaging position data 23 is determined and set when the user space imaging unit 12 is installed.
  • Imaging attitude data 25 the posture of the user space imaging unit 12-1 and 12-2 described above (Yaw s, Pitch s, Roll s) is data representing.
  • the posture (Yaw s , Pitch s , Roll s ) of the imaging posture data 24 may be determined and set when the user space imaging unit 12 is installed, or set together with the installation conditions of the user space imaging unit 12 and set as a fixed value in advance. You may keep it.
  • the 3D data 26 is 3D data from which an image to be displayed on the display 11 is generated, and is 3D data representing a 3D object in a virtual space as illustrated in FIG.
  • the three-dimensional data here may be data representing a three-dimensional object in a three-dimensional space, and the specific method is not particularly limited. Data having three-dimensional information created by computer graphics may be used, or data obtained by pasting a still image or a moving image of a real photograph on a flat three-dimensional object having no thickness may be used. This is data in which a still image or a moving image photographed using a lens with a wide viewing angle of 180 ° or a wide viewing angle or a 360 ° photographing camera is pasted on the surface of a spherical object having no thickness. May be.
  • User viewpoint position data 27 is data representing the above-described user viewpoint position. Since the user viewpoint position is repeatedly updated by the processing unit 14, the user viewpoint position data 27 is also updated each time. For example, if the frame rate of the display 11 is set to 30 fps and the user viewpoint position is updated in the same cycle, the user viewpoint position data 27 is updated 30 times per second. The user viewpoint position data 27 stores time-series user viewpoint position data.
  • the display image data 28 is image data obtained by projecting three-dimensional data so that the three-dimensional object appears to be in the space beyond the pseudo window on the screen 111 from the user viewpoint position, and is displayed on the screen 111.
  • Image data When there are a plurality of displays 11, data to be displayed on the screen 111 of each display 11 is recorded as display image data 27. Since the image data displayed on the screen 111 is repeatedly updated by the processing unit 14, the display image data 28 is also updated each time. For example, if the frame rate of the display 11 is set to 30 fps, the display image data 28 is updated 30 times per second.
  • FIG. 6 is a flowchart of the overall processing of the image display system according to the first embodiment. Each process in FIG. 6 is executed by the processing unit 14.
  • the processing unit 14 periodically repeats the process of FIG. 6, the image displayed on the display 11 changes with time, and is recognized by the user 90 as a moving image. For example, if the frame rate of the image displayed on the display 11 is 30 fps, the processing unit 14 repeats the process shown in FIG. 6 30 times per second.
  • the processing unit 14 first executes a viewpoint position calculation process (step S101).
  • the viewpoint position calculation process is a process of calculating the above-described user viewpoint position and recording it as the user viewpoint position data 26 in the storage unit 13. Details of the viewpoint position calculation processing will be described later with reference to FIG.
  • the processing unit 14 executes an image generation process (step S102).
  • the image generation process is a process of generating an image of a three-dimensional object that can be seen through the screen 111 from the user viewpoint position indicated by the user viewpoint position data 26 recorded in the storage unit 13 and recording the data in the storage unit 13.
  • the processing unit 14 When there are a plurality of displays 11, the processing unit 14 generates an image to be displayed on the screen 111 of each display 11 and records the data in the display image data 27.
  • the processing unit 14 executes image display processing (step S103).
  • the image display process is a process for causing the display 11 to display an image of a three-dimensional object that can be seen through the screen 111 based on the display image data 27 recorded in the storage unit 13.
  • the processing unit 14 causes each display 11 to display image data of a three-dimensional object that can be seen through the screen 111 of each display 11.
  • step S101 is shared by the processing unit of the stereo sensor.
  • steps S102 and S103 may be shared by the processing unit of the apparatus constituting the display 11.
  • the processing unit 14 may generate a display image of a three-dimensional object that can be seen through the screen 111 from the user viewpoint position by applying projective transformation to the three-dimensional data 25.
  • projective transformation the three-dimensional object of the three-dimensional data 25 is mathematically projected onto the screen in consideration of the user viewpoint position, so that the three-dimensional object can be sure even when the user 90 views the screen 111 from an oblique direction. It appears as a natural image.
  • the processing unit 14 also removes noise included in the user viewpoint position based on the time-series user space image obtained by the user space imaging unit 12 up to the present time, the user viewpoint position, or both. You may decide to do.
  • the user viewpoint position is calculated using the result of image processing of the most recent user space image taken as it is, and an image of a three-dimensional object visible from the user viewpoint position is generated, various noise elements generated only at that time point Accordingly, the position where the user viewpoint is suddenly shifted is calculated, and as a result, the display image may be blurred for each frame. According to this configuration, since the current user viewpoint position is determined after removing the noise of the user viewpoint position based on the past user space image and the user viewpoint position, it is possible to suppress blurring of the display image.
  • a method of removing noise there is a method of performing noise determination based on past user space image data and performing noise removal of the current space image based on the determination result. Also, there is a method of updating (or correcting) the current user viewpoint position using a Kalman filter based on past user viewpoint position data and current user viewpoint position data.
  • FIG. 7 is a flowchart of viewpoint position calculation processing by the image display system according to the first embodiment.
  • the processing unit 14 first performs a feature amount search in the image (step S201).
  • the head of a human (user 90) is detected from the image of either the user space imaging unit 12-1 or 12-2.
  • the process of detecting a human head from an image can be performed using, for example, a face recognition technique.
  • a method of recognizing a face pattern based on a light / dark difference due to the Haar-like feature may be used.
  • the processing unit 14 executes an image matching process (step S202).
  • the image matching process the images obtained by the user space imaging units 12-1 and 12-2 are compared with each other, and the same object as the feature part recognized as the user 90 searched in one image in step S201 is shown. It is a process which specifies the location in the image.
  • the processing unit 14 specifies the pixel coordinates of the characteristic part in both images (step 203).
  • the processing unit 14 acquires the pixel coordinates in the image at each of the feature part in the image photographed by the user space imaging unit 12-1 and the feature part in the image photographed by the user space imaging unit 12-2. .
  • the processing unit 14 associates each pixel with a three-dimensional coordinate based on the result of the image matching process (step S204). If the pixel coordinate of the place where the same thing is reflected in two images is specified by the process of step S203, the three-dimensional coordinate of the place can be specified using the principle of triangulation.
  • the processing unit 14 may set the position of the center of the head as the head position (x h , y h , z h ).
  • the radius of the head is estimated from the image, and the three-dimensional coordinates of the position that is in the depth direction from the center surface of the head are the head position.
  • the radius may be added to the z value of the three-dimensional coordinates of the center surface of the head.
  • the processing unit 14 may set the position of the center surface of the head in the image as the head position (x h , y h , z h ). In that case, the three-dimensional coordinate corresponding to the pixel in which the center of the head is displayed becomes the head position as it is.
  • the processing unit 14 detects an area having a person-like feature in the image, and the distance from the user space imaging units 12-1 and 12-2 to the feature area. Is obtained, and X V is the center position in the horizontal direction of the feature area, Y V is the position about 10 cm below the vertex of the feature area in the vertical direction, and the pixel coordinates (X V, Y V ) and the feature area A method of simply estimating the user viewpoint position based on the distance may be used. This estimates the viewpoint position 10 cm below the top of the head.
  • the head of the user 90 is not necessarily shown in both user space images obtained by the two user space imaging units 12-1 and 12-2. Due to the difference in position between the user space imaging unit 12-1 and the user space imaging unit 12-2, the influence of obstacles, etc., the user space imaging unit 12-1 and the user space imaging unit 12-2 are changed to one of the user space images. However, the head of the user 90 may not be shown. In that case, the user viewpoint position may be estimated. Thereby, a user viewpoint position can be specified in a wide range and used for image generation.
  • the processing unit 14 records at least one of the image data acquired by the user space imaging units 12-1 and 12-2 and the information of the user viewpoint position calculated from the images, and a plurality of user space imaging units 12, the user viewpoint position is calculated based on the parallax of a plurality of images, and only the image by one user space imaging unit 12 is obtained.
  • the user viewpoint position may be estimated based on the one image and the past image data or the past user viewpoint position.
  • the processing unit 14 cannot detect the feature amount when the user 90 moves violently or due to the influence of the brightness of the room or the like, and is captured by the user space imaging units 12-1 and 12-2. There may be a case where the user viewpoint position of the user 90 cannot be temporarily calculated from the image. In that case, the processing unit 14 may estimate the current user viewpoint position based on the past time-series user viewpoint positions accumulated as the user viewpoint position data 27 in the storage unit 13. Specifically, from the history of past user viewpoint positions, three-dimensional vector data indicating the movement speed and acceleration of the user 90 and their directions are recorded, and the current user viewpoint position is estimated from those data. It may be. For example, if there is no obstacle in front of the moving direction, the speed changes from the latest calculated movement speed to the latest calculated movement acceleration, and the calculated position from the latest user viewpoint position to the present It may be the current user viewpoint position.
  • the processing unit 14 may correct the user viewpoint position and generate a three-dimensional object image that can be seen through the screen 111 from the corrected user viewpoint position.
  • the accuracy of the user viewpoint position can be improved.
  • a plurality of stereo sensors having user space imaging units 12-1 and 12-2 are provided, and a user viewpoint position is estimated based on a least square criterion from a plurality of user viewpoint positions acquired by the stereo sensors. Also good.
  • a stereo sensor having two user space imaging units 12-1 and 12-2, an infrared sensor exemplified as another sensor, a sensor that measures a user position with a marker, and the like can be used.
  • the user viewpoint position may be estimated based on the least square criterion from two or more user viewpoint positions obtained by the combination.
  • FIG. 8 is a flowchart of gesture operation processing of the image display system according to the first embodiment.
  • the processing unit 14 monitors whether a predetermined activation gesture is performed based on the user space image updated in time series (step S301).
  • the activation gesture is a prior gesture for giving an instruction to the image display system 10.
  • Specific gestures are not particularly limited, but are gestures such as placing a hand on the head. While the activation gesture is not detected, the image display system 10 does not execute the process even if an instruction gesture for instructing a predetermined process is performed.
  • the processing unit 14 When the activation gesture is detected, the processing unit 14 next activates a timer (step S302). This timer is a timer that measures the time for which the instruction gesture is enabled by the activation gesture.
  • the processing unit 14 may present the user 90 that the activation gesture has been detected by performing a predetermined instruction reception display on the screen 111 of the display 11. Further, the processing unit 14 may continue to display the instruction acceptance display on the display 11 until an activation gesture is detected or the timer times out.
  • the processing unit 14 monitors whether an instruction gesture is performed based on the user space image updated in time series (step S303).
  • the instruction gesture is a gesture for instructing a predetermined process as described above. There may be a plurality of types of processing that can be instructed by a gesture. In that case, a different instruction gesture may be determined for each process.
  • step S303 While the instruction gesture is not detected (NO in step S303), the processing unit 14 monitors whether the timer has timed out (step S305), and monitors the instruction gesture until the timer times out.
  • step S305 If the timer times out before the instruction gesture is detected (YES in step S305), the processing unit 14 returns to step S301 and monitors the activation gesture.
  • step S303 If the instruction gesture is detected before the timer times out (YES in step S303), the processing unit 14 executes processing corresponding to the instruction gesture (step S304).
  • the processing unit 14 when the processing unit 14 detects a predetermined instruction gesture after detecting a predetermined activation gesture from the time-series user space image, the processing unit 14 executes a predetermined process corresponding to the instruction gesture. Since the process is executed when there is a two-stage gesture, it is possible to prevent the process not intended by the user 90 from being erroneously executed.
  • the image display system 10 may be operated by a one-stage gesture. Even in this case, malfunctions can be suppressed by using gestures that are rarely performed in normal operations.
  • processing corresponding to the instruction gesture may be executed.
  • the image display system 10 may include a plurality of displays 11.
  • the storage unit 13 holds screen layout data indicating the position, posture, and shape of the screens 111 of the plurality of displays 11 in the reference coordinate space.
  • the processing unit 14 generates a display image of a three-dimensional object for each of the plurality of displays 11 based on the screen arrangement data (screen position data 21 and screen posture data 22) of the display 11 and the three-dimensional data 25, Each display image is displayed on the screen 111 of the display 11.
  • the image display system 10 may have various additional functions.
  • the image display system 10 may include a communication device connected to a communication network such as the Internet.
  • the image display system 10 may transmit information to a Web server or receive information from the Web server via a communication device. You may enable it to perform operation which performs transmission and reception of information with the gesture mentioned above.
  • the image display system 10 may be connected to a personal computer and used as a monitor for displaying an image of a personal computer (PC).
  • the connection interface unit is, for example, HDMI (High-Definition Multimedia Interface) (HDMI is a registered trademark) or VGA (Video Graphics Array). Operations such as mode switching between the pseudo window and the PC monitor may be performed by the above-described gesture.
  • the image display system 10 that displays an image of a virtual three-dimensional object is illustrated, but the present invention is not limited to this.
  • an image of a real space can be displayed on the display 11.
  • the second embodiment exemplifies an image display system that displays an image of a real space.
  • FIG. 10 is a block diagram of an image display system according to the second embodiment.
  • the image display system 30 includes an image display device 31 and an image acquisition device 33.
  • the image display device 31 and the image acquisition device 33 are connected via a communication line.
  • the image display device 31 may be one in which the image acquisition device 33 acquires and displays three-dimensional data based on the photographed image via a communication network.
  • the image display device 31 and the image acquisition device 33 may be connected by wired or wireless communication, and the image display device 31 may display an image that returns to the image acquired by the image acquisition device 33 in real time. .
  • the image display device 31 is the same as the image display system 10 shown in the first embodiment, and includes a display 11, two user space imaging units 12-1 and 12-2, a storage unit 13, and a processing unit 14. ing.
  • the image acquisition device 33 includes a display space imaging unit 34, a processing unit 35, and an audio acquisition unit 36.
  • the display space imaging unit 34 acquires an image of a display space that is a real space to be displayed on the display 11.
  • the sound acquisition unit 36 acquires sound in the display space.
  • the processing unit 35 uses the image data acquired by the display space imaging unit 34 to generate the three-dimensional data 25. Then, the processing unit 35 transmits the generated three-dimensional data and the audio data acquired by the audio acquisition unit 36 to the image display device 31.
  • the method in which the processing unit 35 generates the three-dimensional data 25 from the actual image acquired by the display space imaging unit 34 is not particularly limited.
  • the acquired real image of a plane may be left as it is or may be divided into a plurality of images of a predetermined size, and the image may be arranged in a three-dimensional space while remaining as a plane.
  • the display space imaging unit 34 a camera using a lens having a field of view of 180 ° or a wide viewing angle or a 360 ° imaging camera is used, and an image captured by the display space imaging unit 34 is converted into a spherical object in a three-dimensional space. You may arrange
  • information about the incident direction and intensity of light is acquired by a camera using light field technology in the display space imaging unit 34, and image processing is performed using the information, thereby a three-dimensional space including depth information.
  • Data obtained by photographing the image itself can be obtained.
  • This data may be arranged in a three-dimensional space.
  • the photographed image may be three-dimensionally arranged in a three-dimensional space.
  • a real image having depth information may be captured by a plurality of stereo cameras, and three-dimensional data may be created based on the real image and the depth information.
  • the display space imaging unit 34 is an aggregate of a plurality of single imaging units, and acquires images obtained by imaging the display space from a plurality of directions.
  • the image acquisition device 33 acquires an image by imaging the display space, which is a real space to be displayed by the display space imaging unit 34.
  • the processing unit 35 generates three-dimensional data using the image data acquired by the display space imaging unit 34.
  • the image display device 31 displays an image on the display 11 when the three-dimensional space represented in the three-dimensional data is viewed from the position of the user 90 through the screen 111 using the three-dimensional data. Therefore, an image in real space can be displayed on the display 11 as an image seen from the user viewpoint position.
  • the sound acquisition unit 36 acquires sound in the display space.
  • voice output part 32 outputs the audio
  • the method of using the screen display system 30 according to the present embodiment is not particularly limited, but the image display device 31 is used to simulate the field of view from the spectator seat for observing an actual sports game by placing the image acquisition device 33 in a stadium or the like.
  • the image display system 30 is connected via a communication network, and the image and sound acquired by the image acquisition device 33 are mutually transmitted and received to perform real-time communication with images and sounds between remote locations. Applications are assumed.
  • DESCRIPTION OF SYMBOLS 10 ... Image display system, 11 ... Display, 12 ... User space imaging part, 13 ... Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザ空間撮像部は、ユーザが存在しうる画面より前方のユーザ空間画像を取得する。記憶部は、基準座標空間における画面の位置、姿勢および形状を示す画面配置データと、基準座標空間におけるユーザ空間撮像部の位置および姿勢を示す撮像部配置データと、基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する。処理部は、撮像部配置データとユーザ空間画像とに基づいてユーザ視点位置を特定し、ユーザ視点位置と画面配置データと三次元データに基づいて、ユーザ視点位置から画面を介して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成し、ディスプレイの画面に表示させる。

Description

画像表示システム
　本発明は、ユーザの位置から仮想的な三次元空間上の三次元オブジェクトを見たときに見える画像をディスプレイに表示する技術に関する。
　特許文献１には、仮想物体が人間の目の位置から見える形状となる画像をフラットパネルディスプレイに表示する技術が開示されている。特許文献１による３次元画像表示装置は、画像を表示するディスプレイと、このディスプレイを見る人間の目の位置を測定する位置計測器と、この位置計測器から与えられる人間の目の位置を示す情報を用いて、前記ディスプレイに表示する画像が前記見る人間の目の位置の方向から見たような形状となる３次元画像を計算により求め、前記ディスプレイ上に表示させる処理手段を備える。
特開平０８－１６７０４８号公報
　実際には存在しない仮想空間上の三次元オブジェクトをユーザの視点から見たときに、その位置に存在しているかのように見えるように、当該オブジェクトを疑似的に投影した画像をディスプレイに表示すれば、ユーザにディスプレイによる疑似的な窓を通して、ディスプレイの奥に存在する仮想空間上の三次元オブジェクトを見ているように錯覚させることができる。この技術を用いれば、ディスプレイを用いた仮想現実体験装置もしくは拡張現実体験装置として様々な体験をユーザに供することができる。一例として、このディスプレイをホテル、住宅、オフィス等の窓のない壁に自由に設け、疑似的な窓として室内景観を向上させることができる。
　仮想現実体験や拡張現実体験ではディスプレイに表示される画像が自然で実際の視界に近いものであることが重要である。ホテル、住宅、あるいはオフィスにおけるインテリアの用途では、疑似的な窓に表示させる画像が不自然であればユーザを錯覚させる度合いが小さくなるために室内景観を向上させることができない可能性がある。例えば、ユーザの視点の位置を正しく検出できなかったり、ユーザの視点の位置から見えるような画像を正しく生成できなかったりすれば、ユーザの視点に合わせた投影画像を表示できなくなり、ディスプレイに表示される画像はユーザにとって不自然なものとなる。
　しかしながら、上述した特許文献１では、ディスプレイとユーザとの相対的な位置や姿勢を高い精度で特定することが考慮されていなかった。そのためディスプレイに対するユーザの位置および姿勢を正しく特定できず、ユーザの位置から見える画像を正しくディスプレイに表示されることができない可能性があった。
　本発明の目的は、ディスプレイに対するユーザの位置および姿勢を高い精度で特定し、その位置から見える仮想空間の画像をディスプレイに表示する技術を提供することである。
　本発明のひとつの態様による画像表示システムは、画像を表示可能な画面を有するディスプレイと、ディスプレイの画面に表示される画像を見るユーザが存在しうる画面より前方のユーザ空間を撮像し、ユーザ空間画像を取得するユーザ空間撮像部と、所定の基準座標空間における画面の位置、姿勢および形状を示す画面配置データと、基準座標空間における前記ユーザ空間撮像部の位置および姿勢を示す撮像部配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する記憶部と、撮像部配置データとユーザ空間撮像部で取得されるユーザ空間画像とに基づいて、基準座標空間上のユーザ視点位置を特定し、そのユーザ視点位置と画面配置データと三次元データに基づいて、ユーザ視点位置から画面を通して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成し、その表示画像をディスプレイに表示させる、処理部と、を有する。
　本発明によれば、ディスプレイの画面配置データと、ユーザ空間撮像部の撮像部配置データと、仮想空間の三次元データとを同一の基準座標空間に設定して演算を行うので、ディスプレイに対するユーザの位置を高い精度で特定し、その位置から見える確からしさの高い仮想空間の画像をディスプレイに表示することができる。
実施例１による画像表示システムのブロック図である。 実施例１による画像表示システムの概略外観図である。 実施例１による画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。 実施例１による画像表示システムにおけるユーザ空間撮像部の画角について説明するための図である。 実施例１において記憶部に記録されるデータを示す図である。 実施例１による画像表示システムの全体処理のフローチャートである。 実施例１による画像表示システムによる視点位置算出処理のフローチャートである。 実施例１による画像表示システムのジェスチャ操作処理のフローチャ－トである。 実施例２による画像表示システムのブロック図である。
　以下、本発明の実施例について図面を参照して説明する。
　図１は、実施例１による画像表示システムのブロック図である。図２は、実施例１による画像表示システムの概略外観図である。
　図１を参照すると、画像表示システム１０は、ディスプレイ１１、２つのユーザ空間撮像部１２－１、１２－２、記憶部１３、および処理部１４を有している。ユーザ空間撮像部１２－１とユーザ空間撮像部１２－２は同じものである。以下の説明では、ユーザ空間撮像部１２－１、１２－２の両方あるいはいずれかを指して単にユーザ空間撮像部１２と称する場合がある。
　ディスプレイ１１は、画像を表示可能な画面１１１を有する出力表示装置である。表示方式は特に限定されないが、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＦＥＤ（電界放出ディスプレイ）であってもよい。あるいは、ディスプレイ１１は画像をスクリーンに投影する表示装置であってもよい。その場合、スクリーンが画面１１１となる。
　ユーザ空間撮像部１２は、ディスプレイ１１の画面１１１に表示される画像を見るユーザ９０が存在しうる画面１１１より前方にあるユーザ空間を撮像し、ユーザ空間画像を取得する。
　本画面表示システム１０の利用方法は特に限定されないが、ディスプレイ１１の面画面１１１を疑似的な窓として室内景観を向上させる用途に加え、ゲームセンターやテーマパークなどの娯楽施設や家庭における据え置き型娯楽装置においてユーザに仮想現実や拡張現実を体験する装置としての用途、美術品や広告として屋内外に展示される目を引くオブジェクトとしての用途などが想定される。本画像表示システム１０によるディスプレイ１１は仮想現実や拡張現実の技術における表示装置として使用でき、ＨＭＤ（ヘッド・マウント・ディスプレイ）と同様にユーザにリアリティのある仮想現実や拡張現実を体験させることができ、かつユーザが頭に機器を装着するという煩わしさがない。
　本画像表示システム１０の設置場所は特に限定されないが、例えば、ホテル、オフィス、住宅などの室内で用いる場合、ホテルの宿泊客、オフィスで働くオフィスワーカー、住宅の住人などがユーザ９０であり、ディスプレイ１１が設置される部屋の中がユーザ空間である。娯楽施設などで利用する場合、体験者がユーザ９０であり、利用される空間であり体験者が動ける範囲（この場合には着座や仰向け、うつ伏せなど様々な体勢を取る状況も含まれる）がユーザ空間である。
　記憶部１３は、揮発性メモリと不揮発性メモリのいずれかあるいはそれら両方である。記憶部１３は、所定の基準座標空間における画面１１１の位置、姿勢および形状を示す画面配置データと、基準座標空間におけるユーザ空間撮像部１２－１、１２－２の位置および姿勢を示す撮像部配置データと、基準座標空間上の仮想的な三次元オブジェクトが表現された三次元データとを保持する。基準座標空間は、本実施形態における演算の基準となる所定の原点Ｏを有する座標系（基準座標系）で表される空間である。
　基準座標空間およびその原点Ｏはどのように設定してもよい。例えば、基準座標空間を画面１１１に対して固定してもよいし、ユーザ空間撮像部１２に対して固定しても良いし、画面１１１およびユーザ空間撮像部１２の両方に固定してもよいし、どちらにも固定しなくてもよい。
　図２の例では、基準座標空間は、ｘｙｚの３軸を有する直交座標系の空間である。ユーザ空間撮像部１２の位置（ｘｓ，ｙｓ，ｚｓ）および姿勢（Ｙａｗｓ，Ｐｉｔｃｈｓ，Ｒｏｌｌｓ）と、画面１１１の位置（ｘｍ，ｙｍ，ｚｍ）、姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）および形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）と、はこの基準座標空間上に設定される。なお、ここでは一例として画面１１１は長方形であり、その形状は高さと幅とで表現されている。
　また、本実施例では一例として、基準空間上のユーザ９０の頭部の中央の位置（ｘｈ，ｙｈ，ｚｈ）をユーザ視点位置とする。ユーザ視点位置は、ユーザ９０の視点の位置あるいはユーザ９０の視点とみなすことができる点の位置であればよい。本実施形態の例に限定されない。他の例として、ユーザ９０の両目の中央をユーザ視点位置としてもよい。また、顔認識処理や人物認識処理により認識された顔の領域の中央、あるいは認識された両目の中央をユーザ視点位置としてもよい。
　また、本実施例では一例として、ユーザ空間撮像部１２のレンズ中央をユーザ空間撮像部１２の位置（ｘｓ，ｙｓ，ｚｓ）としている。また、ここでは一例として、画面１１１の中央を画面１１１の位置（ｘｍ，ｙｍ，ｚｍ）としている。
　処理部１４は、記憶部１３に記録されているデータを用いて所定の処理を実行する装置であり、例えば、ソフトウェアプログラムに従って処理を実行するプロセッサである。処理部１４は、撮像部配置データと２つのユーザ空間撮像部１２－１、１２－２で取得される画像とに基づいて、基準座標空間上のユーザ視点位置を特定する。さらに、処理部１４は、ユーザ視点位置と画面配置データと三次元データとに基づき、ユーザ視点位置から画面１１１を通して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成し、その表示画像をディスプレイ１１に表示させる。これにより、ディスプレイ１１の表示画像は、ユーザ９０からは、仮想空間上に三次元オブジェクトがあたかも存在するかのように見えるようになる。
　なお、ユーザ視点位置を特定するとき、処理部１４は、例えば、２つのユーザ空間撮像部１２－１、１２－２で同時刻に取得されるユーザ空間画像のそれぞれから人間（ユーザ９０）を特定し、ユーザ空間画像におけるユーザ９０の頭部が写っている位置を特定し、撮像部配置データと２つのユーザ空間画像におけるユーザ９０に頭部の視差とに基づいて、ユーザ空間撮像部１２－１、１２－２からユーザ９０の頭部までの距離を算出することにしてもよい。三角測量の原理を用いて簡易な構成で正確なユーザ視点位置を特定することができる。
　ただし、ユーザ視点位置を特定する構成および方法はここで示したステレオセンサによるものに限定されず、どのような方式のものでも採用できる。他の例として、ユーザ空間撮像部１２が多数のドットを有するドットパターンの赤外線レーザを照射し、撮像される画像における各赤外線レーザが当たった部分の画像から、各赤外線レーザが当たった部分のユーザ空間撮像部１２からの距離を算出するという方式を用いてもよい。赤外線レーザおよび／またはそのドットパターンは所定の拡がり角度を有しており、赤外線レーザのドットが当たった部分では、ユーザ空間撮像部１２から遠いほどドットの大きさおよび／またはドットの間隔が大きくなる。このドットの大きさおよび／またはドットの間隔から、ユーザ空間撮像部１２から赤外線レーザが当たっている部分までの距離を算出することができる。
　更に他の例として、ユーザ空間撮像部１２が変調した赤外線光を照射し、物体で反射して戻ってきた赤外線光をピクセル毎のアレイセンサに投影し、ピクセル毎に照射した赤外線光と受光した赤外線光の位相差から、赤外線レーザを反射した物体のユーザ空間撮像部１２からの距離を算出するという方式を用いてもよい。更に他の例として、単眼の撮像装置で撮像された画像から画像内の物体の奥行を算出する技術もあり、その技術をユーザ空間撮像部１２に採用してもよい。更に他の例として、ユーザ自身もしくはユーザが把持したり装着している物体に、センサーが検出しやすい所定の形状および／またはサイズを有する物理的なマーカー、あるいは赤外線ＬＥＤなど所定の光を発する発光体のマーカーを取り付け、そのマーカーの位置からユーザ視点位置を特定する方法もあり、その技術をユーザ空間撮像部１２に採用してもよい。
　本実施例によるディスプレイ１１とユーザ空間撮像部１２は図２に例示したようにそれぞれ別個の筐体を有する装置として構成してもよいし、１つの筐体により一体的に構成しても良い。
　ディスプレイ１１とユーザ空間撮像部１２とを別個の装置として構成する場合には、各装置に処理部を設け、上述した処理部１４が持つ機能を各装置の処理部にて分担してもよい。その場合、ディスプレイ１１の装置内の処理部と、ユーザ空間撮像部１２の装置内の処理部とは、有線または無線で通信を行う。
　図３は、実施例１による画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。ディスプレイ１１の画面１１１の前方のユーザ空間は実空間である。画面１１１の後方に定義された仮想空間は、画面１１１による疑似的な窓（以下「疑似窓」ともいう）を通してユーザ９０の頭部のある位置９１から見える画像として画面１１１に表示される。仮想空間上の三次元オブジェクトは三次元データにより定義される。図３の例では、三次元オブジェクトとして６本の木が横に並んで配置されている。なお、ここでは、図３上では説明のために画面１１１の後方に仮想空間を定義しているが、画面１１１の前方に仮想空間を定義してもよいし、画面１１１の前方および後方を含む空間を仮想空間として定義してもよい。これにより、仮想空間の三次元オブジェクトが画面１１１による仮想的な窓の向こうにあるように見える画像だけでなく、仮想空間の三次元オブジェクトが画面１１１から手前に突き出して見える画像をも画面１１１に表示することができる。
　ユーザ９０が画面１１１の近傍正面の位置９１Ａにいるとき、画面１１１による疑似窓から見える仮想空間の視野９２Ａは広く、６本の木が全て視野９２Ａに入っているように画面１１１に表示される（表示９３Ａ）。ユーザ９０が位置９１Ａからｚ方向に移動し、画面１１１から離れた位置９１Ｂに来ると、画面１１１による疑似窓から見える仮想空間の視野９２Ｂは狭くなり、視野９２Ｂには３本の木の全体とその両側の木の一部が入るのみのように表示される（表示９３Ｂ）。また、ユーザ９０が位置９１Ａから－ｘ（マイナスｘ）方向に移動し、位置９１Ｃにくると、画面１１１による疑似窓から見える仮想空間の視野９２Ｃはｘ方向に変化する。視野９２Ｃには右端の３本の木が入るのみである。加えて視野９２Ｃでは画面１１１に対して正面ではなく斜め方向から画面を見ているが、疑似窓から見える木の横方向の太さは正面から見たときと同じ太さになっている必要がある（表示９３Ｃ’）。このために画面１１１に木を表示させる際にはユーザからは９３Ｃ’のように見えるように適切に伸縮処理を行った画像を表示させる（表示９３Ｃ）。このように、ユーザ９０にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理として、本実施形態では、ディスプレイ１１の画面１１１に表示する画像を生成するとき、三次元データに定義された仮想空間における三次元オブジェクトをディスプレイ１１の画面１１１、すなわち二次元の面に投影させるような処理（射影変換）を行う。他の方法として、基準座標空間において三次元データの各点をその各点とユーザ視点位置とを結ぶ直線が画面１１１と交わる点に投影してもよい。また、ディスプレイ１１の画面１１１に表示する画像を生成する他の処理方法として、経験則に従った特定の行列や数値の四則演算処理を、画像や画像がもつ三次元パラメータに対して行うことにしてもよい。
　ユーザ空間撮像部１２の画角は１１０°以上であることが好ましい。本実施例では一例としてユーザ空間撮像部１２の画角が１１０°であるものとする。以下、ユーザ空間撮像部１２の画角が１１０°以上が好ましいことの意義について説明する。
　図４は、実施例１による画像表示システムにおけるユーザ空間撮像部の画角について説明するための図である。図４は、部屋の中の画像表示システム１０のディスプレイ１１とユーザ９０を上から見た図である。説明を容易にするために図４にはユーザ空間撮像部１２が１つ示されている。
　ここでは、横幅６０ｃｍのディスプレイ１１による疑似窓のある個室でユーザ９０が仕事や勉強などの作業をしているという状況が想定される。ユーザ９０は壁の近くで壁と平行な方向を向いている。６０ｃｍというディスプレイ１１の横幅は仕事や勉強をするための机の奥行や家庭で用いられる一般的な収納家具の幅と馴染みやすいサイズであり、疑似窓の横幅として１つの好適なサイズである。また、据え置き型の仮想体験装置としての用途を想定した際に、ユーザを取り囲むようにディスプレイを配置する状況が想定されるが、このときのユーザとユーザのすぐ隣に配置されるディスプレイとの相対位置関係としても図４のようになることが想定される。例えば、３つのディスプレイをユーザの前方と右側と左側にコの字に並べて配置する状況では、ユーザと右側および左側のディスプレイとの相対関係は図４のようになることが想定される。
　ディスプレイ１１の正面（ディスプレイ１１の前方におけるディスプレイ１１の横幅の範囲内）にユーザ９０の頭部がある場合、ユーザ９０は画面１１１と平行に向いていてもディスプレイ１１による疑似窓を明確に意識するので、ディスプレイ１１の画像はユーザ９０の視点の位置から見える仮想空間の自然な画像となっていることが好ましい。
　図４を参照すると、ディスプレイ１１の端部と一致する位置にユーザ９０の体があり、ユーザ９０はディスプレイ１１と平行な方向を向いている。この状態でも画像表示システム１０はユーザ９０のユーザ視点位置を検出できることが求められる。
　人間の肩幅を４０ｃｍとし、ユーザ空間撮像部１２がディスプレイ１１の幅方向の中央に配置したとし、かつユーザがこの位置から座面を後ろずらすなどしてユーザ視点位置が後ろ方向に移動したとしても検出できるようにするためには、図４に示すように、ユーザ空間撮像部１２は画角が１１０°以上であればよいことになる。
　以上説明したように、本実施例によれば、１１０°以上の画角で画面１１１の前方のユーザ空間を撮像し、得られたユーザ空間画像からユーザ視点位置を算出するので、ユーザ空間の広い範囲でユーザ視点位置を認識し、広い測定範囲のユーザから見える疑似的な窓上の画像を表示することができる。
　また、本実施例によれば、画面１１１の横幅が机の奥行や収納家具の幅と馴染みやすい６０ｃｍまでのディスプレイ１１を用いた場合、１１０°以上の画角があれば、人間の一般的な肩幅４０ｃｍを考慮した場合にユーザ９０の頭が存在しうる範囲内でユーザ視点位置を検出することができる。これにより、ディスプレイ１１で６０ｃｍ程度までの窓を良好に疑似することができる。
　また、本実施例によれば、画面１１１とユーザ空間撮像部１２を同一の基準座標空間上に配置してその基準座標空間上でユーザ視点位置と表示画像を算出するので、ユーザ空間撮像部１２とディスプレイ１１の相対的な位置または姿勢あるいはその両方が異なるシステムに容易に共通設計を適用できる。例えば、ユーザ空間撮像部１２とディスプレイ１１が別個の装置であり、それぞれを配置する位置を自由に選択できるタイプのシステムだけでなく、ユーザ空間撮像部１２とディスプレイ１１が一体的に構成され相対的な位置および姿勢が固定されているシステムについても、画面サイズや形状が異なる複数のタイプがあれば、ユーザ空間撮像部１２とディスプレイ１１の相対的な位置や姿勢はタイプ毎に異なる。それら異なるタイプに共通設計を適用することができる。
　また、同じ部屋に複数のディスプレイ１１を用いる場合にそれらのディスプレイ１１をどのような位置および角度に設置しても、複数のディスプレイ１１の画面１１１を同一の基準座標空間上に配置してその基準座標空間上で画面１１１への表示画像を共通の演算方法で算出することができる。また、同じ部屋の複数のディスプレイ１１の画像を高い精度で連続させることができる。このことは、ホテル、住宅、オフィス等の室内景観の向上において高い視覚効果を発揮する。
　本実施例では、ユーザ空間撮像部１２の画角が１１０°以上であり、画面１１１の幅が６０ｃｍ以下であり、ユーザ空間撮像部１２の撮像方向を画面１１１に垂直に向けている。しかし、ユーザ空間撮像部１２の画角が１１０°以上あれば、他の条件のシステムでも良好にユーザ視点位置を検知できるようにすることができる。例えば、画角１１０°以上あれば、画面の幅が１００ｃｍ程度まで十分に実用可能なものとなる。また、ディスプレイ１１に対するユーザ空間撮像部１２の相対位置、ディスプレイ１１やユーザ空間撮像部１２の想定される設置場所などを考慮して、ユーザ空間撮像部１２の撮像方向を画面１１１に対して垂直な方向から上下左右に適切にずらした方向に設定することで、より良い結果を得ることも可能である。つまり、ユーザ空間のより広い範囲でユーザ視点位置を検出可能にできる。
　また、本実施例では、処理部１４は、時系列のユーザ空間画像からユーザ９０が行った所定のジェスチャを検出し、ジェスチャに対応する所定の処理を実行する。ユーザ空間撮像部１２が広い画角でユーザ空間画像を取得し、処理部１４がユーザ空間画像から所定のジェスチャを検出し、そのジェスチャに対応する所定の処理を実行するので、実用範囲にいるユーザ９０によるジェスチャ操作で操作用のリモートコントローラがなくても所望の操作を行うことができる。
　以下、画像表示システム１０の動作について詳しく説明する。
　図５は、実施例１において記憶部に記録されるデータを示す図である。図５を参照すると、記憶部１３には、画面位置データ２１、画面姿勢データ２２、画面形状データ２３、撮像位置データ２４、撮像姿勢データ２５、三次元データ２６、ユーザ視点位置データ２７、および表示画像データ２８が記録されている。上述した画面配置データはここでいう画面位置データ２１と画面姿勢データ２２と画面形状データ２３を含むものである。上述した撮像部配置データはここでいう撮像位置データ２４と撮像姿勢データ２５を含むものである。
　画面位置データ２１は、画面１１１の位置（ｘｍ，ｙｍ，ｚｍ）を表すデータである。画面１１１の位置（ｘｍ，ｙｍ，ｚｍ）はディスプレイ１１の設置時に確定し、設定されてもよいし、ディスプレイ１１が設置後に自由に移動し記憶部１３に記録される位置情報の数値が移動に応じて常に更新される形にしてもよい。複数のディスプレイ１１を用いる場合には、それぞれの位置（ｘｍ，ｙｍ，ｚｍ）が設定される。
　画面姿勢データ２２は、画面１１１の姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）を表すデータである。画面１１１の姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）はディスプレイ１１の設置時に確定し、設定してもよいし、ディスプレイ１１の設置条件とともに設計時あるいは出荷時に予め固定値として設定しておいてもよい。例えば、ディスプレイ１１を水平にして壁面に固定するという設置条件にし、その設置条件に従って設置したときの姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）を予め設定しておいてもよい。また、ディスプレイ１１が設置後に自由に回転し記憶部１３に記録される姿勢情報の数値が回転に応じて常に更新される形にしてもよい。複数のディスプレイ１１を用いる場合にはそれぞれの姿勢（Ｙａｗｍ，Ｐｉｔｃｈｍ，Ｒｏｌｌｍ）が設定される。
　画面形状データ２３は、画面１１１の形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）を表すデータである。画面１１１の形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）は、設計時あるいは出荷時に予めディスプレイ１１の固定値を設定しておいてもよいし、ディスプレイ１１が設置後に自由に変形し記憶部１３に記録される形状情報の数値が変形に応じて常に更新される形にしてもよい。複数のディスプレイ１１を用いる場合には、それぞれの形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）が設定される。なお、画面１１１の形状としては長方形を想定し、Ｈｅｉｇｈｔｍは高さ方向の長さ、Ｗｉｄｔｈｍは幅方向の長さの数値であるが、画面１１１の形状は長方形に限定されない。例えば画面１１１を二等辺三角形として、その形状を下底の長さと高さとで表現してもよい。また、画面１１１を台形として、その形状を上底と下底と高さで表現してもよい。また、画面１１１として曲面の画面を用いることも可能である。長方形の平面が特定の曲率で曲がっている形状の画面であれば、その形状を長方形の高さおよび幅と曲率もしくは半径とで表現することができる。同様に、球、長球、扁球、回転体など様々な形状の画面をそれぞれの形状を特徴づけるパラメータで表現してもよい。ここに例示したものを含むどのような画面であってもその形状を基準座標空間上に定義し、表示する画像を算出することができる。
　撮像位置データ２４は、上述したユーザ空間撮像部１２－１、１２－２のそれぞれの位置（ｘｓ，ｙｓ，ｚｓ）を表すデータである。撮像位置データ２３の位置（ｘｓ，ｙｓ，ｚｓ）はユーザ空間撮像部１２の設置時に確定し、設定される。
　撮像姿勢データ２５は、上述したユーザ空間撮像部１２－１、１２－２の姿勢（Ｙａｗｓ，Ｐｉｔｃｈｓ，Ｒｏｌｌｓ）を表すデータである。撮像姿勢データ２４の姿勢（Ｙａｗｓ，Ｐｉｔｃｈｓ，Ｒｏｌｌｓ）はユーザ空間撮像部１２の設置時に確定し、設定されてもよいし、ユーザ空間撮像部１２の設置条件とともに定め予め固定値として設定しておいてもよい。
　三次元データ２６は、ディスプレイ１１に表示する画像を生成する元になる三次元データであり、図３に例示したような仮想空間にある三次元オブジェクトを表現する三次元データである。ここでいう三次元データは、三次元空間上の三次元オブジェクトを表現するデータであればよく、特に具体的手法は限定されない。コンピュータグラフィックにより作成された立体情報を持つデータとしてもよいし、厚みのない平面の三次元オブジェクトに実写の静止画像や動画像が貼り付けられたデータであってもよい。視野が１８０°もしくはそれに近い広視野角のレンズを用いたカメラまたは３６０°撮影カメラ等を用いて撮影された静止画像もしくは動画像が厚みの無い球面のオブジェクトの表面に貼り付けられたデータであってもよい。
　ユーザ視点位置データ２７は、上述したユーザ視点位置を表すデータである。ユーザ視点位置は、処理部１４により繰り返し更新されるので、ユーザ視点位置データ２７もその度に更新される。例えば、ディスプレイ１１のフレームレートを３０ｆｐｓとし、それと同じ周期でユーザ視点位置を更新することとすれば、ユーザ視点位置データ２７は１秒間に３０回更新されることになる。ユーザ視点位置データ２７には、時系列のユーザ視点位置のデータが蓄積される。
　表示画像データ２８は、上述した、ユーザ視点位置から画面１１１による疑似窓の向こうの空間に三次元オブジェクトがあるように見えるように三次元データを投影した画像のデータであり、画面１１１に表示される画像のデータである。ディスプレイ１１が複数ある場合には、それぞれのディスプレイ１１の画面１１１に表示するデータが表示画像データ２７として記録される。画面１１１に表示される画像のデータは、処理部１４により繰り返し更新されるので、表示画像データ２８もその度に更新される。例えば、ディスプレイ１１のフレームレートを３０ｆｐｓとすれば、表示画像データ２８は１秒間に３０回更新されることになる。
　図６は、実施例１による画像表示システムの全体処理のフローチャートである。図６の各処理は処理部１４により実行される。処理部１４が図６の処理を周期的に繰り返すことにより、ディスプレイ１１に表示される画像が時間経過とともに変化し、ユーザ９０に動画として認識される。例えば、ディスプレイ１１に表示する画像のフレームレートが３０ｆｐｓだとすると、処理部１４は図６に示す処理を１秒間に３０回繰り返すことになる。
　図６を参照すると、処理部１４は、まず、視点位置算出処理を実行する（ステップＳ１０１）。視点位置算出処理は、上述したユーザ視点位置を算出し、ユーザ視点位置データ２６として記憶部１３に記録する処理である。視点位置算出処理の詳細は図７を用いて後述する。
　次に、処理部１４は、画像生成処理を実行する（ステップＳ１０２）。画像生成処理は、記憶部１３に記録されたユーザ視点位置データ２６が示すユーザ視点位置から画面１１１を通して見える三次元オブジェクトの画像を生成し、そのデータを記憶部１３に記録する処理である。ディスプレイ１１が複数ある場合には、処理部１４は、それぞれのディスプレイ１１の画面１１１に表示する画像を生成し、それらのデータを表示画像データ２７に記録する。
　次に、処理部１４は画像表示処理を実行する（ステップＳ１０３）。画像表示処理は、記憶部１３に記録された表示画像データ２７に基づいて、画面１１１を通して見える三次元オブジェクトの画像をディスプレイ１１に表示させる処理である。ディスプレイ１１が複数ある場合には、処理部１４は、それぞれのディスプレイ１１の画面１１１を通して見える三次元オブジェクトの画像のデータをそれぞれのディスプレイ１１に表示させる。
　例えば、図２に示したように、ディスプレイ１１と、ユーザ空間撮像部１２－１、１２－２を有するステレオセンサと、を別個の装置として構成する場合、ステップＳ１０１はステレオセンサの処理部が分担し、ステップＳ１０２、Ｓ１０３はディスプレイ１１を構成する装置の処理部が分担してもよい。
　本実施例による処理部１４は、三次元データ２５に射影変換を適用することにより、ユーザ視点位置から画面１１１を通して見える三次元オブジェクトの表示画像を生成することにしてもよい。射影変換により、三次元データ２５の三次元オブジェクトを画面に対してユーザ視点位置を考慮して数学的に投影するので、ユーザ９０が画面１１１を斜め方向から見たときにも三次元オブジェクトが確からしい自然な画像として表示される。
　また、処理部１４は、ユーザ空間撮像部１２により得られた現在までの時系列のユーザ空間画像、もしくは、ユーザ視点位置、もしくはその両方に基づいて、ユーザ視点位置に含まれるノイズを除去する処理を行うことにしてもよい。撮影した最も直近のユーザ空間画像をそのままで画像処理した結果を用いてユーザ視点位置を算出し、そのユーザ視点位置から見える三次元オブジェクトの画像を生成すると、その時点のみに発生した様々なノイズ要素により、ユーザ視点位置が突如大きくずれた位置と算出され、結果としてコマ毎に表示画像がぶれる可能性がある。本構成によれば、過去のユーザ空間画像やユーザ視点位置に基づいてユーザ視点位置のノイズを除去してから、現在のユーザ視点位置を確定するので、表示画像のぶれを抑制することができる。ノイズを除去する方法としては、過去のユーザ空間画像のデータに基づいてノイズ判定を行い、判定結果に基づいて現在の空間画像のノイズ除去を行う方法がある。また、過去のユーザ視点位置のデータと現在のユーザ視点位置のデータに基づいてカルマンフィルタを用いて現在のユーザ視点位置を更新（あるいは修正）するという方法がある。
　図７は、実施例１による画像表示システムによる視点位置算出処理のフローチャートである。
　図７を参照すると、処理部１４はまず画像中の特徴量探索を実行する（ステップＳ２０１）。特徴量探索は、ユーザ空間撮像部１２－１もしくは１２－２のいずれかの画像内から人間（ユーザ９０）の頭部を検出する。画像から人間の頭部を検出する処理は例えば顔認識技術を用いることで可能である。このときＨａａｒ－ｌｉｋｅ特徴による明暗差をもとにした顔パターンを認識する方法を用いてもよい。また、深層学習や機械学習により訓練された画像からユーザを直接認識する学習器（学習済み人工知能プログラム）を用いて顔位置の認識、もしくは、体骨格から直接頭の中心位置を認識する方法でもよい。
　次に、処理部１４は画像マッチング処理を実行する（ステップＳ２０２）。画像マッチング処理は、ユーザ空間撮像部１２－１、１２－２による画像同士を比較し、ステップＳ２０１にて片方の画像において探索されたユーザ９０と認識された特徴部位と同じ物が写っている他方の画像中の箇所を特定する処理である。
　次に、処理部１４は両画像中の特徴部位のピクセル座標を特定する（ステップ２０３）。ここでは処理部１４は、ユーザ空間撮像部１２－１で撮影した画像中の特徴部位と、ユーザ空間撮像部１２－２で撮影した画像中の特徴部位それぞれにおいて、画像中のピクセル座標を取得する。
　次に、処理部１４は、画像マッチング処理の結果に基づいて、各ピクセルと三次元座標とを対応づける（ステップＳ２０４）。ステップＳ２０３の処理により２つの画像において同じ物が写っている箇所のピクセル座標が特定されれば、三角測量の原理を用いてその箇所の三次元座標を特定することができる。
　特定された箇所がユーザ９０の頭部であればその三次元座標を、ユーザ視点位置として特定することになる。このとき処理部１４は、例えば、頭の中心部の位置を頭部位置（ｘｈ，ｙｈ，ｚｈ）としてもよい。その場合、画像から頭部の半径を推定し、頭部の中央の表面から奥行方向に半径分だけ入った位置の三次元座標が頭部位置となる。具体的には、頭部の中央の表面の三次元座標のｚ値に対して半径分を加算すればよい。
　また、他の例として、処理部１４は、画像における頭部の中央の表面の位置を頭部位置（ｘｈ，ｙｈ，ｚｈ）としてもよい。その場合、頭部の中央が表示されたピクセルに対応する三次元座標がそのまま頭部位置となる。
　また、ユーザ視点位置を特定する方法の他の例として、処理部１４は、画像における人物らしき特徴を有する領域を検出し、ユーザ空間撮像部１２－１、１２－２からその特徴領域までの距離を得た後、その特徴領域の水平方向における中心位置をＸＶ、垂直方向における特徴領域の頂点から１０ｃｍほど下の位置をＹＶとして、ピクセル座標（ＸＶ、ＹＶ）と特徴領域までの距離をもとに、ユーザ視点位置を簡易推定するという方法をとってもよい。これは頭頂部の１０ｃｍ下を視点位置と推定するものである。
　なお、必ずしも２つのユーザ空間撮像部１２－１、１２－２によるユーザ空間画像の両方にユーザ９０の頭部が写っているとは限らない。ユーザ空間撮像部１２－１とユーザ空間撮像部１２－２の位置の違いや、障害物の影響などで、２つのユーザ空間撮像部１２－１、１２－２によるユーザ空間画像のうち１つにしかユーザ９０の頭部が写っていないこともあり得る。その場合にはユーザ視点位置を推定することにしてもよい。これにより、広い範囲でユーザ視点位置を特定し、画像の生成に用いることができる。
　例えば、処理部１４は、ユーザ空間撮像部１２－１、１２－２で取得された画像のデータとその画像から算出したユーザ視点位置の情報との少なくとも一方を記録し、複数のユーザ空間撮像部１２による画像にユーザ視点位置に関する所定のユーザ部位（ここでは頭部）が写っている場合は複数の画像の視差に基づいてユーザ視点位置を算出し、１つのユーザ空間撮像部１２による画像のみにユーザ部位が写っている場合はその１つの画像と過去の画像のデータまたは過去のユーザ視点位置とに基づいてユーザ視点位置を推定することにしてもよい。
　また、本実施例では、処理部１４はユーザ９０が激しく動いた場合や、部屋の明るさ等の影響で特徴量を検出できず、ユーザ空間撮像部１２－１、１２－２で撮像された画像からユーザ９０のユーザ視点位置を一時的に算出できない状態となる場合がありえる。その場合には、処理部１４は、記憶部１３にユーザ視点位置データ２７として蓄積された過去の時系列のユーザ視点位置に基づいて、現在のユーザ視点位置を推定することにしてもよい。具体的には、過去のユーザ視点位置の履歴から、ユーザ９０の移動速度および移動加速度とそれらの方向を示す三次元ベクトルのデータを記録し、それらのデータから現在のユーザ視点位置を推定することにしてもよい。例えば、移動方向の前方に障害物がなければ、算出できた最新の移動速度から、算出できた最新の移動加速度で速度変化し、算出できた最新のユーザ視点位置から現在までに移動した位置を現在のユーザ視点位置としてもよい。
　また、本実施例では、処理部１４は、ユーザ視点位置を補正し、補正後のユーザ視点位置から画面１１１を通して見える三次元オブジェクトの画像を生成することにしてもよい。ユーザ視点位置の精度を向上させることができる。例えば、ユーザ空間撮像部１２－１、１２－２を有する複数のステレオセンサを設け、それらのステレオセンサにより取得される複数のユーザ視点位置から最小二乗基準に基づきユーザ視点位置を推定することにしてもよい。また、２つのユーザ空間撮像部１２－１、１２－２を有するステレオセンサと、他のセンサーとして例示した赤外線を用いたセンサーやマーカーによりユーザ位置を測定するセンサーなどから、２つ以上の任意の組み合わせにより得た２つ以上のユーザ視点位置から最小二乗基準に基づきユーザ視点位置を推定することにしてもよい。
　また、本実施例では、ユーザ９０はジェスチャによって画像表示システム１０を操作することができる。図８は、実施例１による画像表示システムのジェスチャ操作処理のフローチャ－トである。
　処理部１４は、時系列に更新されるユーザ空間画像に基づき所定の起動ジェスチャが行われるのを監視する（ステップＳ３０１）。起動ジェスチャは、画像表示システム１０に対して指示を行うための事前のジェスチャである。具体的なジェスチャは特に限定されないが例えば頭に手を当てるといったジェスチャである。起動ジェスチャが検出されない間は、所定の処理を指示する指示ジェスチャが行われても、画像表示システム１０はその処理を実行しない。
　起動ジェスチャを検知すると、処理部１４は次にタイマを起動する（ステップＳ３０２）。このタイマは起動ジェスチャにより指示ジェスチャを有効とする時間を計測するタイマである。起動ジェスチャが検知されたときに、処理部１４は、ディスプレイ１１の画面１１１に所定の指示受付表示を行うことで、起動ジェスチャが検知されたことをユーザ９０に提示してもよい。また、処理部１４は、起動ジェスチャが検知されるかタイマがタイムアウトするまで指示受付表示を継続してディスプレイ１１に表示させておくことにしてもよい。
　次に、処理部１４は、時系列に更新されるユーザ空間画像に基づき指示ジェスチャが行われるのを監視する（ステップＳ３０３）。指示ジェスチャは上述のように所定の処理を指示するためのジェスチャである。ジェスチャにより指示できる処理は複数種類あってもよい。その場合、処理毎に異なる指示ジェスチャを定めておけばよい。
　指示ジェスチャが検知されない間は（ステップＳ３０３のＮＯ）、処理部１４は、タイマのタイムアウトの有無を監視し（ステップＳ３０５）、タイマがタイムアウトするまで指示ジェスチャを監視する。
　指示ジェスチャが検知される前にタイマがタイムアウトしたら（ステップＳ３０５のＹＥＳ）、処理部１４は、ステップＳ３０１に戻って起動ジェスチャを監視する。
　タイマがタイムアウトする前に指示ジェスチャが検知されると（ステップＳ３０３のＹＥＳ）、処理部１４は、指示ジェスチャに対応する処理を実行する（ステップＳ３０４）。
　以上のように、処理部１４は、時系列のユーザ空間画像から所定の起動ジェスチャを検出した後に所定の指示ジェスチャを検出すると、指示ジェスチャに対応する所定の処理を実行する。２段階のジェスチャがあったときに処理が実行されるようになっているので、ユーザ９０の意図しない処理が誤って実行されるのを抑制することができる。
　なお、本実施例では２段階のジェスチャを採用する例を示したが、これに限定されるものではない。他の例として１段階のジェスチャにより画像表示システム１０を操作できるようにしてもよい。その場合でも普段の動作では行うことの少ないジェスチャを用いれば誤動作を抑制することができる。また、２段階以上の事前のジェスチャが検知された後に所定の指示ジェスチャが検知されたらその指示ジェスチャに対応する処理の処理を実行することにしてもよい。
　また、本実施例では画像表示システム１０が１つのディスプレイ１１を有する例を示したが、これに限定されることはない。他の例として、画像表示システム１０は、複数のディスプレイ１１を有していてもよい。その場合、例えば、記憶部１３は、複数のディスプレイ１１のそれぞれの画面１１１の基準座標空間における位置、姿勢および形状を示す画面配置データを保持する。また、処理部１４は、複数のディスプレイ１１のそれぞれについて、ディスプレイ１１の画面配置データ（画面位置データ２１および画面姿勢データ２２）と三次元データ２５に基づいて三次元オブジェクトの表示画像を生成し、それぞれの表示画像をディスプレイ１１の画面１１１に表示させる。全てのディスプレイ１１の画面１１１の位置および姿勢を同じ基準座標空間に配置して演算を行うので、複数のディスプレイ１１をどのような位置および姿勢に設置しても全てのディスプレイ１１に表示する画像を共通の演算方法で算出できる。また、全てのディスプレイ１１の画面１１１の位置および姿勢を同じ基準座標空間に配置して演算を行うので、複数のディスプレイ１１の画像を高い精度で整合させ、連続させることができる。このことは、例えば、ホテル、住宅、オフィス等の室内景観の向上において高い視覚効果を発揮する。
　また、本実施例による画像表示システム１０は様々な付加機能を備えていてもよい。
　例えば、画像表示システム１０は、インタネット等の通信ネットワークと接続する通信装置を備えていてもよい。画像表示システム１０は通信装置を介して情報をＷｅｂサーバに送信したり、Ｗｅｂサーバから情報を受信したりしてもよい。情報の送信や受信を行う操作を上述したジェスチャによってできるようにしてもよい。
　また、画像表示システム１０はパーソナルコンピュータと接続し、パーソナルコンオピュータ（ＰＣ）の画像を表示するモニタとして利用可能であってもよい。接続インタフェース部は例えばＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）（ＨＤＭＩは登録商標）やＶＧＡ（Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ）である。疑似窓とＰＣ用モニタのモード切替などの操作を上述したジェスチャによってできるようにしてもよい。
　実施例１では仮想的な三次元オブジェクトの画像を表示する画像表示システム１０を例示したが、これに限定されることはない。他の例として、現実空間の画像をディスプレイ１１に表示することも可能である。実施例２では現実空間の画像を表示する画像表示システムを例示する。
　図１０は、実施例２による画像表示システムのブロック図である。図１０を参照すると、画像表示システム３０は、画像表示装置３１と画像取得装置３３を有している。画像表示装置３１と画像取得装置３３は通信回線を介して接続される。例えば、画像表示装置３１が通信ネットワークを介して画像取得装置３３が実写画像に基づく三次元データを取得し、表示するものであってもよい。また、画像表示装置３１と画像取得装置３３が有線または無線による通信により接続し、画像取得装置３３で取得される画像に戻づく画像をリアルタイムで画像表示装置３１が表示する物であってもよい。
画像表示装置３１は、実施例１に示した画像表示システム１０と同じものであり、ディスプレイ１１、２つのユーザ空間撮像部１２－１、１２－２、記憶部１３、および処理部１４を有している。画像取得装置３３は、表示空間撮像部３４、処理部３５、および音声取得部３６を有している。
　表示空間撮像部３４は、ディスプレイ１１に表示するための実空間である表示空間の画像を取得する。
　音声取得部３６は、表示空間の音声を取得する。
　処理部３５は、表示空間撮像部３４が取得した画像のデータを利用して三次元データ２５を生成する。そして、処理部３５は、生成した三次元データと、音声取得部３６が取得した音声のデータとを画像表示装置３１に送信する。
　処理部３５が表示空間撮像部３４で取得された実写画像から三次元データ２５を生成する方法は特に限定されない。例えば、取得された平面の実写画像をそのまま、もしくは、所定サイズの複数の画像に分割し、画像を平面のままで三次元空間上に配置することにしてもよい。表示空間撮像部３４として、視野が１８０°もしくはそれに近い広視野角のレンズを用いたカメラまたは３６０°撮影カメラ等を用い、表示空間撮像部３４で撮影された画像を三次元空間上の球面物体の内側表面に張り付けた形で三次元空間上に配置してもよい。また、表示空間撮像部３４にライトフィールド技術を用いたカメラにより、光の入射方向および強度の情報を取得し、それらの情報を用いて画像処理することで、奥行情報も含めた三次元の空間そのものを撮影したデータが得られる。このデータを三次元空間上に配置してもよい。また、実写画像を三次元化して三次元空間に配置することにしてもよい。複数のステレオカメラで奥行情報を有する実写画像を撮像し、その実写画像と奥行情報に基づいて三次元データを作成してもよい。その場合、表示空間撮像部３４は複数の単体撮像部の集合体であり、表示空間を複数の方向から撮像した画像を取得する。
　以上のように本実施例では、画像取得装置３３にて、表示空間撮像部３４が表示対象とする実空間である表示空間を撮像して画像を取得する。処理部３５は、表示空間撮像部３４が取得した画像のデータを利用して三次元データを生成する。そして、画像表示装置３１が、この三次元データを用いて、ユーザ９０の位置から画面１１１を通して、三次元データに表現された三次元空間を見たときの画像をディスプレイ１１に表示する。したがって、ユーザ視点位置から見える画像として実空間の画像をディスプレイ１１に表示することができる。
　また、本実施例では、音声取得部３６が表示空間の音声を取得する。そして、音声出力部３２がユーザ空間にその音声を出力する。したがって、表示空間の画像だけでなく音声も再現することができるので、ユーザ９０は、ディスプレイ１１による疑似窓の向こうに、視覚および聴覚で実空間を感じることが可能となる。
　本実施例による画面表示システム３０の利用方法は特に限定されないが、画像取得装置３３をスタジアム等に配置し実際のスポーツの試合を観戦するための観客席からの視界を画像表示装置３１で疑似的に再現するための用途、画像表示システム３０を通信ネットワークを介して接続し、画像取得装置３３で取得した画像および音声を相互に送受信することにより遠隔地間で画像と音声によるリアルタイムのコミュニケーションを行う用途などが想定される。
　上述した各実施例は、本発明の説明のための例示であり、本発明の範囲をそれらの実施例に限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。
１０…画像表示システム、１１…ディスプレイ、１２…ユーザ空間撮像部、１３…記憶部、１４…処理部、２１…画面位置データ、２２…画面姿勢データ、２３…画面形状データ、２４…撮像位置データ、２５…撮像姿勢データ、２６…三次元データ、２７…ユーザ視点位置データ、２８…表示画像データ、３０…画像表示システム、３１…画像表示装置、３２…音声出力部、３３…画像取得装置、３４…表示空間撮像部、３５…処理部、３６…音声取得部、９０…ユーザ、１１１…画面

Claims (14)

  1. 　画像を表示可能な画面を有するディスプレイと、
    　前記ディスプレイの前記画面に表示される画像を見るユーザが存在しうる前記画面より前方のユーザ空間を撮像し、ユーザ空間画像を取得するユーザ空間撮像部と、
    　所定の基準座標空間における前記画面の位置、姿勢および形状を示す画面配置データと、前記基準座標空間における前記ユーザ空間撮像部の位置および姿勢を示す撮像部配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する記憶部と、
    　前記撮像部配置データと前記ユーザ空間撮像部で取得される前記ユーザ空間画像とに基づいて、前記基準座標空間上のユーザ視点位置を特定し、該ユーザ視点位置と前記画面配置データと前記三次元データに基づいて、前記ユーザ視点位置から前記画面を介して仮想空間上の前記三次元オブジェクトを見たときのような見え方となる前記三次元オブジェクトの表示画像を生成し、該表示画像を前記ディスプレイの前記画面に表示させる処理部と、
    を有する画像表示システム。
  2. 　前記処理部は、前記三次元データに射影変換を適用することにより、前記ユーザ視点位置から前記画面を通して見える前記三次元オブジェクトの表示画像を生成する、
    請求項１に記載の画像表示システム。
  3. 　前記ユーザ空間撮像部は、前記ユーザ空間を１１０°以上の画角で撮像する、請求項１に記載の画像表示システム。
  4. 　前記処理部は、前記基準座標空間上で、前記三次元データの各点を該各点と前記ユーザ視点位置とを結ぶ直線が前記画面と交わる点に投影することにより、前記ユーザ視点位置から前記画面を介して見える前記三次元オブジェクトの表示画像を生成する、
    請求項１に記載の画像表示システム。
  5. 　複数の前記ディスプレイを有し、
    　前記記憶部は、前記複数のディスプレイのそれぞれの画面の前記基準座標空間における位置、姿勢および形状を示す画面配置データを保持し、
    　前記処理部は、前記複数のディスプレイのそれぞれについて、前記ディスプレイの画面配置データと前記三次元データに基づいて前記三次元オブジェクトの表示画像を生成し、該表示画像を前記ディスプレイの前記画面に表示させる、
    請求項１に記載の画像表示システム。
  6. 　複数の前記ユーザ空間撮像部を有し、
    　前記記憶部は、前記複数のユーザ空間撮像部のそれぞれの位置および姿勢を示す撮像部配置データを保持し、
    　前記処理部は、前記撮像部配置データと前記複数のユーザ空間撮像部による前記複数のユーザ空間画像とに基づいて前記ユーザ視点位置を算出する、
    請求項１に記載の画像表示システム。
  7. 　前記処理部は、前記ユーザ空間撮像部で取得された画像のデータと該画像から算出した前記ユーザ視点位置の情報との少なくとも一方を記録し、複数の前記ユーザ空間撮像部による画像に前記ユーザ視点位置に関する所定のユーザ部位が写っている場合は前記複数の画像の視差に基づいて前記ユーザ視点位置を算出し、１つの前記ユーザ空間撮像部による画像のみに前記ユーザ部位が写っている場合は前記１つの画像と過去の画像のデータまたは過去のユーザ視点位置とに基づいて前記ユーザ視点位置を推定する、
    請求項１に記載の画像表示システム。
  8. 　前記処理部は、前記ユーザ空間撮像部で取得された画像のデータと該画像から算出した前記ユーザ視点位置との少なくとも一方を前記記憶部に記録し、前記記憶部に記録されている時系列の前記ユーザ視点位置と前記ユーザ空間撮像部による時系列の画像との少なくとも一方に基づいて、前記ユーザ視点位置を更新する処理を行う、
    請求項１に記載の画像表示システム。
  9. 　前記処理部は、異なる複数の前記ユーザ空間撮像部または異なる複数の組合せの前記ユーザ空間撮像部で撮像される画像に基づいてユーザ視点位置に相当する位置の座標を複数算出し、前記複数の位置の座標から最小二乗法により前記ユーザ視点位置を算出する、
    請求項６に記載の画像表示システム。
  10. 　前記処理部は、前記ユーザ視点位置を前記記憶部に記録し、前記ユーザ空間撮像部で撮像されたユーザ空間画像から現在のユーザ視点位置を特定できないとき、前記記憶部に記録されている時系列の前記ユーザ視点位置に基づき、現在のユーザ視点位置を推定する、請求項１に記載の画像表示システム。
  11. 　前記処理部は、時系列の前記ユーザ空間画像からユーザが行った所定のジェスチャを検出し、前記ジェスチャに対応する所定の処理を実行する、請求項１に記載の画像表示システム。
  12. 　前記処理部は、前記時系列のユーザ空間画像から起動ジェスチャを検出した後に所定の指示ジェスチャを検出すると、前記指示ジェスチャに対応する所定の処理を実行し、前記起動ジェスチャを検出せずに前記指示ジェスチャを検出しても前記処理を実行しない、
    請求項１１に記載の画像表示システム。
  13. 　表示対象とする実空間である表示空間を撮像して画像を取得する表示空間撮像部を更に有し、
    　前記処理部は、前記表示空間撮像部が取得した画像のデータを利用して前記三次元データを生成する、
    請求項１に記載の画像表示システム。
  14. 　前記表示空間の音声を取得する音声取得部と、
    　前記ユーザ空間に前記音声を出力する音声出力部と、を更に有する、
    請求項１３に記載の画像表示システム。
PCT/JP2018/009092 2018-03-08 2018-03-08 画像表示システム WO2019171557A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
PCT/JP2018/009092 WO2019171557A1 (ja) 2018-03-08 2018-03-08 画像表示システム
US16/975,605 US11425350B2 (en) 2018-03-08 2018-03-08 Image display system
JP2020504604A JP7073481B2 (ja) 2018-03-08 2018-03-08 画像表示システム
JP2022078412A JP7423683B2 (ja) 2018-03-08 2022-05-11 画像表示システム
US17/854,405 US11750789B2 (en) 2018-03-08 2022-06-30 Image display system
US18/208,664 US20230328215A1 (en) 2018-03-08 2023-06-12 Image display system
JP2024005462A JP2024054137A (ja) 2018-03-08 2024-01-17 画像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009092 WO2019171557A1 (ja) 2018-03-08 2018-03-08 画像表示システム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/975,605 A-371-Of-International US11425350B2 (en) 2018-03-08 2018-03-08 Image display system
US17/854,405 Continuation US11750789B2 (en) 2018-03-08 2022-06-30 Image display system

Publications (1)

Publication Number Publication Date
WO2019171557A1 true WO2019171557A1 (ja) 2019-09-12

Family

ID=67846986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009092 WO2019171557A1 (ja) 2018-03-08 2018-03-08 画像表示システム

Country Status (3)

Country Link
US (3) US11425350B2 (ja)
JP (3) JP7073481B2 (ja)
WO (1) WO2019171557A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021065825A1 (ja) * 2019-09-30 2021-04-08 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体
WO2022168244A1 (ja) * 2021-02-04 2022-08-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、情報処理装置の制御方法、及びプログラム
WO2023277020A1 (ja) * 2021-07-01 2023-01-05 株式会社バーチャルウインドウ 画像表示システム及び画像表示方法
WO2024095356A1 (ja) * 2022-11-01 2024-05-10 株式会社バーチャルウインドウ グラフィックス生成装置、グラフィックス生成方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11186289B2 (en) * 2018-03-30 2021-11-30 Toyota Jidosha Kabushiki Kaisha Concealment system for improved safe driving
US10997630B2 (en) * 2018-12-20 2021-05-04 Rovi Guides, Inc. Systems and methods for inserting contextual advertisements into a virtual environment
EP4053630A4 (en) * 2019-10-31 2022-12-21 Sony Group Corporation IMAGE DISPLAY DEVICE
CN115934020B (zh) * 2023-01-05 2023-05-30 南方科技大学 一种基于弧形屏幕的裸眼3d显示方法及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254338A (ja) * 2012-06-06 2013-12-19 Nippon Telegr & Teleph Corp <Ntt> 映像生成システム、映像生成装置、映像生成方法及びコンピュータプログラム
JP2015008394A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 情報端末装置
JP2015059999A (ja) * 2013-09-17 2015-03-30 日本電信電話株式会社 映像表示装置及び映像表示プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3292354B2 (ja) 1994-12-13 2002-06-17 横河電機株式会社 ３次元画像表示装置
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2011151676A (ja) * 2010-01-22 2011-08-04 Panasonic Electric Works Co Ltd 映像表示システム
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
JP5439281B2 (ja) * 2010-05-27 2014-03-12 エヌ・ティ・ティ・コムウェア株式会社 ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラム
CN103026388A (zh) * 2011-04-28 2013-04-03 松下电器产业株式会社 图像生成装置
JP5833526B2 (ja) * 2012-10-19 2015-12-16 日本電信電話株式会社 映像コミュニケーションシステム及び映像コミュニケーション方法
KR20170081272A (ko) * 2014-12-18 2017-07-11 페이스북, 인크. 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254338A (ja) * 2012-06-06 2013-12-19 Nippon Telegr & Teleph Corp <Ntt> 映像生成システム、映像生成装置、映像生成方法及びコンピュータプログラム
JP2015008394A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 情報端末装置
JP2015059999A (ja) * 2013-09-17 2015-03-30 日本電信電話株式会社 映像表示装置及び映像表示プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021065825A1 (ja) * 2019-09-30 2021-04-08 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体
JPWO2021065825A1 (ja) * 2019-09-30 2021-04-08
JPWO2021065826A1 (ja) * 2019-09-30 2021-04-08
WO2021065826A1 (ja) * 2019-09-30 2021-04-08 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体
JP7325521B2 (ja) 2019-09-30 2023-08-14 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体
JP7325520B2 (ja) 2019-09-30 2023-08-14 京セラ株式会社 ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、および移動体
WO2022168244A1 (ja) * 2021-02-04 2022-08-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、情報処理装置の制御方法、及びプログラム
WO2023277020A1 (ja) * 2021-07-01 2023-01-05 株式会社バーチャルウインドウ 画像表示システム及び画像表示方法
WO2024095356A1 (ja) * 2022-11-01 2024-05-10 株式会社バーチャルウインドウ グラフィックス生成装置、グラフィックス生成方法及びプログラム

Also Published As

Publication number Publication date
US11425350B2 (en) 2022-08-23
JP2022122876A (ja) 2022-08-23
US20220337801A1 (en) 2022-10-20
JP7423683B2 (ja) 2024-01-29
US20230328215A1 (en) 2023-10-12
JPWO2019171557A1 (ja) 2021-02-04
US11750789B2 (en) 2023-09-05
JP2024054137A (ja) 2024-04-16
US20200413021A1 (en) 2020-12-31
JP7073481B2 (ja) 2022-05-23

Similar Documents

Publication Publication Date Title
JP7423683B2 (ja) 画像表示システム
JP6860488B2 (ja) 複合現実システム
JP6933727B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20180046874A1 (en) System and method for marker based tracking
WO2018214697A1 (zh) 图形处理方法、处理器和虚拟现实系统
JP2016522463A5 (ja)
JP6558839B2 (ja) 媒介現実
WO2017020766A1 (zh) 场景提取方法、物体定位方法及其系统
US20190371072A1 (en) Static occluder
Jia et al. 3D image reconstruction and human body tracking using stereo vision and Kinect technology
WO2018113759A1 (zh) 基于定位系统和ar/mr的探测系统及探测方法
US11156830B2 (en) Co-located pose estimation in a shared artificial reality environment
JP2023126474A (ja) 拡張現実のためのシステムおよび方法
US20130201099A1 (en) Method and system for providing a modified display image augmented for various viewing angles
US11302023B2 (en) Planar surface detection
EP4134917A1 (en) Imaging systems and methods for facilitating local lighting
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
KR20200117685A (ko) 가상 객체 인식 방법, 상기 가상 객체를 이용한 증강 현실 콘텐츠 제공 방법 및 이를 위한 증강 방송 시스템
WO2018173205A1 (ja) 情報処理システム、その制御方法、及びプログラム
WO2023277020A1 (ja) 画像表示システム及び画像表示方法
KR20210042476A (ko) 프로젝션 기술을 이용한 증강현실 제공방법 및 시스템
US10964056B1 (en) Dense-based object tracking using multiple reference images
US20240078767A1 (en) Information processing apparatus and information processing method
Nakamura et al. A Mutual Motion Capture System for Face-to-face Collaboration.
CN115552468A (zh) 用于计算3d环境的合成表示的计算高效方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18908502

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020504604

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18908502

Country of ref document: EP

Kind code of ref document: A1