WO2022185536A1 - 映像処理装置、映像処理方法、および映像処理プログラム - Google Patents

映像処理装置、映像処理方法、および映像処理プログラム Download PDF

Info

Publication number
WO2022185536A1
WO2022185536A1 PCT/JP2021/008736 JP2021008736W WO2022185536A1 WO 2022185536 A1 WO2022185536 A1 WO 2022185536A1 JP 2021008736 W JP2021008736 W JP 2021008736W WO 2022185536 A1 WO2022185536 A1 WO 2022185536A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
aerial image
video processing
visual object
background image
Prior art date
Application number
PCT/JP2021/008736
Other languages
English (en)
French (fr)
Inventor
建 井阪
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/008736 priority Critical patent/WO2022185536A1/ja
Priority to JP2023503325A priority patent/JPWO2022185536A1/ja
Priority to US18/279,488 priority patent/US20240146893A1/en
Publication of WO2022185536A1 publication Critical patent/WO2022185536A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images

Definitions

  • the present invention relates to a video processing device, a video processing method, and a video processing program.
  • Patent Literature 1 and Non-Patent Literature 1 there is known a technique for displaying an aerial image by refracting or reflecting an image on a display device using an optical element such as a half mirror or a transparent plate.
  • the aerial image is a 2D image, it is displayed on a virtual image plane in a space away from the physical device. It is characterized by less This feature can be used to conveniently provide the perception of spatial orientation that a visual object exists at a certain position in real space.
  • the present invention has been made in view of the situation described above, and an object of the present invention is to express shaking in a visual object on an uneven surface, but not to express shaking in a visual object on a flat surface.
  • one aspect of the present invention is a video processing device that expresses shaking in a visual object on a display surface of a flat display device, wherein a first texture with a change in gradation is set on the visual object.
  • a setting unit for setting a second texture with varying gradation representing an uneven surface to a part of a background image showing a floor surface that appears to be grounded by the visual object;
  • An output unit for outputting to the flat display device, and a control unit for moving the background image, wherein a contrast change occurs in the vicinity of the visual object when the visual object moves on the uneven surface of the background image. expresses the shaking of the visual object.
  • One aspect of the present invention is a video processing method performed by a video processing device that expresses shaking in a visual object on a display surface of a flat display device, wherein a first texture having a gradation change is set on the visual object.
  • the fluctuation of the visual object is represented by contrast changes that occur in the vicinity of the object.
  • One aspect of the present invention is a video processing program that causes a computer to function as the video processing device.
  • the present invention it is possible to express the shaking of the visual object on the uneven surface, and not to express the shaking of the visual object on the flat surface.
  • FIG. 1 is a diagram for explaining changes in the positional relationship between an aerial image and a background image due to a change in viewpoint.
  • FIG. 2A is a front view of an aerial image expressed on the floor.
  • FIG. 2B is a view of the aerial image expressed on the floor from the right.
  • FIG. 3 is a configuration diagram showing the configuration of the display system of this embodiment.
  • FIG. 4 is a diagram showing an example in which a car moves on a floor surface including an uneven surface and a flat surface.
  • FIG. 5 is a diagram showing an example in which a car moves on a floor surface including an uneven surface and a flat surface.
  • FIG. 6 is a diagram showing an example of a yacht moving on the surface of the sea.
  • FIG. 7 is a configuration diagram showing the configuration of the video processing device.
  • FIG. 4 is a diagram showing an example in which a car moves on a floor surface including an uneven surface and a flat surface.
  • FIG. 5 is a diagram showing an example in which a car
  • FIG. 8A is a diagram showing a display example of an aerial image displayed on a virtual image plane and a background image projected on a screen.
  • FIG. 8B is a diagram showing a display example in which the background image in FIG. 8A is moved.
  • FIG. 9A is a diagram showing an aerial image and a background image seen by an observer in the state of FIG. 8A.
  • FIG. 9B is a diagram showing an aerial image and a background image seen by the observer in the state of FIG. 8B.
  • FIG. 10 is a flow chart showing the processing flow of the video processing device.
  • FIG. 11 is a diagram showing an application example of digital signage. It is a hardware configuration example.
  • FIG. 1 is an explanatory diagram illustrating changes in the positional relationship between an aerial image and a background image by changing the viewpoint.
  • an aerial image is displayed using an optical element 24 such as a half mirror.
  • An aerial image A output from the aerial image output device 23 is displayed on the virtual image plane 30 by the optical element 24 .
  • the aerial image (visual object) A displayed on the virtual image plane 30 is referred to as an aerial image A1
  • the aerial image A perceived by the observer is referred to as an aerial image A2.
  • the observer When the observer observes the aerial image A2, the observer sees that the tire of the car is at the intersection N between the straight line L connecting the observer's viewpoint and the tire of the aerial image A1 on the virtual image plane 30 and the floor surface M. Perceive as grounded. At this time, if the display area of the car tires on the virtual image plane 30 is physically in contact with the floor M, the floor area where the car tires are in contact does not change even if the viewpoint of the observer changes. . However, if the display area of the car tires on the virtual image plane 30 is above the floor surface M as shown in FIG. The floor area that appears to be
  • the floor area 101 that appears to be in contact with the tires appears to be in the center of the floor surface M.
  • the floor area 102 which appears to be in contact with the tire, appears shifted to the left compared to the floor area 101 when viewed from the front. That is, in the half-mirror type aerial image display, except when the aerial image A1 is displayed on the virtual image plane 30 so as to be in contact with the floor surface M, when the viewpoint is changed, the aerial image A2 is displayed so as to be in contact with the floor surface M.
  • the visible floor areas 101, 102 change.
  • FIGS. 2A and 2B are diagrams for explaining representation of an aerial image of the floor surface M including an uneven surface with unevenness and a flat plane.
  • FIG. 2A is a front view of the virtual image plane 30, and the floor area where the tire appears to be on the ground appears to the observer to be an uneven surface.
  • FIG. 2B is a view from the right side of the virtual image plane 30, and the floor area where the tire appears to be on the ground appears to be flat to the observer.
  • the feeling of unevenness received from the floor is expressed so as to match each viewpoint.
  • the aerial image without physically shaking the aerial image, by using an illusion that perceives the shaking of the object only on the texture pattern that imitates the uneven surface of the floor, the aerial image and its background (floor surface)
  • FIG. 2A an expression of moving while rocking the tire is used to show the feeling of unevenness
  • FIG. 2B an expression of moving without rocking the tire is used.
  • FIG. 3 is a configuration diagram showing the configuration of the display system 1 of this embodiment.
  • the illustrated display system 1 includes a video processing device 10 , a background video output device 21 , a screen 22 (flat display device), an aerial image output device 23 , and an optical element 24 .
  • the display system 1 displays an aerial image (visual object) on the virtual image plane 30 by the aerial image output device 23 and the optical element 24 , and displays the displayed aerial image as if it were moving within the background image projected on the screen 22 . to perceive. Specifically, the display system 1 makes the viewer 100 perceive that the visual object is moving in the depth direction or the front direction as viewed from the observer 100 under dark room conditions, for example.
  • a darkroom condition is an environment in which the amount of ambient light surrounding the display system 1 and the viewer is low, and it is desirable that the surrounding devices cannot be seen.
  • the screen 22 is arranged parallel to the ground.
  • the background image output device 21 projects a background image onto the screen 22 .
  • Background image output device 21 may project an image from any direction.
  • the optical element 24 (for example, a half mirror) is arranged with an inclination of about 45 degrees, and the aerial image output device 23 is arranged above or below the optical element 24 .
  • the image output by the aerial image output device 23 is reflected by the optical element 24 toward the observer 100 to form an aerial image, which is a visual object, on the virtual image plane 30 .
  • the screen 22 and the optical element 24 are arranged so that the virtual image plane 30 is parallel to the normal direction of the screen 22 .
  • the distance d1 from the aerial image output device 23 to the optical element 24 can be adjusted.
  • the aerial image output device 23 is arranged so that the virtual image plane 30 is near the center of the screen 22 .
  • the position of the virtual image plane 30 is not limited to the center of the screen 22, and may be set to any position.
  • the positions of the aerial image output device 23 and the optical element 24 may be fixed.
  • the aerial image output device 23 and the optical element 24 are not limited to the above configurations as long as they can display an aerial image above the screen 22 .
  • the aerial image does not necessarily have to be displayed as if it were floating in the air.
  • the screen 22 may be arranged above, and the aerial image may be displayed as if it were hanging from the background image displayed on the screen 22 .
  • the aerial image is displayed so as to be in contact with the floor of the background image.
  • a transparent screen may be arranged on the screen 22 and an image projected on the transparent screen may be used as a visual target.
  • a real object may be placed on the screen 22 and the object may be viewed. The positions of the transparent screen and the real object may be fixed.
  • the video processing device 10 supplies the background video output device 21 with a background video that causes an induced motion in the aerial image. Specifically, the image processing device 10 moves the background image in the direction opposite to the moving direction of the aerial image, thereby causing an induced motion in the aerial image. Induced motion is an illusory phenomenon that gives stationary objects the perception of motion.
  • the background image that causes the induced motion is an image that surrounds the aerial image when viewed from the observer's 100 viewpoint. In this embodiment, the floor surface representing the moving range of the aerial image is used as a background image, and the aerial image is perceived as if it is moving on the floor surface. Induced motion will be discussed later.
  • the video processing device 10 switches between presence and absence of unevenness for the aerial image according to the background by optical illusion.
  • the human visual system has the visual characteristic of perceiving a change in brightness when the contrast changes, even if the physical brightness remains the same. Utilizing this human visual characteristic, in this embodiment, the texture of the aerial image (first texture) is given a change in gradation. Only when the aerial image appears to move on a background to which a texture (second texture) with varying gradation is given, the video processing device 10 can produce a pseudo image due to a change in contrast between the aerial image and the background image in the vicinity of the aerial image. A sense of unevenness is expressed by perceiving a sharp edge change.
  • FIG. 4 shows an example in which a car moves on a floor surface that includes an uneven surface and a flat surface.
  • the floor surface is composed of a flat surface (texture with no gradation change) and an uneven surface (texture with gradation change).
  • a texture with varying gradation is set to a swinging portion of the car in the aerial image (in this case, the tires of the car) where the swing is desired to be expressed.
  • the upper portion of the tire is lighter and the lower portion of the tire is darker.
  • the image processing device 10 generates an induced motion in which the car appears to move from the flat floor surface of the background image toward the uneven surface.
  • the tire (oscillating portion) with varying gradation in the aerial image moves on the uneven floor surface, the contrast between the tire and the floor surface behind it changes moment by moment.
  • the observer perceives a pseudo edge due to a change in contrast in the vicinity of the tire.
  • the observer is made to feel the swaying of the tire without physically shaking the tire. The observer sees the tire swaying on the uneven surface, but cannot see the swaying of the tire on the flat surface.
  • An image 401 is an image when the car is moving on a plane.
  • a pseudo edge (thin black line) 421 displayed in the contrast-enhanced image 411 near the tire does not change as long as it moves on the plane. False edges are caused by contrast changes.
  • images 402 and 403 are images when the car is moving on an uneven surface.
  • Image 412 is a contrast-enhanced image of the tire vicinity of image 402 .
  • Image 413 is a contrast-enhanced image near the tire in image 403 .
  • the false edge 422 of the contrast-enhanced image 412 at a certain point in time is different from the false edge 423 of the contrast-enhanced image 413 afterward. That is, on the uneven surface, the pseudo edge changes moment by moment as it moves. In this way, when a car moves on an uneven surface, the contrast between the tire and the floor surface changes moment by moment in the vicinity of the tire in the aerial image given the texture with varying gradation. The observer perceives the change of the edges 422 and 423 as the shaking of the tire.
  • the floor surface may be not only the floor of a building, but also the ground, the surface of water (for example, the surface of the sea, the surface of a lake, the surface of a river, etc.), or a combination of these. That is, the floor surface of this embodiment may include at least one of the floor, ground, and water surface. Also, the aerial image and the floor surface (background image) may be black and white monotone or color.
  • Figures 5 and 6 show an example of a color aerial image and a floor surface.
  • the aerial image and the floor surface are expressed in black and white monotone.
  • the aerial images and the floor surface in FIGS. 5 and 6 may be black and white monotone, and may be set with textures having black and white monotone gradation variations.
  • FIG. 5 shows an example in which a car 501 (aerial image) moves on the ground including uneven surfaces and flat surfaces.
  • the uneven surface of the ground and the tires of the car shown in FIG. 5 similarly to FIG. 4, the tire appears to be swaying on the uneven surface, but the swaying of the tire is not visible on the flat surface.
  • FIG. 6 shows an example in which a yacht 601 (aerial image) moves on the sea surface including areas with waves and areas without waves.
  • the area with waves and the yacht 601 in FIG. 6 are textured with varying shades of color.
  • the illustrated yacht 601 is given a texture with varying gradation over the entire yacht 601, and the video processing device 10 renders the yacht 601 as if it were shaking in an area with waves. In areas without waves, yacht 601 appears to be motionless.
  • FIG. 7 is a configuration diagram showing the configuration of the video processing device 10. As shown in FIG. The video processing device 10 expresses a shake in an aerial image (visual object) on the display surface of the screen 22 .
  • the illustrated video processing device 10 includes a real space setting unit 11 , a virtual space setting unit 12 , a control unit 13 and an output unit 14 .
  • the real space setting unit 11 installs the aerial image output device 23 and the optical element 24 in the real space so that an upright aerial image (aerial image object) is generated on the virtual image plane 30 . Also, a screen 22 capable of displaying an image that spreads in the normal direction of the virtual image plane 30 is installed.
  • the virtual space setting unit 12 sets a first texture with a gradation change in the aerial image, and a gradation change that expresses an uneven surface in a part of the background image showing the floor surface where the aerial image appears to touch the ground.
  • Set a second texture with That is, the virtual space setting unit 12 gives the aerial image to be shaken a first texture with varying gradation in order to create an optical illusion for the observer, and a second texture with varying gradation simulating an uneven surface on the floor surface. 2 Apply texture partially.
  • the aerial image moves on the uneven surface of the background image, the fluctuation of the aerial image is represented by a change in contrast that occurs in the vicinity of the aerial image.
  • the virtual space setting unit 12 sets the first texture with gradation variation for the entire aerial image, and when the aerial image moves on the uneven surface of the background image, the contrast change that occurs near the entire aerial image causes The shaking of the entire aerial image may be expressed.
  • the virtual space setting unit 12 sets the first texture to the swinging portion that expresses the swinging of the aerial image, and the contrast generated near the swinging portion when the aerial image moves on the uneven surface of the background image. The change may express the shaking of the swinging portion of the aerial image.
  • the virtual space setting unit 12 may adjust the amount of shaking (fineness of shaking) and the frequency of shaking based on the brightness of the uneven surface of the floor and the spatial frequency.
  • the virtual space setting unit 12 arranges the aerial image and the floor surface in the virtual space so that the positional relationship between the aerial image in the virtual image plane and the actual floor surface is the same.
  • the positional relationship between the aerial image in the virtual space and the virtual camera lens for the aerial image is made equal to the positional relationship between the aerial image displayed on the virtual image plane and the front observer's viewpoint.
  • the virtual space setting unit 12 arranges the aerial image object representing the aerial image in the virtual space and the floor surface object as the background image at initial positions. do.
  • the virtual space setting unit 12 arranges the floor object so that the aerial image object stands near the center of the floor object.
  • the floor object is a plane figure that indicates the range of movement of the aerial image object.
  • the virtual space setting unit 12 arranges a background virtual camera for capturing an image to be projected on the screen 22 in the virtual space.
  • a virtual camera for background captures an area including a floor surface object. An image captured by the background virtual camera is projected on the screen 22 .
  • the background image projected on the screen 22 is moved.
  • the virtual space setting unit 12 may arrange an aerial image virtual camera for capturing an aerial image object.
  • the virtual camera for aerial image captures the aerial image object from the lateral direction.
  • the aerial image output device 23 projects the image captured by the aerial image virtual camera onto the optical element 24 and displays the aerial image on the virtual image plane.
  • a virtual camera for an aerial image may be set to a photographing method based on a perspective projection method. The results of photographing by a virtual camera for an aerial image and by a virtual camera for a background are reflected in a virtual image plane image and an actual floor surface image, respectively, in real time.
  • the control unit 13 moves the background image to move the aerial image within the virtual space.
  • the control unit 13 moves the floor surface (background image) in the direction opposite to the direction in which the aerial image is desired to be moved, thereby causing the aerial image to induce motion.
  • the control unit 13 moves the floor object based on the amount of movement of the aerial image object. For example, when the aerial image is to be moved forward by a distance v, the controller 13 moves the floor object by a distance v in the depth direction. That is, the control unit 13 moves only the floor object, and does not move the aerial image object, the aerial image virtual camera, and the background virtual camera. Alternatively, the control unit 13 may move the aerial image object, the aerial image virtual camera, and the background virtual camera by the same amount of movement in the same direction without moving the floor object. In either case, when the floor object is moved, the position where the floor object is captured in the image captured by the background virtual camera is moved.
  • FIG. 8A shows a display example of the aerial image 51 displayed on the virtual image plane 30 and the background image 52 projected on the screen 22 .
  • 8A is a top view of the screen 22 of FIG. 4.
  • FIG. The observer is assumed to be in the downward direction on the figure.
  • the aerial image 51 is projected onto the virtual image plane 30, and the position where the aerial image 51 is displayed is represented by a circle in FIG. 8A.
  • the background image 52 is an image of the floor surface or the ground surrounding the aerial image 51 .
  • the shape, pattern, and color of the background image 52 can be set arbitrarily. None is displayed on the outside of the background image 52 to make it completely dark.
  • FIG. 8B is a display example when the background image 52 is moved upward in the drawing from the state of FIG.
  • the display position of the aerial image 51 is not moved.
  • the aerial image 51 moves downward with respect to the background image 52 .
  • the position of the background image 52 in the real space is known to the observer. perceive it.
  • the observer only gazes at the aerial image 51 and the background image 52.
  • the background image 52 is moved, the observer perceives that the aerial image 51 is moving, although the background image 52 is actually moving, as shown in FIG. 9B. That is, by moving the background image 52 surrounding the aerial image 51 under dark room conditions, it is possible to spatially localize the aerial image 51 to an arbitrary position within the background image 52 .
  • the control unit 13 may move the background image 52 only in the normal direction of the virtual image plane.
  • the background image 52 is not moved when the aerial image 51 moves horizontally along the virtual image plane.
  • the background image 52 is moved according to the amount of movement of the aerial image 51 in the vertical direction.
  • control unit 13 may change the size and height of the aerial image according to the amount of movement in the depth direction by perspective projection.
  • the output unit 14 outputs the background image surrounding the aerial image to the screen 22 . Specifically, the output unit 14 outputs to the aerial image output device 23 an image including the aerial image object captured by the aerial image virtual camera. The output unit 14 also outputs an image including the floor surface object shot by the background virtual camera to the background image output device 21 .
  • step S11 the real space setting unit 11 installs the aerial image output device 23 and the optical element 24 in the real space so that an upright aerial image (aerial image object) is generated on the virtual image plane 30. Also, a screen 22 capable of displaying an image that spreads in the normal direction of the virtual image plane 30 is installed.
  • step S12 the virtual space setting unit 12 arranges the floor object at the initial position in the virtual space based on the positional relationship between the aerial image and the screen 22 in the real space, and the virtual camera that captures the floor object. to place
  • the virtual space setting unit 12 arranges an aerial image and a virtual camera for the aerial image in the virtual space.
  • the virtual space setting unit 12 sets a first texture with varying gradation in the aerial image, and a second texture with varying gradation that expresses an uneven surface as part of the background image showing the floor surface where the aerial image appears to touch the ground. Set texture.
  • step S13 the control unit 13 calculates the amount of movement of the floor surface for one frame based on the amount of movement of the visual object for one frame, and moves the floor surface object according to the calculated amount of movement.
  • step S14 the output unit 14 outputs to the background image output device 21 the background image obtained by capturing the plane containing the floor surface object with the virtual camera.
  • the output unit 14 outputs to the aerial image output device 23 an image of the aerial image captured by the aerial image virtual camera.
  • steps S13 and S14 are performed for each frame.
  • FIG. 11 is a diagram showing an application example in which the display system of this embodiment is applied to digital signage in which the display content changes depending on the viewpoint of the observer.
  • the foreground aerial image is a caterpillar
  • the lower part (oscillating part) of the caterpillar is given a texture with varying densities.
  • the observer 100A is looking at a screen 702 on which a texture (plane) with no gradation change is displayed as a background.
  • the aerial image which is the foreground, appears stationary to the observer 100A.
  • an observer 100B is looking at a screen 701 on which a texture (concave and convex surface) with varying shades is displayed as a background.
  • the aerial image which is the foreground, appears to move while swaying.
  • the video processing device 10 of the present embodiment described above is a device that expresses shaking in an aerial image (visual object) on the display surface of the screen 22, and sets a first texture that changes the density of the aerial image.
  • a virtual space setting unit 12 sets a second texture with varying gradation expressing an uneven surface on a part of the background image showing the floor surface where the aerial image appears to be on the ground, and the background image surrounding the aerial image is displayed on the screen. 22, and a control unit 13 for moving the background image. express tremors.
  • the unevenness of the floor surface is expressed by making the observer perceive a pseudo edge change due to a contrast change between the aerial image and the background in the vicinity of the aerial image.
  • the unevenness of the floor surface is expressed by making the observer perceive a pseudo edge change due to a contrast change between the aerial image and the background in the vicinity of the aerial image.
  • without physically shaking the aerial image only when there is an image with a texture with varying gradation in the background, it is possible to create a feeling of shaking on the texture with varying gradation (unevenness). It is possible to simultaneously realize an expression in which the aerial image moves while shaking on the plane) and an expression in which the aerial image moves without shaking on a texture (plane) that does not change in gradation. That is, it is possible to express the feeling of unevenness that a visual object received from a certain viewpoint from the background floor surface can be expressed without discomfort even when observed from a plurality of viewpoints.
  • the observer perceives a pseudo edge change due to a change in contrast to make the image feel like it is shaking. Therefore, in the present embodiment, there is no need to move the vertices of the polygon model to express shaking in CG expression, and shaking can be easily expressed at low cost.
  • a general-purpose computer system as shown in FIG. 12 can be used.
  • the illustrated computer system includes a CPU (Central Processing Unit: processor) 901 , memory 902 , storage 903 , communication device 904 , input device 905 and output device 906 .
  • Memory 902 and storage 903 are storage devices.
  • each function of the video processing device 10 is realized by executing the program of the video processing device 10 loaded on the memory 902 by the CPU 901 .
  • the video processing device 10 may be implemented by one computer, or may be implemented by a plurality of computers. Also, the video processing device 10 may be a virtual machine implemented in a computer.
  • the program for the video processing device 10 is stored in a computer-readable record such as HDD (Hard Disk Drive), SSD (Solid State Drive), USB (Universal Serial Bus) memory, CD (Compact Disc), DVD (Digital Versatile Disc). It can be stored on any medium and distributed over a network.
  • an aerial image is used as a visual target, but the visual target is not limited to an aerial image, and can be applied to general visual stimuli.
  • the moving object of the visual target and the floor may be made of paper or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

平面表示装置２２の表示面の上の視対象に揺れを表現する映像処理装置１０であって、前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する設定部１２と、前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力する出力部１４と、前記背景映像を移動させる制御部１３と、を備え、前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する。

Description

映像処理装置、映像処理方法、および映像処理プログラム
　本発明は、映像処理装置、映像処理方法、および映像処理プログラムに関する。
　特許文献１および非特許文献１に開示されているように、表示装置の映像をハーフミラーまたは透明板などの光学素子を用いて屈折または反射させて空中像として表示する技術が知られている。空中像は、２Ｄ画像でありながら物理的装置から離れた空間中の虚像面に表示されるため、モニタに表示する２Ｄ画像と比べると、空中像が平面であると観察者に知覚させる手がかりが少ないという特徴をもつ。この特徴を利用すると、実空間のある位置に視対象が存在するという空間定位の知覚を簡便に提供できる。
特開２０１７－４９３５４号公報
Hajime Katsumoto, Hajime Kajita, Naoya Koizumi, and Takeshi Naemura. 2016. HoVerTable PONG: Playing Face-to-face Game on Horizontal Tabletop with Moving Vertical Mid-air Image. In Proceedings of the 13th International Conference on Advances in Computer Entertainment Technology (ACE ’16). Association for Computing Machinery, New York, NY, USA, Article 50, 1-6. DOI:　https://doi.org/10.1145/3001773.3001820
　床面から物理的に離れた視対象（空中像）で床面上の移動を表現する場合、視点によって視対象とそれが接地しているように見える床面領域が変化する。特許文献１では、視対象の奥行方向への移動を表現するために、遠近法によって虚像面内での視対象の高さを上げ、床面から離している。
　このような状況において、床面が凹凸面と平面との両方を含んで構成され、視点によっては視対象が接地して見える床面領域が変化する場合、凹凸面上の視対象に合わせて付与した揺れ表現が、平面上の視対象に対しては不自然な表現となってしまう。
　本発明は、前記の状況に鑑みてなされたものであって、本発明は、凹凸面上では視対象に揺れを表現し、平面上では視対象に揺れを表現しないことを目的とする。
　上記目的を達成するため、本発明の一態様は、平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置であって、前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する設定部と、前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力する出力部と、前記背景映像を移動させる制御部と、を備え、前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する。
　本発明の一態様は、平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置が行う映像処理方法であって、前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定するステップと、前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力するステップと、前記視対象を移動させたい方向の反対方向に前記背景映像を移動させるステップと、を有し、前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する。
　本発明の一態様は、上記映像処理装置としてコンピュータを機能させる映像処理プログラムである。
　本発明によれば、凹凸面上では視対象に揺れを表現し、平面上では視対象に揺れを表現しないことができる。
図１は、視点の変更により、空中像と背景画像との位置関係の変化を説明するための図である。 図２Ａは、正面から床面上に表現された空中像を見た図である。 図２Ｂは、右から床面上に表現された空中像を見た図である。 図３は、本実施形態の表示システムの構成を示す構成図である。 図４は、凹凸面と平面とを含む床面上を、車が移動する例を示す図である。 図５は、凹凸面と平面とを含む床面上を、車が移動する例を示す図である。 図６は、海面上をヨットが移動する例を示す図である。 図７は、映像処理装置の構成を示す構成図である。 図８Ａは、虚像面に表示される空中像とスクリーンに投影された背景映像の表示例を示す図である。 図８Ｂは、図８Ａの背景映像を移動した表示例を示す図である。 図９Ａは、図８Ａの状態において観察者が見る空中像と背景映像を示す図である。 図９Ｂは、図８Ｂの状態において観察者が見る空中像と背景映像を示す図である。 図１０は、映像処理装置の処理の流れを示すフローチャートである。 図１１は、デジタルサイネージの適用例を示す図である。 ハードウェア構成例である。
　以下、本発明の実施の形態について、図面を参照して説明する。
　まず、図１および図２を用いて本実施形態の空中像の表示概要について説明する。本実施形態では、観察者が観察する視対象として空中像を用いるが、これに限定されない。図１は、視点を変更することにより、空中像と背景画像との位置関係の変化を説明する説明図である。本実施形態ではハーフミラーなどの光学素子２４を用いての空中像を表示する。空中像出力装置２３から出力される空中像Ａは、光学素子２４により虚像面３０に表示される。図１では、虚像面３０に表示される空中像（視対象）Ａを空中像Ａ１とし、観察者が知覚する空中像Ａを、空中像Ａ２と記載する。
　観察者が空中像Ａ２を観察する際に、観察者は、観察者の視点と虚像面３０の空中像Ａ１のタイヤとを結ぶ直線Ｌと、床面Ｍとの交点Ｎに、車のタイヤが接地していると知覚する。このとき、虚像面３０における車のタイヤの表示領域が物理的に床面Ｍと接地していれば、観察者の視点が変化しても車のタイヤが接地している床面領域は変化しない。しかし、虚像面３０における車のタイヤの表示領域が、図１に示すように床面Ｍから離れた上にある場合（物理的に接地していない場合）、視点が変わると車のタイヤに接地して見える床面領域は、ずれてしまう。
　具体的には、虚像面３０に対して正面から見た観察者には、タイヤに接地して見える床面領域１０１は、床面Ｍの中央部にあるように見える。一方、観察者が虚像面３０に対して右から見た場合、正面から見た場合の床面領域１０１に比べて、タイヤに接地して見える床面領域１０２が左にずれて見える。すなわち、ハーフミラー式の空中像表示では、空中像Ａ１が虚像面３０上で床面Ｍに接地させるように表示している場合を除き、視点を変更すると空中像Ａ２に接地しているように見える床面領域１０１、１０２が変化する。
　図２Ａおよび図２Ｂは、凹凸のある凹凸面と平坦な平面とを含む床面Ｍの空中像の表現を説明するための図である。図２Ａは、虚像面３０に対して正面の視点から見た場合であって、観察者には、タイヤが接地して見える床面領域は、凹凸面にあるように見える。図２Ｂは、虚像面３０に対して右側の視点から見た場合であって、観察者には、タイヤが接地して見える床面領域は、平面にあるように見える。
　この場合、図２Ａの正面の視点に合わせて車のタイヤが凹凸面から受ける凹凸感を表現しようとして素朴に、車のタイヤに揺れ表現をしてしまうと、図２Ｂの右側の視点では平面上にタイヤがあるように見えており、平面なのに車のタイヤが揺れるという不自然な表現になってしまう。
　すなわち、床面Ｍの一部が凹凸面をもつような場合、正面の視点に整合するようにタイヤを揺らすような凹凸表現を空中像に単純に付与すると、右から見ると平面上にタイヤがあるにもかかわらず揺れて見えるという不整合な表現となってしまう。
　本実施形態では、空中像が床面を移動する際に、床面から受ける凹凸感を各視点で整合するように表現する。具体的には、空中像を物理的に揺らすことなく、床面が凹凸面を模したテクスチャパターン上でのみ物体の揺れを知覚する錯視を利用することで、空中像とその背景（床面）における、複数視点間でのずれによって生じる表現の不整合の問題を解決する。具体的には、図２Ａでは凹凸感を示すためにタイヤを揺らしながら移動する表現とし、図２Ｂではタイヤを揺らさないで移動する表現とする。
　図３は、本実施形態の表示システム１の構成を示す構成図である。図示する表示システム１は、映像処理装置１０、背景映像出力装置２１、スクリーン２２（平面表示装置）、空中像出力装置２３、および光学素子２４を備える。
　表示システム１は、空中像出力装置２３と光学素子２４によって虚像面３０に空中像（視対象）を表示するとともに、表示された空中像がスクリーン２２に投影した背景映像内を移動しているように知覚させる。具体的には、表示システム１は、例えば暗室条件下において、観察者１００から見て奥行き方向または手前方向に視対象が移動しているように知覚させる。暗室条件とは、表示システム１および観察者を取り囲む周辺光量が少ない環境であり、周囲の装置が見えないことが望ましい。
　スクリーン２２は、地面に対して平行に配置される。背景映像出力装置２１は、背景映像をスクリーン２２に投影する。背景映像出力装置２１は、いずれの方向から映像を投影してもよい。
　光学素子２４（例えばハーフミラー）を約４５度傾斜させて配置し、空中像出力装置２３を光学素子２４の上方または下方に配置する。空中像出力装置２３が出力した映像は、光学素子２４により観察者１００の方向へ反射し、虚像面３０において視対象である空中像を形成する。
　虚像面３０がスクリーン２２の法線方向と平行となるようにスクリーン２２と光学素子２４を配置する。空中像出力装置２３から光学素子２４までの距離ｄ１を変えることで、光学素子２４から虚像面３０までの距離ｄ２を調節することができる。距離ｄ１が短くなれば距離ｄ２が短くなる。本実施形態では、虚像面３０がスクリーン２２の中央付近となるように空中像出力装置２３を配置した。虚像面３０の位置はスクリーン２２の中央に限らず、任意の位置に設定してよい。空中像出力装置２３および光学素子２４の位置は固定されてよい。
　空中像出力装置２３および光学素子２４は、スクリーン２２の上方に空中像を表示できればよく、上記の構成に限定するものではない。空中像は、必ずしも空中に浮かんでいるように表示する必要はなく、スクリーン２２の表示面（床面）に接地しているように表示してもよい。もしくは、スクリーン２２を上方に配置し、スクリーン２２に表示した背景映像に空中像がぶら下がっているように表示してもよい。本実施形態では、空中像は背景映像の床面に接するように表示する。
　なお、空中像出力装置２３および光学素子２４で空中像を表示する代わりに、スクリーン２２上に透明スクリーンを配置し、透明スクリーンに投影した映像を視対象としてもよい。あるいは、スクリーン２２上に実物体を配置し、その実体物を視対象としてもよい。透明スクリーンおよび実物体の位置は固定されてよい。
　映像処理装置１０は、空中像に誘導運動を生じさせる背景映像を背景映像出力装置２１に供給する。具体的には、映像処理装置１０は、空中像の移動方向の逆方向に背景映像を移動させて、空中像に誘導運動を生じさせる。誘導運動は、静止物体に運動知覚を与える錯覚現象である。誘導運動を生じさせる背景映像とは、観察者１００の視点から見たときに空中像を取り囲む映像である。本実施形態では、空中像の移動範囲を表す床面を背景映像として、床面上を空中像が移動しているように知覚させる。誘導運動については後述する。
　映像処理装置１０は、錯視によって、背景に応じて空中像に対する凹凸感の有無を切り替える。人間の視覚系は、コントラストが変化すると物理的な明るさは同一でも明るさの変化を知覚する視覚特性がある。この人間の視覚特性を利用し、本実施形態では、空中像のテクスチャ（第１テクスチャ）に濃淡変化を付与する。映像処理装置１０は、空中像が濃淡変化があるテクスチャ（第２テクスチャ）が付与された背景上を移動して見える場合にのみ、空中像近傍において空中像と背景画像間のコントラスト変化による疑似的なエッジ変化を知覚させることで、凹凸感を表現する。
　図４は、凹凸面と平面とを含む床面上を、車が移動する例を示す。ここでは、床面が平面（濃淡変化のないテクスチャ）と凹凸面（濃淡変化があるテクスチャ）で構成されている。また、空中像の車において揺れを表現したい揺動部分（ここでは、車のタイヤ）に濃淡変化のあるテクスチャが設定されている。図示する例では、タイヤの上部が淡色でタイヤの下部が濃色となっている。
　このとき、映像処理装置１０は、車が背景映像の床面の平面から凹凸面に向かって移動して見える誘導運動を生じさせる。空中像のうちの濃淡変化をつけたタイヤ（揺動部分）が凹凸面の床面を移動すると、タイヤとその背後にある床面のコントラストが時々刻々と変化する。このとき、タイヤの近傍でコントラスト変化による疑似的なエッジが観察者に知覚される。この視覚特性を利用することで、タイヤを物理的に揺らすことなく、観察者にタイヤの揺れを感じさせる。観察者は、凹凸面ではタイヤがゆらゆらと揺れているように見えるが、平面ではタイヤの揺れは見えない。
　画像４０１は、平面上を車が移動している場合の画像である。タイヤ近傍のコントラスト強調画像４１１に表示される疑似的なエッジ（細い黒線）４２１は、平面上を移動している限り変化しない。疑似的なエッジは、コントラスト変化により生じる。
　一方、画像４０２および画像４０３は、凹凸面を車が移動している場合の画像である。画像４１２は、画像４０２タイヤ近傍のコントラスト強調画像である。画像４１３は、画像４０３タイヤ近傍のコントラスト強調画像である。ある時点のコントラスト強調画像４１２の疑似的なエッジ４２２と、その後のコントラスト強調画像４１３の疑似的なエッジ４２３とは異なる。すなわち、凹凸面では、疑似的なエッジは移動に伴い時事刻々と変化する。このように、凹凸面を車が移動する場合、濃淡変化の有るテクスチャが付与された空中像のタイヤ近傍では、タイヤと床面とのコントラストが時々刻々と変化し、このコントラスト変化による疑似的なエッジ４２２、４２３の変化を観察者はタイヤの揺れと知覚する。
　床面は、建物などの床だけでなく、地面であっても、水面（例えば、海面、湖面、川面等）であっても、これらの組み合わせでもよい。すなわち、本実施形態の床面は、床、地面、水面の少なくとも１つを含んでもよい。また、空中像および床面（背景映像）は、白黒のモノトーンであっても、カラーであってもよい。
　図５および図６は、カラーの空中像および床面の例を示す。図面上では、空中像および床面は、白黒のモノトーンで表現されている。なお、図５および図６の空中像および床面は、白黒のモノトーンであって、白黒のモノトーンの濃淡変化があるテクスチャが設定されていてもよい。
　図５は、凹凸面と平面とを含む地面上を、車５０１（空中像）が移動する例を示す。図５の地面の凹凸面および車のタイヤは、カラーの濃淡変化があるテクスチャが設定されている。図５においても、図４と同様に、凹凸面ではタイヤがゆらゆらと揺れているように見えるが、平面ではタイヤの揺れは見えない。
　図６は、波がある領域と波がない領域とを含む海面上を、ヨット６０１（空中像）が移動する例を示す。図６の波のある領域およびヨット６０１は、カラーの濃淡変化があるテクスチャが設定されている。図示するヨット６０１には、ヨット６０１全体に濃淡変化があるテクスチャを付与され、映像処理装置１０は、波のある領域ではヨット６０１全体が揺れているように表現する。波のない領域では、ヨット６０１は揺れていないように見える。
　図７は、映像処理装置１０の構成を示す構成図である。映像処理装置１０は、スクリーン２２の表示面の上の空中像（視対象）に揺れを表現する。図示する映像処理装置１０は、実空間設定部１１と、仮想空間設定部１２と、制御部１３と、出力部１４とを備える。
　実空間設定部１１は、実空間に、空中像出力装置２３と光学素子２４とを、虚像面３０に直立の空中像（空中像オブジェクト）が生成されるように設置する。また、虚像面３０の法線方向に広がる画像表示可能なスクリーン２２を設置する。
　仮想空間設定部１２（設定部）は、空中像に濃淡変化のある第１テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する。すなわち、仮想空間設定部１２は、観察者に錯視を生じさせるために、揺らして見せたい空中像に濃淡変化がある第１テクスチャを付与し、床面に凹凸面を模した濃淡変化をもつ第２テクスチャを部分的に付与する。これにより、空中像が背景映像の凹凸面を移動する際に、空中像の近傍に発生するコントラスト変化によって、空中像の揺れを表現する。
　なお、仮想空間設定部１２は、空中像全体に濃淡変化のある第１テクスチャを設定し、空中像が背景映像の凹凸面を移動する際に、空中像全体の近傍に発生するコントラスト変化によって、空中像全体の揺れを表現してもよい。あるいは、仮想空間設定部１２は、空中像の揺れを表現する揺動部分に第１テクスチャを設定し、空中像が背景映像の凹凸面を移動する際に、揺動部分の近傍に発生するコントラスト変化によって、空中像の揺動部分の揺れを表現してもよい。
　また、仮想空間設定部１２は、床面の凹凸面の明るさと空間周波数とで、揺れる量（揺れる細かさ）と揺れる頻度とをそれぞれ調節してもよい。
　仮想空間設定部１２は、仮想空間内で空中像と床面とを、虚像面内の空中像と実際の床面との位置関係が等しくなるよう配置する。仮想空間内での空中像と、空中像用の仮想カメラレンズとの間の位置関係は、虚像面に表示された空中像と正面の観察者の視点間の位置関係と等しくしておく。
　例えば、仮想空間設定部１２は、実空間での空中像とスクリーン２２の位置関係に基づき、仮想空間内に空中像を表す空中像オブジェクトと、背景映像となる床面オブジェクトとを初期位置に配置する。例えば、仮想空間設定部１２は、空中像オブジェクトが床面オブジェクトの中心付近に立っているように、床面オブジェクトを配置する。床面オブジェクトは空中像オブジェクトの移動範囲を示す平面図形である。
　仮想空間設定部１２は、仮想空間内に、スクリーン２２に投影する映像を撮影するための背景用の仮想カメラを配置する。背景用の仮想カメラは、床面オブジェクトを含む領域を撮影する。背景用の仮想カメラの撮影した映像がスクリーン２２に投影される。仮想カメラの位置を固定したまま仮想空間内で床面オブジェクトを移動させると、スクリーン２２に投影された背景映像が移動する。
　仮想空間設定部１２は、空中像オブジェクトを撮影する空中像用の仮想カメラを配置してもよい。空中像用の仮想カメラは、横方向から空中像オブジェクトを撮影する。空中像出力装置２３は、空中像用の仮想カメラの撮影した映像を光学素子２４に投影し、空中像を虚像面に表示する。空中像用の仮想カメラは透視投影法による撮影方法に設定してもよい。空中像用の仮想カメラと背景用の仮想カメラの撮影結果とを、虚像面の画像と実際の床面の画像にそれぞれリアルタイムに反映させる。
　制御部１３は、背景映像を移動させて、仮想空間内で空中像を移動させる。本実施形態では、制御部１３は、空中像を移動させたい方向の反対方向に床面（背景映像）を移動させ、これにより空中像に誘導運動を生じさせる。
　具体的には、制御部１３は、空中像オブジェクトの移動量に基づき、床面オブジェクトを移動する。例えば、空中像を手前方向に距離ｖ移動させたい場合、制御部１３は、床面オブジェクトを奥行き方向に距離ｖ移動させる。つまり、制御部１３は、床面オブジェクトのみを移動させて、空中像オブジェクト、空中像用の仮想カメラ、および背景用の仮想カメラを移動させない。あるいは、制御部１３は、床面オブジェクトを移動させずに、空中像オブジェクト、空中像用の仮想カメラ、および背景用の仮想カメラを同じ方向に同じ移動量で移動させてもよい。いずれの場合も、床面オブジェクトを移動させると、背景用の仮想カメラで撮影した映像内での床面オブジェクトの写る位置が移動する。
　図８Ａに、虚像面３０に表示される空中像５１とスクリーン２２に投影された背景映像５２の表示例を示す。図８Ａは、図４のスクリーン２２を上方から見た図である。観察者は、図上で下方向にいるものとする。空中像５１は虚像面３０に投影されるが、図８Ａでは空中像５１が表示される位置を円で表現している。背景映像５２は、空中像５１を取り囲む床面または地面などの映像である。背景映像５２の形、模様、色は任意に設定できる。背景映像５２の外側には何も表示せずに真っ暗な状態とする。
　図８Ｂは、図８Ａの状態から背景映像５２を図上で上方向、つまり観察者から見て奥側に移動させたときの表示例である。空中像５１の表示位置は移動させていない。空中像５１は、背景映像５２を基準にすると下方向に移動している。表示システム１が設置された環境が明るく、スクリーン２２の枠や周辺の装置など、実空間内での背景映像５２の位置がわかる物体が見える場合、観察者は、背景映像５２が移動していることを知覚してしまう。
　暗室条件下では、図９Ａおよび図９Ｂに示すように、観察者は、空中像５１と背景映像５２のみを注視することになる。背景映像５２を移動させたとき、観察者は、図９Ｂに示すように、実際は背景映像５２が移動しているのだが、空中像５１が移動しているように知覚する。すなわち、暗室条件下において、空中像５１を取り囲む背景映像５２を移動させることにより、背景映像５２内の任意の位置に空中像５１が移動したように空間定位させることが可能になる。
　空中像が虚像面内を自由に移動できる場合、制御部１３は、虚像面の法線方向のみに背景映像５２を移動させてもよい。例えば、図８Ａに示す例において、空中像５１が虚像面に沿って左右方向に移動するときは背景映像５２を移動させない。視対象５１が図８Ａの上下方向に移動するときに、空中像５１の上下方向の移動量に合わせて背景映像５２を移動させる。
　また、制御部１３は、透視投影法によって、奥行方向への移動量に応じて、空中像の大きさと高さを変化させてもよい。
　出力部１４は、空中像を取り囲む背景映像をスクリーン２２に出力する。具体的には、出力部１４は、空中像用の仮想カメラで撮影した空中像オブジェクトを含む映像を、空中像出力装置２３へ出力する。また、出力部１４は、背景用の仮想カメラで撮影した床面オブジェクトを含む映像を背景映像出力装置２１へ出力する。
　図１０のフローチャートを参照し、映像処理装置１０の動作について説明する。
　ステップＳ１１にて、実空間設定部１１は、実空間に、空中像出力装置２３と光学素子２４とを、虚像面３０に直立の空中像（空中像オブジェクト）が生成されるように設置する。また、虚像面３０の法線方向に広がる画像表示可能なスクリーン２２を設置する。
　ステップＳ１２にて、仮想空間設定部１２は、実空間での空中像とスクリーン２２の位置関係に基づき、仮想空間内に床面オブジェクトを初期位置に配置するとともに、床面オブジェクトを撮影する仮想カメラを配置する。仮想空間設定部１２は、仮想空間内に空中像および空中像用の仮想カメラを配置する。仮想空間設定部１２は、空中像に濃淡変化のある第１テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する。
　ステップＳ１３で、制御部１３は、視対象の１フレーム分の移動量に基づき、床面の１フレーム分の移動量を計算し、計算した移動量に応じて床面オブジェクトを移動する。
　ステップＳ１４にて、出力部１４は、仮想カメラで床面オブジェクトを含む平面を撮影した背景映像を背景映像出力装置２１へ出力する。出力部１４は、空中像用の仮想カメラで空中像を撮影した映像を空中像出力装置２３へ出力する。
　１フレームごとに、ステップＳ１３およびＳ１４の処理が実施される。
　図１１は、本実施形態の表示システムを、観察者の見る視点によって、表示内容が変化するデジタルサイネージに適用した適用例を示す図である。図示する例では、前景となる空中像（視対象）は芋虫であり、芋虫の下部（揺動部分）には、濃淡変化のあるテクスチャが付与されている。
　この場合、観察者１００Ａは、濃淡変化のないテクスチャ（平面）が背景として表示されたスクリーン７０２を見ている。観察者１００Ａには、前景である空中像は止まっているように見える。一方、観察者１００Ｂは、濃淡変化のあるテクスチャ（凹凸面）が背景として表示されたスクリーン７０１を見ている。観察者１００Ｂには、前景である空中像は、揺れながら動いているように見える。
　以上説明した本実施形態の映像処理装置１０は、スクリーン２２の表示面の上の空中像（視対象）に揺れを表現する装置であって、空中像に濃淡変化のある第１テクスチャを設定するとともに、空中像が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する仮想空間設定部１２と、空中像を取り囲む背景映像を、スクリーン２２に出力する出力部１４と、背景映像を移動させる制御部１３と、を備え、空中像が背景映像の凹凸面を移動する際に、空中像の近傍に発生するコントラスト変化によって、空中像の揺れを表現する。
　このように、本実施形態では、空中像の近傍において空中像と背景とのコントラスト変化による疑似的なエッジ変化を観察者に知覚させることで、床面の凹凸感を表現する。これにより、本実施形態では、空中像を物理的に揺らすことなく、背景に濃淡変化のあるテクスチャをもつ画像がある場合のみ揺れているように感じさせることで、濃淡変化のあるテクスチャ上（凹凸面）での空中像を揺らしながら移動する表現と、濃淡変化のないテクスチャ上（平面）での空中像を揺らさないで移動する表現とを同時に実現することができる。すなわち、ある視点から見た視対象が背景の床面から受ける凹凸感を、複数の視点で観察した場合であっても違和感なく表現することができる。
　また、本実施形態では、空中像を物理的に揺らすことなく、コントラスト変化による疑似的なエッジ変化を観察者に知覚させることで揺れているように感じさせる。そのため、本実施形態では、ＣＧ表現においてポリゴンモデルの頂点を移動させて揺れを表現する必要がなく、省コストで容易に揺れを表現することができる。
　上記説明した映像処理装置１０は、例えば、図１２に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU（Central Processing Unit：プロセッサ）９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた映像処理装置１０のプログラムを実行することにより、映像処理装置１０の各機能が実現される。
　また、映像処理装置１０は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、映像処理装置１０は、コンピュータに実装される仮想マシンであっても良い。映像処理装置１０用のプログラムは、HDD（Hard Disk Drive）、SSD（Solid State Drive）、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
　なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。上記実施形態では、視対象として空中像を用いたが、視対象は空中像に限定されず、視覚刺激一般に適用可能である。例えば、視対象の移動物体と、床面とが紙などで構成されていてもよい。
　１…表示システム
　１０…映像処理装置
　１１…実空間設定部
　１２…仮想空間設定部（設定部）
　１３…制御部
　１４…出力部
　２１…背景映像出力装置
　２２…スクリーン（平面表示装置）
　２３…空中像出力装置
　２４…光学素子
　３０…虚像面
　１００…観察者

Claims (7)

  1. 　平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置であって、
    　前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定する設定部と、
    　前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力する出力部と、
    　前記背景映像を移動させる制御部と、
    を備え、
    　前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する
    　映像処理装置。
  2. 　前記視対象は、空中像である
    　請求項１に記載の映像処理装置。
  3. 　前記設定部は、前記視対象の揺れを表現する揺動部分に第１テクスチャを設定し、
    　前記視対象が前記背景映像の凹凸面を移動する際に、前記揺動部分の近傍に発生するコントラスト変化によって、前記揺動部分の揺れを表現する
    　請求項１または２に記載の映像処理装置。
  4. 　前記床面は、床、地面および水面の少なくとも１つを含む
    　請求項１から３のいずれか１項に記載の映像処理装置。
  5. 　前記設定部は、前記凹凸面の明るさと空間周波数とを用いて、前記視対象の揺れる量と、揺れる頻度とを調整する
    　請求項１に記載の映像処理装置。
  6. 　平面表示装置の表示面の上の視対象に揺れを表現する映像処理装置が行う映像処理方法であって、
    　前記視対象に濃淡変化のある第１テクスチャを設定するとともに、前記視対象が接地して見える床面を示す背景映像の一部に凹凸面を表現する濃淡変化のある第２テクスチャを設定するステップと、
    　前記視対象を取り囲む前記背景映像を、前記平面表示装置に出力するステップと、
    　前記視対象を移動させたい方向の反対方向に前記背景映像を移動させるステップと、
    を有し、
    　前記視対象が前記背景映像の凹凸面を移動する際に、前記視対象の近傍に発生するコントラスト変化によって、前記視対象の揺れを表現する
    　映像処理方法。
  7. 　請求項１から５のいずれか１項に記載の映像処理装置としてコンピュータを機能させる映像処理プログラム。
PCT/JP2021/008736 2021-03-05 2021-03-05 映像処理装置、映像処理方法、および映像処理プログラム WO2022185536A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/008736 WO2022185536A1 (ja) 2021-03-05 2021-03-05 映像処理装置、映像処理方法、および映像処理プログラム
JP2023503325A JPWO2022185536A1 (ja) 2021-03-05 2021-03-05
US18/279,488 US20240146893A1 (en) 2021-03-05 2021-03-05 Video processing apparatus, video processing method and video processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/008736 WO2022185536A1 (ja) 2021-03-05 2021-03-05 映像処理装置、映像処理方法、および映像処理プログラム

Publications (1)

Publication Number Publication Date
WO2022185536A1 true WO2022185536A1 (ja) 2022-09-09

Family

ID=83154137

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008736 WO2022185536A1 (ja) 2021-03-05 2021-03-05 映像処理装置、映像処理方法、および映像処理プログラム

Country Status (3)

Country Link
US (1) US20240146893A1 (ja)
JP (1) JPWO2022185536A1 (ja)
WO (1) WO2022185536A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234240A (ja) * 2004-02-19 2005-09-02 Pioneer Electronic Corp 立体的二次元画像表示装置及び立体的二次元画像表示方法
WO2008126283A1 (ja) * 2007-03-30 2008-10-23 Pioneer Corporation 画像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234240A (ja) * 2004-02-19 2005-09-02 Pioneer Electronic Corp 立体的二次元画像表示装置及び立体的二次元画像表示方法
WO2008126283A1 (ja) * 2007-03-30 2008-10-23 Pioneer Corporation 画像表示装置

Also Published As

Publication number Publication date
JPWO2022185536A1 (ja) 2022-09-09
US20240146893A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US10739613B2 (en) Retroreflector display system for generating floating image effects
JP5214616B2 (ja) ３次元ディスプレイシステム
US8206218B2 (en) 3D videogame system
JP2020514826A (ja) 動的視野の可変焦点ディスプレイシステム
JP2009521005A (ja) 投影装置及び投影方法
JP4766877B2 (ja) コンピュータを用いて画像を生成する方法、コンピュータ可読メモリ、および、画像生成システム
JP2007531951A (ja) 水平遠近法ディスプレイ
JP2016511888A (ja) イメージ形成における及びイメージ形成に関する改良
CN102449680A (zh) 信息呈现装置
US20160266543A1 (en) Three-dimensional image source for enhanced pepper's ghost illusion
WO2016077612A1 (en) Enhanced pepper's ghost illusion using video panel displays
US20180017940A1 (en) Three-dimensional display with augmented holograms
JP7273345B2 (ja) 映像処理装置、表示システム、映像処理方法、およびプログラム
US20210374982A1 (en) Systems and Methods for Illuminating Physical Space with Shadows of Virtual Objects
WO2022185536A1 (ja) 映像処理装置、映像処理方法、および映像処理プログラム
US11880499B2 (en) Systems and methods for providing observation scenes corresponding to extended reality (XR) content
KR101986687B1 (ko) 3차원 스캐닝 방식을 포함한 홀로그램 박스를 이용하는 홀로그램 장치 및 그 방법
US20230071571A1 (en) Image display method and apparatus
US9645404B2 (en) Low-profile bounce chamber for Pepper's Ghost Illusion
JP6601392B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
RU2713996C1 (ru) Устройство для представления движущихся изображений
RU2713994C1 (ru) Устройство для представления движущихся изображений
Bimber et al. Alternative Augmented Reality Approaches: Concepts, Techniques, and Applications.
Raskar Projectors: advanced graphics and vision techniques
JP5817135B2 (ja) ３次元画像処理装置、そのプログラム及びその記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929108

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023503325

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18279488

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21929108

Country of ref document: EP

Kind code of ref document: A1