WO2021079402A1 - 映像処理装置、表示システム、映像処理方法、およびプログラム - Google Patents

映像処理装置、表示システム、映像処理方法、およびプログラム Download PDF

Info

Publication number
WO2021079402A1
WO2021079402A1 PCT/JP2019/041295 JP2019041295W WO2021079402A1 WO 2021079402 A1 WO2021079402 A1 WO 2021079402A1 JP 2019041295 W JP2019041295 W JP 2019041295W WO 2021079402 A1 WO2021079402 A1 WO 2021079402A1
Authority
WO
WIPO (PCT)
Prior art keywords
background image
visual object
image
processing device
video processing
Prior art date
Application number
PCT/JP2019/041295
Other languages
English (en)
French (fr)
Inventor
建 井阪
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2019/041295 priority Critical patent/WO2021079402A1/ja
Priority to JP2021554059A priority patent/JP7273345B2/ja
Priority to PCT/JP2020/020564 priority patent/WO2021079550A1/ja
Priority to US17/770,965 priority patent/US20220360753A1/en
Publication of WO2021079402A1 publication Critical patent/WO2021079402A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/346—Image reproducers using prisms or semi-transparent mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Definitions

  • the present invention relates to a video processing device, a display system, a video processing method, and a program.
  • Patent Document 1 and Non-Patent Document 1 there is known a technique of refracting an image of a display device using an optical element such as a half mirror or a transparent plate to display an aerial image.
  • the aerial image is a 2D image
  • it is displayed on a virtual image plane in space away from the physical device, so that the observer can perceive that the aerial image is flat compared to the 2D image displayed on the monitor. It has the characteristic of being few.
  • the position of the virtual image plane displaying the visual object is limited by the configuration of the optical system, there is a problem that the direction in which the visual object can be moved is limited to the virtual image plane. In other words, it is difficult to make the visual object perceive as moving in the normal direction of the virtual image plane. Even when the visual object is projected on the transparent screen, it is difficult to move the visual object in the normal direction of the transparent screen.
  • Patent Document 1 a plurality of screens having different distances to optical elements are prepared, and the visual object is moved in the normal direction of the virtual image plane by switching the screen on which the visual object is projected according to the position to be displayed. ..
  • Patent Document 1 has a problem that only discrete spatial localization of a visual object can be expressed. By physically moving the monitor that projects the visual object and continuously moving the virtual image plane, continuous spatial localization of the visual object can be expressed, but a large-scale movement mechanism for moving the monitor is required. There is a problem that the hardware cost is high.
  • the present invention has been made in view of the above, and an object of the present invention is to express continuous spatial localization of a visual object by a simple configuration.
  • the image processing device of one aspect of the present invention is an image processing device that outputs a background image that causes a guided motion in a visual object on a display surface of a flat display device, and the background image surrounding the visual object is the flat surface. It includes an output unit that outputs to a display device and a control unit that moves the background image in a direction opposite to the direction in which the visual object is desired to be moved.
  • the display system of one aspect of the present invention is a display system including a plurality of display devices, a flat display device, and an image processing device, and each of the plurality of display devices is projected onto the display surface of the flat display device.
  • a visual object is displayed at a position where the projection planes intersect with each other, and the image processing device outputs a background image surrounding the visual object to the plane display device, and the visual object.
  • a control unit for moving the background image in a direction opposite to the direction to be moved is provided.
  • continuous spatial localization of a visual object can be expressed by a simple configuration.
  • FIG. 1 is a diagram showing a configuration of a display system according to the first embodiment.
  • FIG. 2A is a diagram showing a display example of a visual object displayed on a virtual image plane and a background image projected on a screen.
  • FIG. 2B is a diagram showing a display example in which the background image of FIG. 2A is moved.
  • FIG. 3A is a diagram showing a visual object and a background image seen by the observer in the state of FIG. 2A.
  • FIG. 3B is a diagram showing a visual object and a background image seen by the observer in the state of FIG. 2B.
  • FIG. 4 is a diagram showing a configuration of a video processing device.
  • FIG. 5 is a flowchart showing a processing flow of the video processing apparatus.
  • FIG. 5 is a flowchart showing a processing flow of the video processing apparatus.
  • FIG. 6A is a diagram showing a display example of a visual object displayed on a virtual image plane and two background images projected on a screen.
  • FIG. 6B is a diagram showing a display example in which the two background images of FIG. 6A are moved.
  • FIG. 7A is a diagram showing a visual object and two background images seen by the observer in the state of FIG. 6A.
  • FIG. 7B is a diagram showing a visual object and two background images seen by the observer in the state of FIG. 6B.
  • FIG. 8 is a diagram showing an example in which a part of the background image is moved.
  • FIG. 9 is a diagram showing a configuration of a display system according to a fourth embodiment.
  • FIG. 10 is a diagram showing an example of the hardware configuration of the video processing device.
  • the display system 1 shown in FIG. 1 includes a video processing device 10, a background video output device 21, a screen 22, an aerial image output device 23, and an optical element 24.
  • the display system 1 displays an aerial image (hereinafter referred to as “visual object”) on the virtual image surface 30 by the aerial image output device 23 and the optical element 24, and the displayed visual object is in the background image projected on the screen 22. Is perceived as moving. Specifically, the display system 1 makes the observer 100 perceive that the visual object is moving in the depth direction or the front direction when viewed from the observer 100 under dark room conditions.
  • the darkroom condition is an environment in which the amount of peripheral light surrounding the display system 1 and the observer is small, and it is desirable that the surrounding devices cannot be seen.
  • the screen 22 is arranged parallel to the ground.
  • the background image output device 21 projects the background image on the screen 22.
  • the background image output device 21 may project an image from any direction.
  • the optical element 24 is arranged at an angle of about 45 degrees, and the aerial image output device 23 is arranged above or below the optical element 24.
  • the image output by the aerial image output device 23 is reflected by the optical element 24 in the direction of the observer 100 to form an aerial image on the virtual image surface 30.
  • the screen 22 and the optical element 24 are arranged so that the virtual image surface 30 is parallel to the normal direction of the screen 22.
  • the distance d1 from the aerial image output device 23 to the optical element 24 the distance d2 from the optical element 24 to the virtual image surface 30 can be adjusted.
  • the aerial image output device 23 is arranged so that the virtual image surface 30 is near the center of the screen 22.
  • the position of the virtual image surface 30 is not limited to the center of the screen 22, and may be set to any position.
  • the positions of the aerial image output device 23 and the optical element 24 may be fixed.
  • the aerial image output device 23 and the optical element 24 need only be able to display an aerial image above the screen 22, and are not limited to the above configuration.
  • the visual object does not necessarily have to be displayed as if it is floating in the air, and may be displayed as if it is in contact with the display surface of the screen 22.
  • the screen 22 may be arranged above and displayed so that the visual object hangs from the background image displayed on the screen 22.
  • a transparent screen may be arranged on the screen 22 and the image projected on the transparent screen may be the visual object.
  • a real object may be placed on the screen 22 and the actual object may be a visual object. The position of the transparent screen and the real object may be fixed.
  • the image processing device 10 supplies a background image that causes a guided motion to the visual object to the background image output device 21. Specifically, the image processing device 10 moves the background image in the direction opposite to the moving direction of the visual object to cause a guided motion in the visual object. Guided motion is an illusion phenomenon that gives motion perception to a stationary object.
  • the background image that causes the guided motion is an image that surrounds the visual object when viewed from the viewpoint of the observer 100.
  • the floor surface showing the moving range of the visual object is used as a background image, and the visual object is perceived as moving on the floor surface.
  • FIG. 2A shows a display example of the visual object 51 displayed on the virtual image plane 30 and the background image 52 projected on the screen 22.
  • FIG. 2A is a view of the screen 22 of FIG. 1 as viewed from above. It is assumed that the observer 100 is downward on the figure.
  • the visual object 51 is projected onto the virtual image plane 30, and in FIG. 2A, the position where the visual object 51 is displayed is represented by a circle.
  • the background image 52 is an image of the floor surface or the ground surrounding the visual object 51.
  • the shape, pattern, and color of the background image 52 can be set arbitrarily. None is displayed outside the background image 52, and the background image 52 is in a pitch-black state.
  • FIG. 2B is a display example when the background image 52 is moved upward on the diagram from the state of FIG. 2A, that is, to the back side when viewed from the observer 100.
  • the display position of the visual object 51 is not moved.
  • the visual object 51 moves downward with respect to the background image 52.
  • the observer 100 moves the background image 52. I perceive that I am.
  • the observer 100 gazes only at the visual object 51 and the background image 52.
  • the background image 52 is moved, the observer 100 perceives that the visual object 51 is moving, although the background image 52 is actually moving, as shown in FIG. 3B. That is, by moving the background image 52 surrounding the visual object 51 under darkroom conditions, it is possible to spatially localize the visual object 51 as if it had moved to an arbitrary position in the background image 52.
  • the configuration of the video processing device 10 will be described with reference to FIG.
  • the video processing device 10 shown in the figure includes a setting unit 11, a control unit 12, and an output unit 13.
  • the setting unit 11 arranges the visual object representing the visual object and the floor object as the background image in the virtual space based on the positional relationship between the visual object and the screen 22 in the real space. For example, the setting unit 11 arranges the floor surface object so that the visual object is standing near the center of the floor surface object.
  • the floor surface object is a plane figure showing the moving range of the visual object.
  • the setting unit 11 arranges a virtual camera for a background for shooting an image projected on the screen 22 in the virtual space.
  • the virtual camera for the background captures the area containing the floor object.
  • the image taken by the virtual camera for the background is projected on the screen 22.
  • the setting unit 11 may arrange a virtual camera for the visual object that captures the visual object.
  • the virtual camera for the visual object captures the visual object from the lateral direction.
  • the aerial image output device 23 projects the image captured by the virtual camera for the visual object on the optical element 24, and displays the visual object on the virtual image surface 30.
  • the control unit 12 moves the floor surface object based on the amount of movement of the visual object. For example, when it is desired to move the visual object by a distance v in the front direction, the control unit 12 moves the floor surface object by a distance v in the depth direction. That is, the control unit 12 moves only the floor surface object, and does not move the visual target object, the visual target virtual camera, and the background virtual camera. Alternatively, the control unit 12 may move the visual object, the virtual camera for the visual target, and the virtual camera for the background in the same direction and with the same amount of movement without moving the floor object. In either case, when the floor object is moved, the position where the floor object appears in the image taken by the virtual camera for the background moves.
  • control unit 12 may move the background image 52 only in the normal direction of the virtual image surface 30.
  • the background image 52 is not moved.
  • the background image 52 is moved according to the amount of vertical movement of the visual object 51.
  • the output unit 13 outputs an image including a visual object taken by a virtual camera for visual observation to the aerial image output device 23.
  • the output unit 13 outputs an image including the floor surface object taken by the virtual camera for the background to the background image output device 21.
  • step S11 the setting unit 11 arranges the floor surface object at the initial position in the virtual space and arranges the virtual camera for photographing the floor surface object based on the positional relationship between the visual object and the screen 22 in the real space.
  • the setting unit 11 may arrange a visual target object and a visual target virtual camera in the virtual space.
  • step S12 the control unit 12 calculates the movement amount for one frame of the floor surface object based on the movement amount for one frame of the visual object, and moves the floor surface object according to the calculated movement amount.
  • step S13 the output unit 13 outputs the background image obtained by photographing the plane including the floor surface object with the virtual camera to the background image output device 21.
  • the output unit 13 may output an image of the visual object to be captured by the virtual camera for visual observation to the aerial image output device 23.
  • steps S12 and S13 are executed for each frame.
  • the background image 52 surrounding the visual object 51 is displayed on the screen 22, and the background image 52 is moved in the direction opposite to the direction in which the visual object 51 is desired to be moved for observation.
  • the person 100 can be made to perceive that the visual object 51 is moving on the background image 52.
  • guided motion is a phenomenon that occurs under dark room conditions where the amount of peripheral light surrounding the display system and the observer is small.
  • the surrounding device is illuminated by the light from the display of the visual object, the illumination light that illuminates the visual object, or the light emitted by the visual object itself, and is visible to the observer.
  • the observer may perceive the movement of the background image based on the positional relationship between the surrounding device and the background image.
  • the background image 53 for guidance surrounding the background image 52 is displayed, and the background images 52 and 53 are moved to guide the user to the visual object 51 even in a dim environment.
  • the display environment condition of the second embodiment does not have to be a state in which the surrounding devices are completely invisible as long as it is dim.
  • the video processing device 10 of the second embodiment includes a setting unit 11, a control unit 12, and an output unit 13 as in the first embodiment.
  • the setting unit 11 arranges the guidance object surrounding the floor object at the initial position in the virtual space. For example, the setting unit 11 arranges a guiding object in which the background image 53 is displayed as a spotlight that illuminates the visual object 51.
  • FIG. 6A shows an example of the visual object 51 displayed on the virtual image plane 30 and the background images 52 and 53 projected on the screen 22.
  • FIG. 6A is a view of the screen 22 as viewed from above.
  • the background image 52 is an image of the floor surface or the ground surrounding the visual object 51, as in the first embodiment.
  • the background image 53 is a figure surrounding the background image 52, and the shape, pattern, and color can be arbitrarily set. In the present embodiment, the background image 53 is made circular and has a figure like a spotlight that illuminates the visual object 51.
  • the control unit 12 moves the guiding object based on the amount of movement of the floor object. Specifically, the control unit 12 moves the guiding object in the same direction as the moving direction of the floor surface object so that the moving amount of the guiding object is larger than the moving amount of the floor surface object. For example, if the movement amount of the floor surface object is v, the movement amount of the guidance object is 2v. The amount of movement of the guiding object may be larger than the amount of movement of the floor object.
  • FIG. 6B is a display example when the background images 52 and 53 are moved upward on the diagram from the state of FIG. 6A.
  • the display position of the visual object 51 is not moved.
  • the background image 52 is guided in a direction relatively opposite to the background image 53 (the direction opposite to the movement direction of the background image 52). ..
  • the background image 52 is perceived so that the physical motion and the guided motion that have moved the display position cancel each other out, and are perceived as being stationary.
  • the background image 53 Since the movement of the background image 53 is perceived, it is preferable to display the background image 53 in a manner that the observer can recognize that the observer does not feel uncomfortable even if the background image 53 is moving. For example, by displaying the background image 53 in the form of a spotlight that illuminates the visual object 51, an effect of reducing discomfort with respect to the presence of the background image 53 can be expected.
  • the output unit 13 outputs an image including the floor surface object and the guidance object taken by the virtual camera for the background to the background image output device 21.
  • the operation of the video processing device 10 of the second embodiment is basically the same as the flowchart of FIG.
  • step S11 the setting unit 11 arranges the floor surface object and the guidance object at the initial positions based on the positional relationship between the visual object and the screen 22.
  • step S12 the control unit 12 calculates the movement amount for one frame of the floor surface object and the guidance object based on the movement amount for one frame of the visual object, and the floor surface object based on the calculated movement amount. And move the guiding object.
  • step S13 the output unit 13 outputs a background image obtained by photographing a plane including the floor surface object and the guidance object with the virtual camera to the background image output device 21.
  • the background image 52 surrounding the visual object 51 and the guiding background image 53 surrounding the background image 52 are displayed on the screen 22, and the amount of movement of the guiding background image 53 is increased.
  • the visual object 51 can be moved to the observer 100 in a dim environment. It can be perceived as moving on the background image 52.
  • the movement of the background image surrounding the visual object may be perceived.
  • the movement of the background image is suppressed by moving a part of the background image as shown in FIG. 8 instead of moving the entire background image.
  • the video processing device 10 of the second embodiment includes a setting unit 11, a control unit 12, and an output unit 13 as in the first embodiment.
  • the setting unit 11 arranges the floor surface object at the initial position in the virtual space as in the first embodiment.
  • a guiding object that surrounds the floor object may be arranged.
  • the control unit 12 moves the background image 52, that is, the movement amount of each part of the floor surface object, with different movement amounts, based on the movement amount of the visual object 51.
  • the background image 52 in the moving direction of the visual object 51 is moved fast, and is moved slowly as the distance from the moving direction increases.
  • the control unit 12 moves the guidance object in the same manner as in the second embodiment.
  • the control unit 12 moves the circle in the direction opposite to the moving direction of the visual object 51.
  • the corners of the floor object may be fixed, or may be moved with a movement amount smaller than the movement amount of the circle.
  • the control unit 12 deforms the side of the floor object in the moving direction of the visual object 51 so that the side touches the moved circle.
  • the control unit 12 applies the same deformation to the opposite sides.
  • the sides of the background image 52 may be blurred in order to make the deformation of the sides of the background image 52 inconspicuous.
  • the control unit 12 quickly moves a point whose direction in which the point exists is close to the moving direction of the visual object 51, and the direction in which the point exists is the moving direction. Move the different points slowly.
  • the output unit 13 outputs the floor surface object photographed by the virtual camera to the background image output device 21.
  • the operation of the video processing device 10 of the third embodiment is basically the same as the flowchart of FIG.
  • step S11 the setting unit 11 arranges the floor surface object at the initial position based on the positional relationship between the visual object and the screen 22.
  • step S12 the control unit 12 calculates the movement amount of each part of the floor surface object based on the movement amount of one frame of the visual object, and moves each part of the floor surface object based on the calculated movement amount. To do.
  • step S13 the output unit 13 outputs the background image obtained by photographing the plane including the floor surface object with the virtual camera to the background image output device 21.
  • the background image 52 is moved by making the movement amount of each part of the background image 52 different based on the moving direction of the visual object 51. By moving, the movement perception of the background image 52 can be suppressed.
  • the display system of the fourth embodiment displays visual objects that can be observed from two or more different directions.
  • FIG. 9 is a top view of the display system of the fourth embodiment. Similar to the first to third embodiments, the screen 22 is arranged, and the background image output device 21 projects the background image 52 onto the screen 22.
  • the image processing device 10 supplies the background image 52 that causes the visual object 51 to perform a guided motion to the background image output device 21.
  • the image processing device 10 may use any of the first to third embodiments when supplying the background image 52.
  • the aerial image output devices 23 and optical elements 24 are provided, and an aerial image is projected above the screen 22 from four different directions.
  • the aerial image output device 23 and the optical element 24 are arranged so that the positions of the virtual image planes of the opposing devices match.
  • Each of the aerial image output devices 23 displays the visual object 51 viewed from each direction at the position where the virtual image surfaces 30A and 30C and the virtual image surfaces 30B and 30D intersect. As a result, the visual object 51 can be observed from all around.
  • the aerial image output device 23 and the optical element 24 are arranged so that the virtual image surfaces 30A to 30D are parallel to the normal direction of the screen 22 and the virtual image surfaces 30A and 30C and the virtual image surfaces 30B and 30D intersect at right angles. Good.
  • a transparent screen is arranged corresponding to each position of the virtual image surfaces 30A and 30C and the virtual image surfaces 30B and 30D shown in FIG. 9, and the visual object 51 is placed on the transparent screen from four different directions. It may be projected.
  • the direction in which the visual object 51 is projected is not limited to four directions, and may be two or three directions. In either case, the visual object 51 is projected at a position where the projection planes intersect.
  • the visual object 51 is displayed at a position where the virtual image planes 30A to 30D on the screen 22 intersect, the background image 52 is displayed on the screen 22, and the visual object 51 is displayed.
  • the visual object 51 can be perceived as moving on the background image 52 from all around.
  • the video processing device 10 described above includes, for example, a central processing unit (CPU) 901, a memory 902, a storage 903, a communication device 904, an input device 905, and an output device 906, as shown in FIG.
  • CPU central processing unit
  • a general-purpose computer system including the above can be used.
  • the video processing device 10 is realized by the CPU 901 executing a predetermined program loaded on the memory 902.
  • This program can be recorded on a computer-readable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be distributed via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本実施形態の映像処理装置１０は、スクリーン２２の表示面の上の視対象５１に誘導運動を生じさせる背景映像５２を出力する。映像処理装置１０は、視対象５１を取り囲む背景映像５２を背景映像出力装置２１に出力する出力部１３と、視対象５１を移動させたい方向の反対方向に背景映像５２を移動させる制御部１２と、を備える。背景映像出力装置２１は背景映像５２をスクリーン２２に投影する。

Description

映像処理装置、表示システム、映像処理方法、およびプログラム
　本発明は、映像処理装置、表示システム、映像処理方法、およびプログラムに関する。
　特許文献１および非特許文献１に開示されているように、表示装置の映像をハーフミラーまたは透明板などの光学素子を用いて屈折して空中像を表示する技術が知られている。空中像は、２Ｄ画像でありながら物理的装置から離れた空間中の虚像面に表示されるため、モニタに表示する２Ｄ画像と比べると、空中像が平面であると観察者に知覚させる手がかりが少ないという特徴をもつ。この特徴を利用すると、実空間のある位置に視対象が存在するという空間定位の知覚を簡便に提供できる。
特開２０１７－４９３５４号公報
N. Koizumi and T. Naemura, "Passive Mid-air Display," In Proceedings of the 13th International Conference on Advances in Computer Entertainment Technology, Article No. 39, 2016.
　視対象（空中像）を表示する虚像面は、光学系の構成によって位置が制限されてしまうため、視対象を移動可能な方向は虚像面内に限定されてしまうという問題がある。言い換えると、視対象を虚像面の法線方向に移動しているように知覚させることは困難である。透明スクリーンに視対象を投影する場合も、透明スクリーンの法線方向に視対象を移動させることは困難である。
　特許文献１は、光学素子までの距離が異なる複数のスクリーンを用意し、表示したい位置に応じて視対象を投影するスクリーンを切り替えることで、視対象を虚像面の法線方向に移動させている。しかしながら、特許文献１では、視対象の離散的な空間定位しか表現できないという問題がある。視対象を投影するモニタを物理的に移動して虚像面を連続的に移動させることで、視対象の連続的な空間定位を表現できるが、モニタを移動するための大掛かりな移動機構が必要であり、ハードウェアコストが高いという問題がある。
　本発明は、上記に鑑みてなされたものであり、簡易な構成により、視対象の連続的な空間定位を表現することを目的とする。
　本発明の一態様の映像処理装置は、平面表示装置の表示面の上の視対象に誘導運動を生じさせる背景映像を出力する映像処理装置であって、前記視対象を取り囲む背景映像を前記平面表示装置に出力する出力部と、前記視対象を移動させたい方向の反対方向に前記背景映像を移動させる制御部と、を備える。
　本発明の一態様の表示システムは、複数の表示装置と平面表示装置と映像処理装置を備える表示システムであって、前記複数の表示装置のそれぞれは、前記平面表示装置の表示面の上の投影面であって、前記投影面のそれぞれが交差する位置に視対象を表示し、前記映像処理装置は、前記視対象を取り囲む背景映像を前記平面表示装置に出力する出力部と、前記視対象を移動させたい方向の反対方向に前記背景映像を移動させる制御部と、を備える。
　本発明によれば、簡易な構成により、視対象の連続的な空間定位を表現することができる。
図１は、第１の実施形態の表示システムの構成を示す図である。 図２Ａは、虚像面に表示される視対象とスクリーンに投影された背景映像の表示例を示す図である。 図２Ｂは、図２Ａの背景映像を移動した表示例を示す図である。 図３Ａは、図２Ａの状態において観察者が見る視対象と背景映像を示す図である。 図３Ｂは、図２Ｂの状態において観察者が見る視対象と背景映像を示す図である。 図４は、映像処理装置の構成を示す図である。 図５は、映像処理装置の処理の流れを示すフローチャートである。 図６Ａは、虚像面に表示される視対象とスクリーンに投影された２つの背景映像の表示例を示す図である。 図６Ｂは、図６Ａの２つの背景映像を移動した表示例を示す図である。 図７Ａは、図６Ａの状態において観察者が見る視対象と２つの背景映像を示す図である。 図７Ｂは、図６Ｂの状態において観察者が見る視対象と２つの背景映像を示す図である。 図８は、背景映像の一部を移動した例を示す図である。 図９は、第４の実施形態の表示システムの構成を示す図である。 図１０は、映像処理装置のハードウェア構成の一例を示す図である。
　［第１の実施形態］
　第１の実施形態の表示システムについて図面を参照しながら説明する。
　図１に示す表示システム１は、映像処理装置１０、背景映像出力装置２１、スクリーン２２、空中像出力装置２３、および光学素子２４を備える。表示システム１は、空中像出力装置２３と光学素子２４によって虚像面３０に空中像（以下、「視対象」と称する）を表示するとともに、表示された視対象がスクリーン２２に投影した背景映像内を移動しているように知覚させる。具体的には、表示システム１は、暗室条件下において、観察者１００から見て奥行き方向または手前方向に視対象が移動しているように知覚させる。暗室条件とは、表示システム１および観察者を取り囲む周辺光量が少ない環境であり、周囲の装置が見えないことが望ましい。
　スクリーン２２は、地面に対して平行に配置される。背景映像出力装置２１は、背景映像をスクリーン２２に投影する。背景映像出力装置２１は、いずれの方向から映像を投影してもよい。
　光学素子２４を約４５度傾斜させて配置し、空中像出力装置２３を光学素子２４の上方または下方に配置する。空中像出力装置２３の出力した映像は、光学素子２４により観察者１００の方向へ反射し、虚像面３０において空中像を形成する。虚像面３０がスクリーン２２の法線方向と平行となるようにスクリーン２２と光学素子２４を配置する。空中像出力装置２３から光学素子２４までの距離ｄ１を変えることで、光学素子２４から虚像面３０までの距離ｄ２を調節することができる。距離ｄ１が短くなれば距離ｄ２が短くなる。本実施形態では、虚像面３０がスクリーン２２の中央付近となるように空中像出力装置２３を配置した。虚像面３０の位置はスクリーン２２の中央に限らず、任意の位置に設定してよい。空中像出力装置２３および光学素子２４の位置は固定されてよい。
　空中像出力装置２３および光学素子２４は、スクリーン２２の上方に空中像を表示できればよく、上記の構成に限定するものではない。また、視対象は必ずしも空中に浮かんでいるように表示する必要はなく、スクリーン２２の表示面に接地しているように表示してもよい。もしくは、スクリーン２２を上方に配置し、スクリーン２２に表示した背景映像に視対象がぶら下がっているように表示してもよい。
　なお、空中像出力装置２３および光学素子２４で空中像を表示する代わりに、スクリーン２２上に透明スクリーンを配置し、透明スクリーンに投影した映像を視対象としてもよい。あるいは、スクリーン２２上に実物体を配置し、その実体物を視対象としてもよい。透明スクリーンおよび実物体の位置は固定されてよい。
　映像処理装置１０は、視対象に誘導運動を生じさせる背景映像を背景映像出力装置２１に供給する。具体的には、映像処理装置１０は、視対象の移動方向の逆方向に背景映像を移動させて、視対象に誘導運動を生じさせる。誘導運動とは、静止物体に運動知覚を与える錯覚現象である。誘導運動を生じさせる背景映像とは、観察者１００の視点から見たときに視対象を取り囲む映像である。本実施形態では、視対象の移動範囲を表す床面を背景映像として、床面上を視対象が移動しているように知覚させる。
　図２Ａに、虚像面３０に表示される視対象５１とスクリーン２２に投影された背景映像５２の表示例を示す。図２Ａは、図１のスクリーン２２を上方から見た図である。観察者１００は、図上で下方向にいるものとする。視対象５１は虚像面３０に投影されるが、図２Ａでは視対象５１が表示される位置を円で表現している。背景映像５２は、視対象５１を取り囲む床面または地面などの映像である。背景映像５２の形、模様、色は任意に設定できる。背景映像５２の外側には何も表示せずに真っ暗な状態とする。
　図２Ｂは、図２Ａの状態から背景映像５２を図上で上方向、つまり観察者１００から見て奥側に移動させたときの表示例である。視対象５１の表示位置は移動させていない。視対象５１は、背景映像５２を基準にすると下方向に移動している。表示システム１が設置された環境が明るく、スクリーン２２の枠や周辺の装置など、実空間内での背景映像５２の位置がわかる物体が見える場合、観察者１００は、背景映像５２が移動していることを知覚してしまう。
　暗室条件下では、図３Ａおよび図３Ｂに示すように、観察者１００は、視対象５１と背景映像５２のみを注視することになる。背景映像５２を移動させたとき、観察者１００は、図３Ｂに示すように、実際は背景映像５２が移動しているのだが、視対象５１が移動しているように知覚する。すなわち、暗室条件下において、視対象５１を取り囲む背景映像５２を移動させることにより、背景映像５２内の任意の位置に視対象５１が移動したように空間定位させることが可能になる。
　図４を参照し、映像処理装置１０の構成について説明する。同図に示す映像処理装置１０は、設定部１１、制御部１２、および出力部１３を備える。
　設定部１１は、実空間での視対象とスクリーン２２の位置関係に基づき、仮想空間内に視対象を表す視対象オブジェクトと背景映像となる床面オブジェクトを初期位置に配置する。例えば、設定部１１は、視対象オブジェクトが床面オブジェクトの中心付近に立っているように、床面オブジェクトを配置する。床面オブジェクトは視対象オブジェクトの移動範囲を示す平面図形である。
　設定部１１は、仮想空間内に、スクリーン２２に投影する映像を撮影するための背景用の仮想カメラを配置する。背景用の仮想カメラは、床面オブジェクトを含む領域を撮影する。背景用の仮想カメラの撮影した映像がスクリーン２２に投影される。仮想カメラの位置を固定したまま仮想空間内で床面オブジェクトを移動させると、スクリーン２２に投影された背景映像が移動する。
　設定部１１は、視対象オブジェクトを撮影する視対象用の仮想カメラを配置してもよい。視対象用の仮想カメラは、横方向から視対象オブジェクトを撮影する。空中像出力装置２３は、視対象用の仮想カメラの撮影した映像を光学素子２４に投影し、視対象を虚像面３０に表示する。
　制御部１２は、視対象オブジェクトの移動量に基づき、床面オブジェクトを移動する。例えば、視対象を手前方向に距離ｖ移動させたい場合、制御部１２は、床面オブジェクトを奥行き方向に距離ｖ移動させる。つまり、制御部１２は、床面オブジェクトのみを移動させて、視対象オブジェクト、視対象用の仮想カメラ、および背景用の仮想カメラを移動させない。あるいは、制御部１２は、床面オブジェクトを移動させずに、視対象オブジェクト、視対象用の仮想カメラ、および背景用の仮想カメラを同じ方向に同じ移動量で移動させてもよい。いずれの場合も、床面オブジェクトを移動させると、背景用の仮想カメラで撮影した映像内での床面オブジェクトの写る位置が移動する。
　視対象が虚像面３０内を自由に移動できる場合、制御部１２は、虚像面３０の法線方向のみに背景映像５２を移動させてもよい。例えば、図２Ａに示す例において、視対象５１が虚像面３０に沿って左右方向に移動するときは背景映像５２を移動させない。視対象５１が図２Ａの上下方向に移動するときに、視対象５１の上下方向の移動量に合わせて背景映像５２を移動させる。
　出力部１３は、視対象用の仮想カメラで撮影した視対象オブジェクトを含む映像を空中像出力装置２３へ出力する。出力部１３は、背景用の仮想カメラで撮影した床面オブジェクトを含む映像を背景映像出力装置２１へ出力する。
　図５のフローチャートを参照し、映像処理装置１０の動作について説明する。
　ステップＳ１１にて、設定部１１は、実空間での視対象とスクリーン２２の位置関係に基づき、仮想空間内に床面オブジェクトを初期位置に配置するとともに、床面オブジェクトを撮影する仮想カメラを配置する。設定部１１は、仮想空間内に視対象オブジェクトおよび視対象用の仮想カメラを配置してもよい。
　ステップＳ１２にて、制御部１２は、視対象の１フレーム分の移動量に基づき、床面オブジェクトの１フレーム分の移動量を計算し、計算した移動量に応じて床面オブジェクトを移動する。
　ステップＳ１３にて、出力部１３は、仮想カメラで床面オブジェクトを含む平面を撮影した背景映像を背景映像出力装置２１へ出力する。出力部１３は、視対象用の仮想カメラで視対象オブジェクトを撮影した映像を空中像出力装置２３へ出力してもよい。
　１フレームごとに、ステップＳ１２，Ｓ１３の処理が実施される。
　以上説明したように、本実施形態によれば、視対象５１を取り囲む背景映像５２をスクリーン２２に表示し、視対象５１を移動させたい方向の反対方向に背景映像５２を移動させることで、観察者１００に、視対象５１が背景映像５２上を移動しているように知覚させることができる。
　［第２の実施形態］
　次に、第２の実施形態の表示システムについて説明する。第２の実施形態の表示システムの構成は、第１の実施形態の表示システムと同じである。
　一般に誘導運動は、表示システムおよび観察者を取り囲む周辺光量が少ない暗室条件下で生じる現象である。実環境下では、施設内の光量を制御して表示システムの周囲を完全に真っ暗にすることは難しい。また、視対象の表示による光、視対象を照らす照明光、または視対象自身が出す光などによって、周囲の装置が照らされて観察者に見えてしまう場合が想定される。その結果、周囲の装置と背景映像の位置関係に基づいて、観察者が背景映像の移動を知覚するおそれがある。
　第２の実施形態では、図６Ａに示すように、背景映像５２を取り囲む誘導用の背景映像５３を表示し、背景映像５２，５３を移動することで、薄暗い環境下においても視対象５１に誘導運動を生じさせる。第２の実施形態の表示環境条件は、薄暗ければ、周囲の装置が完全に見えない状態でなくてもよい。
　第２の実施形態の映像処理装置１０は、第１の実施形態と同様に、設定部１１、制御部１２、および出力部１３を備える。
　設定部１１は、視対象オブジェクトと床面オブジェクトに加えて、床面オブジェクトを取り囲む誘導用オブジェクトを仮想空間内の初期位置に配置する。例えば、設定部１１は、背景映像５３が視対象５１を照らすスポットライトのように表示される誘導用オブジェクトを配置する。
　図６Ａに、虚像面３０に表示される視対象５１とスクリーン２２に投影された背景映像５２，５３の例を示す。図６Ａは、スクリーン２２を上方から見た図である。背景映像５２は、第１の実施形態と同様の、視対象５１を取り囲む床面または地面などの映像である。背景映像５３は、背景映像５２を取り囲む図形であり、形、模様、色は任意に設定できる。本実施形態では、背景映像５３を円形として、視対象５１を照らすスポットライトのような図形とした。
　制御部１２は、床面オブジェクトの移動量に基づき、誘導用オブジェクトを移動する。具体的には、制御部１２は、床面オブジェクトの移動方向と同じ方向であって、誘導用オブジェクトの移動量が床面オブジェクトの移動量よりも大きくなるように、誘導用オブジェクトを移動する。例えば、床面オブジェクトの移動量をｖとすると、誘導用オブジェクトの移動量を２ｖとする。誘導用オブジェクトの移動量は床面オブジェクトの移動量よりも大きければよい。
　図６Ｂは、図６Ａの状態から背景映像５２，５３を図上で上方向に移動させたときの表示例である。視対象５１の表示位置は移動させていない。背景映像５３の移動量を背景映像５２の移動量よりも大きくすることで、背景映像５２は背景映像５３に対して相対的に逆向き（背景映像５２の移動方向の反対方向）に誘導される。その結果、背景映像５２は、表示位置を移動した物理運動と誘導運動とが互いに相殺し合うように知覚されて、静止しているように知覚される。
　観察者および表示システムの周囲が薄暗い場合であっても、図７Ａおよび図７Ｂに示すように、背景映像５２，５３が移動されても、観察者は、背景映像５２と背景映像５３とを対比し、背景映像５２が静止し、視対象５１が移動しているように知覚する。
　なお、背景映像５３の移動は知覚されるので、移動していても観察者が違和感を抱かないものと認識できる態様で背景映像５３を表示するとよい。例えば、背景映像５３を視対象５１を照らすスポットライトの態様で表示することで、背景映像５３の存在に対して違和感を低減する効果が期待できる。
　出力部１３は、背景用の仮想カメラで撮影した床面オブジェクトと誘導用オブジェクトを含む映像を背景映像出力装置２１へ出力する。
　第２の実施形態の映像処理装置１０の動作は、基本的に図５のフローチャートと同様である。
　ステップＳ１１にて、設定部１１は、視対象とスクリーン２２の位置関係に基づき、床面オブジェクトと誘導用オブジェクトを初期位置に配置する。
　ステップＳ１２にて、制御部１２は、視対象の１フレーム分の移動量に基づき、床面オブジェクトと誘導用オブジェクトの１フレーム分の移動量を計算し、計算した移動量に基づいて床面オブジェクトと誘導用オブジェクトを移動する。
　ステップＳ１３にて、出力部１３は、仮想カメラで床面オブジェクトと誘導用オブジェクトを含む平面を撮影した背景映像を背景映像出力装置２１へ出力する。
　以上説明したように、本実施形態によれば、視対象５１を取り囲む背景映像５２と背景映像５２を取り囲む誘導用の背景映像５３をスクリーン２２に表示し、誘導用の背景映像５３の移動量が背景映像５２の移動量よりも大きくなるように、視対象５１を移動させたい方向の反対方向に背景映像５２，５３を移動させることで、薄暗い環境下において、観察者１００に、視対象５１が背景映像５２上を移動しているように知覚させることができる。
　［第３の実施形態］
　次に、第３の実施形態の表示システムについて説明する。第３の実施形態の表示システムの構成は、第１、第２の実施形態の表示システムと同じである。
　視対象を速く移動させるために視対象を取り囲む背景映像の移動量を大きくすると、背景映像の移動が知覚されてしまうおそれがある。
　第３の実施形態では、背景映像の全体を移動するのではなく、図８に示すように、背景映像の一部を動かすことで、背景映像の移動が知覚されることを抑制する。
　第２の実施形態の映像処理装置１０は、第１の実施形態と同様に、設定部１１、制御部１２、および出力部１３を備える。
　設定部１１は、第１の実施形態と同様に床面オブジェクトを仮想空間内の初期位置に配置する。第２の実施形態と同様に、床面オブジェクトを取り囲む誘導用オブジェクトを配置してもよい。
　制御部１２は、視対象５１の移動量に基づき、背景映像５２つまり床面オブジェクトの各部分の移動量を異ならせて移動させる。図８の例では、視対象５１の移動方向の背景映像５２を速く移動させ、移動方向から離れるに従って遅く移動させている。誘導用オブジェクトを配置した場合、制御部１２は、誘導用オブジェクトを第２の実施形態と同様に移動する。
　背景映像５２を矩形とした場合の背景映像５２の移動例を具体的に説明する。床面オブジェクトを矩形とし、矩形の４辺それぞれに外接する円を想定する。制御部１２は、視対象５１の移動方向の逆方向に円を移動する。このとき、床面オブジェクトの角は固定しておいてもよいし、円の移動量よりも少ない移動量で移動させてもよい。制御部１２は、視対象５１の移動方向の床面オブジェクトの辺が移動後の円に接触するように辺を変形する。制御部１２は、向かい合う辺に対しても同じ変形を施す。
　背景映像５２の辺の変形を目立たなくするために、背景映像５２の辺をぼかしてもよい。
　また、背景映像５２を点の集まりで構成した場合、制御部１２は、例えば、点の存在する方向が視対象５１の移動方向に近い点を速く移動させ、点の存在する方向が移動方向と異なる点はゆっくり移動させる。
　出力部１３は、仮想カメラで撮影した床面オブジェクトを背景映像出力装置２１へ出力する。
　第３の実施形態の映像処理装置１０の動作は、基本的に図５のフローチャートと同様である。
　ステップＳ１１にて、設定部１１は、視対象とスクリーン２２の位置関係に基づき、床面オブジェクトを初期位置に配置する。
　ステップＳ１２にて、制御部１２は、視対象の１フレーム分の移動量に基づき、床面オブジェクトの各部分の移動量を計算し、計算した移動量に基づいて床面オブジェクトの各部分を移動する。
　ステップＳ１３にて、出力部１３は、仮想カメラで床面オブジェクトを含む平面を撮影した背景映像を背景映像出力装置２１へ出力する。
　以上説明したように、本実施形態によれば、視対象５１を速く移動させたいときに、視対象５１の移動方向に基づいて背景映像５２の各部分の移動量を異ならせて背景映像５２を移動することにより、背景映像５２の移動知覚を抑制できる。
　［第４の実施形態］
　次に、第４の実施形態の表示システムについて説明する。第４の実施形態の表示システムは、２つ以上の異なる方向から観察できる視対象を表示する。
　図９を参照し、第４の実施形態の表示システムについて説明する。図９は、第４の実施形態の表示システムを上からみた図である。第１ないし第３の実施形態と同様に、スクリーン２２を配置し、背景映像出力装置２１が背景映像５２をスクリーン２２に投影する。
　映像処理装置１０は、視対象５１に誘導運動を生じさせる背景映像５２を背景映像出力装置２１に供給する。映像処理装置１０は、背景映像５２の供給に際して、第１ないし第３の実施形態のいずれの形態を用いてもよい。
　第４の実施形態では、４組の空中像出力装置２３と光学素子２４を備えて、異なる４方向からスクリーン２２の上方に空中像を投影する。対向する装置の虚像面の位置が一致するように空中像出力装置２３と光学素子２４を配置する。具体的には、図９の図上で下方向に配置した空中像出力装置２３と光学素子２４の形成する虚像面３０Ａと上方向に配置した空中像出力装置２３と光学素子２４の形成する虚像面３０Ｃの位置を一致させる。また、図９の図上で左方向に配置した空中像出力装置２３と光学素子２４の形成する虚像面３０Ｂと右方向に配置した空中像出力装置２３と光学素子２４の形成する虚像面３０Ｄの位置を一致させる。
　空中像出力装置２３のそれぞれは、虚像面３０Ａ，３０Ｃと虚像面３０Ｂ，３０Ｄが交差する位置に、各方向から見た視対象５１を表示する。これにより、視対象５１を全周囲から観察することができる。なお、虚像面３０Ａ～３０Ｄがスクリーン２２の法線方向と平行となり、虚像面３０Ａ，３０Ｃと虚像面３０Ｂ，３０Ｄが直角に交わるように、空中像出力装置２３と光学素子２４のそれぞれを配置するとよい。
　なお、光学素子２４の代わりに、図９に示した虚像面３０Ａ，３０Ｃと虚像面３０Ｂ，３０Ｄのそれぞれの位置に対応させて透明スクリーンを配置し、異なる４方向から透明スクリーンに視対象５１を投影してもよい。
　視対象５１を投影する方向は４方向に限らず、２方向でも３方向でもよい。いずれの場合も投影面が交差する位置に視対象５１を投影する。
　以上説明したように、本実施形態によれば、スクリーン２２の上の虚像面３０Ａ～３０Ｄのそれぞれが交差する位置に視対象５１を表示し、スクリーン２２に背景映像５２を表示し、視対象５１を移動させたい方向の反対方向に背景映像５２を移動させることで、全周囲から視対象５１が背景映像５２上を移動しているように知覚させることができる。
　上記説明した映像処理装置１０には、例えば、図１０に示すような、中央演算処理装置（ＣＰＵ）９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、映像処理装置１０が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。
　１…表示システム
　１０…映像処理装置
　１１…設定部
　１２…制御部
　１３…出力部
　２１…背景映像出力装置
　２２…スクリーン
　２３…空中像出力装置
　２４…光学素子
　３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ…虚像面
　５１…視対象
　５２，５３…背景映像
　１００…観察者

Claims (7)

  1. 　平面表示装置の表示面の上の視対象に誘導運動を生じさせる背景映像を出力する映像処理装置であって、
    　前記視対象を取り囲む背景映像を前記平面表示装置に出力する出力部と、
    　前記視対象を移動させたい方向の反対方向に前記背景映像を移動させる制御部と、を備える
    　映像処理装置。
  2. 　請求項１に記載の映像処理装置であって、
    　前記出力部は、前記背景映像を取り囲む第２の背景映像を出力し、
    　前記制御部は、前記背景映像の移動方向と同じ方向に前記第２の背景映像を移動し、前記第２の背景映像の移動量を前記背景映像の移動量よりも大きくする
    　映像処理装置。
  3. 　請求項２に記載の映像処理装置であって、
    　前記第２の背景映像の表示の態様は、前記視対象を照らすスポットライトである
    　映像処理装置。
  4. 　請求項１ないし３のいずれかに記載の映像処理装置であって、
    　前記制御部は、前記視対象の移動方向に基づいて前記背景映像の各部分の移動量を異ならせる
    　映像処理装置。
  5. 　複数の表示装置と平面表示装置と映像処理装置を備える表示システムであって、
    　前記複数の表示装置のそれぞれは、前記平面表示装置の表示面の上の投影面であって、前記投影面のそれぞれが交差する位置に視対象を表示し、
    　前記映像処理装置は、
    　　前記視対象を取り囲む背景映像を前記平面表示装置に出力する出力部と、
    　　前記視対象を移動させたい方向の反対方向に前記背景映像を移動させる制御部と、を備える
    　表示システム。
  6. 　平面表示装置の表示面の上の視対象に誘導運動を生じさせる背景映像を出力する映像処理方法であって、
    　コンピュータが実行する、
    　前記視対象を取り囲む背景映像を前記平面表示装置に出力するステップと、
    　前記視対象を移動させたい方向の反対方向に前記背景映像を移動させるステップと、を有する
    　映像処理方法。
  7. 　請求項１ないし４のいずれかに記載の映像処理装置の各部としてコンピュータを動作させるプログラム。
PCT/JP2019/041295 2019-10-21 2019-10-21 映像処理装置、表示システム、映像処理方法、およびプログラム WO2021079402A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/041295 WO2021079402A1 (ja) 2019-10-21 2019-10-21 映像処理装置、表示システム、映像処理方法、およびプログラム
JP2021554059A JP7273345B2 (ja) 2019-10-21 2020-05-25 映像処理装置、表示システム、映像処理方法、およびプログラム
PCT/JP2020/020564 WO2021079550A1 (ja) 2019-10-21 2020-05-25 映像処理装置、表示システム、映像処理方法、およびプログラム
US17/770,965 US20220360753A1 (en) 2019-10-21 2020-05-25 Image processing device, display system, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/041295 WO2021079402A1 (ja) 2019-10-21 2019-10-21 映像処理装置、表示システム、映像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2021079402A1 true WO2021079402A1 (ja) 2021-04-29

Family

ID=75620547

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/041295 WO2021079402A1 (ja) 2019-10-21 2019-10-21 映像処理装置、表示システム、映像処理方法、およびプログラム
PCT/JP2020/020564 WO2021079550A1 (ja) 2019-10-21 2020-05-25 映像処理装置、表示システム、映像処理方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020564 WO2021079550A1 (ja) 2019-10-21 2020-05-25 映像処理装置、表示システム、映像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220360753A1 (ja)
JP (1) JP7273345B2 (ja)
WO (2) WO2021079402A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024028929A1 (ja) * 2022-08-01 2024-02-08 日本電信電話株式会社 空中像表示システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230063215A1 (en) * 2020-01-23 2023-03-02 Sony Group Corporation Information processing apparatus, information processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230754A (ja) * 1993-02-08 1994-08-19 Nippon Telegr & Teleph Corp <Ntt> 臨場感画像表示装置および臨場感画像入出力装置
JP2012175324A (ja) * 2011-02-21 2012-09-10 Tatsumi Denshi Kogyo Kk 自動写真作成システム、自動写真作成装置、サーバ装置、および端末装置
JP2014059691A (ja) * 2012-09-18 2014-04-03 Sony Corp 画像処理装置および方法、並びにプログラム
JP2016123074A (ja) * 2014-12-25 2016-07-07 パナソニックＩｐマネジメント株式会社 投影装置
JP2016192686A (ja) * 2015-03-31 2016-11-10 大和ハウス工業株式会社 映像表示システム及び映像表示方法
JP2019087864A (ja) * 2017-11-07 2019-06-06 日本電信電話株式会社 空間像移動方向決定装置、空間像表示装置、空間像移動方向決定方法及び空間像移動方向決定プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6457964B2 (ja) 2016-03-10 2019-01-23 日本電信電話株式会社 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム
JP6612698B2 (ja) 2016-09-06 2019-11-27 日本電信電話株式会社 虚像表示システム
JP7010122B2 (ja) 2018-04-11 2022-01-26 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230754A (ja) * 1993-02-08 1994-08-19 Nippon Telegr & Teleph Corp <Ntt> 臨場感画像表示装置および臨場感画像入出力装置
JP2012175324A (ja) * 2011-02-21 2012-09-10 Tatsumi Denshi Kogyo Kk 自動写真作成システム、自動写真作成装置、サーバ装置、および端末装置
JP2014059691A (ja) * 2012-09-18 2014-04-03 Sony Corp 画像処理装置および方法、並びにプログラム
JP2016123074A (ja) * 2014-12-25 2016-07-07 パナソニックＩｐマネジメント株式会社 投影装置
JP2016192686A (ja) * 2015-03-31 2016-11-10 大和ハウス工業株式会社 映像表示システム及び映像表示方法
JP2019087864A (ja) * 2017-11-07 2019-06-06 日本電信電話株式会社 空間像移動方向決定装置、空間像表示装置、空間像移動方向決定方法及び空間像移動方向決定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024028929A1 (ja) * 2022-08-01 2024-02-08 日本電信電話株式会社 空中像表示システム

Also Published As

Publication number Publication date
US20220360753A1 (en) 2022-11-10
WO2021079550A1 (ja) 2021-04-29
JP7273345B2 (ja) 2023-05-15
JPWO2021079550A1 (ja) 2021-04-29

Similar Documents

Publication Publication Date Title
CN113711109A (zh) 具有直通成像的头戴式显示器
US8199186B2 (en) Three-dimensional (3D) imaging based on motionparallax
US8890812B2 (en) Graphical user interface adjusting to a change of user&#39;s disposition
US7967451B2 (en) Multi-directional image displaying device
US20210056662A1 (en) Image processing apparatus, image processing method, and storage medium
JP4052357B2 (ja) 仮想環境体験表示装置
KR101080040B1 (ko) 공간 증강 현실 기반 인터랙티브 디스플레이 방법
WO2021079402A1 (ja) 映像処理装置、表示システム、映像処理方法、およびプログラム
Broll Augmented reality
WO2020152391A1 (en) Display apparatus and method of displaying
Yasugi et al. Development of aerial interface by integrating omnidirectional aerial display, motion tracking, and virtual reality space construction
EP3454098A1 (en) System with semi-transparent reflector for mixed/augmented reality
WO2016075437A1 (en) Image display system
JP2011197675A (ja) 投影システム
Zhou et al. 3DPS: An auto-calibrated three-dimensional perspective-corrected spherical display
JP2007323093A (ja) 仮想環境体験表示装置
US9395812B2 (en) Method and system for presenting at least one image of at least one application on a display device
Tsuchiya et al. An optical design for avatar-user co-axial viewpoint telepresence
Horan et al. Feeling your way around a cave-like reconfigurable VR system
US20210097729A1 (en) Method and device for resolving focal conflict
Grogorick et al. Gaze and motion-aware real-time dome projection system
Gacem et al. Finding objects faster in dense environments using a projection augmented robotic arm
US20240146893A1 (en) Video processing apparatus, video processing method and video processing program
US11675213B2 (en) Systems and methods for projecting images from light field displays based on reflected light rays
US20210306611A1 (en) Multiview Image Capture and Display System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19949768

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19949768

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP