WO2021234862A1 - 表示システム及び表示方法 - Google Patents

表示システム及び表示方法 Download PDF

Info

Publication number
WO2021234862A1
WO2021234862A1 PCT/JP2020/019955 JP2020019955W WO2021234862A1 WO 2021234862 A1 WO2021234862 A1 WO 2021234862A1 JP 2020019955 W JP2020019955 W JP 2020019955W WO 2021234862 A1 WO2021234862 A1 WO 2021234862A1
Authority
WO
WIPO (PCT)
Prior art keywords
projector
viewer
height
display system
screen
Prior art date
Application number
PCT/JP2020/019955
Other languages
English (en)
French (fr)
Inventor
正典 横山
隆 佐藤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/019955 priority Critical patent/WO2021234862A1/ja
Publication of WO2021234862A1 publication Critical patent/WO2021234862A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements

Definitions

  • the present invention relates to a display system and a display method.
  • Non-Patent Documents 1 and 2 propose a display device capable of experiencing 360-degree 3D images without the need for 3D glasses or the like.
  • the display devices of Non-Patent Documents 1 and 2 include a table-type screen composed of a reflective layer, a Fresnel lens layer, and a diffuser layer, and a plurality of projectors around the screen.
  • the image (light) projected from the projector toward the screen is reflected by the screen, and the reflected light is condensed in the air.
  • the position where the reflected light is collected is called the iris surface. When the viewer's eyes are aligned with the iris surface, the image projected on the screen can be seen.
  • the diffuse layer of the screen controls the brightness on the iris surface to be attenuated according to the distance from the center of the iris surface.
  • the viewer's eye position does not match the iris surface, the viewer cannot see the 3D image.
  • the height of the eyes of the viewer does not match the iris surface, there is a problem that the position of the eyes does not match the iris surface even if the viewer moves back and forth and left and right.
  • the present invention has been made in view of the above, and an object of the present invention is to enable clear viewing of an image regardless of the height of the viewer.
  • the display system of one aspect of the present invention includes a projector that projects an image, a screen that reflects the image projected by the projector and forms an iris surface at a position corresponding to the distance between the projector, and the projector.
  • a control device for controlling the height is provided, and the control device adjusts the height of the projector so that the recognition unit that recognizes the viewpoint position of the viewer and the iris surface are formed at the viewpoint position of the viewer. It is equipped with an adjustment unit.
  • a display method is a display system including a projector that projects an image and a screen that reflects the image projected by the projector to form an iris surface at a position corresponding to a distance between the projector and the projector. It is a display method that recognizes the viewpoint position of the viewer and adjusts the height of the projector so that the iris surface is formed at the viewpoint position of the viewer.
  • FIG. 1 is a diagram showing an outline of a display system of the present embodiment.
  • FIG. 2 is a diagram showing an example of placement of markers included in the display system of FIG.
  • FIG. 3 is a diagram showing an outline of a modified example of the display system of the present embodiment.
  • FIG. 4 is a diagram showing an arrangement example of a distance measuring sensor included in the display system of FIG.
  • FIG. 5 is a diagram showing a configuration example of the control device.
  • FIG. 6 is a flowchart showing a processing flow of the control device.
  • FIG. 7 is a diagram for explaining the relationship between the iris surface and the height of the projector.
  • FIG. 8 is a diagram for explaining a mechanism for moving the projector up and down.
  • FIG. 9 is a diagram showing an example of mounting a projector.
  • FIG. 1 is a diagram showing an outline of a display system of the present embodiment.
  • FIG. 2 is a diagram showing an example of placement of markers included in the display system of FIG.
  • FIG. 10 is a diagram showing an example of the shape of the guide.
  • FIG. 11 is a diagram for explaining a modified example of the mechanism for moving the projector up and down.
  • FIG. 12 is a diagram showing an example of mounting a projector.
  • FIG. 13 is a diagram showing an outline of a modified example of the display system of the present embodiment.
  • FIG. 14 is a diagram for explaining the relationship between the iris surface and the height of the projector.
  • the display system of this embodiment will be described with reference to FIG.
  • the display system of the present embodiment is a system that projects an image from a plurality of projectors 20 onto a circular table-shaped screen 30 and displays a 3D image.
  • a 3D image is displayed by using an optical linear blending technique that utilizes a visual effect generated when adjacent iris surfaces overlap each other.
  • the plurality of projectors 20 are arranged in a circle above the screen 30 so as to surround the screen 30.
  • 60 projectors 20 are arranged in a circle at intervals of 6 degrees. Images of the subject taken from each of the entire circumferences of 360 degrees are supplied to each of the projectors 20. Each projector 20 projects the supplied image onto the screen 30.
  • the height and projection angle of each of the projectors 20 are individually controlled by the control device 10. By changing the height and projection angle of the projector 20, the height at which the iris surface 60 is formed can be changed.
  • the control of the projector 20 by the control device 10 will be described later.
  • the screen 30 is a reflective screen composed of a reflective layer, a Fresnel lens layer, and a diffuser layer.
  • the screen 30 the spatially imaged iris surface type screen described in Non-Patent Documents 1 and 2 can be used.
  • the screen 30 is arranged with the reflective surface facing the ceiling.
  • the screen 30 may be placed on the pedestal to make it look like a table.
  • Viewers 100A and 100B can see the 3D image from the direction of 360 degrees around the screen 30.
  • the viewers 100A and 100B are not distinguished, they are referred to as the viewer 100.
  • the screen 30 reflects the projected image and forms the iris surface 60 at a position corresponding to the distance between the projector 20 and the screen 30.
  • the iris surface 60 has a vertically long elliptical shape when viewed from the opposite side of the projector 20. If the eyes of the viewer 100 are located within the iris surface 60, a clear image can be viewed.
  • the viewer 100 can see the image projected by the projector 20 arranged on the opposite side of the screen 30.
  • a part of the iris surface 60 formed by each of the images from the adjacent projectors 20 is overlapped in the horizontal direction.
  • the brightness gradually decreases as the distance from the center of the iris surface 60 in the horizontal direction increases.
  • the ratio of the brightness of the mixed video changes according to the viewpoint position, and the position of the object in the video changes according to the ratio of the brightness.
  • the images observed by the left and right eyes of the viewer 100 are images mixed at different luminance ratios, and each of the left and right eyes perceives an object in the image at a different position. As a result, the viewer 100 can see the 3D image (stereoscopic image).
  • the viewer 100A can see the displayed 3D image because the eye position and the iris surface 60 are aligned, but the viewer 100B has the eye position and the iris surface 60. I can't see the displayed 3D image because it doesn't match.
  • the control device 10 estimates the height of the viewer 100, and controls the height and projection angle of the projector 20 so that the iris surface 60 matches the position of the eyes of the viewer 100.
  • the camera 40 and the marker 41 are installed above the screen 30.
  • the camera 40 captures an image including the marker 41 and the viewer 100.
  • the camera 40 is, for example, a 360 degree camera installed above the center of the screen 30.
  • the marker 41 is arranged at a position extending in the horizontal direction from the installation position of the camera 40.
  • the installation position of the marker 41 is known.
  • the control device 10 detects the viewer 100 from the camera image including the marker 41 and the viewer 100, and estimates the height of the viewer 100.
  • the distance measuring sensor 42 using ultrasonic waves or infrared rays may be arranged so as to correspond to the standing position of the viewer 100.
  • a plurality of distance measuring sensors 42 are arranged in a circle above the periphery of the screen 30 so that the viewer 100 standing around the screen 30 can be detected. It is assumed that the measured value of the distance measuring sensor 42 changes linearly.
  • the distance from the distance measuring sensor 42 to the floor is measured in advance, and the conversion coefficient from the measured value of the distance measuring sensor 42 to the actual distance is obtained in advance.
  • the control device 10 estimates the height of the viewer 100 from the measured value, assuming that the viewer 100 has been detected.
  • the viewer 100 may input his / her height with a keyboard or the like without the camera 40, the marker 41, and the distance measuring sensor 42.
  • a plurality of keyboards may be arranged around the screen 30 and the standing position of the viewer 100 may be specified based on the input keyboard identifier.
  • the guidance terminal 50 is a terminal for guiding the viewer 100 when the position of the projector 20 cannot be adjusted according to the height of the viewer 100.
  • the guidance terminal 50 guides the viewer 100 to the stepping stone or lowers the eye position based on the instruction from the control device 10.
  • the guidance terminal 50 is composed of a device capable of guiding the viewer 100 by, for example, an LED, a display, a speaker, or the like.
  • the control device 10 is a device that detects the viewer 100, estimates the height, and controls the height of the projector 20 corresponding to the height of the viewer 100.
  • the control device 10 shown in FIG. 5 includes a recognition unit 11, an adjustment unit 12, and a guidance unit 13.
  • Each part included in the control device 10 may be configured by a computer provided with an arithmetic processing unit, a storage device, and the like, and the processing of each part may be executed by a program.
  • This program is stored in a storage device included in the control device 10, and can be recorded on a recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be provided through a network.
  • the recognition unit 11 detects the viewer 100 from the 360-degree camera image taken by the camera 40 and estimates its height.
  • General methods can be used to detect people and estimate their height.
  • market technology such as OpenPose is used to detect a person.
  • the recognition unit 11 measures the length between the top of the skeleton acquired at the time of detecting a person and the marker 41 to estimate the height.
  • the recognition unit 11 identifies the projector 20 to be controlled to show the image to the viewer 100. For example, the recognition unit 11 sets coordinates in the camera image and holds a correspondence table between the coordinate values and the projector 20. In the correspondence table, the coordinate values of the standing position are associated with the projector 20 on the opposite side of the screen 30. The recognition unit 11 refers to the correspondence table, identifies the projector 20 corresponding to the coordinate value obtained by detecting a person from the camera image, and specifies a total of three projectors 20 adjacent to the projector 20 as the projector 20 to be controlled. ..
  • the adjustment unit 12 calculates the adjustment value of the projector 20 based on the height received from the recognition unit 11, and transmits an instruction to adjust the position of the projector 20 to be controlled to a motor or the like that moves the projector 20 up and down. When there are a plurality of projectors 20 to be controlled, the adjusting unit 12 adjusts the positions of the plurality of projectors 20.
  • the guidance unit 13 transmits an instruction to guide the viewer 100 to the guidance terminal 50 when the adjustment value calculated by the adjustment unit 12 is out of the adjustment range. For example, when the range of physical movement of the projector 20 is exceeded, the guidance unit 13 guides the viewpoint position of the viewer 100.
  • step S11 the recognition unit 11 determines whether or not a person has been detected from the input camera image. If no person is detected, the process of step S11 is repeated.
  • the recognition unit 11 specifies the height of the detected person and the projector 20 that provides the image to the person.
  • step S13 the adjusting unit 12 calculates the height of the iris surface that matches the detected person.
  • step S14 the adjusting unit 12 calculates the height of the projector 20 according to the height of the iris surface obtained in step S13.
  • the calculation of the height of the iris surface and the height of the projector 20 will be described.
  • the projection distance Dp from the center of the lens of the projector 20 to the screen 30 the viewing distance Dh from the screen 30 to the iris surface, and the focal length f of the screen 30 satisfy the condition of the following equation (1), the viewing distance Dh It is known that an iris surface is formed in the vicinity of.
  • the height H from the display surface of the screen 30 to the eyes of the viewer 100 is the length from the height H0 from the display surface to the crown of the screen 30 to the height of the eyes from the crown. It can be obtained by subtracting r.
  • the height H0 can be obtained by subtracting the height of the pedestal of the screen 30 from the height of the viewer 100 estimated by the recognition unit 11.
  • the horizontal distance L from the center of the screen 30 to the iris surface is the radius of the screen 30.
  • the horizontal distance L is not limited to the radius of the screen 30, and may be arbitrarily determined according to the standing position of the viewer 100.
  • the angle ⁇ formed by the reflected light on the screen 30 forming the iris surface and the display surface of the screen 30 is obtained from the following equation (2) using the height H and the horizontal distance L.
  • the projection distance Dp and the viewing distance Dh can be expressed by the following equation (3) using the height H, the height Hp of the projector 20, and the angle ⁇ .
  • the height Hp of the projector 20 is expressed by the following equation (4).
  • the height Hp of the projector 20 can be determined from the height H from the display surface of the screen 30 to the eyes of the viewer 100.
  • step S15 the adjusting unit 12 determines whether or not the projector 20 can be adjusted to the height Hp obtained in step 14. For example, if the height of the projector 20 cannot be physically set, or if the height of the projector 20 is lower than the focal length f of the screen 30, the adjusting unit 12 cannot adjust the projector 20 to the height of the screen 30. Is determined. If the height of the projector 20 is made lower than the focal length f, no image is formed on the facing side of the projector 20.
  • the adjusting unit 12 adjusts the height of the projector 20 in step S16.
  • Each of the projectors 20 is attached to a movable support member 21 of a ball screw-shaped shaft 22.
  • a motor 24 is attached to the shaft 22, and the shaft 22 rotates according to the rotation of the motor 24.
  • the support member 21 and the projector 20 move up or down according to the rotation direction of the shaft 22.
  • the projector 20 is rotatably attached to the support member 21 by the pin 20B at the rear.
  • the projector 20 includes a pin 20A at the front portion.
  • the front pin 20A corresponds to the position of the lens of the projector 20, and the distance from the front pin 20A to the center of the screen 30 corresponds to the projection distance Dp.
  • the pin 20A slides and moves along the guide 23.
  • the guide 23 is formed so that the distance to the shaft 22 becomes shorter according to the height, so that the projection direction of the projector 20 always faces the center of the screen 30.
  • the shape of the guide 23 is a curve as shown in the graph of FIG. In FIG.
  • the horizontal distance Ls from the center of the screen 30 to the pin 20B at the rear is set to 100, and the height Hp of the projector 20 when the projector 20 is moved up and down and the horizontal distance Lp from the center of the screen 30 to the projector 20. It is the figure which plotted.
  • the sensor 25 measures the height Hs of the pin 20B at the rear of the projector 20.
  • the control device 10 controls the motor 24 so that the height Hs of the rear pin 20B measured by the sensor 25 becomes a numerical value obtained by the following equation (5).
  • c is the distance between the rear pin 20B and the front pin 20A.
  • a gimbal 26 that keeps the orientation of the projector 20 constant may be used.
  • the projector 20 is attached to the gimbal 26 fixed to the support member 21 by the pin 20B at the rear.
  • the projector 20 is moved up and down by the motor 24 in the same manner as in FIG. With the gimbal 26, the projector 20 is designed so that the projection direction always faces the center of the screen 30.
  • the point that the height of the pin 20B at the rear is measured by the sensor 25 and the motor 24 is controlled is the same as the example of FIG.
  • the method of moving the projector 20 up and down is not limited to the above. Any method may be used as long as the projector 20 can be adjusted to a desired position.
  • the guidance unit 13 guides the viewer 100 by the guidance terminal 50.
  • the LED may be turned on or blinked to indicate the direction in which the step is present, or to instruct the viewpoint to be lowered.
  • An arrow is displayed on the projector image or a display dedicated to guidance, or an instruction to lower the viewpoint is displayed. Give instructions by voice. These may be combined. It is preferable to arrange a plurality of guidance terminals 50 so that the viewers 100A and 100B can be individually guided.
  • control device 10 repeats the process of FIG. 6 and controls the projector 20 based on the position of the viewpoint of the viewer 100 after the guidance.
  • the height of the projector 20 can be adjusted according to the height of the viewer 100, and the viewer 100 can be guided.
  • the display system may change the image to be projected according to the height of the projector 20.
  • the control device 10 adjusts the height of the projector 20 and notifies the image supply device that supplies the image to the projector 20 of the height information or the projection angle of the projector 20.
  • the image supply device supplies images to the projector 20 according to the height or projection angle of the projector 20.
  • the height of the projector 20 is adjusted to be low, and the image taken from a low viewpoint is projected.
  • the height of the projector 20 is adjusted to be high, and the image taken from a high viewpoint is projected.
  • the 3D image can be viewed from different angles around the screen 30, but the 3D image can be viewed from different angles in the vertical direction.
  • the iris surface that matches the viewpoint position is formed, it is possible to present a clear and natural image corresponding to the angle of the line of sight.
  • the display system of the modified example has a projector 20 built in a cylindrical housing 70 and a screen 30 at the bottom of the housing 70.
  • the height of the projector 20 can be adjusted within the housing 70.
  • the viewer 100 appreciates the 3D image projected on the screen 30 so as to look into the housing 70 from above.
  • the height of the viewer 100 is measured, and the height of the projector 20 is adjusted so that an iris surface suitable for the height is formed.
  • the height H0 from the display surface of the screen 30 to the crown of the viewer 100 is measured, and the length r from the crown to the height of the eyes is subtracted.
  • the height H to the desired iris surface is obtained.
  • the distance to the outer circumference of the housing 70 is defined as the horizontal distance L from the center of the screen 30 to the iris surface.
  • the projector 20 can be adjusted to the height Hp, the height of the projector 20 is adjusted, and when it cannot be adjusted, the viewer 100 is guided.
  • the display system of the present embodiment reflects the image projected by the projector 20 and the projector 20 to form the iris surface 60 at a position corresponding to the distance between the projector 20 and the projector 20.
  • a screen 30 and a control device 10 for controlling the position of the projector 20 are provided.
  • the control device 10 includes a recognition unit 11 that recognizes the viewpoint position of the viewer 100, and an adjustment unit 12 that adjusts the position of the projector 20 so that the iris surface 60 is formed at the viewpoint position of the viewer 100. This enables clear viewing of the image regardless of the height of the viewer 100.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)

Abstract

本実施形態の表示システムは、映像を投影するプロジェクタ２０と、プロジェクタ２０の投影する映像を反射してプロジェクタ２０との間の距離に応じた位置にアイリス面６０を形成するスクリーン３０と、プロジェクタ２０の位置を制御する制御装置１０を備える。制御装置１０は、鑑賞者１００の視点位置を認識する認識部１１と、鑑賞者１００の視点位置にアイリス面６０が形成されるようにプロジェクタ２０の位置を調整する調整部１２を備える。

Description

表示システム及び表示方法
　本発明は、表示システム及び表示方法に関する。
　非特許文献１，２には、３Ｄメガネ等を必要とせずに、３６０度の３Ｄ映像を体験可能な表示装置が提案されている。非特許文献１，２の表示装置は、反射層、フレネルレンズ層、および拡散層で構成されたテーブル型のスクリーンとスクリーンの周囲に複数のプロジェクタを備える。プロジェクタからスクリーンに向けて投影された映像（光）は、スクリーンで反射し、空中で反射光が集光する。反射光が集光する位置をアイリス面という。鑑賞者の目がアイリス面に合わさるとスクリーン上に投影された映像を見ることができる。スクリーンの拡散層により、アイリス面での輝度は、アイリス面の中心からの距離に応じて減衰するように制御される。隣接するアイリス面の一部が水平方向で重複するようにプロジェクタを配置することで、リニアブレンディングの効果によって中間視点映像が補間されて、観察者は、スクリーン上で３Ｄ映像を見ることができる。
Motohiro Makiguchi, et al., "Interactive 360-Degree Glasses-Free Tabletop 3D Display", UIST '19, October 2019, pp. 625-637 巻口誉宗、高田英明、「３６０度テーブルトップ型裸眼３Ｄ映像表示技術」、ＮＴＴ技術ジャーナル、日本電信電話株式会社、２０１８年１０月、第３０巻、第１０号、pp. 25-29
　鑑賞者の目の位置がアイリス面に合致しない場合、鑑賞者は３Ｄ映像を見ることができない。鑑賞者の目の高さがアイリス面に合致しないときは、鑑賞者が前後左右に移動しても目の位置がアイリス面に合致しないという問題があった。
　本発明は、上記に鑑みてなされたものであり、鑑賞者の身長によらず、映像の明瞭な鑑賞を可能にすることを目的とする。
　本発明の一態様の表示システムは、映像を投影するプロジェクタと、前記プロジェクタの投影する映像を反射して前記プロジェクタとの間の距離に応じた位置にアイリス面を形成するスクリーンと、前記プロジェクタの高さを制御する制御装置を備え、前記制御装置は、鑑賞者の視点位置を認識する認識部と、前記鑑賞者の視点位置に前記アイリス面が形成されるように前記プロジェクタの高さを調整する調整部を備える。
　本発明の一態様の表示方法は、映像を投影するプロジェクタと、前記プロジェクタの投影する映像を反射して前記プロジェクタとの間の距離に応じた位置にアイリス面を形成するスクリーンを備える表示システムの表示方法であって、鑑賞者の視点位置を認識し、前記鑑賞者の視点位置に前記アイリス面が形成されるように前記プロジェクタの高さを調整する。
　本発明によれば、鑑賞者の身長によらず、映像の明瞭な鑑賞を可能にすることができる。
図１は、本実施形態の表示システムの概略を示す図である。 図２は、図１の表示システムの備えるマーカーの配置例を示す図である。 図３は、本実施形態の表示システムの変形例の概略を示す図である。 図４は、図３の表示システムの備える測距センサの配置例を示す図である。 図５は、制御装置の構成例を示す図である。 図６は、制御装置の処理の流れを示すフローチャートである。 図７は、アイリス面とプロジェクタの高さの関係を説明するための図である。 図８は、プロジェクタを上下動させるしくみを説明するための図である。 図９は、プロジェクタの取り付けの一例を示す図である。 図１０は、ガイドの形状の一例を示す図である。 図１１は、プロジェクタを上下動させるしくみの変形例を説明するための図である。 図１２は、プロジェクタの取り付けの一例を示す図である。 図１３は、本実施形態の表示システムの変形例の概略を示す図である。 図１４は、アイリス面とプロジェクタの高さの関係を説明するための図である。
　以下、本発明の実施の形態について図面を用いて説明する。
　図１を参照し、本実施形態の表示システムについて説明する。本実施形態の表示システムは、複数のプロジェクタ２０から円形テーブル状のスクリーン３０に映像を投影し、３Ｄ映像を表示するシステムである。本実施形態では、隣接するアイリス面が互いに重なり合う際に生じる視覚的な効果を利用した光学リニアブレンディング技術を用いて３Ｄ映像を表示する。
　複数のプロジェクタ２０は、スクリーン３０の上方に、スクリーン３０を囲むように円形に並べて配置される。例えば、６０台のプロジェクタ２０を６度間隔で円形に配置する。被写体を３６０度の全周のそれぞれから撮影した映像がプロジェクタ２０のそれぞれに供給される。各プロジェクタ２０は、供給された映像をスクリーン３０に投影する。
　プロジェクタ２０のそれぞれは、制御装置１０によって、高さおよび投影角度が個別に制御される。プロジェクタ２０の高さと投影角度を変えることで、アイリス面６０が形成される高さを変更できる。制御装置１０によるプロジェクタ２０の制御については後述する。
　スクリーン３０は、反射層、フレネルレンズ層、および拡散層で構成された反射型スクリーンである。スクリーン３０には、非特許文献１，２に記載された空間結像アイリス面型スクリーンを用いることができる。スクリーン３０は、反射面を天井方向に向けて配置される。例えば、台座の上にスクリーン３０を載せてテーブルのようにしてもよい。鑑賞者１００Ａ，１００Ｂは、スクリーン３０の周囲３６０度の方向から３Ｄ映像を見ることができる。以下、鑑賞者１００Ａ，１００Ｂを区別しない場合は、鑑賞者１００と称する。
　スクリーン３０は、投影された映像を反射し、プロジェクタ２０とスクリーン３０との間の距離に応じた位置にアイリス面６０を形成する。アイリス面６０は、プロジェクタ２０の対面から見たときに縦長の楕円形である。アイリス面６０内に鑑賞者１００の目が位置すれば明瞭な映像を鑑賞できる。
　鑑賞者１００は、スクリーン３０を挟んで反対側に配置されたプロジェクタ２０が投影する映像を見ることができる。隣接するプロジェクタ２０からの映像のそれぞれが形成するアイリス面６０の一部を水平方向で重複させる。アイリス面６０では、アイリス面６０の中心から水平方向に離れるに従って徐々に輝度が低下する。視点位置に応じて混合される映像の輝度の比率が変化し、輝度の比率に応じて映像内のオブジェクトの位置が変化する。鑑賞者１００の左右の目のそれぞれで観察される映像は互いに異なる輝度の比率で混合された映像であり、左右の目のそれぞれで映像内のオブジェクトを異なる位置で知覚する。その結果、鑑賞者１００は、３Ｄ映像（立体映像）を見ることができる。
　なお、図１の例では、鑑賞者１００Ａは、目の位置とアイリス面６０が合っているので表示された３Ｄ映像を見ることができるが、鑑賞者１００Ｂは、目の位置とアイリス面６０が合っていないので表示された３Ｄ映像を見ることができない。本実施形態では、制御装置１０が鑑賞者１００の身長を推定し、アイリス面６０が鑑賞者１００の目の位置に合うようにプロジェクタ２０の高さと投影角度を制御する。
　カメラ４０とマーカー４１がスクリーン３０の上方に設置される。カメラ４０は、マーカー４１と鑑賞者１００を含む映像を撮影する。カメラ４０は、例えば、スクリーン３０の中心の上方に設置された３６０度カメラである。マーカー４１は、図２の上面図に示すように、カメラ４０の設置位置から水平方向に延長された位置に配置される。マーカー４１の設置位置は既知である。制御装置１０は、マーカー４１と鑑賞者１００を含むカメラ映像から鑑賞者１００を検出し、鑑賞者１００の身長を推定する。
　図３および図４に示すように、超音波または赤外線を利用する測距センサ４２を鑑賞者１００の立ち位置に対応させて配置してもよい。図３および図４の例では、スクリーン３０の周囲に立つ鑑賞者１００を検知できるように、スクリーン３０の周囲の上方に複数の測距センサ４２を円形に並べて配置している。測距センサ４２の計測値は線形変化するものとする。測距センサ４２から床までの距離を事前に計測し、測距センサ４２の計測値から実際の距離への変換係数を事前に求めておく。計測値に閾値以上の変化が生じたとき、制御装置１０は、鑑賞者１００を検出したものとして、計測値から鑑賞者１００の身長を推定する。
　なお、カメラ４０、マーカー４１、および測距センサ４２を備えずに、鑑賞者１００が自身の身長をキーボードなどで入力してもよい。スクリーン３０の周囲に複数のキーボードを配置しておき、入力されたキーボードの識別子に基づいて鑑賞者１００の立ち位置を特定してもよい。
　誘導端末５０は、鑑賞者１００の身長に合わせてプロジェクタ２０の位置を調整できないときに、鑑賞者１００を誘導するための端末である。誘導端末５０は、制御装置１０からの指示に基づいて、鑑賞者１００を踏み台に誘導したり、目の位置を低くするように誘導したりする。誘導端末５０は、例えば、ＬＥＤ、ディスプレイ、またはスピーカーなどにより鑑賞者１００を誘導できる装置で構成する。
　次に、図５を参照し、制御装置１０について説明する。制御装置１０は、鑑賞者１００を検出して身長を推定し、鑑賞者１００の身長に合わせて対応するプロジェクタ２０の高さを制御する装置である。
　図５に示す制御装置１０は、認識部１１、調整部１２、および誘導部１３を備える。制御装置１０が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは制御装置１０が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
　認識部１１は、カメラ４０で撮影した３６０度カメラ映像から鑑賞者１００を検出し、その身長を推定する。人物の検出と身長の推定は一般的な手法を用いることができる。例えば、人物の検出にはＯｐｅｎＰｏｓｅなどの市中技術を使用する。認識部１１は、人物の検出時に取得したスケルトンの最上部とマーカー４１との間の長さを計測して身長を推定する。
　認識部１１は、鑑賞者１００に映像を見せる制御対象のプロジェクタ２０を特定する。例えば、認識部１１は、カメラ映像に座標を設定し、座標値とプロジェクタ２０との対応表を保持しておく。対応表では、立ち位置の座標値とスクリーン３０を挟んで反対側にあるプロジェクタ２０とを対応させておく。認識部１１は、対応表を参照し、カメラ映像から人物を検出した座標値に対応するプロジェクタ２０を特定し、そのプロジェクタ２０と隣接するプロジェクタ２０の計３台を制御対象のプロジェクタ２０として特定する。
　調整部１２は、認識部１１から受信した身長をもとにプロジェクタ２０の調整値を算出し、制御対象のプロジェクタ２０の位置を調整する指示をプロジェクタ２０を上下動させるモータ等へ送信する。制御対象のプロジェクタ２０が複数台のとき、調整部１２は、複数のプロジェクタ２０のそれぞれの位置を調整する。
　誘導部１３は、調整部１２の算出した調整値が調整範囲外であった場合に、鑑賞者１００を誘導する指示を誘導端末５０へ送信する。例えば、プロジェクタ２０の物理的な可動範囲を超えている場合に、誘導部１３は鑑賞者１００の視点位置を誘導する。
　次に、図６のフローチャートを参照し、制御装置１０の動作について説明する。
　ステップＳ１１において、認識部１１は、入力されたカメラ映像から人物を検出したか否か判定する。人物を検出しない場合、ステップＳ１１の処理を繰り返す。
　カメラ映像から人物を検出した場合、ステップＳ１２において、認識部１１は、検出した人物の身長とその人物に映像を提供するプロジェクタ２０を特定する。
　ステップＳ１３において、調整部１２は、検出した人物に合ったアイリス面の高さを計算する。
　ステップＳ１４において、調整部１２は、ステップＳ１３で求めたアイリス面の高さに応じたプロジェクタ２０の高さを計算する。
　ここで、図７を参照し、アイリス面の高さとプロジェクタ２０の高さの計算について説明する。プロジェクタ２０のレンズの中心からスクリーン３０までの投影距離Ｄｐ、スクリーン３０からアイリス面までの鑑賞距離Ｄｈ、およびスクリーン３０の焦点距離ｆが次式（１）の条件を満たしたときに、鑑賞距離Ｄｈの近傍にアイリス面が形成されることが知られている。
Figure JPOXMLDOC01-appb-M000001
　スクリーン３０の表示面から鑑賞者１００の目までの高さＨ、つまり望ましいアイリス面の高さＨは、スクリーン３０の表示面から頭頂部までの高さＨ０から頭頂部から目の高さまでの長さｒを引いて求めることができる。高さＨ０は、認識部１１の推定した鑑賞者１００の身長からスクリーン３０の台座の高さを引いて求めることができる。スクリーン３０の中心からアイリス面までの水平距離Ｌは、スクリーン３０の半径とする。水平距離Ｌは、スクリーン３０の半径に限らず、鑑賞者１００の立ち位置に応じて任意に決めてもよい。
　アイリス面を形成するスクリーン３０での反射光とスクリーン３０の表示面とがなす角度θは、高さＨと水平距離Ｌを用いて次式（２）から求められる。
Figure JPOXMLDOC01-appb-M000002
　投影距離Ｄｐと鑑賞距離Ｄｈは、高さＨ、プロジェクタ２０の高さＨｐ、および角度θを用いて次式（３）で表すことができる。
Figure JPOXMLDOC01-appb-M000003
　式（１）と式（３）より、プロジェクタ２０の高さＨｐは、次式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　式（４）を用いて、スクリーン３０の表示面から鑑賞者１００の目までの高さＨからプロジェクタ２０の高さＨｐを決めることができる。
　ステップＳ１５において、調整部１２は、ステップ１４で求めた高さＨｐにプロジェクタ２０を調整できるか否か判定する。例えば、プロジェクタ２０を求めた高さに物理的に設定できない場合、もしくは、求めた高さがスクリーン３０の焦点距離ｆよりも低い場合、調整部１２は、求めた高さにプロジェクタ２０を調整できないと判定する。プロジェクタ２０の高さを焦点距離ｆよりも低くすると、プロジェクタ２０の対面側に映像が結像しなくなる。
　求めた高さがプロジェクタ２０の調整範囲内の場合、ステップＳ１６において、調整部１２は、プロジェクタ２０の高さを調整する。
　ここで、図８および図９を参照し、プロジェクタ２０を上下動させるしくみの一例について説明する。
　プロジェクタ２０のそれぞれは、ボールねじ状の軸２２の移動可能な支持部材２１に取り付けられる。軸２２にはモータ２４が取り付けられて、モータ２４の回転に応じて軸２２が回転する。軸２２の回転方向に応じて支持部材２１とプロジェクタ２０が上昇したり、下降したりする。
　図９に示すように、プロジェクタ２０は、後部のピン２０Ｂにより、回転可能な状態で支持部材２１に取り付けられる。プロジェクタ２０は、前部にピン２０Ａを備える。前部のピン２０Ａは、プロジェクタ２０のレンズの位置に相当し、前部のピン２０Ａからスクリーン３０の中心までが投影距離Ｄｐに相当する。ピン２０Ａはガイド２３に沿ってスライドしながら移動する。ガイド２３は、高さに応じて軸２２までの距離が短くなるように形成されており、プロジェクタ２０の投影方向が常にスクリーン３０の中心を向くようになっている。具体的には、ガイド２３の形状は、図１０のグラフのような曲線である。図１０は、スクリーン３０の中心から後部のピン２０Ｂまでの水平距離Ｌｓを１００とし、プロジェクタ２０を上下動させたときのプロジェクタ２０の高さＨｐとスクリーン３０の中心からプロジェクタ２０までの水平距離Ｌｐをプロットした図である。
　センサ２５は、プロジェクタ２０の後部のピン２０Ｂの高さＨｓを計測する。
　制御装置１０は、センサ２５で計測される後部のピン２０Ｂの高さＨｓが次式（５）で求められる数値になるようにモータ２４を制御する。ｃは後部のピン２０Ｂと前部のピン２０Ａとの間隔である。
Figure JPOXMLDOC01-appb-M000005
　図１１に示すように、ガイド２３の代わりに、プロジェクタ２０の向きを一定に保つジンバル２６を用いてもよい。図１２に示すように、プロジェクタ２０は、後部のピン２０Ｂにより、支持部材２１に固定されたジンバル２６に取り付けられる。
　図１１の例では、図８と同様に、モータ２４でプロジェクタ２０を上下動させる。ジンバル２６により、プロジェクタ２０は、投影方向が常にスクリーン３０の中心を向くようになっている。
　センサ２５で後部のピン２０Ｂの高さを計測し、モータ２４を制御する点は図８の例と同様である。
　なお、プロジェクタ２０を上下動させる方法は上記に限るものではない。所望の位置にプロジェクタ２０を調整できればどのような方法を用いてもよい。
　求めた高さがプロジェクタ２０の調整範囲外の場合、ステップＳ１７において、誘導部１３は、誘導端末５０により鑑賞者１００を誘導する。例えば、ＬＥＤを点灯させたり、点滅させたりして、踏み台の存在する方向を示したり、視点を下げるように指示したりする。プロジェクタ映像または誘導専用のディスプレイに矢印を表示したり、視点を下げる指示を表示したりする。音声で指示を伝える。これらを組み合わせてもよい。鑑賞者１００Ａ，１００Ｂを個別に誘導できるように、複数の誘導端末５０を配置するとよい。
　鑑賞者１００が誘導の指示に従った後、制御装置１０は、図６の処理を繰り返し、誘導後の鑑賞者１００の視点の位置に基づいてプロジェクタ２０を制御する。
　以上の処理により、鑑賞者１００の身長に合わせてプロジェクタ２０の高さを調整したり、鑑賞者１００を誘導したりできる。
　なお、表示システムは、プロジェクタ２０の高さに応じて投影する映像を変更してもよい。例えば、制御装置１０は、プロジェクタ２０の高さを調整するとともに、当該プロジェクタ２０に映像を供給する映像供給装置に対してプロジェクタ２０の高さ情報または投影角度を通知する。映像供給装置は、プロジェクタ２０の高さまたは投影角度に応じた映像をプロジェクタ２０に供給する。これにより、鑑賞者１００が身をかがめて視点位置を低くして３Ｄ映像を鑑賞するときは、プロジェクタ２０の高さが低く調整されて、低い視点で撮影した映像が投影される。鑑賞者１００が高い視点位置から３Ｄ映像を鑑賞するときは、プロジェクタ２０の高さが高く調整されて、高い視点で撮影した映像が投影される。つまり、スクリーン３０の周囲の異なる角度から３Ｄ映像を鑑賞できるだけでなく、上下方向の異なる角度からも３Ｄ映像を鑑賞できる。いずれの場合においても視点位置に合ったアイリス面が形成されるので、明瞭かつ視線の角度に対応する自然な映像を提示することが可能となる。
　次に、表示システムの変形例について説明する。
　変形例の表示システムは、図１３に示すように、円筒形の筐体７０内にプロジェクタ２０を内蔵し、筐体７０の底部にスクリーン３０を備えている。プロジェクタ２０は、筐体７０内で高さを調整可能である。鑑賞者１００は、筐体７０を上からのぞき込むようにスクリーン３０に投影された３Ｄ映像を鑑賞する。変形例の表示システムにおいても鑑賞者１００の身長を計測し、身長に合ったアイリス面が形成されるようにプロジェクタ２０の高さを調整する。
　変形例の表示システムの場合も、図１４に示すように、スクリーン３０の表示面から鑑賞者１００の頭頂部までの高さＨ０を計測し、頭頂部から目の高さまでの長さｒを引いて、望ましいアイリス面までの高さＨを求める。筐体７０の外周までの距離をスクリーン３０の中心からアイリス面までの水平距離Ｌとする。高さＨと水平距離Ｌを用いてアイリス面を形成する反射光とスクリーン３０の表示面とがなす角度θを求め、上述の式（４）からプロジェクタ２０の高さＨｐを求める。
　プロジェクタ２０を高さＨｐに調整できるときはプロジェクタ２０の高さを調整し、調整できないときは、鑑賞者１００を誘導する。
　以上説明したように、本実施形態の表示システムは、映像を投影するプロジェクタ２０と、プロジェクタ２０の投影する映像を反射し、プロジェクタ２０との間の距離に応じた位置にアイリス面６０を形成するスクリーン３０と、プロジェクタ２０の位置を制御する制御装置１０を備える。制御装置１０は、鑑賞者１００の視点位置を認識する認識部１１と、鑑賞者１００の視点位置にアイリス面６０が形成されるようにプロジェクタ２０の位置を調整する調整部１２を備える。これにより、鑑賞者１００の身長によらず、映像の明瞭な鑑賞が可能になる。
　１０…制御装置
　１１…認識部
　１２…調整部
　１３…誘導部
　２０…プロジェクタ
　２０Ａ，２０Ｂ…ピン
　２１…支持部材
　２２…軸
　２３…ガイド
　２４…モータ
　２５…センサ
　２６…ジンバル
　３０…スクリーン
　４０…カメラ
　４１…マーカー
　４２…測距センサ
　５０…誘導端末
　６０…アイリス面
　７０…筐体
　１００，１００Ａ，１００Ｂ…鑑賞者

Claims (8)

  1. 　映像を投影するプロジェクタと、
    　前記プロジェクタの投影する映像を反射して前記プロジェクタとの間の距離に応じた位置にアイリス面を形成するスクリーンと、
    　前記プロジェクタの高さを制御する制御装置を備え、
    　前記制御装置は、
    　　鑑賞者の視点位置を推定する認識部と、
    　　前記鑑賞者の視点位置に前記アイリス面が形成されるように前記プロジェクタの高さを調整する調整部を備える
    　表示システム。
  2. 　請求項１に記載の表示システムであって、
    　前記制御装置は、前記プロジェクタの高さを調整できないときに、前記鑑賞者の視点位置を誘導する誘導部を備える
    　表示システム。
  3. 　請求項１または２に記載の表示システムであって、
    　複数のプロジェクタを備え、隣接する前記プロジェクタのそれぞれの投影する映像によって形成される前記アイリス面の一部を水平方向で重複させて立体映像を表示し、
    　前記鑑賞者の視点位置に応じて前記プロジェクタの投影する映像を変える
    　表示システム。
  4. 　請求項１ないし３のいずれかに記載の表示システムであって、
    　前記鑑賞者の立ち位置の上方に設置位置が既知のマーカーを設置し、
    　前記認識部は、前記マーカーと前記鑑賞者とを含む画像から前記鑑賞者の視点位置を推定する
    　表示システム。
  5. 　請求項１ないし３のいずれかに記載の表示システムであって、
    　前記鑑賞者の立ち位置の上方に測距センサを備え、
    　前記認識部は、前記測距センサの計測結果から前記鑑賞者の視点位置を推定する
    　表示システム。
  6. 　請求項１ないし５のいずれかに記載の表示システムであって、
    　前記プロジェクタの高さを調整したときに、前記プロジェクタの投影角度を変えて前記スクリーンに向かせるガイドを備える
    　表示システム。
  7. 　請求項１ないし５のいずれかに記載の表示システムであって、
    　前記プロジェクタの高さを調整したときに、前記プロジェクタの投影角度を変えて前記スクリーンに向かせるジンバルを備える
    　表示システム。
  8. 　映像を投影するプロジェクタと、前記プロジェクタの投影する映像を反射して前記プロジェクタとの間の距離に応じた位置にアイリス面を形成するスクリーンを備える表示システムの表示方法であって、
    　鑑賞者の視点位置を推定し、前記鑑賞者の視点位置に前記アイリス面が形成されるように前記プロジェクタの高さを調整する
    　表示方法。
PCT/JP2020/019955 2020-05-20 2020-05-20 表示システム及び表示方法 WO2021234862A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/019955 WO2021234862A1 (ja) 2020-05-20 2020-05-20 表示システム及び表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/019955 WO2021234862A1 (ja) 2020-05-20 2020-05-20 表示システム及び表示方法

Publications (1)

Publication Number Publication Date
WO2021234862A1 true WO2021234862A1 (ja) 2021-11-25

Family

ID=78708252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019955 WO2021234862A1 (ja) 2020-05-20 2020-05-20 表示システム及び表示方法

Country Status (1)

Country Link
WO (1) WO2021234862A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244643A (ja) * 1992-02-27 1993-09-21 Tomohiko Hattori 立体テレビ装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244643A (ja) * 1992-02-27 1993-09-21 Tomohiko Hattori 立体テレビ装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOMARE MAKIGUCHI; TAKADA HIDEAKI: "Tabletop type Glassless 3D Screen System using Optical Linear Blending", IPSJ SYMPOSIUM SERIES: MULTIMEDIA, DISTRIBUTED, COOPERATIVE AND MOBILE SYMPOSIUM (DICOMO 2018), vol. 2018, no. 1, 4 July 2018 (2018-07-04), JP, pages 509 - 513, XP009532366 *
MAKIGUCHI TAKAMUNE; TAKADA HIDEAKI; HONDA KENGO; SAKAMOTO DAISUKE; ONO TETSUO: "Basic study on vertical parallax reproduction by viewpoint detection in 360-degree tabletop 3D screen system", IPSJ SYMPOSIUM SERIES: MULTIMEDIA, DISTRIBUTED, COOPERATIVE AND MOBILE SYMPOSIUM (DICOMO 2019), vol. 2019, no. 1, 3 July 2019 (2019-07-03), JP, pages 176 - 179, XP009532367 *

Similar Documents

Publication Publication Date Title
US9807379B2 (en) Systems and methods for displaying an image or video on a retro-reflective screen
US9030532B2 (en) Stereoscopic image display
JP3180075U (ja) ３ｄ画像を表示する装置
JP5417660B2 (ja) 立体プロジェクション・システム
US6072443A (en) Adaptive ocular projection display
US20100013738A1 (en) Image capture and display configuration
US9374554B1 (en) Display selection for video conferencing
TW200537396A (en) Projection display equipment and projection display system
TW201202746A (en) Participant collaboration on a displayed version of an object
US20210302753A1 (en) Control apparatus, control method, and program
US9927628B2 (en) Image display apparatus
CN110062905A (zh) 图像显示装置
US7336294B2 (en) Arrangement and method for improved communication between participants in a videoconference
CN110780445A (zh) 用于装配光学成像系统的主动校准的方法及系统
EP1202079B1 (en) Projection system
US6761459B1 (en) Projection system
WO2021234862A1 (ja) 表示システム及び表示方法
WO2021079402A1 (ja) 映像処理装置、表示システム、映像処理方法、およびプログラム
CN111338175A (zh) 透射式几何全息显示系统
US11922539B2 (en) Exercise instruction apparatus
JP2002072351A (ja) プロジェクタ
US11619814B1 (en) Apparatus, system, and method for improving digital head-mounted displays
US20080018860A1 (en) System and method for 3D optical projection
JP2010197868A (ja) 立体映像表示装置
KR20160098732A (ko) 몰입감 증대를 위한 시청자 적응형 플렉서블 디스플레이 곡률제어 시스템 및 몰입감 증대를 위한 시청자 적응형 플렉서블 디스플레이 곡률제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20936398

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20936398

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP