WO2006030613A1 - 映像表示システムおよび映像表示方法 - Google Patents

映像表示システムおよび映像表示方法 Download PDF

Info

Publication number
WO2006030613A1
WO2006030613A1 PCT/JP2005/015476 JP2005015476W WO2006030613A1 WO 2006030613 A1 WO2006030613 A1 WO 2006030613A1 JP 2005015476 W JP2005015476 W JP 2005015476W WO 2006030613 A1 WO2006030613 A1 WO 2006030613A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitor
background
distance
video
optical lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/015476
Other languages
English (en)
French (fr)
Inventor
Takuma Yanagisawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to US11/662,946 priority Critical patent/US7907200B2/en
Priority to JP2006535112A priority patent/JP4417386B2/ja
Publication of WO2006030613A1 publication Critical patent/WO2006030613A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Definitions

  • the present invention relates to a video display system and a video display method, and in particular, a video display system and a video display method for allowing an observer to visually recognize a monitor video and a background while maintaining visual continuity. About.
  • augmented reality or “mixed reality” as a technique for superimposing and displaying a virtual image in the real world, and some of them have already been put into practical use (for example, non-patent documents).
  • a method for displaying augmented reality it can be roughly classified into an optical see-through method (for example, see Patent Document 1) and a video see-through method (for example, see Patent Document 2).
  • FIG. 16 is a schematic diagram for explaining the optical see-through method.
  • the optical see-through method uses a semi-transparent display panel 401, and displays a virtual image VI electronically displayed on the display panel 401 and a real-world background BG viewed through the display panel 401. It is superimposed and made visible to the observer OBS.
  • FIG. 17 is a schematic diagram for explaining the video see-through method. As shown in Fig. 17, the video sheath is displayed by electronically synthesizing the real-world background image captured by the camera 501 and the virtual image VI using a sealed head-mounted display or CAVE system. To do.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 11 174367
  • Patent Document 2 JP 2001-92995 A
  • Non-Patent Document 1 OPTRONICS (2002) No. 2, P137-141 “Mixed Reality” Takaaki Endo, etc.
  • the real world and virtual image VI are optically transmitted.
  • the virtual image VI becomes translucent, and it is not possible to essentially match the electronically displayed image with the real-world scene seen through only the optical system. There is a problem that it becomes a video to be realistic. Also, under a bright real environment, there is a problem that the virtual video VI is almost invisible.
  • the video see-through method can display a realistic image, but uses a very special image display system such as a sealed head-mounted display or a CAVE system.
  • a very special image display system such as a sealed head-mounted display or a CAVE system.
  • the present invention has been made in view of the above, and is capable of observing the real world in daily life and embodying augmented reality with a sense of continuity while maintaining the reality of composite video.
  • An object is to provide an image display system and an image display method.
  • the monitor may be in the way and the background of the part may not be visible. Even when the observer looks at the monitor direction, he / she needs to see the background portion hidden behind the monitor.
  • the present invention has also been made in view of the above.
  • the observer looks at the monitor direction, the observer visually recognizes the monitor video and the background while maintaining visual continuity.
  • Another object is to provide a video display system and a video display method that can perform the above-described operation.
  • the present invention is an image display system for allowing an observer to visually recognize a monitor image and a background visually maintaining continuity.
  • the present invention is a video display method for allowing an observer to visually recognize a monitor video and a background while maintaining visual continuity, and includes a step of imaging a background and a display screen side thereof. And displaying a captured background image on a monitor on which the optical lens is disposed, The virtual image of the monitor image by the monitor is substantially matched with the background surface.
  • FIG. 1 is a diagram for explaining the principle of the present invention.
  • FIG. 2 is an external configuration diagram of a video display system according to Embodiment 1.
  • FIG. 3 is a block configuration diagram of a video display system according to Embodiment 1.
  • FIG. 4 is a schematic diagram for explaining an image visually recognized when an observer OBS observes a monitor.
  • FIG. 5 is an explanatory diagram for explaining the derivation of conditional expression (X2).
  • Fig. 6 is a diagram showing the relationship between the distance l [m] between the display monitor and the background BG surface and the distance d [m] between the display monitor and the optical lens.
  • FIG. 7 is an explanatory diagram for explaining the derivation of conditional expression (X2).
  • FIG. 8 is an explanatory diagram for explaining derivation of conditional expressions (X3) and (X4).
  • FIG. 9 is an explanatory diagram for deriving a conditional expression for limiting the observation position of the observer OBS and a conditional expression for determining the lens characteristics of the observation position limiting force.
  • Figure 10 shows the relationship between the distance l [m] between the monitor and the background BG surface, and z and z
  • FIG. 11 is a diagram showing the relationship between z and r 1, r 2.
  • FIG. 12 is a diagram showing the maximum lens focal length.
  • FIG. 13 is an external configuration diagram of a video display system according to Embodiment 2.
  • FIG. 14 is a diagram showing an external configuration of a video display system according to Embodiment 3.
  • FIG. 15 is a block configuration diagram of a video display system according to Embodiment 3.
  • FIG. 16 is a schematic diagram for explaining an optical see-through method.
  • FIG. 17 is a schematic diagram for explaining a video see-through method.
  • FIG. 1 is a schematic diagram for explaining the principle of a video display system according to the present invention.
  • the monitor 101 is disposed between the observer OBS and the background BG, and the optical lens 104 is disposed on the display surface side of the monitor 101.
  • the background BG is captured by the camera 102, and the captured background image and the virtual image VI are combined and displayed on the monitor 101.
  • the virtual image of the monitor image by the optical lens 104 is substantially matched with the background surface, and the monitor image and the background BG are visually kept continuous.
  • the observer OBS As a result, it is possible to obtain the effect of augmented reality as if observing the real world in daily life, while maintaining the reality of the composite video, which is an advantage of the one-way video sheath.
  • FIG. 2 is an external configuration diagram of the video display system 100 according to the first embodiment.
  • the video display system 100 is arranged between the background BG and the observer OBS as shown in FIG.
  • 101 is a monitor
  • 102 is a camera
  • 103 is a distance measuring means
  • 104 is an optical lens
  • 105 is a distance adjusting mechanism.
  • On the background surface side of the monitor 101 a camera 102 and a distance measuring means 103 are arranged.
  • an optical lens 104 is disposed so as to face each other via four distance adjustment mechanisms 105.
  • the distance adjustment mechanism 105 is configured to be extendable and contracted. One end of the distance adjustment mechanism 105 is fixed to the display surface side of the monitor 101 and the other end is fixed to the optical lens 104.
  • FIG. 3 is a block configuration diagram of the video display system 100 of FIG.
  • the configuration of the video display system 100 will be described in detail with reference to FIG.
  • the monitor 101 is for displaying the video input from the image processing means 106.
  • the monitor 101 includes a CRT, a liquid crystal panel, a flat display panel such as a plasma display panel, an EL display panel, a flexible display, and the like. be able to.
  • the camera 102 can use an imaging unit such as a video camera or a digital camera, captures a background moving image or still image, and outputs the captured background video to the image processing unit 106.
  • the image processing means 106 includes a composite video generation unit 111 and a display size scaling unit 112.
  • the composite video generation unit 111 In response to an instruction from a controller (not shown), the composite video generation unit 111 generates a composite video by synthesizing an arbitrary video (such as virtual video VI) and additional video such as character information with the background video. Note that the composite video generation unit 111 does not perform video synthesis when a controller (not shown) does not instruct video synthesis.
  • the display size scaling unit 112 expands / contracts (magnifies) the background video or the synthesized video and outputs the scaled video to the monitor 101. Note that the composition of the additional video may be performed after the expansion / contraction of the background video.
  • the distance measuring unit 103 measures the distance 1 between the monitor 101 and the background surface and outputs it to the display size scaling unit 112 and the distance adjusting mechanism 105 of the image processing unit 106.
  • the distance measuring means 103 can be constituted by, for example, an infrared sensor, an ultrasonic sensor, a two-eye force mesa, or the like.
  • an infrared sensor an ultrasonic sensor
  • a two-eye force mesa or the like.
  • twin-lens mela the known stereo method (images that can also be obtained with two camera forces)
  • the distance can be detected by finding a corresponding point between the two and applying the principle of triangulation.
  • the distance adjusting mechanism 105 expands and contracts according to the distance 1 between the monitor 101 and the background surface measured by the distance measuring means 103, and adjusts the distance between the monitor 101 and the optical lens 104.
  • the distance adjustment mechanism 105 can be constituted by, for example, an actuator and a drive circuit that drives the actuator.
  • the optical lens 104 is for substantially matching the parallax between the monitor surface (display surface) of the monitor 101 and the background surface, and can be composed of a resin lens such as a glass lens or a Fresnel lens.
  • the camera 102 captures the background and outputs it to the composite video generation unit 111 of the image processing unit 106. Further, the distance measuring unit 103 measures the distance 1 between the monitor 101 and the background surface and outputs it to the display size converting unit 112 and the distance adjusting mechanism 105 of the image processing unit 106.
  • the composite video generation unit 111 generates a composite video by synthesizing the background video with the attached video in accordance with an instruction from a controller (not shown). Based on the distance 1 between the monitor 101 and the background surface 1, the display size conversion unit 112 expands / contracts the background image or the composite image according to the conditional expression (X2) for determining the size (magnification) of the background image described later. ) The stretched background video or composite video is displayed on the monitor 101.
  • the distance adjustment mechanism 105 is configured to make the parallax of the monitor image and the background BG force, which will be described later, substantially match based on the distance 1 between the monitor 101 and the background surface detected by the distance measuring means 103.
  • the distance d between the monitor 101 and the optical lens 104 is adjusted according to the conditional expression (XI).
  • FIG. 4 is a schematic diagram for explaining an example of an image that is visually recognized when the observer OBS observes the monitor 101.
  • the virtual image of the monitor image is seamlessly connected to the background surface, and the observer OBS does not have the monitor 101. Only the video and character information synthesized by the processing means 106 can be observed so as to be superimposed on the background video.
  • Conditional expression (XI) is an expression for determining the distance between the monitor 101 and the optical lens 104 so that the parallax from the monitor image and the background BG substantially matches as described above.
  • “parallax coincides” means that the light power from a point on the background and the corresponding point on the monitor 101 reaches the observer OBS at the same angle regardless of the observation position of the observer OBS. Means that.
  • the virtual image of the monitor image by the optical lens 104 coincides with the background surface. If the parallaxes are matched, the observer OBS cannot distinguish the light from the monitor 101 from the light generated by the background surface, so that the monitor image can be observed as displayed on the background surface. In this case, not only the parallax but also the convergence (the rotation angle of the crystalline lens) and the focus adjustment (the thickness of the crystalline lens) become equal.
  • the point on the monitor 101 corresponding to one point P on the background surface is P ′.
  • the observation position of the observer OBS is observation position 1
  • the light rays from P and the light rays from P ' both arrive at an angle of 0 (horizontal force, etc.).
  • the observation position of the observer OBS is the observation position 2
  • the light beam from the point P on the background BG surface arrives at an angle u.
  • the horizontal axis represents the distance l [m] between the monitor 101 and the background surface
  • the vertical axis represents the distance d [m] between the motor 101 and the optical lens 104.
  • the distance 1 between the monitor 101 and the background surface is relatively large, the distance d between the monitor 101 and the optical lens 104 is substantially constant.
  • the distance adjusting mechanism 105 that adjusts the distance between the monitor 101 and the optical lens 104 is not necessarily required. .
  • Conditional expression (X2) is an expression for determining the size (magnification) of the background video displayed on the monitor 101 as described above.
  • the points on the monitor 101 corresponding to the two points P and Q on the background are P ′ and Q ′.
  • ⁇ is the refractive power of the optical lens 104
  • d is the distance between the monitor 101 and the optical lens 104
  • z is the distance between the motor 101 and the observer OBS.
  • Conditional Expression (XI) and Conditional Expression (X2) by satisfying the conditions of Conditional Expression (XI) and Conditional Expression (X2), by observing the monitor 101 through the optical lens 104, the background image reflected on the monitor 101 and the actual background BG can be seamlessly displayed. It becomes possible to observe.
  • the monitor 101 may be seen directly without the optical lens 104 depending on the viewpoint position of the observer OBS. is there. This makes it impossible to observe the background BG video and the monitor video seamlessly. Therefore, conditional expressions (X3) and (X4) for preventing the monitor 101 from being seen directly without using the optical lens 104 will be described.
  • FIG. 8 is an explanatory diagram for explaining the derivation of conditional expressions (X3) and (X4).
  • r is the lens size when the optical lens 104 is measured in a direction (predetermined direction) from the optical axis in a plane parallel to the background surface, and m 0 is the same direction as the optical lens 104.
  • the monitor size z and z, which also measure the optical axis force, are the expected distance between the observer OBS and the lens z on the system.
  • conditional expression (X3) can be derived from the above expressions (2) and (3).
  • Equation (X4) can be derived.
  • FIG. 9 is an explanatory diagram for deriving a conditional expression for limiting the observation position of the observer OBS and a conditional expression for determining the lens characteristics based on the observation position restriction lens.
  • r represents the optical lens 104 in a certain direction from the optical axis in a plane parallel to the background surface
  • the lens size, ⁇ when measured in the (predetermined direction) indicates the observable range of the observer OBS in the axial direction perpendicular to the background surface.
  • the distance ⁇ between the monitor 101 and the observer OBS can be expressed by the following equation (4) using paraxial theory as follows.
  • R is a diagram showing the relationship.
  • Figure 12 is a contour plot showing the maximum lens focal length, n max
  • the horizontal axis indicates z and the vertical axis indicates ⁇ .
  • the camera 102 that captures the background the monitor 101 that displays the captured background video, and the display surface side of the monitor 101 are provided. Since the virtual image of the monitor image by the optical lens 104 is substantially matched to the background surface of the monitor 101, the monitor image is displayed when the observer OBS views the monitor 101 through the optical lens 104. And the background BG can be visually recognized while maintaining continuity.
  • the distance measuring means 103 for measuring the distance 1 between the monitor 101 and the background surface the distance adjusting mechanism 105 for adjusting the distance d between the optical lens 104 and the monitor 101
  • the distance adjusting mechanism 105 adjusts the distance d between the monitor 101 and the optical lens 104 according to the conditional expression (XI) based on the distance 1 between the monitor 101 and the background surface measured by the distance measuring means 103. Therefore, the observer OBS cannot distinguish the light from the monitor 101 from the light emitted from the background surface, so that the monitor image can be observed as displayed on the background surface.
  • the display size conversion unit 112 of the image processing unit 106 is set to 1 when the distance between the motor 101 and the background surface is 1 and the power of the optical lens 104 is ⁇ . Based on the distance 1 between the monitor 101 measured by the distance measuring means 103 and the background surface 1, the background image is scaled according to the above conditional expression (X2), so the observer OBS is displayed on the monitor 101.
  • the background image size can be seen with the same size as the actual background BG.
  • the size measured by the optical axis force in a certain direction of the monitor is m, the light
  • the lens size r measured in a certain direction, such as the axis, is configured to satisfy the above conditional expression (X3), and the power ⁇ or focal length f of the optical lens 104 satisfies the above conditional expression (X4).
  • the monitor 101 can be directly seen without passing through the optical lens 104, and the end M of the monitor 101 can be prevented from being seen through the optical lens 104.
  • the composite video generation unit 111 of the image processing means 106 generates the composite video by synthesizing the additional video with the background video. It is possible to embody augmented reality as if observing the real world in daily life.
  • FIG. 13 is an external configuration diagram of the video display system 200 according to the second embodiment.
  • the camera 102 and the distance measuring unit 103 are integrated with the monitor 101, but it is not always necessary to integrate them.
  • the video display system 200 according to the second embodiment has a configuration in which a camera 102 and a distance measuring unit 103 are arranged on a shield 201 existing between a monitor 101 and a background BG.
  • the camera 102 is disposed at a position facing the background BG
  • the distance measuring means 103 is disposed at a position facing the monitor 101.
  • the distance measuring means 103 in order to measure the distance 1 between the monitor 101 and the background surface, the distance between the background surface and the shielding object 201 is fixed, and the distance between the shielding object 201 and the monitor 101 is measured.
  • the distance between the shielding object 201 and the monitor 101 may be fixed, and the distance measuring means 103 may be installed on the power camera side to measure the distance between the background surface and the shielding object 201.
  • the observer OBS can visually recognize the shielding object 201 so that it does not exist.
  • the video display system 200 according to the second embodiment can be applied to, for example, an in-vehicle video display device.
  • the pillar connecting the body of the moving body and the roof (usually a part expressed as a pillar) is used as a shield, a monitor is installed on the inner side of the pillar, and a camera is installed on the outer side of the vehicle.
  • the force described as arranging the camera 102 for imaging the background BG between the monitor 101 and the background BG is particularly limited. Is not to be done. However, if the position of the camera 102 is significantly different from the position of the observer OBS, the background image captured by the camera 102 can be changed even if the parallax conditions and display magnification are adjusted using the above conditional expressions (XI) and (X2). Observer OBS's position force Seen Background BG is greatly different, making it difficult to observe seamlessly.
  • FIG. 14 is a diagram showing an external configuration of video display system 300 according to Embodiment 3.
  • a video display system 300 according to Embodiment 3 has a configuration in which a multi-eye mela 301 having 3 ⁇ 3 camera forces is disposed on the background surface side of the monitor 101. Note that the multi-eye melody 301 is not necessarily arranged on the monitor 101.
  • FIG. 15 is a block configuration diagram of video display system 300 according to Embodiment 3.
  • the multi-eye melody 301 captures a plurality of background images. Based on these multiple background images, Positional force of the observer A background image that should be visible is created, and the distance 1 between the monitor 101 and the background surface is measured using a stereo method or the like.
  • the image processing means 302 includes a distance calculation unit 314 that calculates a distance 1 between the monitor 101 and the background surface using a stereo method or the like based on a plurality of background images captured by the multi-eye melody 301, Using the above-described arbitrary viewpoint image generation technology, the viewpoint position conversion image generation unit 311 that generates a background image that should be viewed based on a plurality of background images captured by the multi-eye melody 301 Based on the distance 1 between the monitor 101 and the background surface measured by the distance calculation unit 314 and the composite video generation unit 312 that synthesizes the additional video with the background video in accordance with instructions from the controller (not shown), the above conditional expression (X2) And a display size conversion unit 313 that expands and contracts the background video or the composite video.
  • a distance calculation unit 314 that calculates a distance 1 between the monitor 101 and the background surface using a stereo method or the like based on a plurality of background images captured by the multi-eye melody 301.
  • the background video or the synthesized video expanded and contracted by the display size conversion unit 313 is displayed on the monitor 101.
  • the distance adjustment mechanism 105 adjusts the distance d between the monitor 101 and the optical lens 104 according to the conditional expression (XI) based on the distance 1 between the monitor 101 and the background surface measured by the distance calculation unit 314.
  • a plurality of background images are captured by the multi-eye melody 301, and the viewpoint position conversion image generation unit 311 creates a background image of the observer viewpoint based on the plurality of background images. Therefore, the background image that should be visible from the observer's position can be displayed on the monitor 101 regardless of the position of the camera.
  • the video display system and video display method according to the present invention are useful for video display devices in general, in-vehicle video display devices, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　本発明に係る映像表示システムは、背景を撮像するカメラと、撮像された背景映像を表示するためのモニタと、モニタの表示面側に設けられた光学レンズとを有し、光学レンズによるモニタ映像の虚像を背景面に略一致させることにより、観察者がモニタ越しに背景を見た場合に、モニタ映像と背景とを視覚的に連続性を保って観察者に視認させる。これにより、観察者がモニタ方向を見た場合に、モニタ映像と背景とを視覚的に連続性を保って観察者に視認させることが可能な映像表示システムおよび映像表示方法を提供する。                                                                     

Description

明 細 書
映像表示システムおよび映像表示方法
技術分野
[0001] 本発明は、映像表示システムおよび映像表示方法に関し、詳細には、モニタ映像と 背景とを視覚的に連続性を保って観察者に視認させるための映像表示システムおよ び映像表示方法に関する。
背景技術
[0002] 従来、実世界の中にバーチャルな映像を重畳表示させる手法として、「拡張現実」 もしくは「複合現実」と呼ばれる技術があり、既に一部では実用化されている（例えば 、非特許文献 1参照)。力かる拡張現実を表示する方式としては、光学シースルー方 式 (例えば、特許文献 1参照）とビデオシースルー方式 (例えば、特許文献 2参照）に 大きく分類することができる。
[0003] 図 16は、光学シースルー方式を説明するための模式図である。光学シースルー方 式は、図 16に示すように、半透明の表示パネル 401を使用し、表示パネル 401に電 子的に表示されるバーチャル映像 VIと表示パネル 401を通して見る実世界の背景 B Gとを重畳させて観察者 OBSに視認させるものである。
[0004] 図 17は、ビデオシースルー方式を説明するための模式図である。ビデオシースル 一方式は、図 17に示すように、密閉型ヘッドマウントディスプレイや CAVEシステムな どを使用して、カメラ 501で撮像した実世界の背景映像とバーチャル映像 VIを電子 的に合成して表示するものである。
[0005] 特許文献 1 :特開平 11 174367号公報
特許文献 2 :特開 2001— 92995号公報
非特許文献 1 : OPTRONICS (2002) No. 2、 P137〜141「複合現実感」遠藤隆 明氏等
発明の開示
発明が解決しょうとする課題
[0006] し力しながら、上記光学シースルー方式では、実世界とバーチャル映像 VIを光学 的に重畳しているため、バーチャル映像 VIが半透明になってしまい、電子的に表示 される映像と光学系のみを透力して見る実世界の光景との本質的な整合は不可能で あり、リアリティーにかける映像となるという問題がある。また、明るい現実環境の下で は、喑 、バーチャル映像 VIは殆ど視認できな ヽと 、う問題がある。
[0007] 他方、上記ビデオシースルー方式では、リアリティーのある映像を表示することがで きるが、密閉型ヘッドマウントディスプレイや CAVEシステム等の非常に特殊な映像 表示システムを使用しているため、観察者 OBSの視野や動きが制限されるだけでは なぐ実世界を直接観察できな 、ので日常生活の中で使うことが難し 、と 、う問題が ある。すなわち、体験型ゲームやシミュレーション等の特殊なアプリケーション用途に しか使用できな 、と 、う問題がある。
[0008] 本発明は、上記に鑑みてなされたものであり、合成映像のリアリティーを保ちつつ、 日常生活の中で実世界を観察して 、る感覚で拡張現実を体現することが可能な映 像表示システムおよび映像表示方法を提供することを目的とする。
[0009] ところで、観察者がモニタ方向を見た場合に、モニタが邪魔になってその部分の背 景を視認することができない場合がある。観察者は、モニタ方向を見た場合でも、モ ユタに隠れて 、る背景部分を見た 、と 、う要求がある。
[0010] 本発明は、また、上記に鑑みてなされたものであり、観察者がモニタ方向を見た場 合に、モニタ映像と背景とを視覚的に連続性を保って観察者に視認させることが可 能な映像表示システムおよび映像表示方法を提供することを他の目的とする。
課題を解決するための手段
[0011] 上述した課題を解決し、目的を達成するために、本発明は、モニタ映像と背景とを 視覚的に連続性を保って観察者に視認させるための映像表示システムであって、撮 像した背景映像を表示するためのモニタと、前記モニタの表示面側に配置される光 学レンズと、を備え、前記光学レンズによるモニタ映像の虚像を背景面に略一致させ たことを特徴とする。
[0012] また、本発明は、モニタ映像と背景とを視覚的に連続性を保って観察者に視認させ るための映像表示方法であって、背景を撮像する工程と、その表示面側に光学レン ズが配置されたモニタに、撮像した背景映像を表示する工程と、を含み、前記光学レ ンズによるモニタ映像の虚像を背景面に略一致させることを特徴とする。 図面の簡単な説明
[0013] [図 1]図 1は、本発明の原理を説明するための図である。
[図 2]図 2は、実施の形態 1に係る映像表示システムの外観構成図である。
[図 3]図 3は、実施の形態 1に係る映像表示システムのブロック構成図である。
[図 4]図 4は、観察者 OBSがモニタを観察した場合に視認される映像を説明するため の模式図である。
[図 5]図 5は、条件式 (X2)の導出を説明するための説明図である。
[図 6]図 6は、表示モニタ—背景 BG面間の距離 l[m]と表示モニタ—光学レンズ間距 離 d[m]との関係を示す図である。
[図 7]図 7は、条件式 (X2)の導出を説明するための説明図である。
[図 8]図 8は、条件式 (X3)、 （X4)の導出を説明するための説明図である。
[図 9]図 9は、観察者 OBSの観察位置を制限する条件式および当該観察位置制限 力もレンズ特性を求める条件式を導出するための説明図である。
[図 10]図 10は、モニタと背景 BG面間の距離 l[m]と、 z および z との関係を示す図
min max
である。
[図 11]図 11は、 z と r 、r の関係を示す図である。
min min max
[図 12]図 12は、最大レンズ焦点距離を示す図である。
[図 13]図 13は、実施の形態 2に係る映像表示システムの外観構成図である。
[図 14]図 14は、実施の形態 3に係る映像表示システムの外観構成を示す図である。
[図 15]図 15は、実施の形態 3に係る映像表示システムのブロック構成図である。
[図 16]図 16は、光学シースルー方式を説明するための模式図である。
[図 17]図 17は、ビデオシースルー方式を説明するための模式図である。
符号の説明
[0014] 100 映像表示システム
101 表示モニタ
102 カメラ
103 距離計測手段 104 光学レンズ
105 距離調整機構
106 画像処理手段
111 合成映像生成部
112 表示サイズ変換部
100 映像表示システム
201 遮蔽物
300 映像表示システム
301 多眼力メラ
302 画像処理手段
311 視点位置変換映像生成部
312 合成映像生成部
313 表示サイズ変換部
314 距離計算部
発明を実施するための最良の形態
[0015] 以下、この発明につき図面を参照しつつ詳細に説明する。なお、この実施の形態 によりこの発明が限定されるものではない。また、下記実施の形態における構成要素 には、当業者が容易に想定できるもの或いは実質的に同一のものが含まれる。
[0016] (本発明の原理）
図 1は本発明に係る映像表示システムの原理を説明するための模式図である。本 発明は、図 1に示すように、観察者 OBSと背景 BGとの間にモニタ 101を配置するとと もに、モニタ 101の表示面側に光学レンズ 104を配置する。そして、背景 BGをカメラ 102で撮像し、撮像した背景映像とバーチャル映像 VIを合成して、モニタ 101に表 示する。この際、光学レンズ 104とモニタ 101との距離を調整することにより、光学レ ンズ 104によるモニタ映像の虚像を背景面に略一致させて、モニタ映像と背景 BGと を視覚的に連続性を保って観察者 OBSに視認させる。これにより、ビデオシースル 一方式の利点である合成映像のリアリティーを保ちつつ、日常生活の中で実世界を 観察して 、る感覚で拡張現実の効果を得ることができる。 [0017] (実施の形態 1)
図 2は実施の形態 1に係る映像表示システム 100の外観構成図である。映像表示 システム 100は、図 1に示すように、背景 BGと観察者 OBSの間に配置される。同図 において、 101はモニタ、 102はカメラ、 103は距離計測手段、 104は光学レンズ、 1 05は距離調整機構を示している。モニタ 101の背景面側には、カメラ 102および距 離計測手段 103が配設されている。モニタ 101の表示面（モニタ面)側には、 4つの 距離調整機構 105を介して、光学レンズ 104が対向配置されている。距離調整機構 105は、伸縮可能に構成されており、その一端がモニタ 101の表示面側に固定され 、他端が光学レンズ 104に固定されている。
[0018] 図 3は、図 2の映像表示システム 100のブロック構成図である。映像表示システム 1 00の構成を図 3を参照して詳細に説明する。モニタ 101は、画像処理手段 106から 入力される映像を表示するためのものであり、例えば、 CRT,液晶パネル 'プラズマ ディスプレイパネル · ELディスプレイパネル等のフラットディスプレイパネル、およびフ レキシブルディスプレイ等で構成することができる。
[0019] カメラ 102は、ビデオカメラやデジタルカメラ等の撮像手段を使用することができ、 背景の動画像または静止画像を撮像して、撮像した背景映像を画像処理手段 106 に出力する。画像処理手段 106は、合成映像生成部 111と表示サイズ変倍部 112と を備えている。合成映像生成部 111は、不図示のコントローラ力もの指示に応じて、 背景映像に対して、任意の映像 (バーチャル映像 VI等)や文字情報などの付加映像 を合成して合成映像を生成する。なお、合成映像生成部 111は、不図示のコントロー ラカも映像合成の指示がない場合には、映像合成を行わない。表示サイズ変倍部 1 12は、距離計測手段 103で計測されたモニタ 101と背景面間の距離 1に基づいて、 背景映像または合成映像を伸縮 (変倍)してモニタ 101に出力する。なお、付加映像 の合成は、背景映像の伸縮後に行うことにしても良い。
[0020] 距離計測手段 103は、モニタ 101と背景面間の距離 1を計測して、画像処理手段 1 06の表示サイズ変倍部 112および距離調整機構 105に出力する。距離計測手段 1 03は、例えば、赤外線センサー、超音波センサー、 2眼力メラ等で構成することがで きる。 2眼力メラを使用する場合は、公知のステレオ法（2つのカメラ力も得られる画像 の間で対応点を見つけて、三角測量の原理を適用する手法)で距離を検出すること ができる。
[0021] 距離調整機構 105は、距離計測手段 103で計測されたモニタ 101と背景面間の距 離 1に応じて伸縮し、モニタ 101と光学レンズ 104間の距離を調整する。距離調整機 構 105は、例えば、ァクチユエータと、当該ァクチユエータを駆動する駆動回路とで構 成することができる。光学レンズ 104は、モニタ 101のモニタ面（表示面）と背景面との 視差を略一致させるためのものであり、例えば、ガラスレンズ、フレネルレンズ等の榭 脂レンズで構成することができる。
[0022] つぎに、上記図 2および図 3に示す映像表示システム 100の表示動作およびその 表示原理を図 4〜図 7を参照して説明する。カメラ 102で背景を撮像して画像処理手 段 106の合成映像生成部 111に出力する。また、距離計測手段 103は、モニタ 101 と背景面間の距離 1を計測して、画像処理手段 106の表示サイズ変換部 112および 距離調整機構 105に出力する。
[0023] 合成映像生成部 111は、不図示のコントローラの指示に応じて、背景映像に付カロ 映像を合成して合成映像を生成する。表示サイズ変換部 112は、モニタ 101と背景 面間の距離 1に基づき、後述する背景映像のサイズ (倍率)を決定するための条件式 (X2)に従って、背景映像または合成映像を伸縮 (変倍)する。伸縮された背景映像 または合成映像はモニタ 101に表示される。
[0024] 他方、距離調整機構 105は、距離計測手段 103で検出されたモニタ 101と背景面 間の距離 1に基づ 、て、後述するモニタ映像と背景 BG力もの視差を略一致させるた めの条件式 (XI)に従ってモニタ 101と光学レンズ 104間の距離 dを調整する。
[0025] これにより、観察者 OBSは図 4に示すような映像を視認することになる。図 4は、観 察者 OBSがモニタ 101を観察した場合に視認される映像の一例を説明するための 模式図である。図 4に示すように、観察者 OBSが光学レンズ 104を介してモニタ 101 を観察すると、モニタ映像のレンズ虚像がちょうど背景面とシームレスに繋がり、観察 者 OBSは、モニタ 101は存在せず、画像処理手段 106によって合成された映像や 文字情報のみが背景映像に重畳表示されて 、るように観察することができる。
[0026] 次に、図 5〜図 7を参照して上記条件式 (XI)、（X2)の導出について説明する。ま ず、図 5および図 6を参照して、条件式 (XI)の導出について説明する。図 5は、条件 式 (XI)の導出を説明するための説明図である。条件式 (XI)は、上述したように、モ ユタ映像と背景 BGからの視差が略一致するように、モニタ 101と光学レンズ 104間の 距離を決定するための式である。ここで、「視差が一致する」とは、背景面のある点と それに対応するモニタ 101上の点からの光線力 観察者 OBSの観察位置によらず に同じ角度で観察者 OBSまで到達するということを意味する。換言すると、モニタ映 像の光学レンズ 104による虚像が背景面と一致するということである。視差を一致さ せると、観察者 OBSはモニタ 101からの光線が背景面力 発せられたものと区別で きないため、モニタ映像が背景面に表示されているように観察することができる。この 場合、視差だけでなく輻輳 (水晶体の回転角度)や焦点調節 (水晶体の厚み)も等し くなる。
[0027] 図 5において、背景面の 1点 Pに対応するモニタ 101上の点は P'である。観察者 O BSの観察位置が観察位置 1の場合は、 Pからの光線と P'からの光線はいずれも角 度 0 (水平面力 ら)で到達する。他方、観察者 OBSの観察位置が観察位置 2の場合 は、背景 BG面の 1点 Pからの光線は角度 uで到達する。点 P'からの光線も角度 u'で 到達させるためには、モニタ 101と背景面間の距離 1、光学レンズ 104のパワー（=屈 折力）を Φ (レンズの焦点距離を fとすると屈折力は、 φ =ΐΖίで定義される）とした場 合、以下のようにして近軸理論を適用すると、モニタ 101と光学レンズ 104間の距離 d は、下記条件式 (XI)を満たす必要があることが分かる。
[0028] [数 1]
Figure imgf000009_0001
[0029] 図 6は、 φ = ΐΖ0. 15 [m]とした場合に上記条件式 (XI)で算出した、モニタ 101 と背景面間の距離 l[m]と、モニタ 101と光学レンズ 104間の距離 d[m]との関係を示 す図である。同図において、横軸はモニタ 101と背景面間の距離 l[m]、縦軸はモ- タ 101と光学レンズ 104間の距離 d[m]を示している。同図に示すように、モニタ 101 と背景面間の距離 1が比較的大きい場合には、モニタ 101と光学レンズ 104間の距離 dはほぼ一定となることが分かる。このことは、仮に、モニタ 101と背景面間の距離 1が 比較的小さな値（図 6に示す例では、約 2m以下）にはならないことが予め分力つてい る場合には、モニタ 101と背景面間の距離 1に依存してモニタ 101と光学レンズ 104 間の距離 dを調整しなくても、上記条件式 (XI)で求められる一定の値 (d= lZ Φ )に 設定しておくことでシステムが成立する可能性があることを意味する。このように、本 発明では、モニタ 101と背景面間の距離 1が大きい場合には、モニタ 101と光学レン ズ 104間の距離を調整する距離調整機構 105は必ずしも必要ではないということ〖こ なる。
[0030] つぎに、図 7を参照して、上記条件式 (X2)の導出について説明する。図 7は、条件 式 (X2)の導出を説明するための説明図である。条件式 (X2)は、上述したように、モ ユタ 101に表示する背景映像のサイズ (倍率)を決定するための式である。図 7にお いて、背景面の 2点 Pおよび Qに対応するモニタ 101上の点を P'および Q'としている 。 φは光学レンズ 104の屈折力， dはモニタ 101と光学レンズ 104間の距離， zはモ- タ 101と観察者 OBS間の距離である。実背景サイズに対するモニタ 101に表示する 背景映像の表示サイズ倍率 Mg ( = P ' Q ' ZPQ)は、以下のように近軸理論を用 、る と、下式（1)で表すことができる。
[0031] [数 2]
Figure imgf000010_0001
[0032] 上記式（1)によれば、 zに依存しているため、観察者 OBSの位置によって背景映像 のモニタ表示倍率を変更しなければならな 、が、上記条件式 (XI)を代入して近似解 析することで、下記条件式 (X2)を得ることができる。
[0033] [数 3]
Figure imgf000010_0002
このように、条件式 (XI)および条件式 (X2)の条件を満たすことにより、光学レンズ 104越しにモニタ 101を観察することで、モニタ 101に映った背景映像と実際の背景 BGをシームレスに観察することが可能になる。 [0035] ところで、条件式 (XI)、（X2)を満たしただけでは、観察者 OBSの視点位置によつ ては、光学レンズ 104を介さずに、直接、モニタ 101が見えてしまう場合がある。これ では、背景 BG映像とモニタ映像をシームレスに観察することはできない。そこで、光 学レンズ 104を介さずに直接、モニタ 101が見えるのを防止するための条件式 (X3) 、（X4)について説明する。図 8は条件式 (X3)、（X4)の導出を説明するための説明 図である。
[0036] 図 8において、 rは光学レンズ 104を，背景面と平行な面内で，光軸からある方向（ 所定方向）に測った時のレンズサイズ、 m 0は光学レンズ 104と同じ方向に光軸力も測 つたモニタサイズ、 z と z は、システム上想定される観察者 OBSとレンズ間距離 zの
mm max
最小値と最大値である。まず、レンズサイズの最小値について考える。これは観察者 OBSが光学レンズ 104から最も遠ざかった時、すなわち z = z の時に、モニタ 101
max
の端 Mが直接見えな 、ように、光学レンズ 104の端 Rが観察者 OBSの視点 Oと Mを 結ぶ直線よりも上になるようにすれば良 、ことになる。この条件から次式（2)を導出す ることがでさる。
[0037] [数 4]
Figure imgf000011_0001
[0038] 次に、レンズサイズの最大値について考える。これは観察者 OBSが光学レンズ 104 に最も近づいた時、すなわち、 z = z の時に、光学レンズ 104の端 R，を通って観察
min
者 OBSの観察位置 0，に到達するモニタ 101からの光線がモニタ 101の端 Mよりも 光軸に近 、位置であれば良 、ことになる。この条件力も次式（3)を導出することがで きる。
[0039] [数 5] r
Figure imgf000011_0002
[0040] 上記式（2)、 (3)から下記条件式 (X3)を導出することができる。
[0041] [数 6] m0 ' Zmax ≤ Y < m (T Z
d + z d + Zmn (l— d ' cf)) " - (X3)
[0042] また、上記条件式 (X3)の右辺は、必ず左辺よりも大きくなければならないという条 件から、光学レンズ 104の屈折力 φまたは焦点距離 f (= 1Z Φ )を制限する下記条 件式 (X4)を導出することができる。
[0043] [数 7]
Figure imgf000012_0001
[0044] 以上、上記条件式 (XI) (X2)を満たした上で、さらに、上記条件式 (X3) （X4) を満たしていれば、システム上想定される観察者 OBSの前後移動に対して、光学レ ンズ 104を通さずにモニタ 101が直接見えてしまったり、光学レンズ 104越しにモニタ 101の端 Mが見えることがなくなり、背景映像とモニタ映像をシームレスに観察するこ とが可能になる。
[0045] つぎに、観察者 OBSの観察位置を制限する条件式および当該観察位置制限から レンズ特性を求める条件式について、図 9〜図 12を参照して説明する。図 9は、観察 者 OBSの観察位置を制限する条件式および当該観察位置制限カゝらレンズ特性を求 める条件式を導出するための説明図である。
[0046] 図 9において、 rは光学レンズ 104を，背景面と平行な面内で，光軸からある方向（
0
所定方向）に測った時のレンズサイズ、 Δ ζは、背景面に垂直な軸方向における観察 者 OBSの観察可能範囲を示している。モニタ 101と観察者 OBS間の距離 ζは、以下 のように近軸理論を用いると、下式 (4)で表すことができる。
[0047] [数 8]
Figure imgf000012_0002
[0048] 上記式 (4)は、 dの関数であるが、上記条件式 (XI)を適用すると、 1の関数となる。
図 10は、 1/ φ = 1/0. 457m, m =0. 16m, r =0. 135mとした場合のモニタ 1 o o
01と背景面間の距離 l[m]と、 z と z の関係を示す図である。 下記式（5)は、レンズサイズを制限するレンズサイズ制限式を示して ヽる。
[数 9]
[0050]
[0051]
Figure imgf000013_0001
ノ '(6)
[0052] 図 11は、 1/ = 1/0. 457m, m =0. 16m, r =0. 135mとした場合の z と
0 0 min mi
、 r の関係を示す図である。図 12は、最大レンズ焦点距離を示す等高線図であり、 n max
横軸は z 、縦軸は Δ ζを示している。
min
[0053] 以上説明したように、実施の形態 1によれば、背景を撮像するカメラ 102と、撮像さ れた背景映像を表示するためのモニタ 101と、モニタ 101の表示面側に設けられた 光学レンズ 104とを有し、光学レンズ 104によるモニタ映像の虚像をモニタ 101の背 景面に略一致させているので、観察者 OBSが光学レンズ 104越しにモニタ 101を観 た場合に、モニタ映像と背景 BGとを視覚的に連続性を保って視認することができる。
[0054] また、実施の形態 1によれば、モニタ 101と背景面間の距離 1を計測する距離計測 手段 103と、光学レンズ 104とモニタ 101間の距離 dを調整する距離調整機構 105と 、を有し、距離調整機構 105は、距離計測手段 103で測定されたモニタ 101と背景 面間の距離 1に基づき、上記条件式 (XI)に従って、モニタ 101と光学レンズ 104間 の距離 dを調整することとしたので、観察者 OBSはモニタ 101からの光線が背景面か ら発せられたものと区別できないため、モニタ映像が背景面に表示されているように 観察することができる。 [0055] また、実施の形態 1によれば、画像処理手段 106の表示サイズ変換部 112は、モ- タ 101と背景面間の距離を 1、光学レンズ 104のパワーを φとした場合に、距離計測 手段 103で測定されたモニタ 101と背景面の距離 1に基づき、上記条件式 (X2)に従 つて、背景映像の変倍することとしたので、観察者 OBSは、モニタ 101に表示される 背景映像の大きさを実際の背景 BGと同じサイズで視認することができる。
[0056] また、実施の形態 1によれば、モニタのある方向の光軸力 測ったサイズを m、光
0 学レンズ 104のパワーを φ、モニタ 101と光学レンズ 104間の距離を d、光学レンズ 1 04と観察位置の最短距離を z 、最長距離 z をとした場合に、光学レンズ 104の光
min max
軸カゝらある方向に測ったレンズサイズ rを、上記条件式 (X3)を満たすように構成し、さ らに、光学レンズ 104のパワー φまたは焦点距離 fを上記条件式 (X4)を満たすよう に構成したので、光学レンズ 104を通さずにモニタ 101が直接見えてしまったり、また 、光学レンズ 104越しにモニタ 101の端 Mが見えることを防止することができる。
[0057] また、実施の形態 1によれば、画像処理手段 106の合成映像生成部 111は、背景 映像に付加映像を合成して合成映像を生成することとしたので、合成映像のリアリテ ィーを保ちつつ、日常生活の中で実世界を観察している感覚で拡張現実を体現する ことができる。
[0058] (実施の形態 2)
図 13は、実施の形態 2に係る映像表示システム 200の外観構成図である。図 13〖こ おいて、図 2と同等機能を有する部位には同一符号を付してある。実施の形態 1に係 る映像表示システム 100では、カメラ 102および距離計測手段 103をモニタ 101と一 体ィ匕して構成したが、必ずしも一体ィ匕させる必要はない。実施の形態 2に係る映像表 示システム 200は、図 13に示すように、モニタ 101と背景 BG間に存在する遮蔽物 20 1に、カメラ 102および距離計測手段 103を配設した構成である。カメラ 102は背景 B Gに対向する位置に配設され、距離計測手段 103はモニタ 101と対向する位置に配 設される。距離計測手段 103では、モニタ 101と背景面間の距離 1を計測するために 、背景面と遮蔽物 201間の距離を固定とし、遮蔽物 201とモニタ 101間の距離を計 測する。なお、遮蔽物 201とモニタ 101間の距離を固定とし、距離計測手段 103を力 メラ側に設置することで、背景面と遮蔽物 201間の距離を計測する構成としても良い [0059] 実施の形態 2によれば、遮蔽物 201にカメラ 102を配置した構成であるので、観察 者 OBSに、遮蔽物 201が存在しないように視認させることが可能となる。本実施の形 態 2の映像表示システム 200は、例えば、車載映像表示装置に応用することができる 。この場合、例えば，移動体のボディーと屋根を繋ぐ柱 (通常，ピラーなどと表現され る部分)を遮蔽物として，ピラーの車内側面にモニタを，車外側面にカメラを設置して 本実施の形態を適用することで，運転者はあた力もピラーが存在しないような感覚で 外界を視認することが可能になる。
[0060] (実施の形態 3)
上記実施の形態 1および実施の形態 2では、背景 BGを撮像するためのカメラ 102 をモニタ 101と背景 BG間に配置するものとして説明した力 本発明においては、カメ ラ 102の配置位置は特に限定されるものではない。但し、カメラ 102の位置と観察者 OBSの位置が大きく異なると、上記条件式 (XI)、（X2)を用いて、視差条件や表示 倍率などを合わせても、カメラ 102で撮像した背景映像と観察者 OBSの位置力ゝら見 た背景 BGが大きく異なってしまうため、シームレスに観察することが難しくなつてしま
[0061] そこで、実施の形態 3に係る映像表示システム 3では、公知の任意視点映像生成技 術 (TVRSJ Vol. 4、 No. 4、 1999「多眼ビデオ入力を用いた実時間 IBRシステム」 吉村健氏等参照)を使用して、観察者 OBSの視点位置にカメラを設置したような背 景映像を作成する場合について説明する。
[0062] 図 14は、実施の形態 3に係る映像表示システム 300の外観構成を示す図である。
図 14において、図 2と同等機能を有する部位には同一符号を付してある。実施の形 態 3に係る映像表示システム 300は、図 14に示すように、モニタ 101の背景面側に 3 X 3個のカメラ力もなる多眼力メラ 301を配設した構成である。なお、多眼力メラ 301 はモニタ 101に必ずしも配設する必要はな 、。
[0063] 図 15は、実施の形態 3に係る映像表示システム 300のブロック構成図である。図 15 において、図 3と同等機能を有する部位には同一符号を付してある。図 15において、 多眼力メラ 301は、複数の背景映像を撮像する。この複数の背景映像に基づいて、 観察者の位置力 見えるはずの背景映像が作成されるとともに、ステレオ法等を使用 してモニタ 101と背景面間の距離 1が計測される。
[0064] 画像処理手段 302は、多眼力メラ 301で撮像された複数の背景映像に基づいて、 ステレオ法等を使用してモニタ 101と背景面間の距離 1を算出する距離計算部 314と 、上述の任意視点映像生成技術を使用して、多眼力メラ 301で撮像された複数の背 景映像に基づいて観察者の位置力 見えるはずの背景映像を生成する視点位置変 換映像生成部 311と、不図示のコントローラの指示に従って背景映像に付加映像を 合成する合成映像生成部 312と、距離計算部 314で計測されたモニタ 101と背景面 間の距離 1に基づき、上記条件式 (X2)を使用して、背景映像または合成映像を伸縮 する表示サイズ変換部 313とを備えている。
[0065] 表示サイズ変換部 313で伸縮された背景映像または合成映像はモニタ 101に表示 される。距離調整機構 105は、距離計算部 314で計測されたモニタ 101と背景面間 の距離 1に基づいて、上記条件式 (XI)に従ってモニタ 101と光学レンズ 104間の距 離 dを調整する。
[0066] 実施の形態 3によれば、多眼力メラ 301で複数の背景映像を撮像し、視点位置変 換映像生成部 311は、この複数の背景映像に基づいて観察者視点の背景映像を作 成することとしたので、カメラの位置によらずに観察者の位置から見えるはずの背景 映像をモニタ 101に表示することができる。
産業上の利用可能性
[0067] 以上のように、本発明に係る映像表示システムおよび映像表示方法は、映像表示 装置全般および車載映像表示装置等に有用である。

Claims

請求の範囲
[1] モニタ映像と背景とを視覚的に連続性を保って観察者に視認させるための映像表 示システムであって、
撮像した背景映像を表示するためのモニタと、
前記モニタの表示面側に配置される光学レンズと、を備え、
前記光学レンズによるモニタ映像の虚像を背景面に略一致させたことを特徴とする 映像表示システム。
[2] 前記モニタと背景面間の距離を 1、前記光学レンズのパワーを φとした場合に、前記 モニタと前記光学レンズ間の距離 dを下式 (XI)を満たすように構成したことを特徴と する請求項 1に記載の映像表示システム。
[数 1]
Figure imgf000017_0001
[3] 前記モニタと背景面間の距離 1を計測する距離計測手段と、
前記モニタと前記光学レンズ間の距離 dを調整する距離調整機構と、
を有し、
前記距離調整機構は、前記距離計測手段で計測された前記モニタと背景面間の 距離 1に基づき、上記式 (XI)に従って、前記モニタと前記光学レンズ間の距離 dを調 整することを特徴とする請求項 2に記載の映像表示システム。
[4] 前記モニタと背景面間の距離を 1、前記光学レンズのパワーを φとした場合に、前記 モニタに表示する背景映像の倍率 Mgを下式 (X2)を満たすように構成したことを特 徴とする請求項 1に記載の映像表示システム。
[数 2]
Figure imgf000017_0002
[5] 前記モニタと背景面間の距離 1を計測する距離計測手段と、
前記モニタに表示する背景映像の倍率 Mを変更する表示サイズ変換手段と、 を備え、
前記表示サイズ変換手段は、前記距離計測手段で測定された前記モニタと背景面 間の距離 1に基づき、上記式 (X2)に従って、前記背景映像の倍率 Mを変更すること を特徴とする請求項 4に記載の映像表示システム。
[6] 前記モニタの光軸力 所定方向に測定したモニタサイズを m、前記光学レンズの
0
パワーを Φ、前記モニタと光学レンズ間の距離を d、前記光学レンズと観察位置の最 短距離を Z 、最長距離を z とした場合に、前記光学レンズの光軸から前記所定方
min max
向に測定したレンズサイズ rを下式 (X3)を満たすように構成したことを特徴とする請 求項 1に記載の映像表示システム。
[数 3] m0Zmin
d + zmax r≤ α + ζ^^ -' ~Ι-~ά -φ) - - -(X3)
[7] 前記レンズと観察位置の最短距離を ζ min、最長距離を ζ
maxとした場合に、前記光学レ ンズのパワー φまたは焦点距離 fが下式 (X4)を満たすように構成したことを特徴とす る請求項 1に記載の映像表示システム。
画 φ > Zmax― z ，又は， f < . . .(χ4)
[8] 前記背景映像に付加映像を合成して、合成映像を生成する合成映像生成手段を 備え、
前記モニタは、前記合成映像を表示することを特徴とする請求項 1に記載の映像表 示システム。
[9] 前記背景を撮像するためのカメラを備えたことを特徴とする請求項 1に記載の映像 表示システム。
[10] 前記カメラは、前記モニタの背景面側に配設されることを特徴とする請求項 9に記 載の映像表示システム。
[11] 前記カメラは、前記モニタと前記背景との間に存在する遮蔽物に配設されることを 特徴とする請求項 9に記載の映像表示システム。
[12] 前記カメラは、多眼力メラからなり、
前記多眼力メラで撮像した複数の背景映像に基づ 、て、観察者視点の背景映像を 作成する視点位置変換映像生成手段を備えたことを特徴とする請求項 9に記載の映 像表示システム。
[13] モニタ映像と背景とを視覚的に連続性を保って観察者に視認させるための映像表 示方法であって、
背景を撮像する工程と、
その表示面側に光学レンズが配置されたモニタに、撮像した背景映像を表示する 工程と、を含み、
前記光学レンズによるモニタ映像の虚像を背景面に略一致させることを特徴とする 映像表示方法。
PCT/JP2005/015476 2004-09-15 2005-08-25 映像表示システムおよび映像表示方法 Ceased WO2006030613A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/662,946 US7907200B2 (en) 2004-09-15 2005-08-25 Seamless image viewing system and method
JP2006535112A JP4417386B2 (ja) 2004-09-15 2005-08-25 映像表示システムおよび映像表示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-267738 2004-09-15
JP2004267738 2004-09-15

Publications (1)

Publication Number Publication Date
WO2006030613A1 true WO2006030613A1 (ja) 2006-03-23

Family

ID=36059869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/015476 Ceased WO2006030613A1 (ja) 2004-09-15 2005-08-25 映像表示システムおよび映像表示方法

Country Status (3)

Country Link
US (1) US7907200B2 (ja)
JP (1) JP4417386B2 (ja)
WO (1) WO2006030613A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP2011164184A (ja) * 2010-02-05 2011-08-25 Casio Computer Co Ltd 画像表示装置、表示制御プログラム、及び画像表示システム
JP2014515854A (ja) * 2011-03-29 2014-07-03 クアルコム，インコーポレイテッド 拡張現実システムにおける実世界表面への仮想画像のアンカリング
JP2020136947A (ja) * 2019-02-21 2020-08-31 いすゞ自動車株式会社 運転支援装置
JP2020136948A (ja) * 2019-02-21 2020-08-31 いすゞ自動車株式会社 運転支援装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158062B2 (ja) * 2009-12-01 2013-03-06 ブラザー工業株式会社 ヘッドマウントディスプレイ
TW201331787A (zh) * 2011-12-07 2013-08-01 Microsoft Corp 將虛擬資料顯示為列印的內容
US9183807B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9182815B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
KR101332253B1 (ko) * 2011-12-13 2013-12-02 현대자동차주식회사 사각지대를 발생시키지 않는 영상출력장치
US9672796B2 (en) * 2012-02-17 2017-06-06 Lg Electronics Inc. Electronic device including flexible display
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
CN103605209A (zh) * 2013-11-05 2014-02-26 中国科学技术大学 一种透射式立体显示眼镜装置
TWI571655B (zh) * 2014-08-22 2017-02-21 財團法人資訊工業策進會 顯示方法及顯示裝置
KR102547821B1 (ko) * 2016-11-25 2023-06-26 삼성전자주식회사 3d 디스플레이 장치
JP7118650B2 (ja) * 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
US11899214B1 (en) 2018-09-18 2024-02-13 Apple Inc. Head-mounted device with virtually shifted component locations using a double-folded light path

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863089A (ja) * 1994-08-19 1996-03-08 Japan Radio Co Ltd 頭部搭載型表示装置
US5550585A (en) * 1993-03-26 1996-08-27 Allan Cherri Video inter-view system
JP2001211403A (ja) * 2000-01-25 2001-08-03 Mixed Reality Systems Laboratory Inc 頭部装着型表示装置及び頭部装着型表示システム
JP3092719U (ja) * 2002-09-11 2003-03-28 英雄 堀田 車両用安全確認装置
JP2004064131A (ja) * 2002-07-24 2004-02-26 Honda Motor Co Ltd 車両用表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3338837B2 (ja) * 1997-12-10 2002-10-28 キヤノン株式会社 複合表示装置
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
US6408257B1 (en) 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
US6980363B1 (en) * 1999-11-08 2005-12-27 Canon Kabushiki Kaisha Image observation apparatus and system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550585A (en) * 1993-03-26 1996-08-27 Allan Cherri Video inter-view system
JPH0863089A (ja) * 1994-08-19 1996-03-08 Japan Radio Co Ltd 頭部搭載型表示装置
JP2001211403A (ja) * 2000-01-25 2001-08-03 Mixed Reality Systems Laboratory Inc 頭部装着型表示装置及び頭部装着型表示システム
JP2004064131A (ja) * 2002-07-24 2004-02-26 Honda Motor Co Ltd 車両用表示装置
JP3092719U (ja) * 2002-09-11 2003-03-28 英雄 堀田 車両用安全確認装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665167B2 (en) 2006-10-16 2017-05-30 Sony Corporation Imaging display apparatus and method
US9772686B2 (en) 2006-10-16 2017-09-26 Sony Corporation Imaging display apparatus and method
US8253760B2 (en) 2006-10-16 2012-08-28 Sony Corporation Imaging display apparatus and method
US8514149B2 (en) 2006-10-16 2013-08-20 Sony Corporation Imaging display apparatus and method
US8624798B2 (en) 2006-10-16 2014-01-07 Sony Corporation Imaging display apparatus and method
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP2011164184A (ja) * 2010-02-05 2011-08-25 Casio Computer Co Ltd 画像表示装置、表示制御プログラム、及び画像表示システム
US9384594B2 (en) 2011-03-29 2016-07-05 Qualcomm Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
JP2014515854A (ja) * 2011-03-29 2014-07-03 クアルコム，インコーポレイテッド 拡張現実システムにおける実世界表面への仮想画像のアンカリング
US9047698B2 (en) 2011-03-29 2015-06-02 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9142062B2 (en) 2011-03-29 2015-09-22 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
JP2020136948A (ja) * 2019-02-21 2020-08-31 いすゞ自動車株式会社 運転支援装置
JP2020136947A (ja) * 2019-02-21 2020-08-31 いすゞ自動車株式会社 運転支援装置
JP7255230B2 (ja) 2019-02-21 2023-04-11 いすゞ自動車株式会社 運転支援装置

Also Published As

Publication number Publication date
JPWO2006030613A1 (ja) 2008-07-31
US20070285338A1 (en) 2007-12-13
JP4417386B2 (ja) 2010-02-17
US7907200B2 (en) 2011-03-15

Similar Documents

Publication Publication Date Title
JP4417386B2 (ja) 映像表示システムおよび映像表示方法
JP7528344B2 (ja) 仮想／拡張現実システムにおけるビーム角度センサ
CN112424671B (zh) 用于显示双目变形补偿的系统和方法
US11606548B2 (en) Head mounted display device and method for providing visual aid using same
JP7431267B2 (ja) 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
US6222675B1 (en) Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
EP0702494B1 (en) Three-dimensional image display apparatus
US20100134495A1 (en) Mixed reality presentation system and brightness adjustment method of virtual light source
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
JPH10327433A (ja) 合成画像の表示装置
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
CN104076513A (zh) 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
JPH08292394A (ja) 頭部搭載型画像表示装置
JP2020511687A (ja) ビデオシースルー型ディスプレイシステム
JPH11102438A (ja) 距離画像生成装置及び画像表示装置
JP2015060071A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP2015231106A (ja) ヘッドマウントディスプレイ装置及びヘッドマウントディスプレイシステム
JP2011085830A (ja) 映像表示システム
JP2010181826A (ja) 立体画像形成装置
KR20120066472A (ko) 전방 물체를 이용한 증강 현실 출력 장치 및 방법
WO2011145311A1 (ja) 表示装置および表示方法
CN115018942A (zh) 用于车辆的图像显示的方法和设备
JP2019534493A (ja) 拡張現実感のための装置および方法
CN105866948A (zh) 在双目头戴设备上调节虚像投影距离及角度的方法
JP2011059435A (ja) ヘッドマウントディスプレイ

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2006535112

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11662946

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 11662946

Country of ref document: US