WO2007072762A1 - 画像表示システム及び画像表示方法 - Google Patents

画像表示システム及び画像表示方法 Download PDF

Info

Publication number
WO2007072762A1
WO2007072762A1 PCT/JP2006/325111 JP2006325111W WO2007072762A1 WO 2007072762 A1 WO2007072762 A1 WO 2007072762A1 JP 2006325111 W JP2006325111 W JP 2006325111W WO 2007072762 A1 WO2007072762 A1 WO 2007072762A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
displayed
region
specific
area
Prior art date
Application number
PCT/JP2006/325111
Other languages
English (en)
French (fr)
Inventor
Haruhisa Takayama
Original Assignee
Brother Kogyo Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Kogyo Kabushiki Kaisha filed Critical Brother Kogyo Kabushiki Kaisha
Priority to EP06834838.2A priority Critical patent/EP1970887B1/en
Publication of WO2007072762A1 publication Critical patent/WO2007072762A1/ja
Priority to US12/213,373 priority patent/US8061845B2/en

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Definitions

  • the present invention relates to an image display system including a plurality of image display devices, and in particular, an image display device that displays an image on a screen and the like, and an image display device that projects an image onto a user's pupil.
  • the present invention relates to an image display system provided.
  • Patent Document 1 One conventional example of this type of image display device is described in Patent Document 1.
  • This conventional example is a device that has a plurality of components and displays an image to an observer.
  • this image display device emits a light beam and can modulate the intensity of the emitted light beam, and a wavefront that modulates the wavefront curvature of the light beam emitted from the light beam generation unit.
  • the light beam scanned by the deflector is incident on the retina of the observer's eye, whereby an image is directly projected on the retina, and the observer can visually recognize a three-dimensional virtual image in front of the pupil. It ’s like this.
  • Patent Document 1 Japanese Patent No. 2874208
  • a first image display device that displays a first image in a first region, and an image displayed on a user's pupil.
  • An image display system comprising: a second image display device that displays a second image in a second area provided in the first area by projection, wherein a specific image among images displayed in the first area And when the determination unit determines that the position where the specific image should be displayed is within the second region, the second image display device determines the specific position. An image is displayed as a second image, and when the determination unit determines that the position where the specific image is to be displayed is outside the second region, the first image display device displays the specific image as the first image. And a display control unit for displaying as an image.
  • an image display system including the first image display device and the second image display device, a specific image (for example, three-dimensional content) among images to be displayed is to be displayed. Therefore, it is possible to provide an image display system that combines display of an image on a screen and the like and projection of an image onto a user's pupil. In addition, the wide angle of view can be realized, and the reality of 3D images can be maintained.
  • the display control unit includes a combining unit that generates a combined image by combining the specific image with a background image that is displayed only on the first image display device among images to be displayed in the first region.
  • the determination unit determines that the position where the specific image is to be displayed is outside the second region, the composite image is displayed as the first image by the first image display device.
  • the specific image can be synthesized with the background image, so that a single image to be displayed on a screen or the like can be obtained, and there is no need to provide a plurality of image display devices. Moreover, since the background image can be displayed on the screen in addition to the specific image, the visual effect can be further improved. [0012]
  • the display control unit includes the specific image in the specific image. An image in the second region is displayed as a second image by the second image display device, and an image outside the second region of the specific image is displayed as a first image by the first image display device. Please do it.
  • the image in the second region of the specific image is displayed as the second image.
  • the image outside the second area is displayed on the first image display device, so that it is possible to display the entire image without missing the display pixels of the specific image. The discomfort given to the user can be suppressed.
  • the determination unit determines whether or not a specific position in the specific image is in the second area, and the display control means includes the specific position in the second area.
  • the specific image is displayed as a second image by the second image display device, and when the specific position is outside the second region, the specific image is displayed by the first image display device. May be displayed.
  • a video signal input unit that inputs a video signal of the specific image is provided, and the determination unit selects an image in the first region of the specific image based on the video signal waveform.
  • the first image to be displayed by the first image display device and the second image to be displayed by the second image display device on the image in the second area may be determined.
  • the display control unit when the determination unit determines that the specific image is located in the second region and outside the second region, the display control unit, among the specific images, The image in the second area is divided into the third area near the outer edge of the second area and the area other than the third area.
  • the second image display device displays at least one of luminance and color different from each other as a second image, and an image outside the second region of the specific image is displayed by the first image display device.
  • the image in the third region is displayed as a first image by the first image display device with at least one of luminance and color different from those of the image outside the second region. Even if you do it ⁇ .
  • the specific image when the specific image is located within the second region and outside the second region, the specific image is positioned near the outer edge of the second region, Since both the image display device and the second image display device can display the image with its brightness and color adjusted, even if a specific image extends between the second region and the second region, The border of the image can be felt by the user at the outer edge of the second area.
  • the display control unit includes the specific image in the specific image.
  • the image in the second area is displayed as the second image on the second image display device with the image depth being different between the third area near the outer edge of the second area and the area other than the third area.
  • the image outside the second area of the specific image may be displayed as the first image by the first image display device.
  • the specific image when the specific image is located within the second region and outside the second region, the specific image is positioned near the outer edge of the second region and the image depth.
  • the specific image becomes visually similar in depth to the image displayed on the screen as it approaches the vicinity of the outer edge of the second region. This makes it possible for the user to feel the image separation at the outer edge of the second area.
  • the display control means may make the third area different depending on the size of the specific image.
  • both the first image display device and the second image display device have different third power areas for displaying the specific image depending on the size of the specific image. It is possible to make it difficult for the user to perceive image separation at the outer edge of the second region. For example, when the specific image is large, the third area is enlarged, and when the specific image is small, the third region By making the area smaller, it is possible to make it difficult for the user to perceive the division of the image at the outer edge of the second area.
  • the display control unit may move, Z, or change the second region based on V based on a position and Z or direction of the second image display device.
  • the second region is moved or changed depending on the position and direction of the second image display device.
  • the second image display device is attached to the user's head like glasses. Even at times, the displayed image can be corrected according to the movement of the user's head, and the user can be prevented from feeling uncomfortable.
  • the display control unit includes a gaze direction detection unit that detects the gaze direction of the user, and moves and moves the second region according to the gaze direction detected by the gaze direction detection unit. Or maybe change it.
  • the second area is moved or changed depending on the direction of the user's line of sight, for example, even when the second image display device is attached to the user's head like glasses.
  • the image to be displayed can be corrected according to the user's line-of-sight direction, and the user can be prevented from feeling uncomfortable.
  • the second image display device includes a scanning mechanism that scans a light beam modulated in accordance with a video signal, and displays an image by projecting an image onto a user's pupil. It can be applied to the device.
  • a first image display device that displays a first image in a first region, and projection of an image onto a user's pupil
  • the image display method of displaying an image on a second image display device that displays a second image on a second region provided in the first region by a specific image of the image displayed in the first region. Determining a position to be displayed; and when determining that the position where the specific image is to be displayed is within the second region, causing the second image display device to display the specific image as a second image. And when the position where the specific image is to be displayed is determined to be outside the second region, the first image display device displays the specific image as the first image.
  • the image display system includes the first image display device and the second image display device.
  • the image display device that displays a specific image (for example, 3D content) among the images displayed on the stem can be changed depending on the position to be displayed. It is possible to provide an image display system that combines the projection of images. In addition, the wide angle of view can be realized, and the reality of 3D images can be maintained.
  • the image display device for displaying a specific image (for example, three-dimensional content) according to the position where the specific image should be displayed. It is possible to provide an image display system that combines projection of an image onto a user's pupil. In addition, a wide angle of view can be realized and the reality of a stereoscopic image can be maintained.
  • a specific image for example, three-dimensional content
  • FIG. 1 is a diagram showing an overall configuration of an image display system in an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram of a display area in the image display system.
  • FIG. 3 is a diagram showing a configuration of a projector in the image display system.
  • FIG. 4 is a diagram showing a configuration of a retinal scanning display in the image display system.
  • FIG. 5 is an explanatory diagram of an operation by the image distribution circuit in the first embodiment.
  • FIG. 6 is an operation flowchart of the image distribution circuit in the first embodiment.
  • FIG. 7 is an explanatory diagram of an operation for determining the display position of the waveform force 3D content of the video signal in the image distribution circuit in the first embodiment.
  • FIG. 8 is an explanatory diagram of the operation of the image distribution circuit in the second embodiment.
  • FIG. 9 is an operation flowchart of the image distribution circuit in the second embodiment.
  • FIG. 10 is an explanatory diagram of an operation by the image distribution circuit in the third embodiment.
  • FIG. 11 is an explanatory diagram of a display area in the third embodiment.
  • FIG. 12 is an operation flowchart of the image distribution circuit in the third embodiment.
  • FIG. 13 is an operation flowchart of the image distribution circuit in the third embodiment.
  • FIG. 14 is an explanatory diagram of an operation for determining the display position of the waveform force 3D content of the video signal in the image distribution circuit in the third embodiment. Explanation of symbols
  • FIG. 1 is a diagram showing an overall configuration of the image display system S. As shown in FIG. 1
  • an image display system S in the present embodiment includes a projector 1 corresponding to an example of a first image display device and a retinal scanning image display device corresponding to an example of a second image display device.
  • the retinal scanning display 2 (hereinafter also referred to as “RSD”) is provided, and images displayed by these image display devices are appropriately distributed to achieve a wide angle of view and Keep the reality by the image. That is, as shown in FIG. 2, the projector 1 projects an image onto a screen such as a wall surface, thereby displaying a projector display area that is a visual first area viewed by the user as an observer.
  • a two-dimensional image corresponding to the first image is displayed on A (X coordinate: XO to X5, Y coordinate: YO to Y5), and the retinal scanning display 2 is displayed by projecting the image onto the user's pupil.
  • a three-dimensional image corresponding to the second image is displayed in the RSD display area ⁇ (X coordinate: ⁇ 1 to ⁇ 4, ⁇ coordinate: ⁇ 1 to ⁇ 4), which is the second region provided in the first region.
  • the image display system S generates a three-dimensional content image that generates a video signal for displaying a three-dimensional stereoscopic image (hereinafter referred to as “three-dimensional content”).
  • a background content generation unit 11 that generates a video signal for displaying a two-dimensional background content image (hereinafter referred to as “background image”).
  • the three-dimensional content generated by the three-dimensional content generation unit 10 is divided into a three-dimensional display by the network scanning display 2 and a two-dimensional display by the projector 1 under a predetermined condition.
  • the background image generated by the background content generation unit 11 is displayed two-dimensionally on the screen by the projector 1.
  • the 3D content generation unit 10 and the background content generation unit 11 are configured to output video signals in synchronization. These are controlled by a control unit (not shown).
  • the image display system S includes the first frame buffer 12, the second frame buffer 13, and the image distribution circuit. 14, a synthesis unit 15, a first buffer 16, and a second buffer 17. These are controlled by a control unit (not shown).
  • the first frame buffer 12 buffers a video signal for displaying three-dimensional content as image data for each frame
  • the second frame buffer 13 stores a video signal for displaying a background image. Buffer as image data for each frame.
  • the image data of the three-dimensional content buffered in the first frame buffer 12 is sequentially extracted in units of pixels by the image distribution circuit 14, and the display position (vertical X direction, Coordinates in the horizontal direction and depth direction (hereinafter referred to as “three-dimensional pixel coordinates”).
  • the image distribution circuit 14 then creates a project based on the information of the three-dimensional pixel coordinates. Judgment is made on the display area A or RSD display area B.
  • the image distribution circuit 14 functions as a determination unit that determines a position where the 3D content corresponding to an example of the specific image should be displayed, and the position where the 3D content is to be displayed is within the RSD display area B.
  • 3D content is displayed as a 3D image by the retinal scanning display 2, and the position force to display the 3D content 3 ⁇ 4SD
  • the 3D content is displayed by the projector 1. It functions as a display controller that displays as a two-dimensional image.
  • the image distribution circuit 14 determines that a plurality of 3D pixel coordinates constituting the 3D content extends inside and outside the RSD display area B
  • the image distribution circuit 14 in the RSD display area B of the 3D content The image portion is displayed as a three-dimensional image by the retina scanning display 2 and the image portion outside the RSD display area B in the three-dimensional content is controlled to be displayed as a two-dimensional image by the projector 1.
  • the image distribution circuit 14 includes a pixel coordinate detection unit 18 that functions as the above-described determination unit, and functions as the above-described display control unit, the pixel extraction unit 19 and the boundary distribution processing unit 20. And a correction unit 21 and a switch unit 22.
  • the image data buffered in the first frame buffer 12 is sequentially extracted as RGB data in pixel units (hereinafter referred to as "pixel image") by the pixel coordinate detection unit 18, and in this way.
  • the 3D pixel coordinates are detected for each pixel image of 3D content in the extracted pixel image. Whether or not the pixel image is a three-dimensional content is determined by the pixel coordinate detection unit 18 based on whether or not the pixel coordinate is a three-dimensional pixel coordinate. In other words, it is determined whether or not the pixel coordinates include coordinates in the depth Z direction. Further, the pixel image extraction by the pixel coordinate detection unit 18 may be performed from the three-dimensional content generation unit 10, not from the first frame buffer 12.
  • the boundary distribution processing unit 20 determines whether or not the display should be performed with a difference between the projector display area A and the RSD display area B. To do.
  • the correction unit 21 performs brightness and color correction values and three-dimensional values in units of pixels under predetermined conditions. It has a function to calculate a correction value for the display depth z.
  • the switch unit 22 selects between the projector 1 and the retinal scanning display 2 according to the determination result by the pixel coordinate detection unit 18, and the pixel image sequentially extracted by the pixel extraction unit 19 is selected. Output. That is, the pixel images sequentially extracted by the pixel extracting unit 19 are sequentially output to either the first buffer 16 or the combining unit 15.
  • the switch unit 22 can also correct the brightness, color, depth, and the like of the pixel images sequentially extracted by the pixel extraction unit 19 based on the correction value calculated by the correction unit 21. Subsequent pixel images can be sequentially output to either the first buffer 16 or the combining unit 15.
  • the pixel image output to the combining unit 15 by the switch unit 22 is a first image signal
  • the pixel image output to the first buffer 16 by the switch unit 22 is a second image signal.
  • the pixel image output to the first buffer 16 in this way is output to the retinal scanning display 2 as a video signal of a predetermined format.
  • the image data buffered in the second frame buffer 13 is sequentially extracted by the synthesizing unit 15, and the pixel image is output as many as 22 pixel values in the switch unit. Sometimes combined with the pixel image.
  • the pixel image synthesized in this way is output to the second buffer 17, and is output to the projector 1 as a video signal of a predetermined format.
  • the image of the 3D content generated by the 3D content generation unit 10 is displayed on the 3D display by the retinal scanning display 2 and the 2D by the projector 1 by the image distribution circuit 14 under a predetermined condition. Sorted to display.
  • the background image generated by the background content generation unit 11 is displayed two-dimensionally on the screen by the projector 1.
  • FIG. 3 shows a projector 1 according to an embodiment of the present invention.
  • This projector 1 is a visual program viewed from the user by projecting an image onto a screen such as a wall.
  • This is a device for displaying a two-dimensional image in the projector display area A.
  • the projector 1 includes an operation panel P, a control unit U having a microcomputer, a lamp 30 as a light source, an illumination optical system 31, and a transmissive liquid crystal panel 32 (hereinafter referred to as “ LCD32 ”), imaging optical system 33, video signal input circuit 34, image processing circuit 35, LCD drive circuit 36, and lamp drive circuit 37. These are built into the housing. Has been.
  • the operation panel P is provided at a position where the user can operate the projector 1, that is, at an appropriate position on the outer wall surface of the housing. Performs control and stop control of the control unit U.
  • the lamp 30 is driven to light up and emits light based on a signal output from the lamp driving circuit 37 controlled by the control unit U.
  • the light emitted from the lamp 30 is irradiated to the LCD 32 as illumination light by the illumination optical system 31.
  • the video signal input circuit 34 inputs a video signal input from outside the projector 1 to the image processing circuit 35. Based on the control by the control unit U, the image processing circuit 35 performs processing such as addition or change of the input video signal. The video signal processed in this way is input to the LCD drive circuit 36.
  • the LCD 32 is driven by the LCD drive circuit 36 and displays an image on its display surface.
  • the image thus displayed is emitted from the LCD 32 as light by the illumination light from the illumination optical system 31. Subsequently, the emitted light passes through the imaging optical system 33 and is projected onto the screen that is the projection surface. In this way, the image displayed on the LCD 32 is projected onto the screen.
  • FIG. 4 shows a retinal scanning display 2 according to an embodiment of the present invention.
  • This retina scanning display 2 projects an image onto the retina 42 by causing a luminous flux to enter the pupil 41 of the user who is the user, thereby allowing an RSD display area in front of the pupil 41 of the eye 40 of the observer. It is a device that allows B to visually recognize a three-dimensional virtual image.
  • the retinal scanning display 2 includes a light beam generation unit 50 that generates a light beam whose intensity is modulated in accordance with a video signal supplied with an external force, and further, the light beam generation unit 50 and an observer's Between the eyes 40, the laser beam generated by the beam generation unit 50 is scanned in the horizontal and vertical directions for image display, depth adjustment is performed, and the beam thus scanned or the like is transmitted to the pupil.
  • a scanning device 70 that is a scanning mechanism that emits light to 41 is provided.
  • the retinal scanning display 2 is provided with the light beam generation unit 50 and the scanning device 70 corresponding to the left and right pupils 41 of the observer, respectively, which are controlled by a control unit (not shown). Be controlled.
  • the luminous flux generation unit 50 receives a video signal supplied from the outside and generates a video signal supply circuit that generates each signal as an element for synthesizing an image based on the input video signal. It has road 51.
  • this video signal supply circuit 51 blue (B), green (G), and red (R) video signals are generated and output.
  • the video signal supply circuit 51 outputs a horizontal synchronization signal, a vertical synchronization signal, and a depth signal used in the scanning device 70.
  • each laser 55, 56, 57 that generates blue, red, and green light beams and each laser driver 52 that drives each laser 55, 56, 57, respectively. 53, 54 are provided.
  • Each of the lasers 55, 56, and 57 can be configured as a semiconductor laser such as a laser diode or a fixed laser, for example.
  • the laser beams emitted from the lasers 55, 56, 57 are collimated by the collimating optical systems 58, 59, 60, respectively, and then the dichroic mirrors 61, 62, 63 [This person is shot. After that, these laser diodes 61, 62, 63 [from here, each laser beam is selectively reflected and transmitted with respect to the wavelength.
  • the dichroic mirror 63 may be a total reflection mirror.
  • the laser beams of the three primary colors incident on these dichroic mirrors 61, 62, and 63 are finally applied to one dichroic mirror 61 that represents these three dichroic mirrors 61, 62, and 63. Then, the light is collected by the coupling optical system 64 and output to the optical fiber 100.
  • a collimating optical system 71 that collimates the laser beam into parallel light again, and the collimated beam as the transmitted light. And a beam that is separated into reflected light reflected in the vertical direction of transmitted light.
  • a splitter 72, a convex lens 73 having a focal length f for converging the laser beam reflected by the beam splitter 72, and a movable mirror 74 for reflecting the laser beam converged by the convex lens 73 in the incident direction are provided.
  • the movable mirror 74 is displaced by the wavefront curvature modulation driver 75 so as to approach the convex lens 73 or away from the convex lens 73. That is, the wavefront curvature of the laser beam can be changed by changing the distance between the convex lens 73 and the movable mirror 74 by the wavefront curvature modulation driver 75. The depth of the image displayed by the retinal scanning display 2 can be changed by changing the wavefront curvature.
  • the laser beam incident from the optical fiber 100 is reflected by the beam splitter 72, passes through the convex lens 73, then is reflected by the movable mirror 74, and then passes again through the convex lens 73, and then the beam splitter.
  • the light passes through 72 and is emitted to the horizontal scanning unit.
  • the horizontal scanning unit has a galvano mirror 81 for scanning the light beam in the horizontal direction and a horizontal scanning driver 82 for driving the galvano mirror 81, and the vertical scanning unit vertically illuminates the light flux.
  • a galvanometer mirror 91 for scanning in the direction and a vertical scanning driver 92 for driving the galvanometer mirror 91 are provided.
  • a relay optical system 85 that relays the light beam between the horizontal scanning unit and the vertical scanning unit is provided, and the light beam whose wavefront curvature is modulated is scanned in the horizontal direction by the galvanometer mirror 81, The light is scanned in the vertical direction by the galvanometer mirror 91 and emitted to the second relay optical system 95.
  • the retinal scanning display 2 receives a video signal, generates a laser beam whose intensity is modulated based on the video signal, scans horizontally and vertically, and modulates the wavefront curvature.
  • a light beam is incident on the pupil 41 from the second relay optical system 95 and an image is projected onto the retina 42 so that a three-dimensional virtual image is visually recognized in the RSD display area B in front of the pupil 41 of the observer's eye 40. It can be done.
  • FIG. 5 is an explanatory diagram of the operation of the image distribution circuit 14, and FIG. 6 is an operation flow chart of the image distribution circuit 14.
  • the image distribution circuit 14 according to the present embodiment has a three-dimensional content image power 3 ⁇ 4 of the image of the three-dimensional content when it extends in and out of the SD display area B.
  • the image part in the display area B is displayed as a three-dimensional image on the retinal scanning display 2, and the image part outside the RSD display area B in the three-dimensional content image is displayed as a two-dimensional image on the projector 1.
  • the operation will be described below.
  • the operation of the image display system S starts, as shown in FIG. 6, it is generated by the three-dimensional content generation unit 10, output to the first frame buffer 12, and framed to the first frame buffer 12. Buffered in units.
  • the image data of 3D content for one frame buffered by the first frame buffer 12 (data having a pixel image of X5 X Y5) is converted to a pixel at a point (X, Y) by the pixel coordinate detection unit 18.
  • the luminance value of the image (R, G, B) is the point (1, 0), ..., point (X5, 0), point (0, 1), ... , Point (X5, 1) t, and so on up to point (X5, Y5) in this order (step Sl).
  • the pixel coordinate detection unit 18 determines whether the display position (X, Y) of the sequentially read pixel image is X, XI or X> X4, or Y ⁇ Y1 or Y> Y4. Judgment (step S2). That is, it is determined whether or not the display position (X, Y) of the pixel image is outside the RSD display area B.
  • step S2 when it is determined that the display position (X, Y) of the pixel image is outside the RSD display area B (step S2: Yes), the boundary distribution processing unit 20 switches to the switch unit 22.
  • the switch unit 22 To output the pixel image of the luminance value (0, 0, 0) instead of the luminance value (R, G, B) of the pixel image at the point (X, Y) to the first notifier 16 (step Along with S5), the switch unit 22 is controlled, and the pixel image of the point (X, Y) extracted from the first frame buffer 12 by the pixel extracting unit 19 is output to the second buffer 17 via the synthesizing unit 15. (Step S6). In this way, the image of the 3D content is synthesized with the background image displayed only by the projector 1 among the images to be displayed in the projector display area A.
  • step S2 When it is determined in step S2 that the display position (X, Y) of the pixel image is not outside the RSD display area B (step S2: No), the boundary distribution processing unit 20 22 to control the point (X, Y) of the point extracted from the first frame buffer 12 by the pixel extracting unit 19.
  • the pixel image is output to the first buffer 16 (step S3), and the switch unit 22 is controlled to replace the luminance value (R, G, B) of the pixel image at the point (X, Y) by controlling the switch unit 22.
  • a pixel image having a luminance value (0, 0, 0) is output (step S4).
  • the image portion in the RSD display area B of the 3D content image is displayed as a 3D image by the retinal scanning display 2, and the 3D content image Since the image part outside the RSD display area B can be displayed as a two-dimensional image by the projector 1, an image display system S that combines the projection of the image onto the screen and the projection of the image onto the user's pupil 41 is provided. It becomes possible to do.
  • the image distribution circuit 14 of the image display system S is provided with a position / direction detection unit that detects the position and direction of the retinal scanning display 2.
  • This position / direction detection unit for example, projects the image on the screen of the user of the retinal scanning display 2 and the image captured by the camera 1 so that the projector 1 projects an image on the screen.
  • an image analysis unit for detecting the projector display area A.
  • the position / direction detection unit detects the position and direction of the retinal scanning display 2 by detecting the projector display area A by the image analysis unit, and moves or moves the image projected on the pupil of the user. change. That is, the image analysis unit selects an image to be displayed by the retinal scanning display 2 from the relative positional relationship between the display area A projected on the screen by the projector 1 and the area B that can be displayed by the retinal scanning display 2. .
  • the second region can be moved and changed depending on the position and direction of the retinal scanning display 2, and even when the retinal scanning display 2 is attached to the user's head like glasses, the user's The image to be displayed can be corrected according to the movement of the head, and an image with no sense of incongruity can be displayed.
  • the image distribution circuit 14 of the image display system S is also provided with a gaze direction detection unit that detects the gaze direction of the user.
  • This line-of-sight direction detection unit is, for example, a user's pupil
  • the user's line-of-sight direction is detected by detecting the position of the hole.
  • an image to be displayed on the retinal scanning display 2 is selected from the relative positional relationship between the display area A projected on the screen by the projector 1 and the area B that can be displayed on the retinal scanning display 2.
  • the RSD display area B can be moved or changed in accordance with the user's line-of-sight direction detected by the line-of-sight direction detection unit.
  • the retinal scanning display 2 looks like glasses on the user's head. Even when it is attached to the camera, the displayed image can be corrected according to the user's line-of-sight direction, and an image with no sense of incongruity can be displayed.
  • the video signal generated by the three-dimensional content generation unit 10 is accumulated in the first frame buffer 12 for each frame, and the pixel image is extracted from the first frame buffer 12. Therefore, it is possible to determine the display position directly from the video signal!
  • a video signal input unit for inputting a video signal of three-dimensional content is provided, and the pixel coordinate detection unit 18 of the image distribution circuit 14 is input to this video signal input unit.
  • the display position of 3D content is determined from the video signal waveform.
  • FIG. 7 (a) is generated by the image distribution circuit 14 from the horizontal sync signal and video signal (representing the luminance level in Fig. 7) extracted from the video signal waveform with the video signal input force also input.
  • FIG. 6 is a diagram illustrating a relationship between a first image signal and a second image signal.
  • the image distribution circuit 14 detects the horizontal synchronization signal both in the video signal input unit force and the input video signal waveform force. Then, as shown in FIG. 7 (a), the image distribution circuit 14 converts the video signal in the predetermined section (the signal area of X1 to X4) to the second video signal based on the elapsed time from the detection of the horizontal synchronization signal. Output as an image signal. Further, the image distribution circuit 14 outputs a video signal in a predetermined section (signal region from ⁇ to ⁇ 1, X4 to X5) as a first image signal based on the elapsed time from when the horizontal synchronization signal is detected. To do.
  • FIG. 7 (b) shows the first image signal generated by the image distribution circuit 14 ⁇ from the vertical synchronization signal, horizontal synchronization signal and video signal extracted from the video signal waveform input from the video signal input unit.
  • FIG. 6 is a diagram illustrating a relationship between the second image signal and the second image signal.
  • the video signal in FIG. 7 (b) is assumed to be substantially unchanged between horizontal sync signals, and the video of one horizontal scanning period (for example, FIG. 7 (a)) between vertical sync signals.
  • the horizontal and vertical sync signals are also shown with simplified signal waveforms.
  • the blanking intervals between the vertical sync signals and the horizontal sync signals may not match between the first image signal and the second image signal. Needless to say,
  • the image distribution circuit 14 detects a vertical synchronization signal from the video signal waveform input from the video signal input unit. Then, the image distribution circuit 14 outputs a video signal in a predetermined section (Y1 to Y4 signal area) as a second image signal based on the elapsed time from the detection of the vertical synchronization signal. In addition, the image distribution circuit 14 outputs a video signal in a predetermined section (a signal region from ⁇ to ⁇ 1, ⁇ 4 to ⁇ 5) as a first image signal based on the elapsed time when a horizontal synchronization signal is detected. . Note that the video signal in the predetermined section ( ⁇ to ⁇ 1, ⁇ 4 to ⁇ 5 signal region) is output as the first image signal even in the predetermined section ( ⁇ 1 to ⁇ 4 signal region).
  • the image distribution circuit 14 determines the display position of the three-dimensional content from the video signal waveform based on the elapsed time from the detection of the horizontal signal synchronization signal and the vertical synchronization signal of the video signal waveform. judge. That is, based on the video signal waveform, an image to be displayed in the projector display area ⁇ and an image to be displayed in the RSD display area ⁇ ⁇ ⁇ are determined. Since the display position of the 3D content image can be detected from the video signal waveform, it is possible to avoid a complicated configuration for detecting the display position.
  • the second embodiment when the specific position (for example, the central portion) of the three-dimensional content is within the RSD display area B, the three-dimensional content is displayed as a three-dimensional image by the retinal scanning display 2, and this specific position force is displayed. 3 ⁇ 4 When outside the SD display area B, the 3D content is displayed as a 2D image by the projector. [0096] Note that the second embodiment has the same configuration and operation except that the operation of the image distribution circuit 14 in the first embodiment is partially different. Therefore, the description of the configuration of the image display system S is omitted here, and the image distribution circuit 14 which is different from the first embodiment will be described below.
  • the image distribution circuit 14 is configured so that when the 3D content image extends in and out of the RSD display area B, the specific position of the 3D content (for example, the center of the 3D content). Is in the RSD display area B, the 3D content image is displayed as a 3D image on the retinal scanning display 2 (see Fig. 8 (a)), and the specific position of the 3D content is outside the RSD display area B. In some cases, 3D content is displayed as a 2D image by Projector 1 (see Fig. 8 (b)).
  • the image display system S When the operation of the image display system S is started, as shown in FIG. 9, it is generated by the three-dimensional content generation unit 10, output to the first frame buffer 12, and buffered in the first frame buffer 12 in units of frames. Be ringed.
  • the image data for one frame buffered by the first frame buffer 12 (data having a pixel image of X5 X Y5) is detected by the pixel coordinate detection unit 18 as the luminance value of the pixel image at the point (X, Y).
  • (R, G, B) is the pixel image force of point (0, 0) in order of point (1, 0), ⁇ , point (X5, 0), point (0, 1), ⁇ , point
  • the points (X5, Y5) are sequentially read in the order of (X5, 1), and the coordinate positions of a plurality of pixel images in the three-dimensional content are acquired (step S10).
  • the pixel coordinate detection unit 18 determines the center position (Xa, Ya) of the three-dimensional content image based on the coordinate positions of the plurality of pixel images in the acquired three-dimensional content. This center position is calculated by a general method for calculating the center of gravity of a plane figure (step Sl l). Whether or not the pixel image is a three-dimensional content is determined by the pixel coordinate detection unit 18 based on whether or not the pixel coordinate is a three-dimensional pixel coordinate. That is, the pixel coordinate detection unit 18 determines whether or not the pixel coordinate includes a coordinate in the depth Z direction.
  • the pixel coordinate detection unit 18 determines whether the center position (Xa, Ya) of the three-dimensional content is XI, Xa, X4, and Yl ⁇ Ya ⁇ Y4 (step S12). That is, the pixel coordinate detection unit 18 determines that the center position (Xa, Ya) of the 3D content is the retinal scanning display. It is determined whether it is within the RSD display area B, which is the display area of ray 2.
  • step S12 when it is determined that the center position (Xa, Ya) of the three-dimensional content is within the RSD display area B (step S12: Yes), the pixel coordinate detection unit 18 determines the center of the content. It is determined whether or not the depth Z corresponding to the pixel image at the position is greater than or equal to ZO (step S13).
  • step S13 When it is determined in step S13 that the depth Z force corresponding to the pixel image at the center position (Xa, Ya) of the 3D content is not greater than 0 (step S13: No), boundary distribution processing is performed.
  • the unit 20 controls the switch unit 22 to output all pixel images of the 3D content image to the first buffer 16 (step S14).
  • step S12 determines that the center position (Xa, Ya) of the 3D content is not within the RSD display area B (step S12: No), or the center position of the content is determined in step S13.
  • the boundary distribution processing unit 20 controls the switch unit 22 to combine all the pixel images of the 3D content. Output to 15.
  • the image of the three-dimensional content is synthesized by the synthesis unit 15 with the background image displayed only by the projector 1 among the images to be displayed in the projector display area A, and is output to the second buffer 17 (step S15).
  • the determination can be performed at a specific point such as the center position of the three-dimensional content, the determination is easy. In other words, it is only necessary to determine the force in which region the specific position of the 3D content is located, and it is not necessary to perform it for all the pixels of the 3D content image!
  • Shika also determines the depth information corresponding to the specific position image of the three-dimensional content, and displays it on the retinal scanning display 2 when the depth of the specific position image is smaller than the predetermined depth. When the depth of the image is greater than or equal to the predetermined depth, it is displayed on the projector 1, so that the three-dimensionality of the 3D content can be maintained.
  • the image display system S in the third embodiment has a plurality of three-dimensional pixel coordinate forces that constitute three-dimensional content.
  • the third display area near the outer edge of the RSD display area B is used.
  • Area C (food area C) and areas other than this third area C By making at least one of brightness, color, and depth different from each other, an image that makes it difficult to perceive a break is displayed.
  • the third embodiment is the same in other configurations and operations, although the operation of the image distribution circuit 14 in the first embodiment is partially different. Therefore, the description of the configuration of the image display system S is omitted here, and the image distribution circuit 14 which is different from the first embodiment will be described below.
  • the image distribution circuit 14 displays the image in the RSD display area B when displaying the image of the three-dimensional content extending inside and outside the RSD display area B.
  • the pixel image in fade area C which is the third area in the vicinity of the outer edge of RSD display area B, is displayed in RSD by the correction unit 21 compared to the pixel image in areas other than third area C.
  • the brightness is gradually reduced and the depth is increased as it approaches the outside of the area B, and control is performed so as to display from the retinal scanning display 2 (see FIG. 11 (a)).
  • the image outside the RSD display area B in the 3D content is displayed as a 2D image by the projector 1, and the pixel image located in the fade area C in the 3D content image is displayed by the correction unit 21.
  • the brightness is gradually reduced as it approaches the center of the RS D display area B, and control is performed to display from the projector 1 (Fig. 11 (b )reference).
  • the image display system S when the operation of the image display system S is started, as shown in FIG. 12, it is generated by the three-dimensional content generation unit 10, output to the first frame buffer 12, and framed in the first frame buffer 12. Buffered in units.
  • the image data for one frame (data having the pixel image of X5 X Y5) buffered by the first frame buffer 12 is converted into the luminance value (R of the pixel image of the point (X, Y) by the pixel coordinate detection unit 18.
  • G, B) are point (1, 0), ..., point (X5, 0), point (0, 1), ..., point (X5, 1) in order from the pixel image of point (0, 0) In this order, the data are sequentially read up to the point (X5, Y5) (step S20).
  • Step S21 the display position (X, Y) force of the pixel images sequentially read out by the pixel coordinate detection unit 18 X X XI or X> X4, or Y ⁇ Y1 or Y> Y4 Is (Step S21). That is, it is determined whether the display position (X, Y) of the pixel image is outside the RSD display area B.
  • step S21 when it is determined that the display position (X, Y) of the pixel image is outside the RSD display area B (step S21: Yes), the boundary distribution processing unit 20 sets the switch unit 22 to And outputs the pixel image of the luminance value (0, 0, 0) instead of the luminance value (R, G, B) of the pixel image of the point (X, Y) to the first buffer 16 (step S22). Thereafter, the switch unit 22 is controlled to output the pixel image of the point (X, Y) extracted from the first frame buffer 12 by the pixel extracting unit 19 to the second buffer 17 via the synthesizing unit 15. (Step S23). In this way, the image of the 3D content is synthesized with the background image displayed only by the projector 1 among the images to be displayed in the projector display area A.
  • step S21 If it is determined in step S21 that the display position (X, Y) of the pixel image is not outside the RSD display area B (step S21: No), the pixel coordinate detection unit 18 further sequentially It is determined whether the display position (X, Y) force X2 ⁇ X ⁇ X3 and Y2 ⁇ Y ⁇ Y3 of the read pixel image (step S24).
  • step S24 if it is determined that the display position (X, ⁇ ) force ⁇ 2 ⁇ ⁇ 3 and ⁇ 2 ⁇ ⁇ ⁇ 3 (step S24: Yes), the boundary distribution processing unit 20 Controls the switch unit 22 and outputs the pixel image of the point (X, Y) extracted from the first frame buffer 12 by the pixel extraction unit 19 to the first buffer 16 while maintaining the depth Z as it is. S25), and then the switch unit 22 is controlled to the second buffer 17, and the luminance value (0, 0, 0) is substituted for the luminance value (R, G, B) of the pixel image at the point (X, Y). ) Pixel image is output (step S26).
  • step S24 if the pixel image display position (X, Y) force X2 ⁇ X ⁇ X3 and Y2 ⁇ Y ⁇ Y3 is not determined! / (Step S24: No), The process of S30 is executed. This processing executes image processing in the fade area, and the processing operation is shown in the flowchart in FIG.
  • the pixel coordinate detection unit 18 determines whether the display position (X, Y) of the pixel image is X2 ⁇ X ⁇ X3 and Y2 ⁇ Y ⁇ Y3 (step S31). ).
  • step S31 the display position of the pixel image (X, Y) 1S X2 ⁇ X ⁇ X3 and Y2 ⁇ If it is determined that it is in Y3 (step S31: Yes), the luminance (R, G, B) of the pixel image at the point (X, Y) is corrected by the correction unit 21 in the X direction and the pixel image for the projector 1 and the retinal scan. A pixel image for display 2 is generated (step S32).
  • the pixel image generated by the correction unit 21 is
  • Luminance (Rl, Gl, Bl) Fy (Y) X (R, G, B)
  • Luminance (R2, G2, B2) Gy (Y) X (R, G, B)
  • any function that satisfies the following conditions can be used.
  • ZO is a predetermined depth position.
  • step S32 or step S33 the point (X, Y) From the luminance (Rl, Gl, B1) of the processed pixel image, the correction unit 21 generates a pixel image for the projector 1 and a pixel image for the retinal scanning display 2 in the Y direction (step S34). .
  • the pixel image generated by the correction unit 21 is
  • Luminance (Rl, Gl, Bl) Fx (X) X (Rl, Gl, Bl)
  • Luminance (R2, G2, B2) Gx (X) X (Rl, Gl, Bl)
  • the boundary distribution processing unit 20 controls the switch unit 22 to store the pixel image (Rl, Gl, B1) and depth Z for the retinal scanning display 2 in the first buffer 1 6 (Step S35).
  • the boundary distribution processing unit 20 controls the switch unit 22 and outputs the pixel image (R2, G2, B2) for the projector 1 to the second buffer 17 via the synthesis unit 15 ( Step S 36) o In this way, a part of the image of the three-dimensional content is synthesized with the background image displayed only by the projector 1 among the images to be displayed in the projector display area A.
  • the specific image is the second region.
  • the specific image is displayed in the vicinity of the outer edge of the second region with different image depths when the image is located across the inner region and outside the second region. If the image is visually similar in depth to the image displayed on the screen as it approaches the vicinity of the outer edge of the second area, the image division at the outer edge of the second area will be more visible to the user. You can ⁇
  • the fade area C may be made different depending on the size of the three-dimensional content.
  • the coordinate position of a plurality of pixel images in the 3D content is acquired by the pixel coordinate detection unit 18. Thereafter, the boundary distribution processing unit 20 determines the size of the three-dimensional content from the plurality of coordinate positions acquired by the pixel coordinate detection unit 18. Then, the area of the fade area C is changed.
  • the fade area C is widened, and when the 3D content is small, the fade area C is narrowed.
  • the fade region C for displaying the three-dimensional content from both the projector 1 and the network scanning display 2 differs depending on the size of the three-dimensional content that is the specific image. It is possible to make it difficult for users to perceive the division of the image at the outer edge.
  • the image distribution circuit 14 when the display position is directly determined from the video signal, the image distribution circuit 14 is obtained from the horizontal synchronization signal or the vertical synchronization signal extracted from the video signal waveform and the video signal.
  • FIG. 14 shows the relationship between the first image signal and the second image signal generated by.
  • the operation in this embodiment is basically the same as that in the first embodiment, but correction is performed for a specific section (signal region X1 to X2, X3 to X4, Y1 to Y2, ⁇ 3 to ⁇ 4) for the first image.
  • the difference is that the signal and the second image signal are generated.
  • the video signal in FIG. 14 (b) is assumed to be substantially unchanged between horizontal synchronizing signals, and one horizontal scanning period (for example, FIG.
  • the image distribution circuit 14 detects the horizontal synchronization signal both by the video signal input unit force and the input video signal waveform force. Then, as shown in FIGS. 14 (a) and 14 (b), the image distribution circuit 14 detects the specific interval (signals X1 to X4) based on the elapsed time of the force when the horizontal synchronization signal or the vertical synchronization signal is detected. Area, and Y1-Y4 signal area) is added to the video signal in the specified section ( ⁇ 1 to ⁇ 2, ⁇ 3 to ⁇ 4, ⁇ 1 to ⁇ 2, ⁇ 3 to ⁇ 4 signal area). And then output as a second image signal.
  • the image distribution circuit 14 detects a predetermined interval (X 0 to ⁇ 2, ⁇ 3 to ⁇ 5, ⁇ 0 to ⁇ 2, ⁇ 3 to ⁇ 5 signal areas) based on the force elapsed time when a horizontal synchronizing signal or a vertical synchronizing signal is detected.
  • This video signal is output as a first image signal after a predetermined correction is applied to a specific section of this video signal (signal areas of ⁇ 1 to ⁇ 2, ⁇ 3 to ⁇ 4, ⁇ 1 to ⁇ 2, and ⁇ 3 to ⁇ 4).
  • the image to be displayed in the projector display area ⁇ the image to be displayed in the RSD display area B, and the image to be displayed in the fade area C are determined. Determine. Since the display position of the 3D content image can be detected from the video signal waveform, it is possible to avoid a complicated configuration for detecting the display position.
  • the image distribution circuit 14 as an image distribution method when a plurality of three-dimensional pixel coordinates constituting the three-dimensional content straddle the RSD display area B, the following (1) to (3) The image distribution method can be selected. Then, an image is distributed to the image distribution circuit 14 by the selected image distribution method by selecting any one of them as an input unit (not shown) as the selection means.
  • the image portion in the RSD display area B in the 3D content is displayed as a 3D image by the retinal scanning display 2, and the image portion outside the RSD display area B in the 3D content is displayed by the projector 1. Display as a two-dimensional image.
  • the image in the RSD display area B in the three-dimensional content is brightnessed by the correction unit 21 in the third area C near the outer edge of the RSD display area B and the area other than the third area C. And, at least one of the colors is made different and displayed as a three-dimensional image by the retinal scanning display 2.
  • the image outside the RSD display area B in the 3D content is displayed as a 2D image by the projector 1, and the image in the third area C is compared with the image outside the RSD display area B by the correction unit 21. Display at least one of brightness and color as a two-dimensional image by Projector 1.
  • the contents of both displays can be used inside and outside the RSD display area B by utilizing the fact that the display positions are different from each other. May be implemented so that Also, the content need not be three-dimensional and may be two-dimensional.
  • the projector is exemplified as the first image display device.
  • various large screen displays such as a large liquid crystal television and a large plasma display are used instead of the projector. You can use
  • the pixel coordinate detection unit 18 is provided with a function as a determination unit.
  • the boundary distribution processing unit 20 is provided with a function as a determination unit instead of the pixel coordinate detection unit 18. It may be.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Digital Computer Display Output (AREA)

Abstract

　網膜走査ディスプレイによる３次元画像の解像度を落とさずに広画角化すること。 　スクリーンへの画像の投射によって第１の領域Ａへ画像を表示するプロジェクタ１と、利用者の瞳孔への画像の投射によって第１の領域Ａ内に設けられる第２の領域Ｂへ画像を表示する網膜走査ディスプレイ２と備え、第１の領域Ａに表示する画像のうち３次元コンテンツを表示すべき位置を判定し、その位置が第２の領域Ｂ内であるとき、網膜走査ディスプレイにより３次元コンテンツを表示し、その位置が第２の領域Ｂ外であるとき、プロジェクタ１により３次元コンテンツを表示する。

Description

明 細 書
画像表示システム
技術分野
[0001] 本発明は、複数の画像表示装置を備えた画像表示システムに関し、特に、スクリー ンなどへ画像を表示する画像表示装置と、利用者の瞳孔へ画像を投射する画像表 示装置とを備えた画像表示システムに関する。
背景技術
[0002] 近年、光束を瞳孔に入射し、その入射した光束により網膜上に画像を投影すること により、観察者にその瞳孔前方において立体的な虚像を視認させる画像表示装置、 V、わゆる網膜走査ディスプレイが種々提案されて!、る。
[0003] この種の画像表示装置の一従来例が特許文献 1に記載されている。この従来例は 、複数の構成要素を有し、観察者に画像を表示する装置である。
[0004] すなわち、この画像表示装置は、光束を出射し、その出射する光束の強度を変調 することが可能である光束生成部と、その光束生成部から出射した光束の波面曲率 を変調する波面曲率変調器と、この波面曲率変調器によって波面曲率が変調された 光束を走査する偏向器と、偏向器により走査された光束を観察者の瞳孔に入射させ るためのリレー光学系とを含むように構成されて 、る。
[0005] そして、偏向器によって走査された光束を観察者の眼の網膜に入射することにより 、網膜上に画像が直接投影され、観察者は、その瞳孔前方に立体的な虚像を視認 でさるよう〖こなる。
特許文献 1：特許第 2874208号公報
発明の開示
発明が解決しょうとする課題
[0006] ところが、特許文献 1の網膜走査ディスプレイにお 、て、 NTSC方式の映像信号な どの一般に使用されている映像信号を入力して網膜走査ディスプレイを動作させ、 観察者が視認する映像の広画角化を行なった場合、解像度が落ち、映像の画質が 低下してしまう。 [0007] また、網膜走査ディスプレイによる映像の解像度を落とさずに広画角化しようとする と、高ドット数の映像信号が必要となり、汎用性の高い網膜走査ディスプレイを提供 することが困難となってしまう。
課題を解決するための手段
[0008] 本発明は上記課題を解決するために、本発明の一つの観点によれば、第 1の領域 へ第 1画像を表示する第 1画像表示装置と、利用者の瞳孔への画像の投射によって 第 1の領域内に設けられる第 2の領域へ第 2画像を表示する第 2画像表示装置とを 備えた画像表示システムであって、前記第 1の領域に表示する画像のうち特定画像 を表示すべき位置を判定する判定部と、前記判定部により前記特定画像を表示すベ き位置が前記第 2の領域内であると判定されたとき、前記第 2画像表示装置により前 記特定画像を第 2画像として表示し、前記判定部により前記特定画像を表示すべき 位置が前記第 2領域外であると判定されたとき、前記第 1画像表示装置により前記特 定画像を前記第 1画像として表示する表示制御部とを備えることとした。
[0009] かかる構成によれば、第 1画像表示装置と第 2画像表示装置とを備える画像表示シ ステムにおいて、表示する画像のうち特定画像 (たとえば、 3次元コンテンツ)を、その 表示すべき位置によって表示する画像表示装置を変えることができるため、スクリー ンなどへの画像の表示と利用者の瞳孔への画像の投射とを組み合わせた画像表示 システムを提供することが可能となる。し力も、広画角化を実現するとともに、立体画 像によるリアリティを保つことができる。
[0010] また、前記第 1の領域に表示すべき画像のうち第 1画像表示装置のみで表示する 背景画像に前記特定画像を合成して合成画像を生成する合成部を備え、前記表示 制御部は、前記判定部により前記特定画像を表示すべき位置が前記第 2領域外で あると判定されたとき、前記合成画像を前記第 1画像表示装置により前記第 1画像と して表示するようにしてもょ 、。
[0011] 力かる構成によれば、背景画像に特定画像を合成することができるため、スクリーン などへ表示する画像を単一のものとすることができ、画像表示装置を複数設ける必要 がなくなる。また、特定画像に加え、スクリーンへ背景画像を表示することができるた め、より視覚的効果を向上させることができる。 [0012] また、前記表示制御手段は、前記判定部により前記特定画像が第 2の領域内と第 2 の領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第 2の領域内の画像を前記第 2画像表示装置により第 2画像として表示し、前記特定画 像のうち前記第 2の領域外の画像を前記第 1画像表示装置により第 1画像として表示 するようにしてちょい。
[0013] 力かる構成によれば、特定画像が第 2の領域内と第 2の領域外とにまたがって位置 しているときには、特定画像のうち第 2の領域内の画像は第 2画像表示装置で、第 2 の領域外の画像は第 1画像表示装置で表示するようにして ヽるため、特定画像の表 示画素が欠けることなくその全体を表示することが可能となり、この画像表示システム の利用者に与える不快感を抑制することができる。
[0014] また、前記判定部は、前記特定画像内の特定位置が前記第 2の領域内にあるか否 かを判定し、前記表示制御手段は、前記特定位置が前記第 2の領域内にあるときに は前記特定画像を前記第 2画像表示装置により第 2画像として表示し、前記特定位 置が前記第 2の領域外にあるときには前記特定画像を前記第 1画像表示装置により 第 1画像として表示するようにしてもよい。
[0015] 力かる構成によれば、特定画像の特定ポイントで判定することができるため、その判 定が容易となる。すなわち、特定画像内の特定位置がどの領域にある力判定するだ けでよく、特定画像全部の画素につ 、て行なう必要がな 、。
[0016] また、前記特定画像のビデオ信号を入力するビデオ信号入力部を備え、前記判定 部は、前記ビデオ信号波形に基づいて、前記特定画像のうち前記第 1の領域内の画 像を前記第 1画像表示装置により表示すべき第 1画像と、前記第 2の領域内の画像 を前記第 2画像表示装置により表示すべき第 2画像とを判定するようにしてもよい。
[0017] 力かる構成によれば、ビデオ信号波形、言 、換えれば、ビデオ信号のタイミングに 基づいて特定画像が第 2の領域にあるか否かを判定するので、その判定が容易とな る。
[0018] また、前記表示制御部は、前記判定部により前記特定画像が第 2の領域内と第 2の 領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第 2 の領域内の画像を、前記第 2領域の外縁近傍の第 3領域とこの第 3の領域以外の領 域とで輝度及び色の少なくとも一方を異ならせしめて前記第 2画像表示装置により第 2画像として表示し、前記特定画像のうち前記第 2の領域外の画像を前記第 1画像表 示装置により第 1画像として表示すると共に、前記第 3の領域の画像を前記第 2の領 域外の画像に比して輝度及び色の少なくとも一方を異ならせしめて前記第 1画像表 示装置により第 1画像として表示するようにしてもょ ヽ。
[0019] 力かる構成によれば、特定画像が第 2の領域内と第 2の領域外とにまたがって位置 しているときに、特定画像を第 2の領域の外縁近傍付近で、第 1画像表示装置及び 第 2画像表示装置の両方でその輝度や色を調整して表示することができるため、特 定画像が第 2の領域内と第 2の領域外とにまたがつていても第 2の領域外縁で画像の 分かれ目を利用者に感じに《することができる。
[0020] また、前記表示制御部は、前記判定部により前記特定画像が第 2の領域内と第 2の 領域外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第 2 の領域内の画像を、前記第 2領域の外縁近傍の第 3領域とこの第 3の領域以外の領 域とで画像奥行きを異ならせしめて前記第 2画像表示装置により第 2画像として表示 し、前記特定画像のうち前記第 2の領域外の画像を前記第 1画像表示装置により第 1 画像として表示するようにしてもょ 、。
[0021] 力かる構成によれば、特定画像が第 2の領域内と第 2の領域外とにまたがって位置 しているときに、特定画像を第 2の領域の外縁近傍付近で、画像奥行きを異ならしめ て前記第 2画像表示装置により表示するため、たとえば、特定画像を第 2の領域の外 縁近傍に近くなるにしたがってスクリーンに表示する画像と視覚的に同程度の奥行き になるようにすれば、より第 2の領域外縁で画像の分かれ目を利用者に感じに《す ることがでさる。
[0022] また、前記表示制御手段は、前記第 3の領域を前記特定画像の大きさによって異 ならしめるようにしてちょい。
[0023] 力かる構成によれば、特定画像の大きさによって、第 1画像表示装置及び第 2の画 像表示装置の両方力 特定画像を表示する第 3の領域が異なることとなるから、より 第 2の領域外縁で画像の分かれ目を利用者に感じにくくすることができる。たとえば、 特定画像が大きいときには、第 3の領域を大きくし、特定画像が小さいときには第 3の 領域を小さくする等によって、第 2の領域外縁で画像の分かれ目を利用者に感じにく くすることがでさる。
[0024] また、前記表示制御部は、前記第 2画像表示装置の位置及び Z又は方向に基づ V、て、前記第 2の領域を移動及び Z又は変更するようにしてもょ 、。
[0025] 力かる構成によれば、第 2画像表示装置の位置や方向によって第 2領域の移動や 変更を行なうため、たとえば第 2画像表示装置を利用者の頭にめがねのように取り付 けたときであっても、利用者の頭の動きに応じて表示する画像が補正でき、利用者に 違和感を抱力せることを抑制することができる。
[0026] また、前記表示制御部は、前記利用者の視線方向を検出する視線方向検出部を 備え、前記視線方向検出部によって検出した視線方向に応じて前記第 2の領域を移 動及び Z又は変更するようにしてもょ 、。
[0027] 力かる構成によれば、利用者の視線方向によって第 2領域の移動や変更を行なう ため、たとえば第 2画像表示装置を利用者の頭にめがねのように取り付けたときであ つても、利用者の視線方向に応じて表示する画像が補正でき、利用者に違和感を抱 かせることを抑制することができる。
[0028] また、前記第 2画像表示装置は、映像信号に応じて変調された光束を走査する走 查機構を備え、利用者の瞳孔への画像の投射によって画像を表示する網膜走査型 画像表示装置に適用することができる。
[0029] また、上記課題を解決するために、本発明の他の観点によれば、第 1の領域へ第 1 画像を表示する第 1画像表示装置と、利用者の瞳孔への画像の投射によって第 1の 領域内に設けられる第 2の領域へ第 2画像を表示する第 2画像表示装置とに画像を 表示する画像表示方法において、前記第 1の領域に表示する画像のうち特定画像を 表示すべき位置を判定するステップと、前記特定画像を表示すべき位置が前記第 2 の領域内であると判定されたとき、前記第 2画像表示装置により前記特定画像を第 2 画像として表示させ、前記特定画像を表示すべき位置が前記第 2領域外であると判 定されたとき、前記第 1画像表示装置により前記特定画像を前記第 1画像として表示 させるステップとを有することとした。
[0030] かかる方法によれば、第 1画像表示装置と第 2画像表示装置とを備え、画像表示シ ステムにおいて表示する画像のうち特定画像 (たとえば、 3次元コンテンツ)を、その 表示すべき位置によって表示する画像表示装置を変えることができるため、スクリー ンなどへの画像の表示と利用者の瞳孔への画像の投射とを組み合わせた画像表示 システムを提供することが可能となる。し力も、広画角化を実現するとともに、立体画 像によるリアリティを保つことができる。
発明の効果
[0031] 本発明によれば、特定画像 (たとえば、 3次元コンテンツ）について、その表示すベ き位置に応じて、表示する画像表示装置を変えることができるため、スクリーンなどへ の画像の表示と利用者の瞳孔への画像の投射とを組み合わせた画像表示システム を提供することが可能となる。し力も、広画角化を実現するとともに、立体画像によるリ ァリティを保つことができる。
図面の簡単な説明
[0032] [図 1]本発明の実施形態における画像表示システムの全体構成を示す図である。
[図 2]画像表示システムにおける表示領域の説明図である。
[図 3]画像表示システムにおけるプロジェクタの構成を示す図である。
[図 4]画像表示システムにおける網膜走査ディスプレイの構成を示す図である。
[図 5]第 1実施形態における画像分配回路による動作の説明図である。
[図 6]第 1実施形態における画像分配回路による動作フローチャートである。
[図 7]第 1実施形態における画像分配回路においてビデオ信号の波形力 3次元コ ンテンッの表示位置を判定する動作の説明図である。
[図 8]第 2実施形態における画像分配回路による動作の説明図である。
[図 9]第 2実施形態における画像分配回路による動作フローチャートである。
[図 10]第 3実施形態における画像分配回路による動作の説明図である。
[図 11]第 3実施形態における表示領域の説明図である。
[図 12]第 3実施形態における画像分配回路による動作フローチャートである。
[図 13]第 3実施形態における画像分配回路による動作フローチャートである。
[図 14]第 3実施形態における画像分配回路においてビデオ信号の波形力 3次元コ ンテンッの表示位置を判定する動作の説明図である。 符号の説明
[0033] S 画像表示システム
1 プロジェクタ
2 網膜走査ディスプレイ
10 3次元コンテンツ生成部
11 背景コンテンツ生成部
12 第 1フレームバッファ
13 第 2フレームバッファ
14 画像分配回路
15 合成部
16 第 1バッファ
17 第 2バッファ
18 ピクセル座標検出部
19 ピクセル取出部
20 境界振分処理部
21 補正部
22 スィッチ部
発明を実施するための最良の形態
[0034] (第 1実施形態）
以下、本発明の具体的な実施の形態を図面に基づいて詳細に説明する。
[0035] [画像表示システム Sの全体構成について]
まず、画像表示システム Sの全体構成について図面を参照して説明する。図 1は、 画像表示システム Sの全体構成を示す図である。
[0036] 図 1に示すように、本実施形態における画像表示システム Sは、第 1画像表示装置 の一例に相当するプロジェクタ 1と、第 2画像表示装置の一例に相当する網膜走査型 画像表示装置である網膜走査ディスプレイ 2 (以下、「RSD」とも ヽぅ。）とを有しており 、これらの画像表示装置によって表示する画像を適宜適切に振り分けて、広画角化 を実現するとともに、立体画像によるリアリティを保つようにして 、る。 [0037] すなわち、図 2に示すように、プロジェクタ 1は、壁面などのスクリーンへ画像を投射 することによって、観察者である利用者力 見た視覚的な第 1の領域であるプロジヱク タ表示領域 A(X座標: XO〜X5、 Y座標: YO〜Y5)へ第 1画像に対応する 2次元画 像を表示すると共に、網膜走査ディスプレイ 2は、利用者の瞳孔への画像の投射によ つて第 1の領域内に設けられる第 2の領域である RSD表示領域 Β (X座標: Χ1〜Χ4、 Υ座標: Υ1〜Υ4)へ第 2画像に対応する 3次元画像を表示する。
[0038] そして、画像表示システム Sは、図 1に示すように、 3次元の立体画像（以下、「3次 元コンテンツ」とする。 )を表示するための映像信号を生成する 3次元コンテンツ生成 部 10と、 2次元の背景コンテンツ画像 (以下、「背景画像」とする。）を表示するための 映像信号を生成する背景コンテンッ生成部 11とを有して 、る。
[0039] 3次元コンテンツ生成部 10により生成された 3次元コンテンツは、所定の条件下、網 膜走査ディスプレイ 2による 3次元表示とプロジェクタ 1による 2次元表示に振り分けら れる。また、背景コンテンツ生成部 11により生成された背景画像は、プロジェクタ 1に よってスクリーンに 2次元表示される。なお、 3次元コンテンツ生成部 10と背景コンテ ンッ生成部 11とは同期して映像信号を出力するように構成されている。また、これら は図示しない制御部によって制御される。
[0040] このように、 3次元コンテンツ画像を網膜走査ディスプレイ 2とプロジェクタ 1とに振り 分けるために、画像表示システム Sは、第 1フレームバッファ 12と、第 2フレームバッフ ァ 13と、画像分配回路 14、合成部 15と、第 1バッファ 16と、第 2バッファ 17とを有して いる。なお、これらは、図示しない制御部によって制御される。
[0041] 第 1フレームバッファ 12は、 3次元コンテンツを表示するためのビデオ信号をフレー ムごとに画像データとしてバッファリングし、第 2フレームバッファ 13は、背景画像を表 示するためのビデオ信号を画像データとしてフレームごとにバッファリングする。
[0042] 第 1フレームバッファ 12でバッファリングされた 3次元コンテンツの画像データは、画 像分配回路 14によってピクセル単位で順次を取り出されると共に、取り出されたピク セルごとの表示位置 (縦 X方向，横 Υ方向，奥行 Ζ方向の座標。以下、「3次元ピクセ ル座標」とする。 )が検出される。
[0043] そして、画像分配回路 14は、この 3次元ピクセル座標の情報に基づ 、て、プロジェ クタ表示領域 Aと RSD表示領域 Bのいずれに表示すべきものかを判定する。
[0044] すなわち、画像分配回路 14は、特定画像の一例に相当する 3次元コンテンツを表 示すべき位置を判定する判定部として機能し、さらに 3次元コンテンツを表示すべき 位置が RSD表示領域 B内であると判定したときには、網膜走査ディスプレイ 2により 3 次元コンテンツを 3次元画像として表示し、 3次元コンテンツを表示すべき位置力 ¾S D表示領域 B外であると判定したときにはプロジェクタ 1により 3次元コンテンツを 2次 元画像として表示する表示制御部として機能する。
[0045] さらに、画像分配回路 14は、 3次元コンテンツを構成する複数の 3次元ピクセル座 標が RSD表示領域 Bの内外にまたがると判定したときには、 3次元コンテンツのうち R SD表示領域 B内の画像部分を網膜走査ディスプレイ 2により 3次元画像として表示し 、 3次元コンテンツのうち RSD表示領域 B外の画像部分をプロジェクタ 1により 2次元 画像として表示するように制御する。
[0046] ここで、画像分配回路 14は、上述の判定部として機能するピクセル座標検出部 18 を備えており、上述の表示制御部として機能する、ピクセル取出部 19、境界振分処 理部 20、補正部 21、及びスィッチ部 22を有している。
[0047] 第 1フレームバッファ 12でバッファリングされた画像データは、ピクセル座標検出部 18によってピクセル単位の RGBデータ（以下、「ピクセル画像」とする。）として順次取 り出されると共に、このように取り出されるピクセル画像のうち 3次元コンテンツのピク セル画像ごとにその 3次元ピクセル座標を検出する。なお、ピクセル画像が 3次元コ ンテンッであるカゝ否かは、ピクセル座標検出部 18によって、ピクセル座標が 3次元ピ クセル座標であるカゝ否かで判定される。つまり、ピクセル座標に奥行 Z方向の座標が 含まれるか否かを判定する。また、ピクセル座標検出部 18によるピクセル画像の取り 出しを第 1フレームバッファ 12からではなぐ 3次元コンテンツ生成部 10から行うよう にしてもよい。
[0048] そして、ピクセル座標検出部 18からの 3次元ピクセル座標の情報に基づいて、境界 振分処理部 20は、プロジェクタ表示領域 Aと RSD表示領域 Bの ヽずれに表示すべき ものかを判定する。
[0049] また、補正部 21は、所定の条件下、ピクセル単位で輝度及び色の補正値や 3次元 表示の奥行 zに関する補正値を算出する機能を有する。
[0050] スィッチ部 22は、ピクセル座標検出部 18による判定結果に応じて、プロジェクタ 1 及び網膜走査ディスプレイ 2の ヽずれかを選択し、ピクセル取出部 19によって順次 取り出されるピクセル画像を選択した装置へ出力する。すなわち、ピクセル取出部 19 によって順次取り出されるピクセル画像を順次第 1バッファ 16又は合成部 15のいず れかへ出力するのである。また、このスィッチ部 22は、補正部 21によって演算された 補正値に基づ 、て、ピクセル取出部 19によって順次取り出されるピクセル画像の輝 度、色、奥行などの補正を行うこともでき、補正後のピクセル画像を順次第 1バッファ 1 6又は合成部 15のいずれかへ出力することもできる。ここで、スィッチ部 22によって 合成部 15に出力されるピクセル画像を第 1画像用信号とし、スィッチ部 22によって第 1バッファ 16に出力されるピクセル画像を第 2画像用信号とする。
[0051] このように第 1バッファ 16に出力されたピクセル画像は、所定形式の映像信号として 網膜走査ディスプレイ 2へ出力される。
[0052] 一方、第 2フレームバッファ 13にバッファリングされた画像データは、合成部 15によ つてそのピクセル画像が順次取り出されると共に、このピクセル画像はスィッチ部 22 力ものピクセル画像の出力があったときにはそのピクセル画像と合成される。
[0053] このように合成されたピクセル画像は、第 2バッファ 17に出力され、所定形式の映像 信号としてプロジェクタ 1へ出力される。
[0054] 以上のように、 3次元コンテンツ生成部 10により生成された 3次元コンテンツの画像 は、所定の条件下、画像分配回路 14によって、網膜走査ディスプレイ 2による 3次元 表示とプロジェクタ 1による 2次元表示に振り分けられる。また、背景コンテンツ生成部 11により生成された背景画像は、プロジェクタ 1によってスクリーンに 2次元表示され る。
[0055] 以下、プロジェクタ 1及び網膜走査ディスプレイ 2の構成にっ 、て説明した後、画像 分配回路 14の制御動作につついてさらに具体的に説明する。
[0056] [プロジェクタ 1の構成について]
図 3には、本発明の実施形態に従うプロジェクタ 1が示されている。このプロジェクタ 1は、壁面などのスクリーンへの画像の投射によって利用者から見た視覚的なプロジ ェクタ表示領域 Aに 2次元画像を表示する装置である。
[0057] 図 3に示すように、プロジェクタ 1は、操作パネル Pと、マイクロコンピュータを有する 制御ユニット Uと、光源としてのランプ 30と、照明光学系 31と、透過型液晶パネル 32 (以下、「LCD32」とする。）と、結像光学系 33と、映像信号入力回路 34と、画像処理 回路 35と、 LCD駆動回路 36と、ランプ駆動回路 37とを備えており、これらはハウジン グに内蔵されている。
[0058] 操作パネル Pは、プロジェクタ 1にお 、て使用者が操作可能な箇所、すなわちハウ ジングの外壁面の適所に設けられており、使用者力 Sこの操作パネル Pを操作すること によって、制御ユニット Uの作動制御や作動停止制御などを行う。
[0059] ランプ 30は、制御ユニット Uによって制御されたランプ駆動回路 37から出力される 信号に基づいて、点灯駆動されて発光する。ランプ 30で発光された光は、照明光学 系 31によって、照明光として LCD32に照射される。
[0060] 映像信号入力回路 34は、プロジェクタ 1外から入力された映像信号を画像処理回 路 35に入力する。画像処理回路 35は、制御ユニット Uによる制御に基づいて、入力 された映像信号に対し、信号の付加や変更などの加工を行う。このように加工された 映像信号は、 LCD駆動回路 36に入力される。
[0061] LCD32は、 LCD駆動回路 36によって駆動され、その表示面に映像を表示する。
このように表示された映像は、照明光学系 31からの照明光によって、光として LCD3 2から出射される。続いて、この出射光は、結像光学系 33を通って、投影面であるス クリーンに投影される。このように、 LCD32に表示される映像がスクリーンに投影され る構成となっている。
[0062] [網膜走査ディスプレイ 2の構成について]
図 4には、本発明の実施形態に従う網膜走査ディスプレイ 2が示されている。この網 膜走査ディスプレイ 2は、その利用者である観察者の瞳孔 41に光束を入射させて網 膜 42上に画像を投影することによって、観察者の眼 40の瞳孔 41の前方の RSD表示 領域 Bに立体的な虚像を視認させるための装置である。
[0063] この網膜走査ディスプレイ 2は、外部力 供給される映像信号に応じて強度変調さ れた光束を生成する光束生成部 50を備え、さらに、その光束生成部 50と観察者の 眼 40との間には、光束生成部 50で生成されたレーザ光束を画像表示のために水平 方向及び垂直方向に走査すると共に、奥行調整を行って、このように走査等された 光束を瞳孔 41へ出射する走査機構である走査装置 70を備えている。
[0064] また、網膜走査ディスプレイ 2は、この光束生成部 50と走査装置 70とを、観察者の 左右の瞳孔 41にそれぞれ対応して設けており、これらは、図示しない制御部によつ て制御される。
[0065] 図 4に示すように、光束生成部 50は、外部から供給される映像信号が入力され、そ れに基づいて画像を合成するための要素となる各信号を発生する映像信号供給回 路 51を有している。この映像信号供給回路 51において、青 (B)、緑 (G)、赤 (R)の 各映像信号が生成され、出力される。また、映像信号供給回路 51は、走査装置 70 で使用される水平同期信号、垂直同期信号及び奥行き信号を出力する。
[0066] さらに、光束生成部 50には、青色、赤色、緑色の光束をそれぞれ発生させる各レ 一ザ 55, 56, 57および各レーザ 55, 56, 57をそれぞれ駆動する各レーザドライバ 5 2, 53, 54を備えられている。なお、各レーザ 55, 56, 57は、例えば、レーザーダイ オードなどの半導体レーザや固定レーザとして構成することが可能である。
[0067] また、光束生成部 50において、各レーザ 55, 56, 57から出射したレーザ光は、コリ メート光学系 58, 59, 60よってそれぞれ平行ィ匕された後に、ダイクロイツクミラー 61, 62, 63【こ人射される。その後、これらのダイク口イツクミラー 61, 62, 63【こより、各レ 一ザ光が波長に関して選択的に反射 ·透過させられる。ダイクロイツクミラー 63は全 反射ミラーであってもよい。
[0068] そして、これらのダイクロイツクミラー 61, 62, 63にそれぞれ入射した 3原色のレー ザ光束は、それら 3つのダイクロイツクミラー 61, 62, 63を代表する 1つのダイクロイツ クミラー 61に最終的に入射して結合され、その後、結合光学系 64によって集光され て、光ファイバ 100へ出力される。
[0069] 次に、走査装置 70について説明する。
[0070] 光ファイバ 100から出射されたレーザ光束の波面曲率の変更を行なうために、その レーザ光束を再度平行光にコリメートするコリメート光学系 71と、このようにコリメートさ れた光束を、透過光と、透過光の垂直方向に反射された反射光とに分離するビーム スプリッタ 72と、ビームスプリッタ 72に反射されたレーザ光束を収束する焦点距離 fの 凸レンズ 73と、凸レンズ 73に収束されたレーザ光束を入射方向に反射する可動ミラ 一 74とを備えている。
[0071] ここで、可動ミラー 74は、波面曲率変調ドライバ 75によって、凸レンズ 73に接近す る向き或いは凸レンズ 73から離れる向きに変位させられる。すなわち、波面曲率変調 ドライバ 75によって、凸レンズ 73と可動ミラー 74との間隔を変更することによって、レ 一ザ光束の波面曲率を変更することができる。そして、波面曲率の変更によって網膜 走査ディスプレイ 2によって表示する画像の奥行を変更することができるのである。
[0072] このように、光ファイバ 100から入射したレーザ光束がビームスプリッタ 72で反射し、 凸レンズ 73を通った後、可動ミラー 74で反射され、その後再度、凸レンズ 73を通つ た後に、ビームスプリッタ 72を透過して水平走査部へ出射される。
[0073] この水平走査部は、光束を水平方向に走査するためのガルバノミラー 81と、このガ ルバノミラー 81を駆動させる水平走査ドライバ 82とを有しており、垂直走査部は、光 束を垂直方向に走査するためのガルバノミラー 91と、このガルバノミラー 91を駆動さ せる垂直走査ドライバ 92とを備えて 、る。
[0074] また、水平走査部と垂直走査部との間での光束を中継するリレー光学系 85を備え ており、波面曲率が変調された光束が、ガルバノミラー 81によって水平方向に走査さ れ、ガルバノミラー 91によって垂直方向に走査されて、第 2のリレー光学系 95へ出射 される。
[0075] このように、網膜走査ディスプレイ 2は、映像信号を入力し、その映像信号に基づ ヽ て強度変調されたレーザ光束を生成して水平及び垂直に走査するとともに波面曲率 を変調し、第 2のリレー光学系 95から瞳孔 41に光束を入射させて網膜 42上に画像 を投影することによって、観察者の眼 40の瞳孔 41の前方の RSD表示領域 Bに立体 的な虚像を視認させることができるのである。
[0076] [画像分配回路 14の具体的な動作について]
次に、画像分配回路 14の具体的動作について、図面を参照して説明する。図 5は 画像分配回路 14による動作の説明図、図 6は画像分配回路 14の動作フローチヤ一 トである。 [0077] 本実施の形態における画像分配回路 14は、図 5 (b)に示すように、 3次元コンテン ッ画像力 ¾SD表示領域 Bの内外にまたがるときに、 3次元コンテンツの画像のうち RS D表示領域 B内の画像部分を網膜走査ディスプレイ 2により 3次元画像として表示し、 3次元コンテンッ画像のうち RSD表示領域 B外の画像部分をプロジェクタ 1により 2次 元画像として表示するものであり、その動作を以下説明する。
[0078] まず、画像表示システム Sの動作が開始すると、図 6に示すように、 3次元コンテンツ 生成部 10によって生成され、第 1フレームバッファ 12に出力されて、第 1フレームバッ ファ 12にフレーム単位でバッファリングされる。第 1フレームバッファ 12でバッファリン グされた 1フレーム分の 3次元コンテンツの画像データ（X5 X Y5のピクセル画像を有 するデータ）は、ピクセル座標検出部 18によって、点 (X, Y)のピクセル画像の輝度 値 (R, G, B)が、点（0, 0)のピクセル画像力 順に点（1, 0)、 · · ·、点 (X5, 0)、点 ( 0, 1)、…、点 (X5, 1) t 、うような順序で点 (X5, Y5)まで順次読み出される (ステ ップ Sl)。
[0079] 次に、ピクセル座標検出部 18は、順次読み出したピクセル画像の表示位置 (X, Y) 力 Xく XI又は X>X4である力、或いは Y<Y1又は Y>Y4であるかを判定する（ス テツプ S2)。すなわち、ピクセル画像の表示位置 (X, Y)が RSD表示領域 B外である か否かが判定されるのである。
[0080] ステップ S2にて、ピクセル画像の表示位置 (X, Y)が RSD表示領域 B外であると判 定される (ステップ S2 : Yes)と、境界振分処理部 20は、スィッチ部 22を制御して第 1 ノ ッファ 16へ、点 (X, Y)のピクセル画像の輝度値 (R, G, B)に代えて輝度値 (0, 0 , 0)のピクセル画像を出力する (ステップ S5)と共に、スィッチ部 22を制御して、ピク セル取出部 19によって第 1フレームバッファ 12から取り出された点（X, Y)のピクセル 画像を、合成部 15を介して第 2バッファ 17へ出力する (ステップ S6)。このようにプロ ジェクタ表示領域 Aに表示すべき画像のうちプロジェクタ 1のみで表示する背景画像 に 3次元コンテンツの画像を合成する。
[0081] また、ステップ S2にて、ピクセル画像の表示位置 (X, Y)が RSD表示領域 B外でな いと判定される (ステップ S2 : No)と、境界振分処理部 20は、スィッチ部 22を制御し て、ピクセル取出部 19によって第 1フレームバッファ 12から取り出された点（X, Y)の ピクセル画像を第 1バッファ 16へ出力する (ステップ S3)と共に、スィッチ部 22を制御 して第 2バッファ 17へ、点 (X, Y)のピクセル画像の輝度値 (R, G, B)に代えて輝度 値 (0, 0, 0)のピクセル画像を出力する（ステップ S4)。
[0082] このように本実施形態における画像表示システム Sでは、 3次元コンテンツの画像の うち RSD表示領域 B内の画像部分を網膜走査ディスプレイ 2により 3次元画像として 表示し、 3次元コンテンツ画像のうち RSD表示領域 B外の画像部分をプロジェクタ 1 により 2次元画像として表示することができるので、スクリーンへの画像の投射と利用 者の瞳孔 41への画像の投射とを組み合わせた画像表示システム Sを提供することが 可能となる。
[0083] しかも、プロジェクタ 1と網膜走査ディスプレイ 2によって表示する画像を適宜適切に 振り分けることによって、広画角化を実現するとともに、立体画像によるリアリティを保 つようにしている。
[0084] ところで、画像表示システム Sの画像分配回路 14には、網膜走査ディスプレイ 2の 位置や方向を検出する位置方向検出部が設けられている。この位置方向検出部は、 たとえば、網膜走査ディスプレイ 2の利用者の視野前方を撮影するカメラ部と、この力 メラ部にて撮影された映像を解析することにより、プロジェクタ 1がスクリーンに画像を 投射するプロジェクタ表示領域 Aを検出する画像解析部とを有している。
[0085] そして、位置方向検出部は、たとえば、画像解析部によってプロジェクタ表示領域 Aを検出することによって、網膜走査ディスプレイ 2の位置及び方向を検出し、利用 者の瞳孔へ投射する画像を移動又は変更する。すなわち、画像解析部は、プロジヱ クタ 1によってスクリーンに投射される表示領域 Aと網膜走査ディスプレイ 2による表示 可能な領域 Bとの相対的な位置関係から、網膜走査ディスプレイ 2によって表示する 画像を選択する。これにより、網膜走査ディスプレイ 2の位置及び方向によって第 2の 領域を移動及び変更することができ、網膜走査ディスプレイ 2を利用者の頭にめがね のように取り付けたときであっても、利用者の頭の動きに応じて表示する画像が補正 でき、違和感のない画像を表示することができる。
[0086] また、画像表示システム Sの画像分配回路 14には、利用者の視線方向を検出する 視線方向検出部も設けられている。この視線方向検出部は、たとえば、利用者の瞳 孔の位置を検出することによって利用者の視線方向を検出するものである。
[0087] そして、プロジェクタ 1によってスクリーンに投射される表示領域 Aと網膜走査デイス プレイ 2による表示可能な領域 Bとの相対的な位置関係から、網膜走査ディスプレイ 2 によって表示する画像を選択する。これにより、この視線方向検出部によって検出し た利用者の視線方向に応じて、 RSD表示領域 Bを移動又は変更することができ、た とえば網膜走査ディスプレイ 2を利用者の頭にめがねのように取り付けたときであって も、利用者の視線方向に応じて表示する画像が補正でき、違和感のない画像を表示 することができる。
[0088] なお、本実施の形態においては、 3次元コンテンツ生成部 10により生成されたビデ ォ信号をフレームごとに第 1フレームバッファ 12に蓄積し、この第 1フレームバッファ 1 2からピクセル画像を取り出してピクセル画像の表示位置を判定することとした力 直 接ビデオ信号カゝら表示位置を判定するようにしてもよ!、。
[0089] すなわち、第 1フレームバッファ 12に代えて、 3次元コンテンツのビデオ信号を入力 するビデオ信号入力部を設け、画像分配回路 14のピクセル座標検出部 18は、この ビデオ信号入力部に入力されたビデオ信号の波形から 3次元コンテンツの表示位置 を判定する。以下、図面を参照して具体的に説明する。
[0090] まず、水平方向における 3次元コンテンツの表示位置の判定について、図 7 (a)を 参照して説明する。図 7 (a)は、ビデオ信号入力部力も入力されたビデオ信号波形か ら抽出される水平同期信号と映像信号（図 7においては輝度レベルを表している）と から、画像分配回路 14によって生成される第 1画像用信号と第 2画像用信号との関 係を表す図である。
[0091] 画像分配回路 14は、ビデオ信号入力部力も入力されたビデオ信号波形力も水平 同期信号を検出する。そして、画像分配回路 14は、図 7 (a)に示すように、水平同期 信号を検出したときからの経過時間に基づいて、所定区間 (X1〜X4の信号領域)の ビデオ信号を、第 2画像用信号として出力する。また、画像分配回路 14は、水平同 期信号を検出したときからの経過時間に基づいて、所定区間 (ΧΟ〜Χ1、 X4〜X5の 信号領域)のビデオ信号を、第 1画像用信号として出力する。
[0092] 次に、垂直方向における 3次元コンテンツの表示位置の判定について、図 7 (b)を 参照して説明する。図 7 (b)は、ビデオ信号入力部から入力されたビデオ信号波形か ら抽出される垂直同期信号、水平同期信号及び映像信号から、画像分配回路 14〖こ よって生成される第 1画像用信号と第 2画像用信号との関係を表す図である。なお、 説明を簡単にするために、この図 7 (b)における映像信号は、水平同期信号間ほぼ 変化しないものとし、垂直同期信号間一水平走査期間 (例えば、図 7 (a) )の映像信 号と同様な形態の波形で簡略化して表記する。また、水平同期信号と垂直同期信号 も通常のものより信号波形を簡略ィ匕して表記している。また、図 7 (a)、図 7 (b)におい て、垂直同期信号間、水平同期信号間のブランキング区間は、第 1画像用信号と第 2 画像用信号とで一致しなくてもょ 、ことは言うまでもな 、。
[0093] 画像分配回路 14は、ビデオ信号入力部カゝら入力されたビデオ信号波形カゝら垂直 同期信号を検出する。そして、画像分配回路 14は、垂直同期信号を検出したときか らの経過時間に基づいて、所定区間 (Y1〜Y4の信号領域)のビデオ信号を、第 2画 像用信号として出力する。また、画像分配回路 14は、水平同期信号を検出したとき 力もの経過時間に基づいて、所定区間（ΥΟ〜Υ1、 Υ4〜Υ5の信号領域）のビデオ 信号を、第 1画像用信号として出力する。なお、所定区間 (Υ1〜Υ4の信号領域)で あっても、所定区間 (ΧΟ〜Χ1、 Χ4〜Χ5の信号領域)のビデオ信号は、第 1画像用 信号として出力される。
[0094] このように画像分配回路 14は、ビデオ信号波形の水平信号同期信号及び垂直同 期信号を検出したときからの経過時間に基づいて、ビデオ信号の波形から 3次元コン テンッの表示位置を判定する。すなわち、ビデオ信号波形に基づいて、プロジェクタ 表示領域 Αに表示すべき画像と、 RSD表示領域 Βに表示すべき画像とを判定する。 ビデオ信号波形から 3次元コンテンツ画像の表示位置を検出することができるので、 その表示位置を検出するための構成が複雑になることを回避することができる。
[0095] (第 2実施形態）
本第 2実施形態は、 3次元コンテンツの特定位置 (たとえば、中心部分）が RSD表 示領域 B内にあるときには 3次元コンテンッを網膜走査ディスプレイ 2により 3次元画 像として表示し、この特定位置力 ¾SD表示領域 B外にあるときには 3次元コンテンツ をプロジェクタにより 2次元画像として表示するようにしたものである。 [0096] なお、本第 2実施形態は、第 1実施形態における画像分配回路 14の動作が一部異 なるものの、それ以外の構成及び動作は同じである。したがって、画像表示システム Sの構成の説明はここでは省略し、以下、第 1実施形態と異なる部分である画像分配 回路 14について説明する。
[0097] 本実施の形態における画像分配回路 14は、上述のように 3次元コンテンツ画像が RSD表示領域 Bの内外にまたがるときにおいて、 3次元コンテンツの特定位置 (たと えば、 3次元コンテンツの中心）が RSD表示領域 B内のときには、 3次元コンテンツの 画像を網膜走査ディスプレイ 2により 3次元画像として表示し（図 8 (a)参照）、 3次元コ ンテンッの特定位置が RSD表示領域 B外にあるときには、 3次元コンテンッをプロジ ェクタ 1により 2次元画像として表示するものである（図 8 (b)参照)。
[0098] 画像表示システム Sの動作が開始すると、図 9に示すように、 3次元コンテンツ生成 部 10によって生成され、第 1フレームバッファ 12に出力されて、第 1フレームバッファ 12にフレーム単位でバッファリングされる。第 1フレームバッファ 12でバッファリングさ れた 1フレーム分の画像データ（X5 X Y5のピクセル画像を有するデータ）は、ピクセ ル座標検出部 18によって、点 (X, Y)のピクセル画像の輝度値 (R, G, B)が、点（0, 0)のピクセル画像力 順に点（1, 0)、 · · ·、点 (X5, 0)、点（0, 1)、 · · ·、点 (X5, 1) というような順序で点 (X5, Y5)まで順次読み出されると共に、 3次元コンテンツにお ける複数のピクセル画像の座標位置が取得される (ステップ S 10)。
[0099] 次に、ピクセル座標検出部 18によって、取得された 3次元コンテンツにおける複数 のピクセル画像の座標位置に基づいて、 3次元コンテンツ画像の中心位置 (Xa、 Ya) が判定される。この中心位置は、一般的な平面図形の重心位置の算出方法によって 算出される（ステップ Sl l)。なお、ピクセル画像が 3次元コンテンツである力否かは、 ピクセル座標検出部 18によって、ピクセル座標が 3次元ピクセル座標であるカゝ否かで 判定される。つまり、ピクセル座標検出部 18は、ピクセル座標に奥行 Z方向の座標が 含まれるか否かを判定する。
[0100] その後、ピクセル座標検出部 18は、 3次元コンテンツの中心位置 (Xa、 Ya)が XIく Xaく X4でかつ Yl <Ya<Y4内にあるかを判定する（ステップ S12)。すなわち、ピク セル座標検出部 18は、 3次元コンテンツの中心位置 (Xa、 Ya)が網膜走査ディスプ レイ 2の表示領域である RSD表示領域 B内であるかを判定するのである。
[0101] ステップ S12にて、 3次元コンテンツの中心位置 (Xa, Ya)が RSD表示領域 B内で あると判定される (ステップ S12 :Yes)と、ピクセル座標検出部 18は、そのコンテンツ の中心位置のピクセル画像に対応する奥行 Zが ZO以上であるか否かを判定する（ス テツプ S 13)。
[0102] そして、ステップ S13にて、 3次元コンテンツの中心位置（Xa, Ya)のピクセル画像 に対応する奥行 Z力 0以上ではないと判定されると (ステップ S13 :No)、境界振分 処理部 20は、スィッチ部 22を制御し、 3次元コンテンツ画像のすべてのピクセル画像 を第 1バッファ 16へ出力する (ステップ S14)。
[0103] 一方、ステップ S12にて、 3次元コンテンツの中心位置 (Xa, Ya)が RSD表示領域 B内でないと判定 (ステップ S12 :No)したとき、或いはステップ S13にて、コンテンツ の中心位置のピクセル画像に対応する奥行 Zが ZO以上であると判定 (ステップ S13： Yes)したとき、境界振分処理部 20は、スィッチ部 22を制御して、 3次元コンテンツの すべてのピクセル画像を合成部 15へ出力する。このようにプロジェクタ表示領域 Aに 表示すべき画像のうちプロジェクタ 1のみで表示する背景画像に 3次元コンテンツの 画像を合成部 15によって合成し、第 2バッファ 17へ出力する (ステップ S 15)。
[0104] このように本実施形態における画像表示システム Sでは、 3次元コンテンツの中心位 置などの特定ポイントで判定することができるため、その判定が容易となる。すなわち 、 3次元コンテンツの特定位置がどの領域にある力判定するだけでよぐ 3次元コンテ ンッの画像全部の画素にっ 、て行なう必要がな!、。
[0105] しカゝも、 3次元コンテンツの特定位置画像に対応する奥行情報を判定して、特定位 置画像の奥行が所定奥行よりも小さいのときには網膜走査ディスプレイ 2で表示させ 、特定位置画像の奥行が所定奥行以上のときにはプロジェクタ 1で表示させるように しているため、 3次元コンテンツの立体性を維持することができる。
[0106] (第 3実施形態）
本第 3の実施形態における画像表示システム Sは、 3次元コンテンツを構成する複 数の 3次元ピクセル座標力 ¾SD表示領域 Bの内外にまたがると判定したとき、 RSD 表示領域 Bの外縁近傍の第 3の領域 C (フ ード領域 C)とこの第 3の領域 C以外の領 域とで輝度、色、奥行の少なくとも一方を異ならせしめることによって、分かれ目を感 じさせにくい画像を表示するものである。
[0107] なお、本第 3実施形態は、第 1実施形態における画像分配回路 14の動作が一部異 なるものの、それ以外の構成及び動作は同じである。したがって、画像表示システム Sの構成の説明はここでは省略し、以下、第 1実施形態と異なる部分である画像分配 回路 14について説明する。
[0108] 本実施の形態における画像分配回路 14は、図 10,図 11に示すように、 RSD表示 領域 Bの内外にまたがる 3次元コンテンツの画像を表示する際に、 RSD表示領域 B 内に表示する 3次元コンテンツのうち、 RSD表示領域 Bの外縁近傍の第 3の領域で あるフェード領域 Cにおけるピクセル画像を、補正部 21によって、第 3の領域 C以外 の領域のピクセル画像に比べて RSD表示領域 B外に近づくにしたがって徐々に明る さを暗くすると共に奥行を大きくするように補正し、網膜走査ディスプレイ 2から表示さ せるように制御する（図 11 (a)参照)。
[0109] また、 3次元コンテンツのうち RSD表示領域 B外の画像をプロジェクタ 1により 2次元 画像として表示すると共に、 3次元コンテンツ画像のうちフェード領域 Cに位置するピ クセル画像を、補正部 21によって、 RSD表示領域 B外のピクセル画像に比べて RS D表示領域 Bの中心に近づくにしたがって徐々に明るさを暗くするように補正し、プロ ジェクタ 1から表示させるように制御する（図 11 (b)参照)。以下、これらの動作を説明 する。
[0110] まず、画像表示システム Sの動作が開始すると、図 12に示すように、 3次元コンテン ッ生成部 10によって生成され、第 1フレームバッファ 12に出力されて、第 1フレーム バッファ 12にフレーム単位でバッファリングされる。第 1フレームバッファ 12でバッファ リングされた 1フレーム分の画像データ (X5 X Y5のピクセル画像を有するデータ）は 、ピクセル座標検出部 18によって、点 (X, Y)のピクセル画像の輝度値 (R, G, B)が 、点 (0, 0)のピクセル画像から順に点（1, 0)、…、点 (X5, 0)、点 (0, 1)、…、点 ( X5, 1)というような順序で点 (X5, Y5)まで順次読み出される (ステップ S20)。
[0111] 次に、ピクセル座標検出部 18によって、順次読み出されるピクセル画像の表示位 置 (X, Y)力 Xく XI又は X>X4であるか、或いは Y<Y1又は Y>Y4であるかが判 定される（ステップ S21)。すなわち、ピクセル画像の表示位置 (X, Y)が RSD表示領 域 B外であるかが判定されるのである。
[0112] ステップ S21にて、ピクセル画像の表示位置 (X, Y)が RSD表示領域 B外であると 判定される (ステップ S21： Yes)と、境界振分処理部 20は、スィッチ部 22を制御して 第 1バッファ 16へ、点 (X, Y)のピクセル画像の輝度値 (R, G, B)に代えて輝度値 (0 , 0, 0)のピクセル画像を出力（ステップ S22)し、その後、スィッチ部 22を制御して、 ピクセル取出部 19によって第 1フレームバッファ 12から取り出された点 (X, Y)のピク セル画像を、合成部 15を介して第 2バッファ 17へ出力する (ステップ S23)。このよう にプロジェクタ表示領域 Aに表示すべき画像のうちプロジェクタ 1のみで表示する背 景画像に 3次元コンテンツの画像を合成する。
[0113] また、ステップ S 21にて、ピクセル画像の表示位置 (X, Y)が RSD表示領域 B外で ないと判定する (ステップ S21 :No)と、ピクセル座標検出部 18は、さらに、順次読み 出されるピクセル画像の表示位置（X, Y)力 X2<X<X3でかつ Y2<Y<Y3であ るかを判定する（ステップ S24)。
[0114] ステップ S24にて、ピクセル画像の表示位置（X, Υ)力 Χ2<Χ<Χ3でかつ Υ2く Υ< Υ3であると判定する (ステップ S24 : Yes)と、境界振分処理部 20は、スィッチ部 22を制御して、ピクセル取出部 19によって第 1フレームバッファ 12から取り出された 点 (X, Y)のピクセル画像を奥行 Zをそのまま維持して第 1バッファ 16へ出力し (ステ ップ S25)、その後、スィッチ部 22を制御して第 2バッファ 17へ、点（X, Y)のピクセル 画像の輝度値 (R, G, B)に代えて輝度値 (0, 0, 0)のピクセル画像を出力する (ステ ップ S26)。
[0115] また、ステップ S24にて、ピクセル画像の表示位置（X, Y)力 X2<X<X3でかつ Y2< Y< Y3でな!/、と判定 (ステップ S 24： No)すると、ステップ S 30の処理を実行す る。この処理は、フェード領域にある画像処理を実行するものであり、その処理動作 を図 13にフローチャートを示す。
[0116] 図 13に示すように、ピクセル座標検出部 18は、ピクセル画像の表示位置 (X, Y)が 、 X2≤X≤X3でかつ Y2≤Y≤Y3にあるかを判定する（ステップ S31)。
[0117] ステップ S31にて、ピクセル画像の表示位置（X, Y) 1S X2≤X≤X3でかつ Y2≤ Y3にあると判定すると (ステップ S31 :Yes)、点 (X, Y)のピクセル画像の輝度 (R, G , B)を補正部 21によって X方向に関して、プロジェクタ 1用のピクセル画像と網膜走 查ディスプレイ 2用のピクセル画像とを生成する（ステップ S32)。
[0118] すなわち、補正部 21によって生成されるピクセル画像は、
a)網膜走査ディスプレイ 2用のピクセル画像
輝度（Rl, Gl, Bl) =Fy(Y) X (R, G, B)
奥行 Z = Hy(Y) X Z
b)プロジェクタ 1用のピクセル画像
輝度（R2, G2, B2) =Gy(Y) X (R, G, B)
奥行 Z = Hy(Y) X Z
[0119] ここで、本実施の形態においては、関数 Fy(Y)、 Gy(Y)、 Hy(Y)として、例えば Yl ≤Y≤Y2の区間では、 Fy(Y) = { l/ (Y2-Yl) } X (Y—Y1)、 Gy (Y) = 1—Fy( Y)、 Hy(Y) = { (ZO— 1) Z (Y2— Y1) } X (Y— Yl) + 1とするが、以下の条件を満 たす関数であればどのような関数であってもよ 、。
Fy(Yl) =0、 Gy(Yl) = 1、 Hy(Yl) =ZO
Fy (Y2) = 1、 Gy (Y2) = 0、 Hy (Y2) = 1
dFy ( Yl≤ X≤ Y2) /dt≥ 0
dGy(Yl≤X≤Y2) /dt≤0
dHy(Yl≤X≤Y2) Zdt≤0 (Z0≥lの時）
dHy(Yl≤X≤Y2) /dt≥0 (ZO< 1の時）
ここで、 ZOは予め決められた奥行位置である。
[0120] 一方、ステップ S31にて、ピクセル画像の表示位置（X, Y) 1S X2≤X≤X3でかつ Y2≤Y≤Y3ではないと判定すると (ステップ S31 :No)、点（X, Y)のピクセル画像 の輝度 (R, G, B)を補正部 21によって X方向に関して、プロジェクタ 1用の輝度 (R1 , Gl, B1)のピクセル画像と網膜走査ディスプレイ 2用の輝度 (R2, G2, B2)のピク セル画像とする（ステップ S33)。このとき、（Rl, Gl, Bl) = (R2, G2, B2) = (R, G , B)とする。
[0121] ステップ S32或いはステップ S33の処理が完了すると、点 (X, Y)の X方向に関する 処理後のピクセル画像の輝度 (Rl, Gl, B1)から、補正部 21によって、 Y方向に関 するプロジェクタ 1用のピクセル画像と網膜走査ディスプレイ 2用のピクセル画像とを 生成する（ステップ S 34)。
[0122] すなわち、補正部 21によって生成されるピクセル画像は、
a)網膜走査ディスプレイ 2用のピクセル画像
輝度（Rl, Gl, Bl) =Fx(X) X (Rl, Gl, Bl)
奥行 Z = Hx(X) XZ
b)プロジェクタ 1用のピクセル画像
輝度（R2, G2, B2) =Gx(X) X (Rl, Gl, Bl)
奥行 Z = Hx(X) XZ
[0123] ここで、本実施の形態においては、関数 Fx(X)、 Gx(X)、 Hx(X)として、例えば XI ≤X≤X2の区間では、 Fx(X) = {l/(X2-Xl) } X (X_X1)、 Gx(X) = 1 _Fx(X ) , Hx (X) = { (ZO— 1) / (X2-X1) } X (X— XI) +1とするが、以下の条件を満た す関数であればどのような関数であってもよ 、。
Fx(Xl)=0、 Gx(Xl)=l、 Ηχ(Χ1)=ΖΟ
Fx (X2) = 1、 Gx (X2) = 0、 Hx (X2) = 1
dFx(Xl≤X≤X2) /dt≥0
dGx (XI≤ X≤ X2) /dt≤ 0
dHx (XI≤ X≤ X2) /dt≤ 0 (ZO≥ 1の時）
dHx (XI≤X≤X2) /dt≥0(Z0< 1の時）
[0124] ステップ S34の処理が完了すると、境界振分処理部 20は、スィッチ部 22を制御し、 網膜走査ディスプレイ 2用のピクセル画像 (Rl, Gl, B1)及び奥行 Zを第 1バッファ 1 6へ出力する（ステップ S35)。
[0125] また、境界振分処理部 20は、スィッチ部 22を制御して、プロジェクタ 1用のピクセル 画像 (R2, G2, B2)を、合成部 15を介して第 2バッファ 17へ出力する (ステップ S36 )oこのようにプロジェクタ表示領域 Aに表示すべき画像のうちプロジェクタ 1のみで表 示する背景画像に 3次元コンテンツの一部の画像を合成する。
[0126] 以上のように本実施形態における画像表示システム Sでは、特定画像が第 2の領域 内と第 2の領域外とにまたがって位置しているときに、特定画像を第 2の領域の外縁 近傍付近で、画像奥行きを異ならしめて前記第 2画像表示装置により表示するため、 たとえば、特定画像を第 2の領域の外縁近傍に近くなるにしたがってスクリーンに表 示する画像と視覚的に同程度の奥行きになるようにすれば、より第 2の領域外縁で画 像の分かれ目を利用者に感じに《することができる。
[0127] しカゝも、 3次元コンテンツの奥行情報を補正して、フェード領域 Cで徐々に奥行を変 化させるようにしているため、 3次元コンテンツの立体性を維持することができる。
[0128] なお、フェード領域 Cを 3次元コンテンツの大きさによって異ならしめるようにしてもよ い。この場合、ピクセル座標検出部 18によって、 3次元コンテンツにおける複数のピク セル画像の座標位置を取得する。その後、境界振分処理部 20によって、ピクセル座 標検出部 18によって取得した複数の座標位置から 3次元コンテンツの大きさを判定 する。そして、フェード領域 Cの面積を変更する。
[0129] たとえば、 3次元コンテンツが大きいときにはフェード領域 Cを広げ、 3次元コンテン ッが小さいときにはフェード領域 Cを狭くするように制御する。
[0130] このように特定画像である 3次元コンテンツの大きさによって、プロジェクタ 1及び網 膜走査ディスプレイ 2の両方から 3次元コンテンツを表示するフェード領域 Cが異なる こととなるから、より第 2の領域外縁で画像の分かれ目を利用者に感じにくくすること ができる。
[0131] また、本実施形態にお!ヽて、直接ビデオ信号から表示位置を判定する場合、ビデ ォ信号波形から抽出される水平同期信号や垂直同期信号と映像信号とから画像分 配回路 14によって生成される、第 1画像用信号と第 2画像用信号との関係を図 14に 示す。本実施形態における動作は基本的に第 1実施形態と同様であるが、特定区間 (X1〜X2, X3〜X4, Y1〜Y2, Υ3〜Υ4の信号領域）に補正を行って第 1画像用 信号及び第 2画像用信号を生成する点で異なる。なお、説明を簡単にするために、こ の図 14 (b)における映像信号は、水平同期信号間ほぼ変化しないものとし、垂直同 期信号間一水平走査期間 (例えば図 14 (a) )の映像信号と同様な形態の波形で簡 略化して表記する。また、水平同期信号と垂直同期信号も通常のものより信号波形を 簡略ィ匕して表記している。また、図 14 (a)、図 14 (b)において、垂直同期信号間、水 平同期信号間のブランキング区間は、第 1画像用信号と第 2画像用信号とで一致し なくてもょ 、ことは言うまでもな 、。
[0132] 画像分配回路 14は、ビデオ信号入力部力も入力されたビデオ信号波形力も水平 同期信号を検出する。そして、画像分配回路 14は、図 14 (a) , (b)に示すように、水 平同期信号や垂直同期信号を検出したとき力 の経過時間に基づいて、特定区間（ X1〜X4の信号領域で、かつ Y1〜Y4の信号領域）のビデオ信号を、このビデオ信 号のうち所定区間（Χ1〜Χ2, Χ3〜Χ4, Υ1〜Υ2, Υ3〜Υ4の信号領域）に所定の 補正を加えた後に第 2画像用信号として出力する。また、画像分配回路 14は、水平 同期信号や垂直同期信号を検出したとき力もの経過時間に基づいて、所定区間 (X 0〜Χ2, Χ3〜Χ5, Υ0〜Υ2, Υ3〜Υ5の信号領域）のビデオ信号を、このビデオ信 号のうち特定区間（Χ1〜Χ2, Χ3〜Χ4, Υ1〜Υ2, Υ3〜Υ4の信号領域）に所定の 補正を加えた後に第 1画像用信号として出力する。
[0133] このように、ビデオ信号波形に基づ 、て、プロジェクタ表示領域 Αに表示すべき画 像と、 RSD表示領域 Bに表示すべき画像と、フェード領域 Cに表示すべき画像とを判 定する。ビデオ信号波形から 3次元コンテンツ画像の表示位置を検出することができ るので、その表示位置を検出するための構成が複雑になることを回避することができ る。
[0134] なお、本実施形態においては、第 1〜第 3実施形態に分けてその動作を説明した 力 これらを糸且み合わせるようにしてもよい。
[0135] たとえば、画像分配回路 14において、 3次元コンテンツを構成する複数の 3次元ピ クセル座標が RSD表示領域 Bの内外にまたがるときの画像分配方法として、以下の（ 1)〜（3)の画像分配方法の選択を可能とする構成とする。そして、この選択手段とし て図示しない入力部によって、これらのうちいずれかを選択することによって、画像分 配回路 14に選択した画像分配方法により画像を分配するのである。
[0136] (1) 3次元コンテンツのうち RSD表示領域 B内の画像部分を網膜走査ディスプレイ 2により 3次元画像として表示し、 3次元コンテンツのうち RSD表示領域 B外の画像部 分をプロジェクタ 1により 2次元画像として表示する。
[0137] (2) 3次元コンテンツの特定位置力 ¾SD表示領域 B内にあるときには 3次元コンテ ンッを網膜走査ディスプレイ 2により 3次元画像として表示し、この特定位置力 SD表 示領域 B外にあるときには 3次元コンテンッをプロジェクタ 1により 2次元画像として表 示する。
[0138] (3) 3次元コンテンツのうち RSD表示領域 B内の画像を、補正部 21によって RSD 表示領域 Bの外縁近傍の第 3の領域 Cとこの第 3の領域 C以外の領域とで輝度及び 色の少なくとも一方を異ならせしめて網膜走査ディスプレイ 2により 3次元画像として 表示する。また、 3次元コンテンツのうち RSD表示領域 B外の画像をプロジェクタ 1に より 2次元画像として表示すると共に、補正部 21によって第 3の領域 Cの画像を RSD 表示領域 B外の画像に比して輝度及び色の少なくとも一方を異ならせしめてプロジェ クタ 1により 2次元画像として表示する。
[0139] また、第 1、 2画像表示装置が奥行き方向を表示できない 2次元表示装置の場合で も、お互いの表示位置が異なることを利用し、 RSD表示領域 Bの内外で両ディスプレ ィをコンテンツが行き来するように実施してもよい。また、コンテンツも 3次元でなくても 良ぐ 2次元でもよい。
[0140] また、上述の第 1〜第 3実施形態においては、第 1画像表示装置としてプロジェクタ を例示して説明したが、プロジェクタに代えて大型液晶テレビや大型プラズマデイス プレイなど種々の大画面ディスプレイを用いてもょ 、。
[0141] また、上述では、判定部としての機能をピクセル座標検出部 18に持たせることにし たが、ピクセル座標検出部 18ではなく境界振分処理部 20に判定部としての機能を 持たせるようにしてもよい。

Claims

請求の範囲
[1] 第 1の領域へ第 1画像を表示する第 1画像表示装置と、
利用者の瞳孔への画像の投射によって第 1の領域内に設けられる第 2の領域へ第 2画像を表示する第 2画像表示装置と、を備えた画像表示システムであって、 前記第 1の領域に表示する画像のうち特定画像を表示すべき位置を判定する判定 部と、
前記判定部により前記特定画像を表示すべき位置が前記第 2の領域内であると判 定されたとき、前記第 2画像表示装置により前記特定画像を第 2画像として表示し、 前記判定部により前記特定画像を表示すべき位置が前記第 2領域外であると判定さ れたとき、前記第 1画像表示装置により前記特定画像を前記第 1画像として表示する 表示制御部と、
を備えた画像表示システム。
[2] 前記第 1の領域に表示すべき画像のうち第 1画像表示装置のみで表示する背景画 像に前記特定画像を合成して合成画像を生成する合成部を備え、
前記表示制御部は、
前記判定部により前記特定画像を表示すべき位置が前記第 2領域外であると判定 されたとき、前記合成画像を前記第 1画像表示装置により前記第 1画像として表示す る請求項 1に記載の画像表示システム。
[3] 前記表示制御部は、
前記判定部により前記特定画像が第 2の領域内と第 2の領域外とにまたがって位置 して!/ヽると判定されたとき、前記特定画像のうち前記第 2の領域内の画像を前記第 2 画像表示装置により第 2画像として表示し、前記特定画像のうち前記第 2の領域外の 画像を前記第 1画像表示装置により第 1画像として表示する請求項 1に記載の画像 表示システム。
[4] 前記判定部は、
前記特定画像内の特定位置が前記第 2の領域内にあるか否かを判定し、 前記表示制御部は、
前記特定位置が前記第 2の領域内にあるときには前記特定画像を前記第 2画像表 示装置により第 2画像として表示し、前記特定位置が前記第 2の領域外にあるときに は前記特定画像を前記第 1画像表示装置により第 1画像として表示する請求項 1に 記載の画像表示システム。
[5] 前記特定画像のビデオ信号を入力するビデオ信号入力部を備え、
前記判定部は、前記ビデオ信号波形に基づいて、前記特定画像のうち前記第 1の 領域内の画像を前記第 1画像表示装置により表示すべき第 1画像と、前記第 2の領 域内の画像を前記第 2画像表示装置により表示すべき第 2画像とを判定する請求項 1に記載の画像表示システム。
[6] 前記表示制御部は、
前記判定部により前記特定画像が第 2の領域内と第 2の領域外とにまたがって位置 していると判定されたとき、前記特定画像のうち前記第 2の領域内の画像を、前記第 2領域の外縁近傍の第 3領域とこの第 3の領域以外の領域とで輝度及び色の少なくと も一方を異ならせしめて前記第 2画像表示装置により第 2画像として表示し、前記特 定画像のうち前記第 2の領域外の画像を前記第 1画像表示装置により第 1画像として 表示すると共に、前記第 3の領域の画像を前記第 2の領域外の画像に比して輝度及 び色の少なくとも一方を異ならせしめて前記第 1画像表示装置により第 1画像として 表示する請求項 1に記載の画像表示システム。
[7] 前記表示制御部は、前記判定部により前記特定画像が第 2の領域内と第 2の領域 外とにまたがって位置していると判定されたとき、前記特定画像のうち前記第 2の領 域内の画像を、前記第 2領域の外縁近傍の第 3領域とこの第 3の領域以外の領域と で画像奥行きを異ならせしめて前記第 2画像表示装置により第 2画像として表示し、 前記特定画像のうち前記第 2の領域外の画像を前記第 1画像表示装置により第 1画 像として表示する請求項 1に記載の画像表示システム。
[8] 前記表示制御部は、
前記第 3の領域を前記特定画像の大きさによって異ならしめる請求項 6に記載の画 像表示システム。
[9] 前記表示制御部は、
前記第 2画像表示装置の位置及び Z又は方向に基づ 、て、前記第 2の領域を移 動及び Z又は変更する請求項 lに記載の画像表示システム。
[10] 前記表示制御部は、
前記利用者の視線方向を検出する視線方向検出部を備え、
前記視線方向検出部によって検出した視線方向に応じて前記第 2の領域を移動及 び Z又は変更する請求項 1に記載の画像表示システム。
[11] 前記第 2画像表示装置は、映像信号に応じて変調された光束を走査する走査機構 を備え、利用者の瞳孔への画像の投射によって画像を表示する網膜走査型画像表 示装置であることを特徴とする請求項 1に記載の画像表示システム。
[12] 第 1の領域へ第 1画像を表示する第 1画像表示装置と、利用者の瞳孔への画像の 投射によって第 1の領域内に設けられる第 2の領域へ第 2画像を表示する第 2画像表 示装置とに画像を表示する画像表示方法において、
前記第 1の領域に表示する画像のうち特定画像を表示すべき位置を判定するステ ップと、
前記特定画像を表示すべき位置が前記第 2の領域内であると判定されたとき、前記 第 2画像表示装置により前記特定画像を第 2画像として表示させ、前記特定画像を 表示すべき位置が前記第 2領域外であると判定されたとき、前記第 1画像表示装置 により前記特定画像を前記第 1画像として表示させるステップと、
を有する画像表示方法。
PCT/JP2006/325111 2005-12-19 2006-12-15 画像表示システム及び画像表示方法 WO2007072762A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06834838.2A EP1970887B1 (en) 2005-12-19 2006-12-15 Image display system and image display method
US12/213,373 US8061845B2 (en) 2005-12-19 2008-06-18 Image display system and image display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-364302 2005-12-19
JP2005364302A JP4735234B2 (ja) 2005-12-19 2005-12-19 画像表示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/213,373 Continuation-In-Part US8061845B2 (en) 2005-12-19 2008-06-18 Image display system and image display method

Publications (1)

Publication Number Publication Date
WO2007072762A1 true WO2007072762A1 (ja) 2007-06-28

Family

ID=38188541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/325111 WO2007072762A1 (ja) 2005-12-19 2006-12-15 画像表示システム及び画像表示方法

Country Status (4)

Country Link
US (1) US8061845B2 (ja)
EP (1) EP1970887B1 (ja)
JP (1) JP4735234B2 (ja)
WO (1) WO2007072762A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008135625A1 (en) * 2007-05-07 2008-11-13 Nokia Corporation A device for presenting visual information
US20090219580A1 (en) * 2008-02-28 2009-09-03 Cornell David J Scanning system with real-time display unit
US20110216160A1 (en) * 2009-09-08 2011-09-08 Jean-Philippe Martin System and method for creating pseudo holographic displays on viewer position aware devices
JP4922440B2 (ja) * 2010-07-08 2012-04-25 株式会社東芝 ３ｄ映像出力装置、３ｄ映像表示装置、３ｄ映像出力方法
EP2596641A4 (en) * 2010-07-21 2014-07-30 Thomson Licensing METHOD AND DEVICE FOR PROVIDING ADDITIONAL CONTENT IN A 3D COMMUNICATION SYSTEM
KR101873076B1 (ko) * 2010-10-29 2018-06-29 톰슨 라이센싱 이미지 내의 그래픽 객체를 인크러스트하는 3차원 이미지들을 생성하는 방법 및 이와 관련된 디스플레이 디바이스
US10335572B1 (en) * 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
CN105182676B (zh) * 2015-09-08 2017-03-01 京东方科技集团股份有限公司 投影幕布、触控屏投影显示方法及系统
SG10201709801UA (en) * 2016-12-01 2018-07-30 Varjo Tech Oy Display apparatus and method of displaying using context display and projectors
JP2020515895A (ja) * 2017-03-27 2020-05-28 エイヴギャント コーポレイション 操作可能な中心窩ディスプレイ
US11188149B2 (en) * 2018-02-09 2021-11-30 University Of Fukui Image display device using retinal scanning display unit and method thereof
CA3122089A1 (en) 2018-12-07 2020-06-11 Avegant Corp. Steerable positioning element
CN113412442A (zh) 2019-01-07 2021-09-17 阿维甘特公司 控制系统和渲染管道
WO2020205784A1 (en) 2019-03-29 2020-10-08 Avegant Corp. Steerable hybrid display using a waveguide
KR20220120615A (ko) 2020-01-06 2022-08-30 아브간트 코포레이션 색 특이적인 변조를 이용한 머리 장착형 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259031A (ja) * 1993-03-09 1994-09-16 Matsushita Electric Ind Co Ltd 情報表示装置及び表示方法
JPH06308924A (ja) * 1991-02-16 1994-11-04 Semiconductor Energy Lab Co Ltd 表示装置および表示方法
JP2004506237A (ja) * 2000-08-08 2004-02-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 表示装置
JP2005091610A (ja) * 2003-09-16 2005-04-07 Sony Corp 画像表示装置
JP2005258022A (ja) * 2004-03-11 2005-09-22 Brother Ind Ltd 画像表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2874208B2 (ja) 1989-09-08 1999-03-24 ブラザー工業株式会社 画像表示装置
JPH08160349A (ja) * 1994-12-09 1996-06-21 Sega Enterp Ltd 頭部搭載型映像表示システム、および、頭部搭載型映像表示装置
JP3787939B2 (ja) * 1997-02-27 2006-06-21 コニカミノルタホールディングス株式会社 立体映像表示装置
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
US6097353A (en) 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
JP4245750B2 (ja) * 1999-10-15 2009-04-02 オリンパス株式会社 立体観察装置
SE519057C2 (sv) * 2001-05-10 2003-01-07 Totalfoersvarets Forskningsins Presentationsanordning med variabelt fokuseringsdjup
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
JP2005070255A (ja) * 2003-08-22 2005-03-17 Denso Corp 虚像表示装置
JP2005084569A (ja) * 2003-09-11 2005-03-31 Brother Ind Ltd 画像表示装置
WO2005043218A1 (ja) * 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
US7086735B1 (en) * 2005-05-27 2006-08-08 Anthony Italo Provitola Enhancement of visual perception
US20100277803A1 (en) * 2006-12-14 2010-11-04 Nokia Corporation Display Device Having Two Operating Modes
US8269692B2 (en) * 2007-11-20 2012-09-18 Panasonic Corporation Image display apparatus, display method thereof, program, integrated circuit, goggle-type head-mounted display, vehicle, binoculars, and desktop display
US8305295B2 (en) * 2009-11-23 2012-11-06 Matvey Lvovskiy Optoelectronic display system for transport vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06308924A (ja) * 1991-02-16 1994-11-04 Semiconductor Energy Lab Co Ltd 表示装置および表示方法
JPH06259031A (ja) * 1993-03-09 1994-09-16 Matsushita Electric Ind Co Ltd 情報表示装置及び表示方法
JP2004506237A (ja) * 2000-08-08 2004-02-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 表示装置
JP2005091610A (ja) * 2003-09-16 2005-04-07 Sony Corp 画像表示装置
JP2005258022A (ja) * 2004-03-11 2005-09-22 Brother Ind Ltd 画像表示装置

Also Published As

Publication number Publication date
JP4735234B2 (ja) 2011-07-27
EP1970887B1 (en) 2016-12-07
US20080258996A1 (en) 2008-10-23
US8061845B2 (en) 2011-11-22
EP1970887A4 (en) 2010-12-29
JP2007171228A (ja) 2007-07-05
EP1970887A1 (en) 2008-09-17

Similar Documents

Publication Publication Date Title
WO2007072762A1 (ja) 画像表示システム及び画像表示方法
JP5136442B2 (ja) ヘッドマウントディスプレイ
EP3607381B1 (en) Wide field of view scanning display
JP4802806B2 (ja) 画像表示装置
KR20190126428A (ko) 조향 가능한 중심와 디스플레이
US20060146125A1 (en) Virtual retinal display generating principal virtual image of object and auxiliary virtual image for additional function
JP4840175B2 (ja) 画像表示装置
TW201909152A (zh) 掃描顯示裝置的發光結構
JP2015531083A (ja) 車両用のレーザ走査ヘッドアップディスプレイ装置
JP5685689B2 (ja) 映像表示装置
US20140177017A1 (en) Image display device
EP3465327B1 (en) Information display device
JP5076427B2 (ja) 画像表示装置および画像サイズ変更方法
US20110012875A1 (en) Image display device
JP5353361B2 (ja) カラー画像表示装置
JP6394165B2 (ja) 虚像表示装置及び方法
US10310259B2 (en) Image rendering apparatus, head up display, and image luminance adjusting method
WO2010103974A1 (ja) 画像表示装置
JP6737370B2 (ja) 投影装置
WO2016147236A1 (ja) 照明装置
JP2010085621A (ja) 画像表示装置
JP2016099477A (ja) 投影装置、投影方法、プログラムおよび記憶媒体
JP7469174B2 (ja) 表示装置及び表示方法
JP2019105723A (ja) 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム
JP2014115442A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2006834838

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006834838

Country of ref document: EP