WO2017061213A1 - 投射型表示装置および画像補正方法 - Google Patents

投射型表示装置および画像補正方法 Download PDF

Info

Publication number
WO2017061213A1
WO2017061213A1 PCT/JP2016/076095 JP2016076095W WO2017061213A1 WO 2017061213 A1 WO2017061213 A1 WO 2017061213A1 JP 2016076095 W JP2016076095 W JP 2016076095W WO 2017061213 A1 WO2017061213 A1 WO 2017061213A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
image
linear light
unit
light
Prior art date
Application number
PCT/JP2016/076095
Other languages
English (en)
French (fr)
Inventor
淳弘 千葉
将弘 高田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/765,050 priority Critical patent/US10397534B2/en
Priority to CN201680056351.1A priority patent/CN108141561B/zh
Priority to JP2017544421A priority patent/JP6809477B2/ja
Publication of WO2017061213A1 publication Critical patent/WO2017061213A1/ja
Priority to US16/510,787 priority patent/US10721447B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems

Definitions

  • the present disclosure relates to a projection display device having an imaging function and an image correction method.
  • a projection display device called a short focus (ultra short focus) projector can project and display a large screen and a high-definition image at an extremely short projection distance. For this reason, even when the user approaches the screen (projection surface), the user's shadow or the like is hardly reflected on the projection surface, and a realistic video display can be realized. For example, a large screen image can be projected onto a wall surface such as a living room, and is attracting attention as a new image display technology in everyday space.
  • a method has been proposed in which a pattern image for distortion calibration is projected, the projected pattern image is separately photographed by a camera, distortion is calculated from the photographed image, and the projection image is corrected (for example, Patent Documents). 1). Further, as a technique for correcting a projected image, a pattern image is captured by a camera mounted on the projection display main body, and the shape of the projected screen is corrected (trapezoidal correction) based on the captured image (Patent Literature). 2).
  • Patent Document 1 lacks convenience because the user must install a camera or take a picture.
  • apparatus configuration of Patent Document 2 it is difficult to detect distortion caused by the non-flatness of the projection surface. Realization of a technique capable of improving display image quality by correcting distortion of a projected image while maintaining convenience is desired.
  • a projection display device includes an image display element that displays an image, a projection unit that projects an image displayed by the image display element toward a projection surface, and a projection surface with respect to the projection surface.
  • a light irradiation unit that irradiates linear light extending along the first direction at an incident angle shallower than the projection light, and an imaging unit that has an optical axis different from that of the light irradiation unit and images the projection surface
  • a signal processing unit that performs signal processing on an imaging signal output from the imaging unit.
  • the imaging unit captures the linear light irradiated on the projection surface, and the signal processing unit corrects distortion of the projected image based on the captured image of the linear light.
  • the light irradiation unit irradiates the projection surface with predetermined linear light at an incident angle shallower than the projection light, and the linear light is combined with the light irradiation unit. Images are taken by imaging units having different optical axes.
  • the signal processing unit corrects distortion of the projected image based on the captured image of the linear light. Thereby, the distortion of the image resulting from the non-flatness of a projection surface can be corrected, without a user installing a camera or photographing.
  • the linear light extending along the first direction in the projection surface with respect to the projection surface Irradiate at a shallower incident angle than the projection light, shoot the linear light irradiated on the projection surface from an optical path different from the linear light, and correct the distortion of the projected image based on the captured image of the linear light To do.
  • the projection surface is irradiated with predetermined linear light at an incident angle shallower than the projection light, and the linear light is photographed from an optical path different from the linear light.
  • the light irradiation unit irradiates the projection surface with predetermined linear light at an incident angle shallower than the projection light, and an optical axis different from that of the light irradiation unit.
  • the image capturing unit having the function captures the linear light, and the signal processing unit corrects distortion of the projected image based on the captured image of the linear light. Thereby, it is possible to improve the image quality of the projected image while maintaining convenience.
  • the projection surface is irradiated with predetermined linear light at an incident angle shallower than the incident angle of the projection light, and the linear light is the linear light. Photographing from different optical paths, and correcting distortion of the projected image based on the photographed image of linear light. Thereby, it is possible to improve the image quality of the projected image while maintaining convenience.
  • FIG. 11B is an enlarged view of the vicinity of the upper end position in FIG. 11A. It is the figure which showed the numerical example of the parameter at the time of linear light imaging
  • Embodiment an example of a projection display device that corrects distortion of a projected image based on a captured image of linear light irradiated at an incident angle shallower than the incident angle of the projected light
  • Modified example example in which linear light is irradiated to a plurality of positions and image correction is performed for each region corresponding to each irradiation position
  • FIG. 3 shows a functional configuration of the projection display device 1.
  • the XY plane is the projection plane A
  • the XZ plane is the installation plane B
  • the X direction corresponds to, for example, the horizontal direction
  • the Y direction corresponds to, for example, the vertical direction.
  • the projection display device 1 is a projector (so-called short focus type or ultra short focus type) that projects an image at a short projection distance toward a projection surface A such as a wall surface of a room.
  • the projection display device 1 is used in a state where it is installed in the vicinity of the projection surface A.
  • an example in which the projector is used by being installed on an installation surface B such as a floor or a stand in the vicinity of the projection surface A is shown.
  • the projection surface A is not limited to a wall surface, and another projection surface A can be used as another projection surface A, particularly a surface having irregularities along a certain direction.
  • the projection display device 1 includes, for example, a projection unit 10, an imaging unit 20, a light irradiation unit 30, a control unit 40, a video signal processing unit 41, and an image display element 42.
  • the imaging signal processing unit 43 and the storage unit 47 are provided.
  • the projection unit 10, the imaging unit 20, the light irradiation unit 30, the control unit 40, the video signal processing unit 41, the image display element 42, the imaging signal processing unit 43, and the storage unit 47 include, for example, one outer casing (housing) 11) (contained in the housing 11).
  • the video signal processing unit 41 and the imaging signal processing unit 43 of the present embodiment correspond to a specific example of “signal processing unit” in the present disclosure. However, some of these constituent elements may be mounted so as to be exposed from the casing 11, or may be installed outside the casing 11. Hereinafter, a specific configuration of each unit will be described.
  • the projection unit 10 projects the image displayed by the image display element 42 toward the projection surface A (for example, enlarged projection), and includes, for example, a projection optical system 10A and a reflection mirror 110.
  • the projection optical system 10A includes, for example, a projection lens unit.
  • the reflection mirror 110 converts the optical path of the emitted light from the projection optical system 10A and guides it to the projection surface A. The light reflected by the reflection mirror 110 becomes the projection light L1. Depending on the layout of the projection optical system 10A, the reflection mirror 110 may not be installed.
  • the projection unit 10 may include a light source, an illumination optical system, a color separation optical system, and a color synthesis optical system (not shown).
  • the projection unit 10 when the image display element 42 is a liquid crystal display element or the like, the projection unit 10 includes a light source, and an illumination optical system, a color separation optical system, for example, on the optical path between the light source and the projection optical system 10A.
  • the image display element 42 and the color synthesis optical system are provided in this order.
  • the projection unit 10 does not need to include a light source and an illumination optical system.
  • the projection lens unit includes, for example, a short focus lens with a small throw ratio.
  • the slow ratio means that the distance from the projection lens unit to the projection surface A (projection distance) is L, and the width of the image range that can be projected (projection range B1, projection screen) (width along the X direction) is H. Then, it is expressed by L / H.
  • the position where the elevation angle a1 of the projection light L1 with respect to the projection surface A is the largest is the upper end position p1
  • the position where the elevation angle a1 is the smallest is the lower end position p2.
  • a correction pattern image is projected onto the projection range B1.
  • the imaging unit 20 is configured to include, for example, an imaging element and various optical elements, and is a camera for photographing the projection surface A.
  • the imaging element is configured by a solid-state imaging element such as a CMOS (Complementary Metal-Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • Examples of the imaging unit 20 include a camera provided with a wide-angle lens.
  • the imaging unit 20 may include a plurality of cameras, and a wide-angle image may be formed by stitching the captured images obtained by the cameras.
  • the imaging unit 20 is mounted, for example, on the surface S1 side of the housing 11 together with the emission port 10B of the projection unit 10 and the light irradiation unit 30.
  • the imaging unit 20 is disposed, for example, in the vicinity of the exit port 10B, and is installed at a position closer to the viewer (a position on the positive side in the Z direction) than the exit port 10B.
  • a range imaging range B2 substantially equivalent to the projection range B1.
  • the imaging range B2 has a larger width in the vertical direction (Y direction) and the horizontal direction (X direction) than the projection range B1.
  • the imaging unit 20 has an optical axis different from that of the light irradiation unit 30 (arranged so that the optical axis of the camera of the imaging unit 20 does not coincide with the optical axis of the light irradiation unit 30). Thereby, the imaging unit 20 images the projection surface A from an optical path different from the optical path of the laser light L2 output from the light irradiation unit 30 (irradiation optical path of the linear light L2a).
  • the image (imaging signal Dt1) captured by the imaging unit 20 is output to the imaging signal processing unit 43.
  • the light irradiation unit 30 is a light source unit used for distortion correction (calibration) of a projected image.
  • the light irradiation unit 30 outputs, for example, laser light L2, and extends (forms a linear shape) linear light L2a along one direction (first direction) in the projection surface A with respect to the projection surface A.
  • the laser light source which irradiates is provided.
  • the linear light L2a is, for example, a line laser beam that extends along a horizontal direction (first direction, X direction) perpendicular to the vertical direction (second direction, Y direction).
  • the light irradiation unit 30 desirably has a laser light source that outputs laser light L2 having high directivity.
  • the light irradiation unit 30 can irradiate light linearly on the projection surface A, for example, another light source such as an LED light source. You may use what used. Further, the wavelength of the linear light L2a may be in the visible range, or may be in a non-visible range such as near infrared (NIR).
  • NIR near infrared
  • the projection display device 1 is equipped with a function (for example, a human sensor) for detecting that an object such as a user has approached (approached) the light irradiation unit 30 together with the light irradiation unit 30. In such a case, it is desirable that the irradiation of the linear light L2a is stopped. This is because the linear light L2a having high directivity can be prevented from affecting the user's eyes.
  • a function for example, a human sensor
  • the elevation angle of the linear light L2a (the emission angle of the laser light L2) a2 may be fixed or variable.
  • the irradiation position of the linear light L2a on the projection surface A may be fixed or variable.
  • the elevation angle a2 is linear light at any position overlapping the projection range B1 when the projection display device 1 is installed in front of the projection surface A (so that the projection range B1 is rectangular). It is adjusted so that L2a is irradiated. Or if it is in the imaging range B2, the linear light L2a may be irradiated to the outer side of the projection range B1, for example, the position above the upper end position p1.
  • the elevation angle a2 is set so that the linear light L2a is irradiated at a position substantially equal to the upper end position p1 of the projection range B1. Even if the degree of unevenness of the projection surface A in the Y direction is equal (constant), the amount of distortion due to the non-flatness of the projection surface A varies depending on the position in the Y direction within the projection range B1. That is, the distortion amount is the largest at the upper end position p1 where the elevation angle a1 of the projection light L1 is the largest in the projection range B1, and is the smallest at the lower end position p2 where the elevation angle a1 is the smallest. For this reason, the detection sensitivity of the amount of distortion can be increased by irradiating the upper end position p1 with the linear light L2a and performing the later-described distortion detection based on the captured image of the linear light L2a.
  • the light irradiation unit 30 is disposed on the surface S1 of the housing 11 at a position closer to the projection surface A than the exit port 10B of the projection unit 10.
  • the light irradiation unit 30 is such that the incident angle a2 ′ of the linear light L2a (laser light L2) on the projection surface A is shallower than the incident angle a1 ′ of the projected light L1 (a1 ′> a2 ′). It is configured to be irradiated.
  • the linear light L2a is more easily distorted than the projection light L1.
  • the optical axis of the light irradiation unit 30 is arranged so as not to coincide with the optical axis of the camera of the imaging unit 20 (having an optical axis different from that of the imaging unit 20).
  • the control unit 40 includes, for example, a CPU (Central Processing Unit).
  • the control unit 40 controls the operation of each unit in the projection display device 1.
  • the projection unit 10, the imaging unit 20, the light irradiation unit 30, and the image display element 42 are each driven at a predetermined timing by a driving unit (not shown) based on the control of the control unit 40.
  • the video signal processing unit 41 generates, for example, a video signal (Dt0) to be displayed on the image display element 42 based on a video signal (image signal) input from the outside, for example.
  • a video signal image signal
  • the video signal processing unit 41 includes, for example, an FPGA (Field Programmable Gate Array) or a GPU (Graphics Processing Unit), and uses the correction coefficient output from the imaging signal processing unit 43 to be described later. It corrects Dt0.
  • the video signal Dt0 generated by the video signal processing unit 41 or the corrected video signal (Dt2) is supplied to the image display element 42 by a timing controller, a driving unit (driver circuit) or the like (not shown).
  • the video signal processing unit 41 corresponds to a specific example of “correction unit” in the present disclosure.
  • the image display element 42 is, for example, a reflective liquid crystal element such as LCOS (Liquid Crystal On Silicon), a transmissive liquid crystal element, or a DMD (Digital Micromirror Device).
  • the image display element 42 modulates light from an illumination optical system (not shown) based on a video signal input from the video signal processing unit 41.
  • the light modulated by the image display element 42 is output to the projection surface A via the projection unit 10.
  • the image display element 42 may be a self-luminous element such as an organic electroluminescent element. In this case, an illumination optical system is unnecessary.
  • the imaging signal processing unit 43 includes, for example, a CPU or a GPU, and performs various types of signal processing on the captured image (imaging signal Dt1) input from the imaging unit 20.
  • the imaging signal processing unit 43 includes, for example, a distortion detection unit 44, a distortion estimation unit 45, and a correction coefficient calculation unit 46.
  • the distortion detection unit 44, the distortion estimation unit 45, and the correction coefficient calculation unit 46 correspond to specific examples of “detection unit”, “estimation unit”, and “correction coefficient calculation unit” in the present disclosure, respectively.
  • the distortion detection unit 44 calculates a distortion amount of the linear light L2a (a first distortion amount, a distortion amount dr described later) by a predetermined calculation. It is calculated using processing.
  • the distortion amount dr is caused by the non-flatness (unevenness) of the projection surface A, and here, the deformation amount of the linear light L2a in the vertical direction (Y direction) orthogonal to the horizontal direction (X direction). It is.
  • the distortion estimation unit 45 calculates a distortion amount (second distortion amount, a distortion amount dp described later) of the projection image based on the distortion amount dr of the linear light L2a using a predetermined calculation process.
  • the distortion amount dp is caused by the non-flatness (unevenness) of the projection surface A, and is, for example, the deformation amount of the projection image in the vertical direction (Y direction).
  • the correction coefficient calculation unit 46 calculates a correction coefficient for applying a deformation that cancels the distortion amount dp to the projection image based on the distortion amount dp calculated by the distortion estimation unit 45.
  • the storage unit 47 stores, for example, programs and data handled by the control unit 40.
  • FIG. 4 is a schematic diagram for explaining the distortion amount of the projected image due to the non-flatness of the projection surface A.
  • 5A and 5B are perspective views for explaining the structure of the wall surface.
  • FIG. 6 is a diagram illustrating the flow of the image correction operation.
  • FIG. 7 is a schematic diagram illustrating an example of a pattern image.
  • FIG. 8 is a schematic diagram showing a captured image of a pattern image and linear light.
  • FIG. 9 is a schematic diagram for explaining a reference line setting operation and a difference value calculating operation.
  • FIG. 10 is a schematic diagram illustrating parameters used in the calculation processing when estimating the distortion amount of the projection image.
  • the “image correction method” of the present disclosure is embodied by the operation of the projection display device 1 described below, the description thereof is omitted.
  • a video (image) based on the video signal Dt 0 (or a video signal Dt 2 described later) is displayed on the image display element 42 in a state of being arranged in front of the projection surface A (arranged on the installation surface B). Then, this image (projection light L1) is projected onto the projection surface A via the projection unit 10. In this way, an image can be displayed on the projection surface A.
  • the projection surface A is a wall surface or the like, it is difficult to ensure flatness.
  • the wall surface is likely to be uneven mainly along a certain direction (for example, horizontal direction, X direction), and in other directions (for example, vertical direction, Y direction). Tend to rarely occur.
  • the unevenness of the wall surface is caused by a dimensional error in a structural material for placing a gypsum board that is a base for wallpaper or painting, or a construction deviation. .
  • the projection surface A such as a wall surface is basically uneven only in a certain direction.
  • noticeable unevenness that may affect the projected image occurs along a certain direction (here, the X direction).
  • projection surface A ′ Assuming a concave portion (projection surface A ′) in such a projection surface A, projection is performed according to the amount of displacement (displacement amount da between the projection surfaces A and A ′) due to the unevenness (dent).
  • the projection light L1 On the surface A ′, the projection light L1 is incident on the position (p11) above the upper end position p1 of the projection surface A (Y direction positive side).
  • the projection surface A (projection surface A ′) is observed by the user from the front (from the observation direction Dz), distortion such as undulation in the projection image due to the unevenness of the projection surface A is visually recognized.
  • the distortion generated in the projected image becomes larger as it approaches the upper end position p1 in the projection range B1.
  • FIG. 6 shows the flow of image correction processing according to the present embodiment.
  • the imaging signal processing unit 43 corrects the distortion of the projection image based on the captured image of the linear light L2a.
  • the light irradiation unit 30 is disposed closer to the projection surface A than the emission port 10B of the projection unit 10.
  • the light irradiation unit 30 is configured such that the linear light L2a (laser light L2) is irradiated at a shallower incident angle (a1 ′> a2 ′) with respect to the projection surface A than the projection light L1. Yes.
  • the laser light L2 output toward the upper end position p1 of the projection surface A is incident on the position p12 on the projection surface A ′, which is further above the position p11 where the projection light L1 is incident.
  • the distortion amount dr (first distortion amount) of the linear light L2a is larger than the distortion amount dp (second distortion amount) of the projection image (dr> dp).
  • the distance between the positions p1 and p12 along the Y direction of the linear light L2a corresponds to the distortion amount dr
  • the distance between the positions p1 and p11 along the Y direction of the projection light L1 corresponds to the distortion amount dp.
  • the linear light L2a is distorted.
  • the distortion of the projection image is estimated based on the distortion of the linear light L2a, and correction is performed.
  • the projection unit 10 projects the pattern image 120 onto the projection surface A, and the light irradiation unit 30 irradiates the linear light L2a toward the upper end position p1 (step S11 illustrated in FIG. 6).
  • An example of the pattern image 120 is shown in FIG.
  • the pattern image 120 is, for example, a regular arrangement of lines or points (dots).
  • a pattern in a grid shape (lattice shape) is shown.
  • the pattern image 120 specifies the coordinates when calculating the distortion amount of the linear light L2a described later.
  • the vertical line in the pattern image 120 specifies the horizontal coordinate (X coordinate) of the sampling point when calculating the distortion amount.
  • the interval in the horizontal direction (X direction) of the lines in the pattern image 120 is the sampling interval at the time of distortion detection, it is desirable that the interval in the horizontal direction is narrower because the correction accuracy increases.
  • the installation position of the projection display device 1 is finely adjusted according to the shape and position of the pattern image 120 and the linear light L2a displayed on the projection surface A (step S12). Specifically, the installation position is finely adjusted as necessary so that the horizontal line of the pattern image 120 on the projection surface A and the linear light L2a are substantially parallel. This fine adjustment is performed manually by the user, for example.
  • the projection display device 1 may be equipped with an adjustment function and automatically performed by the adjustment function.
  • the imaging unit 20 individually captures the pattern image 120 and the linear light L2a displayed on the projection surface A (step S13). Specifically, first, the imaging unit 20 captures the projection surface A in a state where the projection unit 10 projects the pattern image 120 onto the projection surface A and the light irradiation unit 30 does not irradiate the linear light L2a. Thereafter, the imaging unit 20 captures the projection surface A in a state where the light irradiation unit 30 irradiates, for example, the upper end position p1 of the projection surface A with the linear light L2a and the projection unit 10 does not project the pattern image 120. .
  • the imaging order of the pattern image 120 and the linear light L2a may be reversed. However, the pattern image 120 and the linear light L2a may be photographed at the same time according to the contents of the arithmetic processing described later.
  • FIG. 8 schematically shows a captured image of the pattern image 120 (captured image 120A) and a captured image of the linear light L2a (captured image L2a1).
  • wavy distortion occurs due to the unevenness of the projection surface A.
  • the amount of distortion in the Y direction of the captured image 120A of the pattern image 120 is the largest at the upper end position p1 and decreases as it approaches the lower end position p2.
  • the distortion amount of the linear light L2a in the Y direction of the captured image L2a1 (distortion amount corresponding to the distortion amount dr) is larger than the distortion amount at the upper end position p1 of the captured image 120A.
  • the imaging signal Dt1 including the captured image L2a1 of the linear light L2a and the captured image 120A of the pattern image 120 is output to the imaging signal processing unit 43.
  • the imaging signal processing unit 43 performs lens distortion correction and projection conversion to a front-view image on each of the captured image L2a1 of the linear light L2a and the captured image 120A of the pattern image 120 (Ste S14).
  • the distortion detection unit 44 performs these processes on each of the captured image L2a1 of the linear light L2a and the captured image 120A of the pattern image 120. Thereby, the distortion of the linear light L2a can be detected with high accuracy.
  • the distortion detection unit 44 performs a thinning process on each of the captured images L2a1 and 120A subjected to each process of step S14 (step S15).
  • the captured images L2a1 and 120A are thinned to a width corresponding to one pixel, for example.
  • the distortion of the linear light L2a can be detected with high accuracy.
  • the distortion detection unit 44 sets a reference line based on the captured image L2a1 of the linear light L2a (step S16).
  • the reference line can be calculated by a technique such as linear fitting for the captured image L2a1.
  • An example is shown in FIG.
  • a linear reference line 130 is set for the captured image L2a1 of the linear light L2a.
  • the distortion detector 44 calculates the distortion amount dr of the captured image L2a1 of the linear light L2a based on the linear light L2a and the captured images L2a1 and 120A of the pattern image 120 (step S17). Specifically, the difference value between the captured image L2a1 of the linear light L2a and the reference line 130 is calculated at a selective point on the captured image 120A of the pattern image 120. For example, as shown in FIG. 9, the horizontal coordinate (X coordinate) of the vertical line of the captured image 120A of the pattern image 120 is the horizontal coordinate of the sampling point (..., x-1, x, x + 1, ...: x is an integer).
  • a difference value S (x) in the vertical direction (Y direction) between the captured image L2a1 and the reference line 130 is calculated.
  • the distortion amount dr (specifically, the distortion amount dr (x)) can be calculated from the difference value S (x).
  • the signal Dt11 for the distortion amount dr is output to the distortion estimation unit 45.
  • the distortion estimation unit 45 estimates the distortion amount dp of the projection image based on the input signal Dt11 (step S18).
  • the projection surface A has unevenness mainly in one direction, here the horizontal direction (X direction), and there is a tendency that the unevenness hardly occurs in the vertical direction (Y direction) orthogonal to the horizontal direction.
  • the displacement amount da due to the unevenness of the projection surface A at a certain horizontal coordinate x can be regarded as being constant from the upper end position p1 to the lower end position p2 of the projection range B1.
  • the distortion amount of the linear light L2a (laser light L2) is dr
  • the distortion amount of the projection image (projection light L1) is dp
  • the elevation angle of the projection light L1 (the emission angle of the projection light L1) is a1
  • the linear light L2a the elevation angle of the laser beam L2 (the emission angle of the laser beam L2) is a2 (see FIG. 10)
  • the elevation angle of the laser beam L2 is a2 (see FIG. 10)
  • da dr / tan (a2)
  • dp da ⁇ tan (a1)
  • dp [tan (a1) / tan (a2)] ⁇ dr (3)
  • the elevation angles a1 and a2 are values determined by design specifications or measurement of the projection display device 1, if the distortion amount dr of the linear light L2a can be detected, the displacement da of the projection surface A
  • the distortion amount dp of the projected image can be calculated by arithmetic processing. Strictly speaking, as the distance from the irradiation position of the linear light L2a (here, the upper end position p1) increases, the displacement amount da slightly changes, and an error may occur in the estimated distortion amount dp. However, the lower the projection range B1 (closer to the lower end position p2), the smaller the elevation angle a1 and the smaller the amount of distortion dp, the smaller the influence of errors.
  • the signal Dt12 for the distortion amount dp estimated in this way is output to the correction coefficient calculation unit 46.
  • the correction coefficient calculation unit 46 calculates a correction coefficient based on the input signal Dt12 (step S19). Specifically, based on the distortion amount dp of the projection image, a correction coefficient for performing a deformation that cancels the distortion amount dp on the projection image is calculated.
  • the correction coefficient calculation unit 46 can set a correction coefficient in consideration of such a change in the distortion amount dp and perform distortion correction of the projected image.
  • correction coefficients may be set so that correction is performed.
  • the calculated correction coefficient (correction coefficient signal Dt13) is held in the storage unit 47, for example.
  • the correction coefficient signal Dt13 may be directly input to the video signal processing unit 41.
  • the video signal processing unit 41 performs geometric correction processing of the projected image (video signal Dt0) using the correction coefficient signal Dt13 held in the storage unit 47 (step S20).
  • the corrected projection image data (video signal Dt2) is sent to the image display element 42 at a predetermined timing under the control of the control unit 40. In this way, an image that has been subjected to distortion correction due to the non-flatness of the projection surface A can be projected onto the projection surface A.
  • a series of processing operations by the imaging signal processing unit 43 and the video signal processing unit 41 are the projection type as described above. It may be performed by an electronic circuit mounted in the display device 1 or may be executed by software in the control unit 40 or an external device, for example.
  • the imaging signal processing unit 43 and the video signal processing unit 41 are configured by one or a plurality of electronic circuit devices (such as a CPU or a GPU).
  • the processing operations may be performed by one electronic circuit device. It may be performed by a circuit device.
  • FIG. 11A and FIG. 12 show numerical examples of each parameter.
  • FIG. 11B shows an enlarged view of the vicinity of the upper end position p1 in FIG. 11A.
  • the size of the projection range B1 of the projection display device 1 is 150 inches
  • the elevation angle of the imaging unit 20 (camera) (the elevation angle of the optical axis of the imaging unit 20) is 57.2 °
  • the diagonal field angle Is 76.7 ° and the number of pixels is 20.7 megapixels.
  • the angle at which the imaging unit 20 looks at the upper end position p1 is 72.39 °
  • the angle at which the upper end position p11 is seen is 72.40 °.
  • the elevation angle a1 of the projection light L1 incident on the upper end position p1 is 74.8 °
  • the elevation angle a2 of the laser light L2 incident on the upper end position p1 is 82.4 °.
  • the distortion amount dr of the linear light L2a is 22.5 mm
  • the distortion amount dp of the projection image (pattern image 120) is 11.0 mm.
  • the displacement amount da of the projection surface A is 3 mm.
  • the distortion amount dc2 seen from the mounting position of the imaging unit 20 is 4.1 mm with respect to the distortion amount dr of 22.5 mm when viewed from the front. Since the size of 4.1 mm corresponds to, for example, about 8 pixels of the camera, the distortion amounts dc2 and dr can be detected from the captured image with sufficient accuracy. Since the distortion amount dp of the projection image can be estimated by the arithmetic processing as described above, the distortion amount dr of the linear light L2a can be easily converted into the distortion amount dp of the projection image. Thus, by estimating the distortion amount dp of the projection image based on the distortion amount dr of the linear light L2a, the detection sensitivity of the distortion amount dp can be increased, and the correction accuracy can be improved.
  • the light irradiation unit 30 is predetermined with respect to the projection surface A at an incident angle (a2 ′) shallower than the incident angle (a1 ′) of the projection light L1.
  • the linear light L ⁇ b> 2 a is irradiated, and the linear light L ⁇ b> 2 a is captured by the imaging unit 20 having an optical axis different from that of the light irradiation unit 30.
  • the imaging signal processing unit 43 and the video signal processing unit 41 correct the distortion of the projection image based on the captured image of the linear light L2a. Thereby, the distortion of the image resulting from the non-flatness of the projection surface A can be corrected without the user installing or photographing the camera. Therefore, it is possible to improve the image quality of the projected image while maintaining convenience.
  • FIG. 13 is a schematic diagram illustrating a schematic configuration and a usage state of a projection display device according to a modification.
  • the light irradiation part 30 demonstrated the case where the linear light L2a was irradiated toward the upper end position p1 of the projection range B1, like this modification, the light irradiation part 30 is a projection range. You may be comprised so that the linear light L2a can be irradiated toward several positions among B1.
  • the elevation angle (emission angle) a2 of the laser light L2 is variable.
  • the laser beams L21, L22, and L23 can be emitted at the elevation angles a21, a22, and a23, respectively.
  • the laser beam L21 is emitted at an elevation angle a21 toward the uppermost position p3, for example, the laser beam L22 is emitted at an elevation angle a22 toward a position p4 below the position p3, and the laser beam L23 is emitted from the position p4. Is emitted toward the lower position p5 at the elevation angle a23.
  • the projection range B1 is divided into several regions, and the linear light L2a is irradiated to each of the divided regions.
  • the elevation angle a2 of the laser light L2 can be changed using, for example, a stepping motor or the like, and the linear light L2a can be sequentially irradiated onto the positions p3, p4, and p5.
  • the light irradiation unit 30 may include a plurality of laser light sources with different elevation angles of the output laser light.
  • the light irradiation unit 30 includes a first laser light source that emits a laser beam L21 at an elevation angle a21 toward the position p3, a second laser light source that emits a laser beam L22 at an elevation angle a22 toward the position p4, and You may have the 3rd laser light source which radiate
  • the linear light L2a can be irradiated sequentially or simultaneously to the positions p3, p4, and p5.
  • the light irradiation part 30 is arrange
  • the linear light L2a formed by the laser light L22 is applied to the projection surface A at an incident angle shallower than the projection light L12 emitted toward the position p4 at the elevation angle a12.
  • the linear light L2a formed by the laser light L23 is applied to the projection surface A at an incident angle shallower than the projection light L13 emitted toward the position p5 at the elevation angle a13.
  • the imaging signal processing unit 43 and the video signal processing unit 41 project based on the captured image of the linear light L2a irradiated to each of a plurality of positions.
  • the distortion of the image is corrected for each region corresponding to the irradiation position of the linear light L2a.
  • the projection range B1 is virtually divided into three regions E1, E2, E3 along the Y direction (vertical direction), and the linear light L2a is sequentially irradiated to each of the divided regions E1, E2, E3. Each time, the projection surface A is photographed.
  • the series of signal processing operations detection of the distortion amount dr, estimation of the distortion amount dp, calculation of the correction coefficient, and image correction) described in the above embodiment are performed based on the captured images of the regions E1, E2, and E3. Made.
  • the linear light L2a irradiated to the position p3 in the region E1 is photographed, and the distortion amount dr1 of the linear light L2a is detected.
  • the distortion amount dr1 corresponds to the distance along the Y direction between the position p3 on the projection surface A and the position on the projection surface A ′ (the position where the laser beam L21 enters on the projection surface A ′) p31.
  • the linear light L2a irradiated to the position p4 in the region E2 is photographed, and the distortion amount dr2 of the linear light L2a is detected.
  • the distortion amount dr2 corresponds to the distance along the Y direction between the position p4 on the projection surface A and the position on the projection surface A ′ (position where the laser light L22 is incident on the projection surface A ′) p41.
  • the linear light L2a applied to the position p5 in the region E3 is photographed, and the distortion amount dr3 of the linear light L2a is detected.
  • the distortion amount dr3 corresponds to the distance along the Y direction between the position p5 on the projection surface A and the position on the projection surface A ′ (position where the laser beam L23 is incident on the projection surface A ′) p51.
  • the linear light L2a is irradiated at three positions, and the projection range B1 is divided into three areas.
  • the number of divisions of the areas is not limited to this, but two. Or four or more.
  • the distortion amounts dp1, dp2, and dp3 of the projected image are estimated based on the distortion amounts dr1, dr2, and dr3 for the areas E1, E2, and E3 thus detected.
  • the distortion amount dp1 corresponds to the distance along the Y direction between the position p3 on the projection surface A and the position on the projection surface A ′ (the position where the projection light L11 is incident on the projection surface A ′) p32.
  • the distortion amount dp2 corresponds to the distance along the Y direction between the position p4 on the projection surface A and the position on the projection surface A ′ (the position where the projection light L12 enters on the projection surface A ′) p42.
  • the distortion amount dp3 corresponds to the distance along the Y direction between the position p5 on the projection surface A and the position on the projection surface A ′ (a position where the projection light L13 is incident on the projection surface A ′) p52.
  • the distortion amount dp (n) of the projected image in each area En when divided into n areas (n is an integer equal to or greater than 2) is calculated using the following conditional expressions (4) to (6). Can be calculated.
  • the displacement amount of the projection surface A is da (n)
  • the distortion amount of the linear light L2a is dr (n)
  • the distortion amount of the projection image is dp (n)
  • the elevation angle of the projection light L1n Is a1n
  • the elevation angle of the laser beam L2n is a2n.
  • the elevation angles a1n and a2n are values determined by design specifications or measurement of the projection display device 1, and therefore the distortion amount dr (n) for each region of the linear light L2a is detected. If it is possible, the displacement amount da (n) of the projection surface A and the distortion amount dp (n) of the projection image can be calculated by arithmetic processing.
  • correction can be made for each region divided along the Y direction (vertical direction), and thus is particularly effective when the displacement amount da differs in the vertical direction of the projection surface A. That is, it is possible to improve the estimation accuracy of the distortion amount of the projected image and improve the correction accuracy (very fine distortion correction can be performed).
  • the present disclosure is not limited to the above-described embodiments and the like, and various modifications can be made.
  • the linear light extension direction of the present disclosure is the horizontal direction. It is not limited to.
  • distortion in a direction orthogonal to the extending direction of the linear light can be corrected, and the extending direction of the linear light can take various directions depending on the purpose.
  • the projection surface A is a wall surface, but the projection surface A is not limited to the wall surface.
  • the projection surface A for example, various places having non-flatness can be assumed in addition to the wall surface.
  • the extending direction of the linear light may be set according to the non-flatness of the projection surface A.
  • the light irradiation part may have a mechanism that can rotate the extending direction of the linear light within the projection plane.
  • this indication can take the following structures.
  • An image display element for displaying an image;
  • a projection unit that projects an image displayed by the image display element toward a projection surface;
  • a light irradiation unit that irradiates the projection surface with linear light extending along the first direction in the projection surface at an incident angle shallower than the projection light, and
  • An imaging unit that has an optical axis different from that of the light irradiation unit and photographs the projection surface;
  • a signal processing unit that performs signal processing on an imaging signal output from the imaging unit; With The imaging unit photographs the linear light irradiated on the projection surface, The said signal processing part correct
  • the projection type display apparatus for displaying an image;
  • a light irradiation unit that irradiates the projection surface with linear light extending along the first direction in the projection surface at an incident angle shallower than the projection light, and
  • An imaging unit that has an optical axis different from that
  • the signal processing unit A detection unit that detects a first distortion amount in the linear light based on a captured image of the linear light; An estimation unit for estimating a second distortion amount in the image based on the detected first distortion amount; A correction coefficient calculation unit that calculates a correction coefficient based on the estimated second distortion amount;
  • the projection display device further including: a correction unit that corrects the image using the correction coefficient.
  • the light irradiation unit irradiates the projection surface with the linear light
  • the projection unit projects a pattern image in which lines or points are regularly arranged on the projection surface
  • the detector is A reference line is set based on the captured image of the linear light
  • a difference value between the linear light and the reference line at a selective point on the pattern image is calculated, and the first distortion is calculated from the difference value.
  • the projection display device according to (2) wherein the amount is calculated.
  • the projection display device according to any one of (2) to (5), wherein the detection unit detects a distortion amount of the linear light in a second direction orthogonal to the first direction. .
  • the projection type display device according to (6), wherein the first direction is a horizontal direction, and the second direction is a vertical direction.
  • the light irradiation unit is configured to irradiate the linear light toward an upper end position of a projection range on the projection surface.
  • the light irradiation unit according to any one of (1) to (7), Projection display device.
  • the projection display device (9) The projection display device according to (8), wherein the signal processing unit corrects a distortion of a part or the entire area of the image based on a captured image of the linear light irradiated to the upper end position.
  • the light irradiation unit is configured to be able to irradiate the linear light toward a plurality of positions in a projection range on the projection surface.
  • the projection type display device described. (11) The signal processing unit corrects distortion of the image for each region corresponding to the irradiation position of the linear light based on the captured image of the linear light irradiated to each of the plurality of positions. ) Projection type display device.
  • the projection display device according to any one of (1) to (11), wherein the light irradiation unit includes a laser light source. (13) Having a function of detecting an object approaching the light irradiation unit; The projection display device according to (12), configured to stop the irradiation of the linear light of the light irradiation unit when the object is detected. (14) The projection display device according to any one of (1) to (13), wherein the projection unit includes a short focus lens.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

投射型表示装置は、画像を表示する画像表示素子と、画像表示素子により表示された画像を投射面に向けて投射する投射部と、投射面に対し、投射面内の第１の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射する光照射部と、光照射部とは異なる光軸を有すると共に投射面を撮影する撮像部と、撮像部から出力される撮像信号に対して信号処理を施す信号処理部とを備える。撮像部は、光照射部により照射された線状光を撮影し、信号処理部は、線状光の撮影画像に基づいて投射される画像の歪みを補正する。

Description

投射型表示装置および画像補正方法
　本開示は、撮像機能を有する投射型表示装置および画像補正方法に関する。
　短焦点（超短焦点）プロジェクタと呼ばれる投射型表示装置では、極めて短い投射距離で大画面かつ高精細な映像を投射表示することが可能である。このため、ユーザが画面（投射面）に近づいた場合にも、ユーザの影などが投射面に映り込みにくく、また臨場感のある映像表示を実現することができる。例えば、居間などの壁面へ大画面映像を投影可能となり、日常空間における新たな映像表示技術として注目されている。
　一方で、このような投射型表示装置は、投射面に対して浅い角度から映像が投射されるため、投射面におけるわずかな変位（非平坦性、凹凸、段差等）の影響で、投射された画像に歪み（変形）が生じる。例えば一般家屋の壁面は、構造上、完全に平坦であることは少ない。このような平坦でない面を投射面とする場合などに、投射画像の歪みを補正し、目立たなくすることのできる機能の実現が望まれている。
　そこで、歪み校正用のパターン画像を投射して、投射されたパターン画像を別途カメラで撮影し、その撮影画像から歪みを算出して投射画像を補正する手法が提案されている（例えば、特許文献１）。また、投射画像を補正する技術としては、投射型表示装置本体に搭載されたカメラによりパターン画像を撮影し、その撮影画像に基づいて、投影画面の形状補正（台形補正）を行う方法（特許文献２）などがある。
特開２０１３－１７２４４４号公報 特開２０１０－７２４２２号公報
　しかしながら、上記特許文献１の手法では、ユーザがカメラを設置したり、撮影したりしなければならず、利便性に欠ける。また、特許文献２の装置構成では、投射面の非平坦性に起因する歪みを検出することは困難である。利便性を保ちつつ、投射画像の歪みを補正して表示画質を向上させることが可能な手法の実現が望まれている。
　利便性を保ちつつ、投射画像の画質を向上させることが可能な投射型表示装置および画像補正方法を提供することが望ましい。
　本開示の一実施の形態の投射型表示装置は、画像を表示する画像表示素子と、画像表示素子により表示された画像を投射面に向けて投射する投射部と、投射面に対し、投射面内の第１の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射する光照射部と、光照射部とは異なる光軸を有すると共に投射面を撮影する撮像部と、撮像部から出力される撮像信号に対して信号処理を施す信号処理部とを備える。撮像部は、投射面に照射された線状光を撮影し、信号処理部は、線状光の撮影画像に基づいて投射される画像の歪みを補正する。
　本開示の一実施の形態の投射型表示装置では、光照射部が投射面に対し、投射光よりも浅い入射角度で所定の線状光を照射し、この線状光を、光照射部とは異なる光軸を有する撮像部が撮影する。信号処理部が、線状光の撮影画像に基づいて投射される画像の歪みを補正する。これにより、ユーザがカメラを設置したり撮影したりすることなく、投射面の非平坦性に起因する画像の歪みを補正することができる。
　本開示の一実施の形態の画像補正方法は、投射面に向けて投射する画像を補正する際に、投射面に対し、投射面内の第１の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射し、投射面に照射された線状光を線状光とは異なる光路から撮影し、線状光の撮影画像に基づいて、投射される画像の歪みを補正する。
　本開示の一実施の形態の画像補正方法では、投射面に対し、投射光よりも浅い入射角度で所定の線状光を照射し、この線状光を線状光と異なる光路から撮影する。線状光の撮影画像に基づいて投射される画像の歪みを補正することにより、ユーザがカメラを設置したり撮影したりすることなく、投射面の非平坦性に起因する画像の歪みを補正することができる。
　本開示の一実施の形態の投射型表示装置によれば、光照射部が投射面に対し、投射光よりも浅い入射角度で所定の線状光を照射し、光照射部とは異なる光軸を有する撮影部がその線状光を撮影し、信号処理部が、線状光の撮影画像に基づいて投射される画像の歪みを補正する。これにより、利便性を保ちつつ、投射画像の画質を向上させることが可能となる。
　本開示の一実施の形態の画像補正方法によれば、投射面に対し、投射光の入射角度よりも浅い入射角度で所定の線状光を照射し、その線状光を線状光とは異なる光路から撮影し、線状光の撮影画像に基づいて投射される画像の歪みを補正する。これにより、利便性を保ちつつ、投射画像の画質を向上させることが可能となる。
　なお、上記内容は本開示の一例である。本開示の効果は、上述したものに限らず、他の異なる効果であってもよいし、更に他の効果を含んでいてもよい。
本開示の一実施の形態に係る投射型表示装置の概略構成とその使用状態とを示す側面図である。 図１に示した投射型表示装置の概略構成を表す斜視図である。 図１に示した投射型表示装置の機能ブロック図である。 投射面の非平坦性に起因する投射画像の歪みについて説明するための模式図である。 壁面の構造を説明するための斜視図である。 壁面の構造を説明するための斜視図である。 画像補正動作の流れを表す図である。 パターン画像の一例を表す模式図である。 パターン画像と線状光との撮影画像を表す模式図である。 基準線の設定動作および差分値の算出動作を説明するための模式図である。 投射画像の歪み推定時の演算処理で用いるパラメータを示す図である。 投射光撮影時のパラメータの数値例を示した図である。 図１１Ａの上端位置付近の拡大図である。 線状光撮影時のパラメータの数値例を示した図である。 変形例に係る投射型表示装置の構成とその使用状態と示す側面図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（投射光の入射角度よりも浅い入射角度で照射した線状光の撮影画像に基づいて、投射画像の歪み補正を行う投射型表示装置の例）
２．変形例（線状光を複数位置に照射し、各照射位置に対応する領域毎に画像補正を行う場合の例）
＜実施の形態＞
［構成］
　図１および図２は、本開示の一実施の形態に係る投射型表示装置（投射型表示装置１）の構成とその使用状態とを表したものである。また、図３は、投射型表示装置１の機能構成を表したものである。尚、図１および図２では、ＸＹ平面を投射面Ａ、ＸＺ平面を設置面Ｂとし、Ｘ方向が例えば水平方向、Ｙ方向が例えば鉛直方向に相当する。
　投射型表示装置１は、例えば部屋の壁面などの投射面Ａに向けて、短い投射距離で映像を投射するタイプ（いわゆる短焦点型または超短焦点型）のプロジェクタである。投射型表示装置１は、投射面Ａの近傍に設置された状態で使用される。ここでは、投射面Ａの近傍の床や台等の設置面Ｂに設置されて使用される例を示す。但し、投射面Ａは壁面に限定されず、他の非平坦性をもつ面、特に一定の方向に沿って凹凸を有する面を投射面Ａとすることができる。
　この投射型表示装置１は、図３に示したように、例えば投射部１０と、撮像部２０と、光照射部３０と、制御部４０と、映像信号処理部４１と、画像表示素子４２と、撮像信号処理部４３と記憶部４７とを備えている。これらの投射部１０と、撮像部２０、光照射部３０、制御部４０、映像信号処理部４１、画像表示素子４２、撮像信号処理部４３および記憶部４７は、例えば１つの外筐（筐体１１）により覆われている（筐体１１内に収容されている）。尚、本実施の形態の撮像信号処理部４３との映像信号処理部４１とが、本開示における「信号処理部」の一具体例に相当する。但し、これらの構成要素のうちの一部が筐体１１から露出して搭載されていてもよいし、筐体１１の外側に設置されていても構わない。以下、各部の具体的な構成について説明する。
　投射部１０は、画像表示素子４２により表示された画像を、投射面Ａへ向けて投射（例えば拡大投射）するものであり、例えば投射光学系１０Ａと、反射ミラー１１０とを有している。投射光学系１０Ａは、例えば投射レンズユニットを含んで構成されている。反射ミラー１１０は、投射光学系１０Ａからの出射光の光路を変換して投射面Ａへ導くものである。この反射ミラー１１０において反射された光が投射光Ｌ１となる。尚、投射光学系１０Ａのレイアウトによっては、反射ミラー１１０は設置されていなくともよい。また、投射部１０は、これらの投射光学系１０Ａおよび反射ミラー１１０の他にも、図示しない光源、照明光学系、色分離光学系および色合成光学系を含んでいてもよい。例えば、画像表示素子４２が、液晶表示素子などである場合には、投射部１０は光源を備え、この光源と投射光学系１０Ａとの間の光路上に、例えば照明光学系、色分離光学系、画像表示素子４２および色合成光学系をこの順に備える。画像表示素子４２が、有機電界発光素子などの自発光素子である場合には、投射部１０は特に光源および照明光学系を備えていなくともよい。
　投射レンズユニットは、例えば、スローレシオ（Throw Ratio）が小さい短焦点レンズを含む。ここで、スローレシオとは、投射レンズユニットから投射面Ａまでの距離（投射距離）をＬ、投射可能な映像範囲（投射範囲Ｂ１，投射画面）の幅（Ｘ方向に沿った幅）をＨとすると、Ｌ／Ｈで表される。投射範囲Ｂ１のうち、投射面Ａに対する投射光Ｌ１の仰角ａ１が最も大きくなる位置を上端位置ｐ１、仰角ａ１が最も小さくなる位置を下端位置ｐ２とする。また、後述の補正処理の際には、投射範囲Ｂ１に、補正用のパターン画像を投射する。
　撮像部２０は、例えば撮像素子と各種光学素子とを含んで構成され、投射面Ａを撮影するためのカメラである。撮像素子は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの固体撮像素子により構成されている。撮像部２０としては、例えば、広角レンズを備えたカメラが挙げられる。あるいは、撮像部２０が複数台のカメラを有し、各カメラにより得られる撮影画像をスティッチ処理して広角画像が形成されてもよい。
　この撮像部２０は、例えば筐体１１の面Ｓ１の側に、投射部１０の出射口１０Ｂおよび光照射部３０と共に搭載されている。ここでは、撮像部２０は、例えば出射口１０Ｂの近傍に配置されると共に、出射口１０Ｂよりも観察者側の位置（Ｚ方向正側の位置）に設置されている。これにより、投射範囲Ｂ１と略同等の範囲（撮像範囲Ｂ２）を撮像可能となっている。撮像範囲Ｂ２は、例えば投射範囲Ｂ１よりも上下方向（Ｙ方向）および左右方向（Ｘ方向）の幅が大きく設定されている。この撮像部２０は、光照射部３０とは異なる光軸を有している（撮像部２０のカメラの光軸と光照射部３０の光軸とが一致しないように配置されている）。これにより、撮像部２０は、光照射部３０から出力されたレーザ光Ｌ２の光路（線状光Ｌ２ａの照射光路）とは異なる光路から投射面Ａを撮影する。この撮像部２０によって撮影された画像（撮像信号Ｄｔ１）は、撮像信号処理部４３へ出力される。
　光照射部３０は、投射画像の歪み補正用（校正用）に使用される光源部である。この光照射部３０は、例えばレーザ光Ｌ２を出力し、投射面Ａに対して、投射面Ａ内の一方向（第１の方向）に沿って延伸する（線状を成す）線状光Ｌ２ａを照射するレーザ光源を有している。線状光Ｌ２ａは、例えば鉛直方向（第２の方向，Ｙ方向）に垂直な水平方向（第１の方向，Ｘ方向）に沿って延伸するラインレーザビームである。光照射部３０は、指向性の高いレーザ光Ｌ２を出力するレーザ光源を有することが望ましいが、投射面Ａに対して線状に光を照射可能であれば、例えばＬＥＤ光源等の他の光源を用いたものでも構わない。また、線状光Ｌ２ａの波長は可視域のものであってもよいし、例えば近赤外線（ＮＩＲ：Near infrared）などの非可視域のものであってもよい。
　投射型表示装置１には、この光照射部３０と共に、ユーザ等の物体が光照射部３０に接近した（近づいた）ことを検知する機能（例えば人感センサ等）が搭載され、物体が検知された場合には線状光Ｌ２ａの照射を停止する、ように構成されていることが望ましい。指向性の高い線状光Ｌ２ａが、ユーザの眼に影響を及ぼすことを抑止することができるためである。
　線状光Ｌ２ａの仰角（レーザ光Ｌ２の出射角度）ａ２は、固定であってもよいし可変であってもよい。換言すると、投射面Ａにおける線状光Ｌ２ａの照射位置は、固定であってもよいし可変であってもよい。仰角ａ２は、投射型表示装置１が投射面Ａに対して真正面に（投射範囲Ｂ１が矩形状となるように）設置された場合に、投射範囲Ｂ１と重畳するいずれかの位置に線状光Ｌ２ａが照射されるように調整されている。あるいは、撮像範囲Ｂ２内であれば、投射範囲Ｂ１の外側、例えば上端位置ｐ１よりも上方の位置に線状光Ｌ２ａが照射されてもよい。
　但し、本実施の形態のように、仰角ａ２が、投射範囲Ｂ１の上端位置ｐ１と略同等の位置に線状光Ｌ２ａが照射されるように設定されることが望ましい。投射面Ａの非平坦性に起因する歪み量は、Ｙ方向における投射面Ａの凹凸の度合いが等しい（一定である）場合であっても、投射範囲Ｂ１内のＹ方向の位置によって異なる。即ち、歪み量は、投射範囲Ｂ１のうち、投射光Ｌ１の仰角ａ１が最も大きくなる上端位置ｐ１において最も大きく、仰角ａ１が最も小さくなる下端位置ｐ２において最も小さくなる。このため、上端位置ｐ１に線状光Ｌ２ａを照射し、この線状光Ｌ２ａの撮影画像に基づいて後述の歪み検出を行うことで、歪み量の検出感度を高めることができる。
　この光照射部３０は、筐体１１の面Ｓ１において、投射部１０の出射口１０Ｂよりも投射面Ａ側の位置に配置されている。換言すると、光照射部３０は、線状光Ｌ２ａ（レーザ光Ｌ２）の投射面Ａへの入射角度ａ２’が、投射光Ｌ１の入射角度ａ１’よりも浅い角度（ａ１’＞ａ２’）で照射されるように構成されている。これにより、詳細は後述するが、投射面Ａの非平坦性に起因して、線状光Ｌ２ａが投射光Ｌ１よりも大きく歪み易くなる。また、この光照射部３０の光軸は、撮像部２０のカメラの光軸とは一致しないように配置されている（撮像部２０とは異なる光軸を有している）。これにより、線状光Ｌ２ａとは異なる光路から、投射面Ａ上の線状光Ｌ２ａが撮影されるため、線状光Ｌ２ａの撮影画像では、線状光Ｌ２ａに歪みが生じる。この線状光Ｌ２ａの撮影画像の歪みに基づいて投射画像の歪みを推定し、補正を行うことが可能となる。
　制御部４０は、例えばＣＰＵ（Central Processing Unit：中央処理装置）などを含んで構成されている。この制御部４０は、投射型表示装置１内の各部の動作を制御するものである。尚、例えば投射部１０、撮像部２０、光照射部３０および画像表示素子４２はそれぞれ、この制御部４０の制御に基づいて、図示しない駆動部により所定のタイミングで駆動される。
　映像信号処理部４１は、例えば外部より入力される映像信号（画像信号）に基づいて、例えば画像表示素子４２に表示するための映像信号（Ｄｔ０）を生成するものである。例えば、外部入力信号に基づいて、例えばＲ，Ｇ，Ｂの各色に応じた映像信号Ｄｔ０を生成する。この映像信号処理部４１は、また、例えばＦＰＧＡ（Field Programmable Gate Array）またはＧＰＵ（Graphics Processing Unit）等を含んで構成され、後述する撮像信号処理部４３から出力された補正係数を用いて映像信号Ｄｔ０を補正するものである。この映像信号処理部４１により生成された映像信号Ｄｔ０または補正後の映像信号（Ｄｔ２）は、図示しないタイミングコントローラや駆動部（ドライバ回路）などにより画像表示素子４２へ供給される。この映像信号処理部４１が、本開示における「補正部」の一具体例に相当する。
　画像表示素子４２は、例えばＬＣＯＳ（Liquid Crystal On Silicon）等の反射型の液晶素子、透過型の液晶素子あるいはＤＭＤ（Digital Micromirror Device）である。画像表示素子４２は、図示しない照明光学系からの光を、映像信号処理部４１から入力される映像信号に基づいて変調するものである。画像表示素子４２によって変調された光は、投射部１０を介して投射面Ａへ出力される。尚、画像表示素子４２は、例えば有機電界発光素子などの自発光素子であってもよく、その場合には、照明光学系は不要である。
　撮像信号処理部４３は、例えばＣＰＵまたはＧＰＵなどを含んで構成され、撮像部２０から入力された撮影画像（撮像信号Ｄｔ１）に対して各種の信号処理を施すものである。この撮像信号処理部４３は、例えば歪み検出部４４と、歪み推定部４５と、補正係数算出部４６とを含んで構成されている。尚、歪み検出部４４、歪み推定部４５および補正係数算出部４６が、本開示における「検出部」、「推定部」および「補正係数算出部」の一具体例にそれぞれ相当する。
　歪み検出部４４は、撮像部２０から入力された、撮影画像（撮像信号Ｄｔ１）に基づいて、線状光Ｌ２ａの歪み量（第１の歪み量、後述の歪み量ｄｒ）を、所定の演算処理を用いて算出するものである。歪み量ｄｒは、投射面Ａの非平坦性（凹凸）に起因して生じるものであり、ここでは、水平方向（Ｘ方向）に直交する鉛直方向（Ｙ方向）における線状光Ｌ２ａの変形量である。
　歪み推定部４５は、線状光Ｌ２ａの歪み量ｄｒに基づいて、投射画像の歪み量（第２の歪み量，後述の歪み量ｄｐ）を、所定の演算処理を用いて算出するものである。歪み量ｄｐは、投射面Ａの非平坦性（凹凸）に起因して生じるものであり、例えば鉛直方向（Ｙ方向）における投射画像の変形量である。
　補正係数算出部４６は、歪み推定部４５によって算出された歪み量ｄｐに基づいて、その歪み量ｄｐを打ち消すような変形を投射画像に施すための補正係数を算出するものである。
　記憶部４７は、例えば制御部４０において取り扱われるプログラムやデータ等を記憶するものである。
［動作］
　本実施の形態の投射型表示装置１の動作について、図１～図１０を参照して説明する。図４は、投射面Ａの非平坦性に起因する投射画像の歪み量について説明するための模式図である。図５Ａおよび図５Ｂは、壁面の構造を説明するための斜視図である。図６は、画像補正動作の流れを表す図である。図７は、パターン画像の一例を表す模式図である。図８は、パターン画像と線状光との撮影画像を表す模式図である。図９は、基準線の設定動作および差分値の算出動作を説明するための模式図である。図１０は、投射画像の歪み量を推定する際の演算処理で用いるパラメータを示す模式図である。尚、本開示の「画像補正方法」は、以下の投射型表示装置１の動作によって具現化されるため、その説明を省略する。
　投射型表示装置１では、投射面Ａの正面に配置（設置面Ｂに配置）された状態で、映像信号Ｄｔ０（または後述の映像信号Ｄｔ２）に基づく映像（画像）が画像表示素子４２において表示されると、この映像（投射光Ｌ１）が、投射部１０を介して投射面Ａ上に投射される。このようにして、投射面Ａに映像を表示することができる。
　ところが、図４に模式的に示したように、投射面Ａが例えば壁面等である場合、平坦性が確保されにくい。例えば、一般的な家屋の壁面を想定した場合、壁面には、主に一定の方向（例えば水平方向，Ｘ方向）に沿って凹凸が生じ易く、他の方向（例えば鉛直方向，Ｙ方向）にはほとんど生じない、という傾向がある。これは、図５Ａおよび図５Ｂに示したように、壁面の凹凸が、壁紙や塗装の下地となる石膏ボードを打ち付けるための構造材における寸法誤差、あるいは施工ずれ等に起因して生じるためである。このように、壁面等の投射面Ａでは、基本的に凹凸が一定の方向にのみ生じていると見做すことができる。換言すると、投射面Ａでは、一定の方向（ここではＸ方向）に沿って、投射画像に影響を及ぼし得る顕著な凹凸が生じる。
　このような投射面Ａにおいて、凹んでいる部分（投射面Ａ’とする）を想定すると、その凹凸（凹み）による変位量（投射面Ａ，Ａ’間の変位量ｄａ）に応じて、投射面Ａ’では、投射面Ａの上端位置ｐ１よりも上方（Ｙ方向正側）の位置（ｐ１１）に、投射光Ｌ１が入射する。この結果、投射面Ａ（投射面Ａ’）がユーザにより正面から（観察方向Ｄｚから）観察された場合、投射面Ａの凹凸に起因して、投射画像に波打ったような歪みが視認される。この投射画像に生じる歪みは、投射範囲Ｂ１内の上端位置ｐ１に近づくほど大きなものとなる。
　そこで、本実施の形態では、投射画像に対し、上記のような歪みを補正する処理を施す。図６は、本実施の形態の画像補正処理の流れを表したものである。
　具体的には、撮像信号処理部４３が、線状光Ｌ２ａの撮像画像に基づいて、投射画像の歪みを補正する。ここで、上記のように、光照射部３０は、投射部１０の出射口１０Ｂよりも投射面Ａ側に配置されている。換言すると、光照射部３０は、線状光Ｌ２ａ（レーザ光Ｌ２）が、投射光Ｌ１よりも投射面Ａに対して浅い入射角度（ａ１’＞ａ２’）で照射されるように構成されている。これにより、投射面Ａの上端位置ｐ１に向けて出力されたレーザ光Ｌ２は、投射面Ａ’上の、投射光Ｌ１の入射する位置ｐ１１よりも更に上方の位置ｐ１２に入射する。このため、線状光Ｌ２ａの歪み量ｄｒ（第１の歪み量）は、投射画像の歪み量ｄｐ（第２の歪み量）よりも大きくなる（ｄｒ＞ｄｐ）。線状光Ｌ２ａのＹ方向に沿った位置ｐ１，ｐ１２間の距離が歪み量ｄｒに相当し、投射光Ｌ１のＹ方向に沿った位置ｐ１，ｐ１１間の距離が歪み量ｄｐに相当する。
　また、この光照射部３０が撮像部２０のカメラとは異なる光軸上に配置されることから、撮像部２０による線状光Ｌ２ａの撮影画像では、線状光Ｌ２ａに歪みが生じる。本実施の形態では、この線状光Ｌ２ａの歪みに基づいて投射画像の歪みを推定し、補正を行う。
　即ち、まず、投射面Ａに対し、投射部１０がパターン画像１２０を投射すると共に、光照射部３０が上端位置ｐ１に向けて線状光Ｌ２ａを照射する（図６に示したステップＳ１１）。パターン画像１２０の一例を図７に示す。パターン画像１２０は、例えば線または点（ドット）が規則的に配置されたものであり、ここでは一例として、グリッド状（格子状）のパターンを示している。パターン画像１２０は、後述の線状光Ｌ２ａの歪み量を算出する際の座標を特定するものである。例えば、パターン画像１２０における縦線が、歪み量を算出する際のサンプリングポイントの水平座標（Ｘ座標）を特定する。また、このパターン画像１２０における線の水平方向（Ｘ方向）における間隔が、歪み検出時のサンプリング間隔となるため、水平方向における間隔は狭い方が、補正精度が高まるため望ましい。
　続いて、投射面Ａに表示されたパターン画像１２０と線状光Ｌ２ａとの形状および位置等に応じて、投射型表示装置１の設置位置を微調整する（ステップＳ１２）。具体的には、投射面Ａ上のパターン画像１２０の横線と、線状光Ｌ２ａとが略平行となるように、必要に応じて、設置位置を微調整する。尚、この微調整は、例えばユーザが手動で行う。あるいは、投射型表示装置１に調整機能を搭載し、その調整機能により自動で行われてもよい。
　次に、撮像部２０が、投射面Ａに表示されたパターン画像１２０と線状光Ｌ２ａとをそれぞれ個別に撮像する（ステップＳ１３）。具体的には、まず、投射部１０がパターン画像１２０を投射面Ａに投射し、光照射部３０が線状光Ｌ２ａを照射していない状態で、撮像部２０が投射面Ａを撮影する。この後、光照射部３０が投射面Ａの例えば上端位置ｐ１に線状光Ｌ２ａを照射し、投射部１０がパターン画像１２０を投射していない状態で、撮像部２０が投射面Ａを撮影する。パターン画像１２０と線状光Ｌ２ａとの撮影順序は逆でもよい。但し、後述の演算処理内容に応じて、パターン画像１２０と線状光Ｌ２ａとを同時に撮影しても構わない。
　図８は、パターン画像１２０の撮影画像（撮影画像１２０Ａ）と、線状光Ｌ２ａの撮影画像（撮影画像Ｌ２ａ１）とを模式的に表したものである。このように、線状光Ｌ２ａおよびパターン画像１２０の撮影画像Ｌ２ａ１，１２０Ａのいずれにおいても、投射面Ａの凹凸に起因して波打ったような歪みが生じる。また、パターン画像１２０の撮影画像１２０ＡのＹ方向における歪み量（歪み量ｄｐに対応する歪み量）は、上端位置ｐ１において最も大きく、下端位置ｐ２へ近づくに従って小さくなっている。線状光Ｌ２ａの撮影画像Ｌ２ａ１のＹ方向における歪み量（歪み量ｄｒに対応する歪み量）は、撮影画像１２０Ａの上端位置ｐ１における歪み量よりも大きく生じる。これらの線状光Ｌ２ａの撮影画像Ｌ２ａ１と、パターン画像１２０の撮影画像１２０Ａとを含む撮像信号Ｄｔ１は、撮像信号処理部４３へ出力される。
　続いて、撮像信号処理部４３は、線状光Ｌ２ａの撮影画像Ｌ２ａ１と、パターン画像１２０の撮影画像１２０Ａとのそれぞれに対し、レンズディストーション補正および正面視画像への射影変換の各処理を施す（ステップＳ１４）。これらの処理は、例えば歪み検出部４４が、線状光Ｌ２ａの撮影画像Ｌ２ａ１と、パターン画像１２０の撮影画像１２０Ａとのそれぞれに対して行う。これにより、線状光Ｌ２ａの歪みを精度良く検出することができる。
　次に、歪み検出部４４は、上記のステップＳ１４の各処理を施した撮影画像Ｌ２ａ１，１２０Ａのそれぞれに対して、細線化処理を施す（ステップＳ１５）。この際、撮影画像Ｌ２ａ１，１２０Ａを、例えば１画素相当の幅まで細線化する。例えば、撮影画像Ｌ２ａ１，１２０Ａを２値化した後に細線化処理する手法、あるいは階調分布の中央値を算出して細線化する手法等を用いることができる。このような細線化処理により、線状光Ｌ２ａの歪みを精度良く検出することができる。
　続いて、歪み検出部４４は、線状光Ｌ２ａの撮影画像Ｌ２ａ１に基づいて、基準線を設定する（ステップＳ１６）。例えば、撮影画像Ｌ２ａ１に対する線形フィッティング等の手法により基準線を算出することができる。図９に、その一例を示す。このように、線状光Ｌ２ａの撮影画像Ｌ２ａ１に対して、例えば直線状の基準線１３０を設定する。
　次に、歪み検出部４４は、線状光Ｌ２ａおよびパターン画像１２０の撮影画像Ｌ２ａ１，１２０Ａに基づいて、線状光Ｌ２ａの撮影画像Ｌ２ａ１の歪み量ｄｒを算出する（ステップＳ１７）。具体的には、パターン画像１２０の撮影画像１２０Ａ上の選択的な点において、線状光Ｌ２ａの撮影画像Ｌ２ａ１と基準線１３０との差分値を算出する。例えば、図９に示したように、パターン画像１２０の撮影画像１２０Ａの縦線の水平座標（Ｘ座標）をサンプリングポイントの水平座標（…，ｘ－１，ｘ，ｘ＋１，…：ｘは整数）として、撮影画像Ｌ２ａ１と基準線１３０との鉛直方向（Ｙ方向）における差分値Ｓ（ｘ）を算出する。この差分値Ｓ（ｘ）から歪み量ｄｒ（詳細には、歪み量ｄｒ（ｘ））を算出することができる。歪み量ｄｒについての信号Ｄｔ１１は、歪み推定部４５に出力される。
　続いて、歪み推定部４５は、入力された信号Ｄｔ１１に基づいて、投射画像の歪み量ｄｐを推定する（ステップＳ１８）。上述したように、投射面Ａでは、主に一方向、ここでは水平方向（Ｘ方向）において凹凸が生じ、この水平方向に直交する鉛直方向（Ｙ方向）では凹凸がほとんど生じない傾向がある。このため、ある水平座標ｘにおける投射面Ａの凹凸による変位量ｄａは、投射範囲Ｂ１の上端位置ｐ１から下端位置ｐ２まで一定であると見做すことができる。よって、線状光Ｌ２ａ（レーザ光Ｌ２）の歪み量をｄｒ、投射画像（投射光Ｌ１）の歪み量をｄｐ、投射光Ｌ１の仰角（投射光Ｌ１の出射角度）をａ１、線状光Ｌ２ａのレーザ光Ｌ２の仰角（レーザ光Ｌ２の出射角度）をａ２とした場合（図１０を参照）、次の条件式（１）～（３）を用いた演算処理により推定することができる。
　ｄａ＝ｄｒ／ｔａｎ(ａ２) ………（１）
　ｄｐ＝ｄａ・ｔａｎ(ａ１) ………（２）
　ｄｐ＝［ｔａｎ(ａ１)／ｔａｎ(ａ２)］・ｄｒ　………（３）
　ここで、仰角ａ１，ａ２は、投射型表示装置１の設計仕様あるいは計測により決定される値であるので、線状光Ｌ２ａの歪み量ｄｒを検出することができれば、投射面Ａの変位量ｄａおよび投射画像の歪み量ｄｐを演算処理によって算出可能である。尚、厳密には、線状光Ｌ２ａの照射位置（ここでは上端位置ｐ１）から離れるに従って変位量ｄａは僅かに変化し、推定される歪み量ｄｐにも誤差が生じる可能性はある。しかしながら、投射範囲Ｂ１の下方（下端位置ｐ２に近づく）ほど、仰角ａ１が小さくなり、歪み量ｄｐも小さくなることから、誤差の影響も小さくなる。このようにして推定された歪み量ｄｐについての信号Ｄｔ１２は、補正係数算出部４６へ出力される。
　次に、補正係数算出部４６は、入力された信号Ｄｔ１２に基づいて補正係数を算出する（ステップＳ１９）。具体的には、投射画像の歪み量ｄｐに基づいて、投射画像に対して歪み量ｄｐを打ち消すような変形を施すための補正係数を算出する。ここで、仰角ａ１は、投射範囲Ｂ１の下端位置ｐ２から上端位置ｐ１に向かって徐々に大きくなることから、上記の式（２）より、歪み量ｄｐは、下端位置ｐ２から上端位置ｐ１に向かって徐々に大きくなる。このため、補正係数算出部４６は、そのような歪み量ｄｐの変化を考慮した補正係数を設定し、投射画像の歪み補正を行うことができる。あるいは、上述のように、歪み量ｄｐは、投射範囲Ｂ１の上端位置ｐ１において最も大きくなることから、投射範囲Ｂ１内の一部（例えば、歪みが生じ易い上端位置ｐ１の近傍の領域）にのみ補正が施すように補正係数が設定されても構わない。算出された補正係数（補正係数信号Ｄｔ１３）は、例えば記憶部４７に保持される。あるいは、補正係数信号Ｄｔ１３は、直接に映像信号処理部４１へ入力されてもよい。
　その後、映像信号処理部４１（補正部）は、記憶部４７に保持された補正係数信号Ｄｔ１３を用いて、投射画像（映像信号Ｄｔ０）の幾何補正処理を行う（ステップＳ２０）。補正後の投射画像のデータ（映像信号Ｄｔ２）は、制御部４０の制御に基づいて、所定のタイミングで画像表示素子４２に送られる。このようにして、投射面Ａの非平坦性に起因する歪み補正が施された映像を、投射面Ａに投射することができる。
　尚、撮像信号処理部４３および映像信号処理部４１による一連の処理動作（歪み量ｄｒの検出動作、歪み量ｄｐの推定動作、補正係数算出動作および画像補正動作）は、上述のように投射型表示装置１内に搭載された電子回路により行われてもよいし、あるいは例えば制御部４０または外部機器におけるソフトウェアによって実行されてもよい。また、撮像信号処理部４３および映像信号処理部４１（信号処理部）は、１または複数の電子回路デバイス（ＣＰＵまたはＧＰＵなど）によって構成されている。例えば、撮像信号処理部４３では、その処理動作（歪み量ｄｒの検出動作、歪み量ｄｐの推定動作および補正係数算出動作）が、１つの電子回路デバイスにより行われてもよいし、別々の電子回路デバイスにより行われてもよい。
　ここで、上記のような画像補正処理の一例について示す。図１１Ａおよび図１２に、各パラメータの数値例を示す。また、図１１Ｂには、図１１Ａの上端位置ｐ１付近を拡大したものを示す。本数値例では、投射型表示装置１の投射範囲Ｂ１のサイズは１５０インチであり、撮像部２０（カメラ）の仰角（撮像部２０の光軸の仰角）は５７．２°、対角画角は７６．７°、画素数は２０．７メガピクセルである。撮像部２０が、上端位置ｐ１を見込む角度は７２．３９°、上端位置ｐ１１を見込む角度は７２．４０°である。また、上端位置ｐ１へ入射する投射光Ｌ１の仰角ａ１は７４．８°であり、上端位置ｐ１へ入射するレーザ光Ｌ２の仰角ａ２は８２．４°である。線状光Ｌ２ａの歪み量ｄｒは２２．５ｍｍ、投射画像（パターン画像１２０）の歪み量ｄｐは１１．０ｍｍである。また、投射面Ａの変位量ｄａは３ｍｍである。
　まず、この構成において、例えば図１１Ａに示したように、投射画像の歪み量を、投射画像の撮影画像から直接的に検出する場合について述べる。この場合、正面視では（ユーザが観察する方向からは）、１１．０ｍｍもの大きな歪み量ｄｐが生じるに対し、撮像部２０の搭載位置から見える歪み量ｄｃ１は０．５ｍｍとなる。この０．５ｍｍという寸法は、例えばカメラの約１ピクセルに相当するため、投射画像の撮影画像から直接的に投射画像の歪み量ｄｃ１，ｄｐを検出するのは困難である。
　これに対し、本実施の形態のように、線状光Ｌ２ａの撮影画像に基づいて歪み量を検出する場合について述べる。この場合、図１２に示したように、正面視で２２．５ｍｍの歪み量ｄｒに対し、撮像部２０の搭載位置から見える歪み量ｄｃ２は４．１ｍｍとなる。この４．１ｍｍという寸法は、例えばカメラの約８ピクセルに相当するため、撮影画像から十分な精度で歪み量ｄｃ２，ｄｒを検出することができる。投射画像の歪み量ｄｐは、上述のように演算処理によって推定可能であることから、線状光Ｌ２ａの歪み量ｄｒを、容易に投射画像の歪み量ｄｐに換算することができる。このように、線状光Ｌ２ａの歪み量ｄｒに基づいて投射画像の歪み量ｄｐを推定することで、歪み量ｄｐの検出感度を高めることができ、補正精度を向上させることができる。
　以上のように、本実施の形態の投射型表示装置１では、光照射部３０が、投射面Ａに対し、投射光Ｌ１の入射角度（ａ１’）よりも浅い入射角度（ａ２’）で所定の線状光Ｌ２ａを照射し、この線状光Ｌ２ａを、光照射部３０とは異なる光軸を有する撮像部２０が撮影する。撮像信号処理部４３および映像信号処理部４１が、線状光Ｌ２ａの撮影画像に基づいて投射画像の歪みを補正する。これにより、ユーザがカメラを設置したり撮影したりすることなく、投射面Ａの非平坦性に起因する画像の歪みを補正することができる。よって、利便性を保ちつつ、投射画像の画質を向上させることが可能となる。
　次に、上記実施の形態の変形例について説明する。上記実施の形態と同様の構成要素については同一の符号を付し、適宜その説明を省略する。
＜変形例＞
　図１３は、変形例に係る投射型表示装置の概略構成とその使用状態を表す模式図である。上記実施の形態では、光照射部３０が、投射範囲Ｂ１の上端位置ｐ１に向けて線状光Ｌ２ａを照射する場合について説明したが、本変形例のように、光照射部３０が、投射範囲Ｂ１のうちの複数の位置に向けて線状光Ｌ２ａを照射可能に構成されていてもよい。
　本変形例の光照射部３０は、例えばレーザ光Ｌ２の仰角（出射角度）ａ２が可変となっている。例えば、仰角ａ２１，ａ２２，ａ２３で、レーザ光Ｌ２１，Ｌ２２，Ｌ２３をそれぞれ出射可能となっている。レーザ光Ｌ２１は、例えば最も上方の位置ｐ３に向けて仰角ａ２１で出射され、レーザ光Ｌ２２は、位置ｐ３よりも下方の位置ｐ４に向けて仰角ａ２２で出射され、レーザ光Ｌ２３は、位置ｐ４よりも下方の位置ｐ５に向けて仰角ａ２３で出射される。このように投射範囲Ｂ１をいくつかの領域に分割し、分割された領域毎に線状光Ｌ２ａが照射される。このレーザ光Ｌ２の仰角ａ２は、例えばステッピングモータ等を用いて変化させることができ、位置ｐ３，ｐ４，ｐ５に対し、線状光Ｌ２ａを順次照射することができる。
　あるいは、光照射部３０は、それぞれの出力レーザ光の仰角が異なる複数のレーザ光源を有していてもよい。例えば、光照射部３０は、位置ｐ３に向けて仰角ａ２１でレーザ光Ｌ２１を出射する第１のレーザ光源と、位置ｐ４に向けて仰角ａ２２でレーザ光Ｌ２２を出射する第２のレーザ光源と、位置ｐ５に向けて仰角ａ２３でレーザ光Ｌ２３を出射する第３のレーザ光源とを有していてもよい。この場合、位置ｐ３，ｐ４，ｐ５に対して、線状光Ｌ２ａを順次または同時に照射することができる。
　尚、光照射部３０は、上記実施の形態と同様、投射部１０の出射口１０Ｂよりも投射面Ａ側に配置され、かつ撮像部２０とは異なる光軸を有している。即ち、レーザ光Ｌ２１により形成される線状光Ｌ２ａは、投射面Ａに対し、仰角ａ１１で位置ｐ３へ向けて出射される投射光Ｌ１１よりも浅い入射角度で照射される。レーザ光Ｌ２２により形成される線状光Ｌ２ａは、投射面Ａに対し、仰角ａ１２で位置ｐ４へ向けて出射される投射光Ｌ１２よりも浅い入射角度で照射される。レーザ光Ｌ２３により形成される線状光Ｌ２ａは、投射面Ａに対し、仰角ａ１３で位置ｐ５へ向けて出射される投射光Ｌ１３よりも浅い入射角度で照射される。
　このような光照射部３０を備えた投射型表示装置では、撮像信号処理部４３および映像信号処理部４１が、複数の位置のそれぞれに照射された線状光Ｌ２ａの撮影画像に基づいて、投射画像の歪みを、その線状光Ｌ２ａの照射位置に対応する領域毎に補正する。
　ここでは、投射範囲Ｂ１をＹ方向（鉛直方向）に沿って仮想的に３つの領域Ｅ１，Ｅ２，Ｅ３に分割し、分割された領域Ｅ１，Ｅ２，Ｅ３毎に、線状光Ｌ２ａが順次照射され、その都度、投射面Ａが撮影される。そして、領域Ｅ１，Ｅ２，Ｅ３の各撮影画像に基づいて、上記実施の形態で述べた一連の信号処理動作（歪み量ｄｒの検出、歪み量ｄｐの推定、補正係数の算出および画像補正）がなされる。
　具体的には、領域Ｅ１の位置ｐ３に照射された線状光Ｌ２ａが撮影され、この線状光Ｌ２ａの歪み量ｄｒ１が検出される。歪み量ｄｒ１は、投射面Ａ上の位置ｐ３と投射面Ａ’上の位置（投射面Ａ’上のレーザ光Ｌ２１の入射する位置）ｐ３１とのＹ方向に沿った距離に相当する。同様に、領域Ｅ２の位置ｐ４に照射された線状光Ｌ２ａが撮影され、この線状光Ｌ２ａの歪み量ｄｒ２が検出される。歪み量ｄｒ２は、投射面Ａ上の位置ｐ４と投射面Ａ’上の位置（投射面Ａ’上のレーザ光Ｌ２２の入射する位置）ｐ４１とのＹ方向に沿った距離に相当する。領域Ｅ３の位置ｐ５に照射された線状光Ｌ２ａが撮影され、この線状光Ｌ２ａの歪み量ｄｒ３が検出される。歪み量ｄｒ３は、投射面Ａ上の位置ｐ５と投射面Ａ’上の位置（投射面Ａ’上のレーザ光Ｌ２３の入射する位置）ｐ５１とのＹ方向に沿った距離に相当する。ここでは、３つの位置に線状光Ｌ２ａを照射し、投射範囲Ｂ１を３つの領域に分割したが、領域の分割数（線状光Ｌ２ａの照射位置の数）はこれに限らず、２つであってもよいし、４つ以上であってもよい。
　このようにして検出された領域Ｅ１，Ｅ２，Ｅ３毎の歪み量ｄｒ１，ｄｒ２，ｄｒ３に基づいて、投射画像の歪み量ｄｐ１，ｄｐ２，ｄｐ３が推定される。歪み量ｄｐ１は、投射面Ａ上の位置ｐ３と投射面Ａ’上の位置（投射面Ａ’上の投射光Ｌ１１の入射する位置）ｐ３２とのＹ方向に沿った距離に相当する。歪み量ｄｐ２は、投射面Ａ上の位置ｐ４と投射面Ａ’上の位置（投射面Ａ’上の投射光Ｌ１２の入射する位置）ｐ４２とのＹ方向に沿った距離に相当する。歪み量ｄｐ３は、投射面Ａ上の位置ｐ５と投射面Ａ’上の位置（投射面Ａ’上の投射光Ｌ１３の入射する位置）ｐ５２とのＹ方向に沿った距離に相当する。
　ｎ個（ｎは２以上の整数）の領域に分割した場合の、各領域Ｅｎにおける投射画像の歪み量ｄｐ(ｎ)は、以下の条件式（４）～（６）を用いた演算処理により算出することができる。尚、領域Ｅ(ｎ)における、投射面Ａの変位量をｄａ(ｎ) 、線状光Ｌ２ａの歪み量をｄｒ(ｎ) 、投射画像の歪み量をｄｐ(ｎ) 、投射光Ｌ１ｎの仰角をａ１ｎ 、レーザ光Ｌ２ｎの仰角をａ２ｎとする。
　ｄａ(ｎ)＝ｄｒ(ｎ)／ｔａｎ(ａ２ｎ) ………（４）
　ｄｐ(ｎ)＝ｄａ(ｎ)・ｔａｎ(ａ１ｎ) ………（５）
　ｄｐ(ｎ)＝［ｔａｎ(ａ１ｎ)／ｔａｎ(ａ２ｎ)］・ｄｒ(ｎ) ………（６）
　上記実施の形態と同様、仰角ａ１ｎ，ａ２ｎは、投射型表示装置１の設計仕様あるいは計測により決定される値であるので、線状光Ｌ２ａの領域毎の歪み量ｄｒ(ｎ)を検出することができれば、投射面Ａの変位量ｄａ(ｎ)および投射画像の歪み量ｄｐ(ｎ)を演算処理によって算出することができる。
　このようにして算出された領域Ｅ(ｎ)毎の投射画像の歪み量ｄｐ(ｎ)に基づいて、領域Ｅ(ｎ)毎に補正係数が算出され、歪み補正が施される。よって、本変形例においても上記実施の形態と同様、ユーザがカメラを設置したり撮影したりすることなく、投射面Ａの非平坦性に起因する投射画像の歪みを補正することができる。よって、利便性を保ちつつ、投射画像の画質を向上させることが可能となる。
　また、本変形例では、Ｙ方向（鉛直方向）に沿って分割された領域毎の補正が可能であることから、投射面Ａの鉛直方向において変位量ｄａが異なる場合に、特に有効である。つまり、投射画像の歪み量の推定精度を高めることができ、補正精度を向上させることができる（極め細やかな歪み補正を行うことができる）。
　以上実施の形態および変形例を挙げて説明したが、本開示は、上記実施の形態等に限定されず種々の変形実施が可能である。例えば、上記実施の形態では、光照射部３０が水平方向（Ｘ方向）に沿って延伸する線状光Ｌ２ａを照射する場合について説明したが、本開示の線状光の延伸方向は、水平方向に限定されるものではない。本開示の投射型表示装置では、線状光の延伸方向と直交する方向における歪みを補正可能であり、線状光の延伸方向は、目的に応じて、様々な方向を取り得る。例えば、上記実施の形態等では、投射面Ａが壁面である場合を想定しているが、投射面Ａは壁面に限定されるものではない。投射面Ａとしては、例えば壁面の他にも、非平坦性を有する様々な場所を想定することができる。そのような投射面Ａの非平坦性に応じて、線状光の延伸方向が設定されればよい。また、光照射部が、線状光の延伸方向を投射面内において回転できるような機構を有していても構わない。
　また、上記実施の形態等において説明した効果は一例であり、本開示の効果は、他の効果であってもよいし、更に他の効果を含んでいてもよい。
　なお、本開示は以下のような構成を取ることができる。
（１）
　画像を表示する画像表示素子と、
　前記画像表示素子により表示された画像を投射面に向けて投射する投射部と、
　前記投射面に対し、前記投射面内の第１の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射する光照射部と、
　前記光照射部と異なる光軸を有すると共に、前記投射面を撮影する撮像部と、
　前記撮像部から出力される撮像信号に対して信号処理を施す信号処理部と、
　を備え、
　前記撮像部は、前記投射面に照射された線状光を撮影し、
　前記信号処理部は、前記線状光の撮影画像に基づいて、投射される前記画像の歪みを補正する
　投射型表示装置。
（２）
　前記信号処理部は、
　前記線状光の撮影画像に基づいて、前記線状光における第１の歪み量を検出する検出部と、
　検出された前記第１の歪み量に基づいて前記画像における第２の歪み量を推定する推定部と、
　推定された前記第２の歪み量に基づいて補正係数を算出する補正係数算出部と、
　前記補正係数を用いて前記画像を補正する補正部と
　を有する
　上記（１）に記載の投射型表示装置。
（３）
　前記光照射部は、前記投射面に対して前記線状光を照射し、
　前記投射部は、前記投射面に対して、線または点が規則的に配置されてなるパターン画像を投射し、
　前記検出部は、
　前記線状光の撮影画像に基づいて基準線を設定し、
　前記線状光および前記パターン画像の撮影画像に基づいて、前記パターン画像上の選択的な点における前記線状光と前記基準線との差分値を算出し、前記差分値から前記第１の歪み量を算出する
　上記（２）に記載の投射型表示装置。
（４）
　前記推定部は、前記第２の歪み量を、以下の条件式［１］～［３］を用いた演算処理により推定する
　上記（２）または（３）に記載の投射型表示装置。
　ｄａ＝ｄｒ／ｔａｎ(ａ２) ………［１］
　ｄｐ＝ｄａ・ｔａｎ(ａ１) ………［２］
　ｄｐ＝［ｔａｎ(ａ１)／ｔａｎ(ａ２)］・ｄｒ　………［３］
　但し、
　ｄａ：投射面の凹凸による変位量
　ｄｒ：線状光の歪み量（第１の歪み量）
　ｄｐ：画像の歪み量（第２の歪み量）
　ａ１：投射光の出射角度
　ａ２：線状光の出射角度
　とする。
（５）
　前記検出部は、前記線状光の撮影画像と、前記パターン画像の撮影画像とのそれぞれに対して細線化処理を施す
　上記（３）に記載の投射型表示装置。
（６）
　前記検出部は、前記線状光の前記第１の方向と直交する第２の方向における歪み量を検出する
　上記（２）～（５）のうちのいずれか１つに記載の投射型表示装置。
（７）
　前記第１の方向は水平方向であり、前記第２の方向は鉛直方向である
　上記（６）に記載の投射型表示装置。
（８）
　前記光照射部は、前記投射面における投射範囲の上端位置に向けて、前記線状光を照射するように構成されている
　上記（１）～（７）のうちのいずれか１つに記載の投射型表示装置。
（９）
　前記信号処理部は、前記上端位置に照射された線状光の撮影画像に基づいて、前記画像の一部または全域の歪みを補正する
　上記（８）に記載の投射型表示装置。
（１０）
　前記光照射部は、前記投射面における投射範囲のうちの複数の位置に向けて、前記線状光を照射可能に構成されている
　上記（１）～（９）のうちのいずれか１つに記載の投射型表示装置。
（１１）
　前記信号処理部は、前記複数の位置のそれぞれに照射された線状光の撮影画像に基づいて、前記画像の歪みを、前記線状光の照射位置に対応する領域毎に補正する
　上記（１０）に記載の投射型表示装置。
（１２）
　前記光照射部は、レーザ光源を有する
　上記（１）～（１１）のうちのいずれか１つに記載の投射型表示装置。
（１３）
　前記光照射部に接近する物体を検知する機能を有し、
　前記物体が検知された場合に、前記光照射部の前記線状光の照射を停止する、ように構成されている
　上記（１２）に記載の投射型表示装置。
（１４）
　前記投射部は、短焦点レンズを含む
　上記（１）～（１３）のうちのいずれか１つに記載の投射型表示装置。
（１５）
　投射面に向けて投射する画像を補正する際に、
　前記投射面に対し、前記投射面内の第１の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射し、
　前記投射面に照射された線状光を、前記線状光とは異なる光路から撮影し、
　前記線状光の撮影画像に基づいて、投射される前記画像の歪みを補正する
　画像補正方法。
（１６）
　前記線状光の撮影画像に基づいて、前記線状光における第１の歪み量を検出し、
　検出された前記第１の歪み量に基づいて、前記画像における第２の歪み量を推定し、
　推定された前記第２の歪み量に基づいて前記画像を補正する
　上記（１５）に記載の画像補正方法。
（１７）
　前記投射面に対し、前記線状光を照射すると共に、線または点が規則的に配置されてなるパターン画像を投射し、
　前記線状光の撮影画像に基づいて基準線を設定し、
　前記線状光および前記パターン画像の撮影画像に基づいて、前記パターン画像上の選択的な点における前記線状光と前記基準線との差分値を算出し、前記差分値から前記第１の歪み量を算出する
　上記（１６）に記載の画像補正方法。
（１８）
　前記第２の歪み量を、以下の条件式［１］～［３］を用いた演算処理により推定する
　上記（１６）または（１７）に記載の画像補正方法。
　ｄａ＝ｄｒ／ｔａｎ(ａ２) ………［１］
　ｄｐ＝ｄａ・ｔａｎ(ａ１) ………［２］
　ｄｐ＝［ｔａｎ(ａ１)／ｔａｎ(ａ２)］・ｄｒ　………［３］
　但し、
　ｄａ：投射面の凹凸による変位量
　ｄｒ：線状光の歪み量（第１の歪み量）
　ｄｐ：投射される画像の歪み量（第２の歪み量）
　ａ１：投射光の出射角度
　ａ２：線状光の出射角度
　とする。
（１９）
　前記線状光を、前記投射面における投射範囲の上端位置に向けて照射し、
　前記上端位置に照射された線状光の撮影画像に基づいて、前記画像の一部または全域の歪みを補正する
　上記（１５）～（１８）のうちのいずれか１つに記載の画像補正方法。
（２０）
　前記線状光を、前記投射面における投射範囲のうちの複数の位置に向けて順次または同時に照射し、
　前記複数の位置のそれぞれに照射された線状光の撮影画像に基づいて、前記画像の歪みを、前記線状光の照射位置に対応する領域毎に補正する
　上記（１５）～（１８）のうちのいずれか１つに記載の画像補正方法。
　本出願は、日本国特許庁において２０１５年１０月６日に出願された日本特許出願番号第２０１５－１９８７６２号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (20)

  1. 　画像を表示する画像表示素子と、
    　前記画像表示素子により表示された画像を投射面に向けて投射する投射部と、
    　前記投射面に対し、前記投射面内の第１の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射する光照射部と、
    　前記光照射部と異なる光軸を有すると共に、前記投射面を撮影する撮像部と、
    　前記撮像部から出力される撮像信号に対して信号処理を施す信号処理部と、
    　を備え、
    　前記撮像部は、前記投射面に照射された線状光を撮影し、
    　前記信号処理部は、前記線状光の撮影画像に基づいて、投射される前記画像の歪みを補正する
    　投射型表示装置。
  2. 　前記信号処理部は、
    　前記線状光の撮影画像に基づいて、前記線状光における第１の歪み量を検出する検出部と、
    　検出された前記第１の歪み量に基づいて前記画像における第２の歪み量を推定する推定部と、
    　推定された前記第２の歪み量に基づいて補正係数を算出する補正係数算出部と、
    　前記補正係数を用いて前記画像を補正する補正部と
    　を有する
    　請求項１に記載の投射型表示装置。
  3. 　前記光照射部は、前記投射面に対して前記線状光を照射し、
    　前記投射部は、前記投射面に対して、線または点が規則的に配置されてなるパターン画像を投射し、
    　前記検出部は、
    　前記線状光の撮影画像に基づいて基準線を設定し、
    　前記線状光および前記パターン画像の撮影画像に基づいて、前記パターン画像上の選択的な点における前記線状光と前記基準線との差分値を算出し、前記差分値から前記第１の歪み量を算出する
    　請求項２に記載の投射型表示装置。
  4. 　前記推定部は、前記第２の歪み量を、以下の条件式（１）～（３）を用いた演算処理により推定する
    　請求項２に記載の投射型表示装置。
    　ｄａ＝ｄｒ／ｔａｎ(ａ２) ………（１）
    　ｄｐ＝ｄａ・ｔａｎ(ａ１) ………（２）
    　ｄｐ＝［ｔａｎ(ａ１)／ｔａｎ(ａ２)］・ｄｒ　………（３）
    　但し、
    　ｄａ：投射面の凹凸による変位量
    　ｄｒ：線状光の歪み量（第１の歪み量）
    　ｄｐ：画像の歪み量（第２の歪み量）
    　ａ１：投射光の出射角度
    　ａ２：線状光の出射角度
    　とする。
  5. 　前記検出部は、前記線状光の撮影画像と、前記パターン画像の撮影画像とのそれぞれに対して細線化処理を施す
    　請求項３に記載の投射型表示装置。
  6. 　前記検出部は、前記線状光の前記第１の方向と直交する第２の方向における歪み量を検出する
    　請求項２に記載の投射型表示装置。
  7. 　前記第１の方向は水平方向であり、前記第２の方向は鉛直方向である
    　請求項６に記載の投射型表示装置。
  8. 　前記光照射部は、前記投射面における投射範囲の上端位置に向けて、前記線状光を照射するように構成されている
    　請求項１に記載の投射型表示装置。
  9. 　前記信号処理部は、前記上端位置に照射された線状光の撮影画像に基づいて、前記画像の一部または全域の歪みを補正する
    　請求項８に記載の投射型表示装置。
  10. 　前記光照射部は、前記投射面における投射範囲のうちの複数の位置に向けて、前記線状光を照射可能に構成されている
    　請求項１に記載の投射型表示装置。
  11. 　前記信号処理部は、前記複数の位置のそれぞれに照射された線状光の撮影画像に基づいて、前記画像の歪みを、前記線状光の照射位置に対応する領域毎に補正する
    　請求項１０に記載の投射型表示装置。
  12. 　前記光照射部は、レーザ光源を有する
    　請求項１に記載の投射型表示装置。
  13. 　前記光照射部に接近する物体を検知する機能を有し、
    　前記物体が検知された場合に、前記光照射部の前記線状光の照射を停止する、ように構成されている
    　請求項１２に記載の投射型表示装置。
  14. 　前記投射部は、短焦点レンズを含む
    　請求項１に記載の投射型表示装置。
  15. 　投射面に向けて投射する画像を補正する際に、
    　前記投射面に対し、前記投射面内の第１の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射し、
    　前記投射面に照射された線状光を、前記線状光とは異なる光路から撮影し、
    　前記線状光の撮影画像に基づいて、投射される前記画像の歪みを補正する
    　画像補正方法。
  16. 　前記線状光の撮影画像に基づいて、前記線状光における第１の歪み量を検出し、
    　検出された前記第１の歪み量に基づいて、前記画像における第２の歪み量を推定し、
    　推定された前記第２の歪み量に基づいて前記画像を補正する
    　請求項１５に記載の画像補正方法。
  17. 　前記投射面に対し、前記線状光を照射すると共に、線または点が規則的に配置されてなるパターン画像を投射し、
    　前記線状光の撮影画像に基づいて基準線を設定し、
    　前記線状光および前記パターン画像の撮影画像に基づいて、前記パターン画像上の選択的な点における前記線状光と前記基準線との差分値を算出し、前記差分値から前記第１の歪み量を算出する
    　請求項１６に記載の画像補正方法。
  18. 　前記第２の歪み量を、以下の条件式（１）～（３）を用いた演算処理により推定する
    　請求項１６に記載の画像補正方法。
    　ｄａ＝ｄｒ／ｔａｎ(ａ２) ………（１）
    　ｄｐ＝ｄａ・ｔａｎ(ａ１) ………（２）
    　ｄｐ＝［ｔａｎ(ａ１)／ｔａｎ(ａ２)］・ｄｒ　………（３）
    　但し、
    　ｄａ：投射面の凹凸による変位量
    　ｄｒ：線状光の歪み量（第１の歪み量）
    　ｄｐ：投射される画像の歪み量（第２の歪み量）
    　ａ１：投射光の出射角度
    　ａ２：線状光の出射角度
    　とする。
  19. 　前記線状光を、前記投射面における投射範囲の上端位置に向けて照射し、
    　前記上端位置に照射された線状光の撮影画像に基づいて、前記画像の一部または全域の歪みを補正する
    　請求項１５に記載の画像補正方法。
  20. 　前記線状光を、前記投射面における投射範囲のうちの複数の位置に向けて順次または同時に照射し、
    　前記複数の位置のそれぞれに照射された線状光の撮影画像に基づいて、前記画像の歪みを、前記線状光の照射位置に対応する領域毎に補正する
    　請求項１５に記載の画像補正方法。
PCT/JP2016/076095 2015-10-06 2016-09-06 投射型表示装置および画像補正方法 WO2017061213A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/765,050 US10397534B2 (en) 2015-10-06 2016-09-06 Projection display and image correction method
CN201680056351.1A CN108141561B (zh) 2015-10-06 2016-09-06 投影型显示装置和图像校正方法
JP2017544421A JP6809477B2 (ja) 2015-10-06 2016-09-06 投射型表示装置および画像補正方法
US16/510,787 US10721447B2 (en) 2015-10-06 2019-07-12 Projection display and image correction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015198762 2015-10-06
JP2015-198762 2015-10-06

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/765,050 A-371-Of-International US10397534B2 (en) 2015-10-06 2016-09-06 Projection display and image correction method
US16/510,787 Continuation US10721447B2 (en) 2015-10-06 2019-07-12 Projection display and image correction method

Publications (1)

Publication Number Publication Date
WO2017061213A1 true WO2017061213A1 (ja) 2017-04-13

Family

ID=58487531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076095 WO2017061213A1 (ja) 2015-10-06 2016-09-06 投射型表示装置および画像補正方法

Country Status (4)

Country Link
US (2) US10397534B2 (ja)
JP (1) JP6809477B2 (ja)
CN (1) CN108141561B (ja)
WO (1) WO2017061213A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397534B2 (en) 2015-10-06 2019-08-27 Sony Corporation Projection display and image correction method
JP6780315B2 (ja) * 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
WO2019188121A1 (ja) * 2018-03-27 2019-10-03 ソニー株式会社 画像表示装置
JP7338659B2 (ja) * 2021-03-30 2023-09-05 セイコーエプソン株式会社 指示体の検出方法及びプロジェクションシステム
CN115883799A (zh) * 2021-09-29 2023-03-31 中强光电股份有限公司 投影机以及投影方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006272A (ja) * 2003-05-21 2005-01-06 Nec Viewtechnology Ltd 傾斜角度測定装置を有するプロジェクタ
JP2009200683A (ja) * 2008-02-20 2009-09-03 Seiko Epson Corp 画像処理装置、プロジェクタ、歪み補正方法
JP2015118252A (ja) * 2013-12-18 2015-06-25 株式会社リコー 画像投影装置、画像投影システムおよび画像投影方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753907B1 (en) * 1999-12-23 2004-06-22 Justsystem Corporation Method and apparatus for automatic keystone correction
CN100371825C (zh) * 2002-07-24 2008-02-27 索尼株式会社 投影屏及其制造方法
US7204596B2 (en) 2003-09-19 2007-04-17 Nec Corporation Projector with tilt angle measuring device
JP4199641B2 (ja) * 2003-10-30 2008-12-17 日本電気株式会社 プロジェクタ装置
US8303120B2 (en) * 2006-02-21 2012-11-06 Panasonic Corporation Image display apparatus and image distortion correction method of the same
JP5180689B2 (ja) * 2007-08-07 2013-04-10 三洋電機株式会社 投写型映像表示装置
JP5256899B2 (ja) * 2008-07-18 2013-08-07 セイコーエプソン株式会社 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム
JP5309828B2 (ja) 2008-09-19 2013-10-09 セイコーエプソン株式会社 プロジェクタ
JP2012151670A (ja) * 2011-01-19 2012-08-09 Renesas Electronics Corp 画像投影システム及び半導体集積回路
JP2013171246A (ja) * 2012-02-22 2013-09-02 Ricoh Co Ltd 超短焦点プロジェクター用リアスクリーン
JP5910157B2 (ja) 2012-02-23 2016-04-27 株式会社リコー 画像投射装置
US10397534B2 (en) 2015-10-06 2019-08-27 Sony Corporation Projection display and image correction method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006272A (ja) * 2003-05-21 2005-01-06 Nec Viewtechnology Ltd 傾斜角度測定装置を有するプロジェクタ
JP2009200683A (ja) * 2008-02-20 2009-09-03 Seiko Epson Corp 画像処理装置、プロジェクタ、歪み補正方法
JP2015118252A (ja) * 2013-12-18 2015-06-25 株式会社リコー 画像投影装置、画像投影システムおよび画像投影方法

Also Published As

Publication number Publication date
US10397534B2 (en) 2019-08-27
CN108141561A (zh) 2018-06-08
JPWO2017061213A1 (ja) 2018-08-02
CN108141561B (zh) 2020-12-18
US20180295333A1 (en) 2018-10-11
US20190342531A1 (en) 2019-11-07
JP6809477B2 (ja) 2021-01-06
US10721447B2 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
US10721447B2 (en) Projection display and image correction method
TWI298416B (en) Projector and image correction method
TWI242373B (en) Image processing system, projector and image processing method
TWI249351B (en) Image processing system, projector, and image processing method
JP3879858B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
US8727539B2 (en) Projector and method of controlling projector
EP3136377B1 (en) Information processing device, information processing method, program
CN102365865B (zh) 多投影显示系统和屏幕画面形成方法
JP5069038B2 (ja) 背面投射型表示装置
JP2016519330A (ja) 短焦点カメラを用いてディスプレイシステムを校正するためのシステム及び方法
TWI484283B (zh) 影像計算量測方法、影像計算量測裝置及影像檢查裝置
WO2015165209A1 (zh) 穿戴式投影装置及其调焦方法、投影方法
US9030553B2 (en) Projector image correction device and method
WO2017169186A1 (ja) 画像投影システムおよび補正方法
US20120206696A1 (en) Projection display apparatus and image adjusting method
JP7148855B2 (ja) 投影制御装置、投影装置、投影方法及びプログラム
JP2014060549A (ja) 照度出力装置、輝度出力装置及び画像投影装置
CN109644248B (zh) 投射型影像显示装置和投射影像的调整方法
JP2005303493A (ja) 障害物適応投射型表示装置
JP6182739B2 (ja) 投影装置及び投影方法
JP2014224841A (ja) 映像投写システム
JP2010130481A (ja) 画像投射装置
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法
US20050078280A1 (en) Arrangement for correction of the visual depiction of image information
JP3730979B2 (ja) 傾斜角度測定装置を有するプロジェクタ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16853367

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017544421

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15765050

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16853367

Country of ref document: EP

Kind code of ref document: A1