WO2019230108A1 - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
WO2019230108A1
WO2019230108A1 PCT/JP2019/009423 JP2019009423W WO2019230108A1 WO 2019230108 A1 WO2019230108 A1 WO 2019230108A1 JP 2019009423 W JP2019009423 W JP 2019009423W WO 2019230108 A1 WO2019230108 A1 WO 2019230108A1
Authority
WO
WIPO (PCT)
Prior art keywords
blur
image
correction
filter coefficient
characteristic
Prior art date
Application number
PCT/JP2019/009423
Other languages
English (en)
French (fr)
Inventor
孝明 鈴木
隆浩 永野
紀晃 高橋
晴香 三森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/057,250 priority Critical patent/US11575862B2/en
Publication of WO2019230108A1 publication Critical patent/WO2019230108A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present technology relates to an image processing apparatus and a method thereof, and particularly relates to a technical field for correcting a focus blur generated in a projection image.
  • image projection apparatuses that project and display an image on a projection object such as a screen, such as a liquid crystal projector apparatus, are widely known.
  • a projection object such as a screen
  • a liquid crystal projector apparatus As an image projection using such an image projection apparatus, for example, a plurality of image projection apparatuses project the target image on a projection object so as to increase brightness (so-called projection). Superimposed projection).
  • Patent Document 1 the pixel values of the images projected by the image projection devices are sequentially set so that the difference between the pixel value of the pixel of the superimposed projection image and the pixel value of the pixel of the input image corresponding to the pixel decreases.
  • a changing feedback image correction technique is disclosed. By using this correction technique, it is possible to correct the focus blurring that occurs in the superimposed projection image.
  • Patent Document 1 since the technique of Patent Document 1 performs feedback type correction, it takes time to converge the result. In particular, when many image processing apparatuses are used to increase the luminance, the result may not converge.
  • the blurring at each position of the superimposed projection image is measured by using an imaging device or the like, and the projection target image is obtained by using a filter designed by an inverse function of the measured blurring. It is conceivable that correction processing (correction by signal processing) is performed in advance. However, as a correction technique using a filter based on such an inverse function of blur, there is a limit to the size of blur that can be eliminated with the current technique.
  • the present technology has been made in view of the above circumstances, and an object thereof is to improve the correction performance of a synthetic blur in which a plurality of blur characteristics are synthesized, such as a focus blur generated in a superimposed projection image.
  • the image processing apparatus is a filter coefficient for blur correction corresponding to each of a plurality of blur characteristics with respect to a focus blur generated in an image projected by the image projection apparatus, and each is obtained based on the plurality of blur characteristics.
  • a correction unit that performs blur correction processing on the input image using the obtained filter coefficients to obtain a plurality of blur correction images, and an image output unit that individually outputs the plurality of blur correction images obtained by the correction unit; , Are provided.
  • the correction filter coefficient for each blur characteristic tends to cancel the blur as in the past (that is, enhancement in a direction where blur is large).
  • the enhancement in the direction where the blur is large is small and the enhancement in the direction where the blur is small is large.
  • the filter coefficient is obtained by a derivation formula in which a plurality of blur characteristics are integrated into a set.
  • the correction filter coefficient for each blur characteristic tends to cancel the blur itself as in the past (that is, the enhancement in the direction where blur is large). It is possible to converge to a tendency that the enhancement in the direction where the blur is large is small and the enhancement in the direction where the blur is small is large.
  • the derivation formula performs, for each blur characteristic, a blur addition process based on the blur characteristic and a blur correction process based on the filter coefficient for the pixel value of the target image. It is desirable to include an expression for obtaining a difference between the sum of the values and a predetermined ideal value.
  • the derivation formula including the formula is a derivation formula for deriving a filter coefficient for blur correction corresponding to each of a plurality of blur characteristics, and corresponds to a formula in which a plurality of blur characteristics are integrated into a set. .
  • the correction unit acquires combination information indicating the combination of the blur characteristics, and stores a filter coefficient for each blur characteristic for each combination of the blur characteristics. It is desirable to acquire the filter coefficient corresponding to the combination of the blur characteristics represented by the acquired combination information based on the obtained table.
  • the correction unit includes a coefficient deriving unit that derives a filter coefficient for each blur characteristic.
  • the correction unit acquires the combination information of the blur characteristics based on a captured image obtained by the imaging apparatus.
  • the correction unit obtains combination information of the blur characteristics based on an operation input.
  • the filter coefficient for each blur characteristic is a filter coefficient for each image projection apparatus
  • the image output unit outputs the plurality of blur correction images to the plurality of image projection apparatuses. It is desirable to distribute the output.
  • the filter coefficient for each blur characteristic is a filter coefficient for each color image in the color image projection apparatus, and the image output unit outputs the plurality of blur correction images. It is desirable to distribute and output to the spatial light modulators of the respective colors in the color image projection apparatus.
  • the correction unit acquires combination information of the blur characteristics based on an image captured by the imaging apparatus and is an actual measurement that is the blur characteristic measured based on the captured image.
  • the blur characteristics when there are more types of the measured blur characteristics than the types of the blur characteristics included in the table, the measured blur characteristics are unified by unifying the blur characteristics having an approximate relationship. It is desirable to degenerate the type of characteristic.
  • the image processing method is a filter coefficient for blur correction corresponding to each of a plurality of blur characteristics with respect to a focus blur generated in an image projected by the image projection device, each of which has a plurality of blur characteristics.
  • the present technology it is possible to improve the blur correction performance of the combined blur in which a plurality of blur characteristics are combined.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image processing apparatus as an embodiment. It is explanatory drawing about a synthetic
  • FIG. 1 shows a configuration example of an image projection system (an image projection system as an embodiment) configured to include an image processing apparatus 1 as an embodiment according to the present technology.
  • the image projection system as an embodiment includes an image processing apparatus 1, n projector apparatuses 2 (n is a natural number of 2 or more), and an imaging apparatus 3.
  • Each projector device 2 is configured as a transmissive liquid crystal projector device.
  • the projector device 2 is configured as a so-called three-plate liquid crystal projector device including liquid crystal panels corresponding to R (red), G (green), and B (blue) colors.
  • the image processing device 1 includes a computer device such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), and performs various signal processing (image processing) on an image based on digital data. Can be distributed and output.
  • a computer device such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), and performs various signal processing (image processing) on an image based on digital data. Can be distributed and output.
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • each projector device 2 projects an image distributed and output by the image processing device 1 onto a common screen S.
  • the images are projected so that the projected images of the projector apparatuses 2 overlap each other on the screen S (so-called “superimposition projection”).
  • the superimposing projection is performed so that the pixel positions of the projected images by the projector devices 2 coincide.
  • the projection target of the image by the projector device 2 is not limited to the screen S, and may be other than the screen S, such as an indoor wall surface.
  • an image displayed on the projection object by superimposing projection will be referred to as “superimposed projection image Pp”.
  • the imaging device 3 is configured as a digital camera device having an imaging device such as a CCD (Charged-coupled devices) sensor or a CMOS (Complementary metal-oxide-semiconductor) sensor.
  • the imaging device 3 is configured to be communicable with the image processing device 1 and is capable of transmitting a captured image to the image processing device 1.
  • the imaging apparatus 3 is used to obtain a captured image when the image processing apparatus 1 measures a focus blur generated in a projection image by the projector apparatus 2, and the entire projection range of the image on the screen S has an angle of view. It is arranged at a position that fits in.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the image processing apparatus 1.
  • the image processing apparatus 1 performs signal processing for blur correction on an image to be projected in order to correct a blur generated in the superimposed projection image Pp, that is, a blur in which a blur generated in the projection image of each projector apparatus 2 is combined. (Filter processing) is performed, and the image subjected to the signal processing is projected on each projector device 2.
  • the image processing apparatus 1 includes an image input unit 5, a coefficient acquisition unit 6, a blur correction unit 7, and an image output unit 8.
  • the image input unit 5 inputs an image to be projected by the projector device 2 (that is, an image to be projected).
  • the image may be input from an external device of the image processing apparatus 1 or stored in a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive) provided in the image processing apparatus 1.
  • the read image data may be read out and input.
  • the coefficient acquisition unit 6 acquires a filter coefficient for each blur characteristic obtained by a predetermined derivation formula.
  • This derivation formula is a derivation formula for deriving filter coefficients for blur correction corresponding to each of a plurality of blur characteristics with respect to the focus blur generated in the projection image, and a plurality of blur characteristics are integrated into a set. It is an expression.
  • the filter coefficient for each projector apparatus 2 is acquired as the filter coefficient.
  • the filter coefficient for each projector device 2 is a filter corresponding to each position (each representative point described later in this example) of the superimposed projection image Pp. Get the coefficient.
  • the blur correction unit 7 performs blur correction processing on the image input by the image input unit 5 based on the individual filter coefficients acquired by the coefficient acquisition unit 6 to obtain a plurality of blur correction images.
  • the blur correction unit 7 in this example includes the same number of blur correction filters 7a as the projector device 2, and each blur correction filter 7a has a filter coefficient acquired for the corresponding projector device 2. Is used to perform a blur correction process on the input image. Thereby, a blur correction image for each projector apparatus 2 is obtained.
  • the blur correction process here is signal processing using a filter designed by an inverse function of blur.
  • the image output unit 8 individually outputs a plurality of blur correction images obtained by the blur correction unit 7. Specifically, the image output unit 8 of this example outputs one corresponding blur correction image for each projector device 2.
  • Each projector device 2 projects a corresponding blur correction image, thereby eliminating the focus blur in the superimposed projection image Pp.
  • the “correction unit” according to the present technology is a part including at least the coefficient acquisition unit 6 and the blur correction unit 7 in this example.
  • FIG. 3A illustrates two different image areas A1 and A2 in the superimposed projection image Pp.
  • the horizontal and vertical directions of the paper correspond to the horizontal and vertical directions of the image, respectively, the image area A1 is the upper left corner area of the superimposed projected image Pp, and the image area A2 is the upper right corner area of the superimposed projected image Pp.
  • the image area A1 is the upper left corner area of the superimposed projected image Pp
  • the image area A2 is the upper right corner area of the superimposed projected image Pp.
  • a superimposed projection image Pp is obtained by image projection of two projector apparatuses 2. Since the two projector apparatuses 2 cannot be arranged at the same position during the superimposing projection, the projected images by the respective projector apparatuses 2 have different characteristics, mainly due to the difference in the optical path length to the projection surface. Blur occurs. At this time, the focus blur generated in the superimposed projection image Pp is caused by the focus blur generated in each projection image of the projector device 2, but in the projection image of the projector device 2 alone, for each pixel (for each area in the image). ) Focus blur characteristics may be different. This is due to the difference in the optical path length to each area in the image.
  • the characteristic of the focus blur occurring in the image area A1 in the projection image of the left projector apparatus 2 is referred to as a blur characteristic C1L.
  • the characteristic of the focus blur occurring in the image area A2 in the projection image of the left projector device 2 is defined as a blur characteristic C2L.
  • the characteristics of the focus blur occurring in the image areas A1 and A2 in the projection image of the right projector apparatus 2 are set as the blur characteristics C1R and C2R, respectively.
  • FIG. 3C schematically illustrates examples of the blur characteristics C1L, C2L, C1R, and C2R.
  • a visualization model of a point spread function (PSF) is represented as a visualization model of each blur characteristic C.
  • PSF point spread function
  • the blur characteristics C1R and C2R by the right projector device 2 tend to have small blur in the vertical direction and large blur in the horizontal direction, and the blur characteristic C2R has large blur in the vertical direction and blur in the horizontal direction. Tends to be smaller. Focusing on the image area A1, the blur characteristic C1L of the left projector device 2 tends to be less blurred in the horizontal direction because the optical path length in the horizontal direction from the projector device 2 to the image area A1 is relatively short. On the other hand, the blur characteristic C1R of the right projector device 2 tends to be largely blurred in the horizontal direction because the optical path length in the horizontal direction from the projector device 2 to the image area A1 is relatively long.
  • the blur characteristic C2L of the left projector apparatus 2 tends to be largely blurred in the horizontal direction
  • the blur characteristic C2R of the right projector apparatus 2 tends to be less blurred in the horizontal direction. It becomes.
  • the blur characteristics of each projector device 2 may be different for each area in the image.
  • FIG. 4 is an explanatory diagram of a blur correction method as a preceding example.
  • superimposed projection is performed by two projector apparatuses 2.
  • a blur correction process for a single area in the image is considered.
  • blur correction of the entire superimposed projection image Pp can be realized by performing blur correction by a method similar to the method described below.
  • the blur correction method as a prior example uses a filter designed by an inverse function of blur for blur correction. That is, the blur correction filter 7a described above is used. In the figure, two blur correction filters 7a are provided corresponding to the case where the superimposing projection is performed by two projector apparatuses 2.
  • the blur characteristic generated in the projection image of one projector apparatus 2 (here, a single area in the image) is defined as a blur characteristic ⁇
  • the projection image of the other projector apparatus 2 (also a single area in the image).
  • the characteristic of the blur that occurs in is defined as a blur characteristic ⁇ .
  • a filter coefficient for correcting blur due to the blur characteristic ⁇ is w1
  • a filter coefficient for correcting blur due to the blur characteristic ⁇ is w2.
  • the filter processing for blur correction here is processing for enhancing (enhancing) edges, and is performed using a plurality of sets of filter coefficients such as a 5 ⁇ 5 filter, for example. That is, the filter coefficients w1 and w2 include a plurality of filter coefficients.
  • the pixel value of the image obtained by performing filter processing for blur correction by the blur correction filter 7a on the input image and projecting this by the projector device 2 is as follows for each projector device 2 [Formula 1] [Formula 2] Can be expressed as That is, the value of the projection image of one projector apparatus 2 in this case is the blur addition process based on the blur characteristic ⁇ and the blur correction process based on the filter coefficient w1 with respect to the pixel value x of the input image as in [Equation 1]. It can represent as a value which gave.
  • the value of the projection image of the other projector device 2 is subjected to the blur addition process based on the blur characteristic ⁇ and the blur correction process based on the filter coefficient w2 with respect to the pixel value x as in [Equation 2]. Can be expressed as a value.
  • the filter coefficients w1 and w2 for blur correction are obtained based on the derivation formulas shown in [Formula 3] and [Formula 4] below.
  • “y” is an ideal value of the pixel value of the superimposed projection image Pp, and specifically, the pixel value of the superimposed projection image Pp in an ideal state in which no focus blur occurs. Represents.
  • Q1 represented by [Expression 3], that is, a value obtained by performing a blur addition process based on the blur characteristic ⁇ and a blur correction process based on the filter coefficient w1 on the pixel value x and a predetermined ideal value (here, y / Based on the error value of 2) a filter coefficient w1 corresponding to one projector device 2 is obtained. Specifically, a filter coefficient w1 that minimizes the error Q1 is obtained.
  • Q2 represented by [Expression 4] that is, a value obtained by performing a blur addition process based on the blur characteristic ⁇ and a blur correction process based on the filter coefficient w2 on the pixel value x and a predetermined ideal value (y / 2).
  • the filter coefficient w for each projector device 2 is obtained individually so as to cancel out the blur ( ⁇ or ⁇ ) due to a single characteristic. May not be able to correct the blur.
  • the blur characteristic ⁇ is a characteristic in which the vertical blur is large and the horizontal blur is small like the blur characteristic C1L described above, and the blur characteristic ⁇ is a large blur in the horizontal direction like the blur characteristic C1R and the vertical blur. Is a small characteristic.
  • the filter coefficient w1 for eliminating the blur due to ⁇ is obtained as in [Equation 3]
  • the filter coefficient w1 for increasing the enhancement in the vertical direction where the blur is large is obtained.
  • the filter coefficient w2 for eliminating the blur due to ⁇ is obtained as in [Expression 4]
  • the filter coefficient w2 for increasing the horizontal enhancement with a large blur is obtained.
  • the filter coefficient w has a tendency to derive a coefficient having a larger absolute value in order to cancel out the larger blur.
  • the pixel value after blur correction may exceed the dynamic range, and the correction effect may not be reflected in the projected image. Therefore, there is a limit to the size of the blur that can be eliminated by the prior art technique that tends to increase the enhancement in the direction of greater blur as described above.
  • the filter coefficients w1 and w2 are obtained on the basis of a derivation formula in which a plurality of blur characteristics are integrated into one set as shown in [Formula 5] below. Specifically, filter coefficients w1 and w2 that minimize the error Q in [Expression 5] are obtained.
  • the error Q is a sum of values obtained by performing blur addition processing based on the blur characteristic and blur correction processing based on the filter coefficients (w1, w2) on the pixel value x, and a predetermined value. It can be said that the difference from the ideal value (y).
  • [Expression 5] may be said that the filter coefficients w1 and w2 are not calculated based on only a single blur characteristic as in the previous example, but based on a plurality of blur characteristics. it can.
  • each filter coefficient is obtained on the basis of a plurality of blur characteristics as shown in [Expression 5], that is, if it is obtained by a derivation formula in which a plurality of blur characteristics are collectively incorporated
  • the filter coefficient w is not limited to the tendency to cancel a single blur as in the previous example (the tendency to increase the enhancement in the direction where the blur is large), but the enhancement in the direction where the blur is large is small and the direction where the blur is small. It becomes possible to converge to the tendency to increase the enhancement of. That is, for example, the filter coefficient w used for the left projector device 2 in which the vertical blur is large and the horizontal blur is small as in the blur characteristic C1L for the image area A1 illustrated in FIG.
  • the filter coefficient w used for the right projector device 2 in which the horizontal blur is large and the vertical blur is small is set so that the vertical enhancement is set large. It becomes possible to converge to the filter coefficient w that makes the direction enhancement small. As a result of summing up the corrections by these filter coefficients w, the combined blur due to the two blur characteristics is appropriately corrected for the image area A1.
  • the horizontal enhancement for the left projector device 2 functions as a correction for horizontal blur occurring in the projected image of the right projector device 2
  • the vertical enhancement for the right projector device 2 is It functions as a correction for the vertical blur generated in the projection image of the left projector device 2, and the correction for the combined blur is appropriately performed by the sum of the two corrections.
  • the method of enhancing the direction in which the blur is large as in the previous example As a result, the amount of blur that can be corrected can be increased. That is, it is possible to improve the correction performance with respect to the synthesis blur, and to further improve the image quality.
  • the derivation formula for the combined blur when the two projector apparatuses 2 perform the superimposing projection is illustrated, but the deriving formula when the n projector apparatuses 2 perform the superimposing projection represents the blur for each projector apparatus 2.
  • a derivation formula that incorporates the characteristics, that is, n blur characteristics, is used.
  • the above derivation formula is a formula for deriving a blur correction filter coefficient generated in one image area. In order to perform blur correction over the entire area of the superimposed projection image Pp, a plurality of required formulas in the image are required. For each image area, the filter coefficient w of each projector apparatus 2 is obtained by the same derivation formula.
  • the image processing apparatus 1 uses an LUT (Look Up Table) 10 that stores a filter coefficient w obtained by a derivation formula in which a plurality of blur characteristics are integrated into a set as in [Formula 5].
  • the filter coefficient w corresponding to each projector apparatus 2 is obtained.
  • FIG. 5 is a block diagram for explaining a configuration example of the image processing apparatus 1.
  • the configuration example of the image processing apparatus 1 is shown together with the imaging apparatus 3 shown in FIG. 1.
  • the same parts as those already described are denoted by the same reference numerals and description thereof is omitted.
  • the image processing apparatus 1 includes the image input unit 5, the coefficient acquisition unit 6, the blur correction unit 7, and the image output unit 8.
  • the coefficient acquisition unit 6 includes an LUT 10 and also includes a blur measurement unit 11 and a control unit 12.
  • the LUT 10 stores a filter coefficient w for each image area of each projector apparatus 2 obtained in advance using a derivation expression such as [Equation 5] for each installation condition of each projector apparatus 2.
  • the installation condition means a condition related to at least the arrangement position of each projector apparatus 2 that performs superimposing projection, and is, for example, a condition of a positional relationship with respect to the projection plane of each projector apparatus 2.
  • the manufacturer (manufacturer) of the image processing apparatus 1 has a plurality of assumptions in a production environment in which the image projection system is actually used, that is, an environment in which the actual superimposed projection is performed.
  • the installation conditions the blur characteristics of each projector apparatus 2 are measured for each installation condition in an environment different from the production environment in advance, and a derivation equation such as [Formula 5] is solved using the measured blur characteristics.
  • the filter coefficient w for each image area of each projector apparatus 2 is obtained for each installation condition.
  • the manufacturer stores the filter coefficient w for each image area of each projector device 2 obtained in this way in the LUT 10 for each installation condition.
  • the LUT 10 is performed according to the procedure shown in FIG.
  • Each filter coefficient w to be stored in is obtained.
  • the manufacturer places n projector apparatuses 2 in a predetermined positional relationship defined as the first installation condition (step S1).
  • the number of types of installation environments assumed in advance by the manufacturer is “m” (m is a natural number of 2 or more), and “M” in the figure means an identifier of installation conditions.
  • Each projector device 2 used in the pre-shipment stage need not be the same individual as the projector device 2 used in the production environment.
  • the first projector device 2 is selected from the n projector devices 2 (step S2). That is, the first projector device 2 is selected from the first to n-th projector devices 2.
  • “N” in the figure means an identifier of the projector device 2.
  • a test image is projected by the selected projector device 2 (step S3).
  • an image in which o representative points (o is a natural number of 2 or more) are set as test images. For example, five or more points including a total of five points at the center and four corners of the image are set as the representative points, and for the test image, for example, an image in which only pixels corresponding to the representative points are emitted is used.
  • a captured image of the projection image is acquired (step S4). That is, in a state where the selected projector device 2 projects a test image, the projection surface is imaged by the imaging device to obtain the captured image. Then, the blur characteristic of each representative point is measured (step S5).
  • the blur characteristic data may be data representing a point spread function, but in this example, for example, data of a blur simplified model as illustrated in FIG. 7 is employed to reduce the data capacity.
  • the simple model shown in FIG. 7 simply represents the blur characteristics on the assumption that the blur spread on the projection plane is a normal distribution.
  • the blur degree ( ⁇ a, ⁇ b) and the blur direction in each direction are expressed as follows.
  • the blur characteristic is expressed by the angle ⁇ for definition. ⁇ a and ⁇ b respectively represent the degree of blur in directions orthogonal to each other.
  • the specific data representing the blur characteristic is not particularly limited, and may be, for example, LPF (Low Pass Filter) coefficient data.
  • step S6 following step S5, the measured blur characteristics are stored in association with the current installation conditions and the projector device 2. That is, each blur characteristic data obtained by the measurement in step S5 is stored in a required storage device in association with the current installation conditions and information indicating the currently selected projector device 2.
  • step S7 it is determined whether or not the blur characteristics have been measured for all n projector apparatuses 2 (N ⁇ n). If the blur characteristics have not been measured for all projector apparatuses 2, the process proceeds to step S8. The next projector device 2 is selected (N ⁇ N + 1), and the process returns to step S3. As a result, the blur characteristic is measured and stored for the next projector apparatus 2.
  • step S7 if it is determined in step S7 that the blur characteristics have been measured for all projector apparatuses 2, the filter coefficient w of each projector apparatus 2 is calculated for each representative point in step S9. That is, for each representative point, the filter coefficient w of each projector apparatus 2 is calculated based on a derivation formula in which the blur characteristics (n blur characteristics) of each projector apparatus 2 are integrated into a set.
  • the terms subtracted from the ideal value y include the blur characteristic ⁇ and the blur characteristic ⁇ , respectively, corresponding to the case where the two projector apparatuses 2 perform the superimposed projection.
  • the derivation formula used in step S9 subtracts n terms including one corresponding to each of the blur characteristics measured for each projector device 2 for the target representative point from the ideal value y. Use the formula.
  • the calculated filter coefficient w for each representative point of each projector device 2 is stored in a required storage device in association with the current installation conditions.
  • the filter coefficient w for each representative point of each projector apparatus 2 is obtained for the first installation condition by the procedure of steps S1 to S10 so far.
  • step S11 it is determined whether or not the filter coefficient w has been obtained for all m installation conditions (M ⁇ m). If the filter coefficient w has not been obtained for all installation conditions, the next step in step S12 is as follows.
  • the projector apparatuses 2 are arranged in a positional relationship corresponding to the installation conditions (M ⁇ M + 1), and the process proceeds to step S2.
  • measurement of blur characteristics for each representative point for each projector apparatus 2 S3 to S8)
  • calculation and storage of filter coefficient w for each representative point of each projector apparatus 2 based on the measured blur characteristics S9 to S10) are performed. Then, such calculation and storage of the filter coefficient w are repeated, and the series of procedures shown in FIG. 6 is completed when it is determined in step S11 that the filter coefficient w has been obtained for all the installation conditions.
  • the filter coefficient w for each representative point of each projector apparatus 2 obtained by the above procedure is stored for each installation condition.
  • FIG. 8 shows an example of information stored in the LUT 10.
  • FIG. 8 illustrates an example in which the number of types of blur characteristics is p of 1 to p, and the number of types of filter coefficients w (the types of combinations of filter coefficients w) is r of 1 to r. doing.
  • filter coefficients w for each representative point (image area) of each projector apparatus 2 are stored in association with each of a plurality of installation conditions assumed in advance.
  • data of blur characteristics for each representative point of each projector apparatus 2 measured under the installation condition is also stored.
  • the blur measurement unit 11 measures the blur characteristics for each representative point of each projector device 2 in the production environment based on the captured image input from the imaging device 3.
  • the control unit 12 includes a microcomputer including, for example, a CPU, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and executes processing according to a program stored in the ROM, for example. Thus, various operations of the image processing apparatus 1 are controlled.
  • the control unit 12 in this case acquires the filter coefficient w according to the installation conditions of each projector device 2 from the LUT 10 based on the blur characteristic measured by the blur measurement unit 11 in the production environment, and the acquired filter coefficient w Is controlled for each blur correction filter 7 a in the blur correction unit 7.
  • step S101 the control unit 12 sets the projector identifier N to “1”, and then causes the Nth projector apparatus 2 to project a test image in step S102. That is, an instruction is given to the image input unit 5 to input a test image to the blur correction unit 7. At this time, the blur correction unit 7 is instructed to turn off the blur correction function so that the input test image is input to the image output unit 8 without undergoing the blur correction process. At this time, the image output unit 8 is instructed to output a test image only to the Nth projector apparatus 2.
  • step S103 the control unit 12 performs a process for acquiring a captured image of the projection image. That is, the blur measurement unit 11 is caused to acquire a captured image by the imaging device 3. Further, in the next step S104, the control unit 12 performs a process of causing the blur measurement unit 11 to measure the blur characteristic of each representative point in the acquired captured image as a process for measuring the blur characteristic of each representative point.
  • step S105 a process for storing the measured blur characteristic in association with the current projector device 2 is performed. That is, the blur characteristic for each representative point measured by the blur measurement unit 11 is stored in a predetermined storage device (for example, the RAM of the control unit 12) in association with the current projector device 2 (current projector identifier N).
  • step S106 the control unit 12 determines whether or not the projector identifier N is greater than or equal to n (N ⁇ n). If N ⁇ n is not satisfied, the value of the projector identifier N is incremented by 1 (N) in step S107. ⁇ N + 1) and return to step S102.
  • the control unit 12 proceeds to step S108 and performs matching of installation conditions based on the combination of the measured blur characteristics. That is, among the installation conditions in the LUT 10, the combination of the blur characteristics for each representative point of each projector apparatus 2 is the combination of the blur characteristics for each representative point of each projector apparatus 2 acquired by the processing of steps S101 to S107. Identify the installation conditions that match.
  • this matching method in this example, a method for specifying an installation condition that minimizes an error in blur characteristics is adopted. Specifically, for each installation condition in the LUT 10, the error between the stored blur characteristic and the blur characteristic acquired in steps S101 to S107 and the sum of these errors are calculated, and the calculated error sum is minimized. Is set as a matching setting condition. That is, it is specified as an installation condition that matches the installation condition in the production environment.
  • step S109 the control unit 12 acquires the filter coefficient w corresponding to the matched installation condition, and ends the series of processes shown in FIG.
  • the filter coefficient w (filter coefficient for each representative point) to be set for each projector apparatus 2, that is, for each blur correction filter 7a, is acquired in accordance with the installation conditions in the production environment.
  • the blur characteristic for each representative point of each projector apparatus 2 in the production environment is acquired based on the captured image of the imaging apparatus 3 .
  • the blur characteristic for each representative point of each projector apparatus 2 is obtained.
  • Information representing characteristics can also be acquired based on user operation input. Accordingly, it is not necessary to provide the imaging device 3 in the production environment when acquiring the filter coefficient w for blur correction, and the configuration of the image projection system can be simplified and the cost can be reduced. This is the same in the second and third embodiments described below.
  • the corresponding filter coefficient w can be acquired based on the actually measured blur characteristic, so that an appropriate filter coefficient corresponding to the blur characteristic occurring in the production environment is obtained. Can be used for blur correction. Therefore, the blur correction performance can be further improved.
  • Second embodiment> [2-1. Image processing apparatus as second embodiment] An image processing apparatus 1A as a second embodiment will be described with reference to FIGS.
  • the image processing apparatus 1A according to the second embodiment has a function of deriving a filter coefficient w for blur correction based on a derivation expression such as [Equation 5] based on the blur characteristic in the production environment.
  • FIG. 10 is a diagram for explaining a configuration example of the image processing apparatus 1A, and similarly to the previous FIG. 5, the imaging apparatus 3 is shown together with the configuration example of the image processing apparatus 1A.
  • the difference from the image processing apparatus 1 of the first embodiment is that a coefficient acquisition unit 6A is provided instead of the coefficient acquisition unit 6, and the coefficient acquisition unit 6A is different from the coefficient acquisition unit 6 in that the control unit 12 differs from that in that a control unit 12A is provided, the LUT 10 is omitted, and a coefficient deriving unit 13 is provided.
  • the coefficient deriving unit 13 performs, for each representative point of each projector device 2, based on the blur characteristic measured by the blur measuring unit 11, that is, the blur characteristic for each representative point of each projector device 2, according to a derivation formula such as [Equation 5].
  • the filter coefficient w of is calculated. Specifically, the filter coefficient w for each representative point of each projector device 2 is calculated using a derivation formula in which n blur characteristics measured for each projector device 2 for the target representative point are combined. To do.
  • the coefficient deriving unit 13 includes a formula for obtaining a difference from the ideal value, and obtains a filter coefficient w for reducing the difference by calculation.
  • the control unit 12A performs processing for causing the blur measurement unit 11 to measure the blur characteristic and the coefficient deriving unit 13 to calculate the filter coefficient w.
  • FIG. 11 is a flowchart showing a specific processing procedure executed by the control unit 12A to acquire the filter coefficient w in the production environment.
  • the control unit 12A executes the processes of steps S101 to S107. That is, the blur characteristic measured for each representative point of each projector device 2 in the production environment is thereby obtained.
  • step S106 If it is determined in step S106 that the projector identifier N is greater than or equal to n, the control unit 12A executes a process for calculating the filter coefficient w of each projector device 2 for each representative point in step S201. That is, the coefficient derivation unit 13 calculates the coefficient so that the filter coefficient w for each representative point of each projector apparatus 2 is calculated based on the blur characteristic for each representative point of each projector apparatus 2 obtained by the process of step S107. An instruction is given to the unit 13. The control unit 12A ends the series of processes illustrated in FIG. 11 in response to the execution of the process of step S201.
  • the filter is provided with the coefficient deriving unit 13 that derives the filter coefficient w for blur correction based on the derivation formula, so that an appropriate filter according to the characteristic of the blur occurring in the production environment
  • the coefficient w can be acquired, and the blur correction performance can be further improved.
  • FIG. 12 is a diagram for explaining a configuration example of the image processing apparatus 1B as the third embodiment, and shows the imaging apparatus 3 and the screen S together with the configuration example of the image processing apparatus 1B.
  • the image processing apparatus 1B is not applied to a system that performs superimposed projection by a plurality of projector apparatuses 2 as shown in FIG. 1, but is applied to a single projector apparatus that projects a color image. .
  • the image processing apparatus 1B is configured as a transmissive liquid crystal projector apparatus that projects a color image.
  • the image processing apparatus 1B includes an image input unit 5, a coefficient acquisition unit 6B, a color image generation unit 14, a blur correction unit 7A, an image output unit 8A, and an optical system 15.
  • the color image generation unit 14 generates R, G, and B color images based on the input image (color image) from the image input unit 5.
  • the blur correction unit 7A includes three blur correction filters 7a corresponding to the colors R, G, and B.
  • the blur correction filter 7a includes an R image, a G image, and an output image output from the color image generation unit 14.
  • a blur correction process based on the filter coefficient w is performed on one corresponding image among the B images.
  • a transmissive liquid crystal panel 16 As shown in the figure, as a transmissive liquid crystal panel 16, a liquid crystal panel 16G that performs spatial light modulation on G light, a liquid crystal panel 16R that performs spatial light modulation on R light, and a spatial light modulation on B light.
  • a color synthesizing prism 17 and a projection lens (projection optical system) 18 are provided in addition to the liquid crystal panel 16B.
  • light emitted from a light source (not shown) is color-separated into R light, G light, and B light by a color separation element such as a dichroic mirror, and is incident on a liquid crystal panel 16 of a corresponding color.
  • the R light, G light, and B light which have undergone spatial light modulation by the liquid crystal panels 16R, 16G, and 16B, are emitted toward the projection lens 18 by the color synthesizing prism 17, and the screen is passed through the projection lens 18. Projected onto S.
  • the image output unit 8A inputs the R image, the G image, and the B image from the blur correction unit 7A and outputs them to the liquid crystal panel 16 of the corresponding color.
  • spatial light modulation based on the R image is applied to the R light
  • spatial light modulation based on the G image is applied to the G light
  • spatial light modulation based on the B image is applied to the B light. Is done.
  • the coefficient acquisition unit 6B is different from the coefficient acquisition unit 6A in the second embodiment in that a control unit 12B is provided instead of the control unit 12A, and a coefficient derivation unit 13A is provided instead of the coefficient derivation unit 13. .
  • the characteristic of focus blur may differ between projection images of each color due to a wavelength difference of light of each color such as R, G, and B. That is, the projected image of each color may have different blur characteristics in each area in the image, like the projected image of each projector device 2 in the first and second embodiments. Therefore, in the third embodiment, a coefficient deriving unit 13A is provided in the coefficient acquisition unit 6B so that the combined blur in the color projection image, which is generated by combining the blurs generated in the projection images of the respective colors, can be corrected.
  • the coefficient deriving unit 13A obtains a filter coefficient w for each of the R, G, and B images based on a derivation formula of [Formula 6] below.
  • “ ⁇ R”, “ ⁇ G”, and “ ⁇ B” are the blur characteristics of the R, G, and B projection images, respectively
  • “wR”, “wG”, and “wB” are the blur correction filters for the R image, the G image, and the B image, respectively.
  • the filter coefficient w, “R”, “G”, and “B” mean pixel values of the R image, the G image, and the B image, respectively.
  • y is an ideal value of the pixel value of the color projection image obtained by combining the images of the R light, G light, and B light (for example, a pixel value as an ideal value obtained in an ideal state where no blur occurs). Means.
  • the coefficient deriving unit 13A obtains filter coefficients wR, wG, and wB that reduce the error Q in [Expression 6] for each representative point.
  • the filter coefficients wR, wG, and wB for correcting the combined blur can be obtained in response to the occurrence of blurring with different characteristics for each of R, G, and B in the color projection image.
  • control unit 12B performs control so that the blur measurement unit 11 measures the blur characteristics for each representative point for each of the R image, the G image, and the B image. Specifically, the control unit 12B instructs the image input unit 5 and the color image generation unit 14 so that only the test image based on the R image is projected on the screen S. In this case, the test image is not subjected to the blur correction process. Then, in a state where a test image based on the R image is projected, the blur measurement unit 11 acquires a captured image obtained by the imaging device 3 and measures blur characteristics for each representative point based on the captured image.
  • the process for measuring the blur characteristic for each representative point of the test image is similarly performed for the G image and the B image, and the blur characteristic for each representative point of the R, G, and B projected images is measured.
  • the control unit 12B causes the coefficient deriving unit 13A to calculate the filter coefficients wR, wG, and wB for each representative point based on the blur characteristics for each representative point of the R, G, and B projection images thus measured.
  • the filter coefficient wR is applied to the blur correction filter 7a for the R image
  • the filter coefficient wG is applied to the blur correction filter 7a for the G image
  • the filter coefficient wB is applied to the blur correction filter 7a for the B image.
  • the filter coefficients wR, wG, and wB can be acquired using the LUT as in the first embodiment, regardless of the coefficient deriving unit 13A. Since the blur generated in the projected images of R, G, and B varies depending on the installation conditions with respect to the projection surface of the image processing apparatus 1B (projector apparatus), the LUT in this case includes the same installation conditions as in the first embodiment. And the corresponding filter coefficients wR, wG, wB are stored in advance, and the control unit 12B determines the corresponding filter coefficients wR from the LUT based on the blur characteristics of the R, G, B projection images in the production environment. wG and wB are acquired.
  • the imaging device 3 is provided separately from the image processing device 1B.
  • the imaging device 3 may be provided integrally with the image processing device 1B.
  • the spatial light modulator included in the projector device is the transmissive liquid crystal panel 16, but a reflective liquid crystal panel may be used as the spatial light modulator.
  • the spatial light modulator is not limited to a liquid crystal panel, for example, using a DMD (Digital Micromirror Device).
  • the present technology is not limited to the specific examples described above, and various modifications can be considered.
  • the number of blur characteristics measured in the production environment is equal to the number of blur characteristics in the LUT (that is, the environment before shipment).
  • the number of blur characteristics generated under the installation conditions assumed in (1) may be larger.
  • the number of blur characteristics in the pre-shipment environment is o from 1 to o, but q is greater than the number of blur characteristics measured in the production environment. It can be. In such a case, for example, as shown in FIG.
  • the blur characteristics measured in the actual environment are matched, and the blur characteristics are approximated to each other.
  • Unify characteristics for example, data of two blur characteristics having an approximate relationship may be averaged.
  • the blur characteristic ⁇ 1 and the blur characteristic ⁇ 2 are in an approximate relationship, and the blur characteristics ⁇ 1 and ⁇ 2 are averaged to be unified into the blur characteristic ⁇ f.
  • Such unification makes it possible to degenerate (reduce) the types of blur characteristics measured in the production environment.
  • filter coefficients for blur correction can be used in response to the case where there are more types of measured blur characteristics than types of blur characteristics included in the LUT. Appropriate acquisition is possible.
  • the filter coefficient associated with the specified installation condition is obtained.
  • the entire projection surface is focused substantially uniformly.
  • the four projector apparatuses 2 are arranged in order from the left end to the first to fourth projector apparatuses 2. Then, for example, as illustrated in FIG. 14B, the first projector device 2 (one-dot chain line) positioned at the left end is adjusted so that the left end of the projection surface is focused, and the second projector device 2 on the right side thereof is adjusted.
  • Solid line is adjusted so that the focus is at a position slightly to the left of the center of the projection plane.
  • the third projector device 2 (short broken line) is adjusted so that the focus is at a position slightly to the right of the center of the projection surface, and the fourth projector device 2 (long broken line) located at the right end is the projection surface. Adjust so that the right edge of the camera is in focus.
  • the LUT 10 may be provided in an external apparatus that can communicate with the image processing apparatus 1 such as an external apparatus on a network. It is not essential to provide the image processing apparatus 1 with the LUT 10.
  • the LUT 10 can also store the filter coefficient w for each installation condition in which the number of installed projector apparatuses 2 is different.
  • the image processing apparatus is any projector apparatus 2. It can also be configured integrally.
  • the image processing apparatus (1 or 1A or 1B) has a filter coefficient for blur correction corresponding to each of a plurality of blur characteristics with respect to a focus blur generated in an image projected by the image projection apparatus.
  • a correction unit coefficient acquisition unit 6 or 6A or 6B) that obtains a plurality of blur correction images by performing blur correction processing on the input image using filter coefficients obtained based on a plurality of blur characteristics, respectively.
  • the correction filter coefficient for each blur characteristic tends to cancel the blur as in the past (that is, enhancement in a direction where blur is large).
  • the enhancement in the direction where the blur is large is small and the enhancement in the direction where the blur is small is large.
  • the filter coefficient is obtained by a derivation formula in which a plurality of blur characteristics are integrated into a set.
  • the correction filter coefficient for each blur characteristic tends to cancel the blur itself as in the past (that is, the enhancement in the direction where blur is large). It is possible to converge to a tendency that the enhancement in the direction where the blur is large is small and the enhancement in the direction where the blur is small is large. As a result, it is possible to enhance the direction in which the blur is small with respect to each blur characteristic image, and to correct the synthetic blur by the sum of the corrections. Therefore, it is possible to improve the correction performance for the synthetic blur. .
  • the derivation formula is a sum of values obtained by performing blur addition processing based on the blur characteristic and blur correction processing based on the filter coefficient on the pixel value of the target image. And an expression for obtaining a difference from a predetermined ideal value.
  • the derivation formula including the formula is a derivation formula for deriving a filter coefficient for blur correction corresponding to each of a plurality of blur characteristics, and corresponds to a formula in which a plurality of blur characteristics are integrated into a set. . Therefore, the blur correction performance can be improved by using the filter coefficient derived from such a derivation formula for blur correction.
  • the correction unit acquires combination information representing a combination of blur characteristics, and stores a filter coefficient for each blur characteristic for each combination of blur characteristics. Based on (LUT10), filter coefficients corresponding to combinations of blur characteristics represented by the acquired combination information are acquired.
  • the correction unit (the coefficient acquisition unit 6A or 6B and the blur correction unit 7 or 7A) is a coefficient derivation unit that derives a filter coefficient for each blur characteristic. (13 or 13A).
  • the blur correction can be performed more accurately by the filter coefficient corresponding to the actually generated blur characteristic, and the blur correction performance can be further improved. That is, the image quality can be further improved.
  • the correction unit acquires combination information of blur characteristics based on the image captured by the image capturing apparatus (same as the third embodiment).
  • the correction unit acquires combination information of blur characteristics based on the operation input.
  • the filter coefficient for each blur characteristic is a filter coefficient for each image projection apparatus
  • the image output unit converts a plurality of blur correction images into a plurality of images. Distributed output to the projector.
  • the filter coefficient for each blur characteristic is a filter coefficient for each color image in the color image projection apparatus, and the image output unit outputs a plurality of blur correction images.
  • the color image projection apparatus distributes and outputs the spatial light modulators (liquid crystal panels 16) of the respective colors.
  • the correction unit acquires combination information of the blur characteristics based on the image captured by the imaging apparatus, and the measured blur characteristics that are the blur characteristics measured based on the captured image.
  • the types of the measured blur characteristics are reduced by unifying the blur characteristics that are in an approximate relationship among the measured blur characteristics. .
  • the composite blur can be corrected regardless of the number of types of actually measured blur characteristics with respect to the types of blur characteristics included in the table.
  • the image processing method is a filter coefficient for blur correction corresponding to each of a plurality of blur characteristics with respect to a focus blur generated in an image projected by the image projection device, each of which has a plurality of blur characteristics.
  • this technique can also take the following structures.
  • (1) Regarding the focus blurring that occurs in the projected image by the image projection device it is a filter coefficient for blur correction corresponding to each of a plurality of blur characteristics, each of which is input using a filter coefficient obtained based on the plurality of blur characteristics
  • a correction unit that performs blur correction processing on an image to obtain a plurality of blur correction images
  • an image output unit that individually outputs the plurality of blur correction images obtained by the correction unit.
  • the derivation formula is For each blur characteristic, an expression for calculating a difference between a sum of values obtained by performing blur addition processing based on the blur characteristic and blur correction processing based on the filter coefficient with respect to the pixel value of the target image and a predetermined ideal value is included.
  • the correction unit is Acquiring combination information representing a combination of the blur characteristics, The filter coefficient corresponding to the combination of the blur characteristics represented by the acquired combination information is acquired based on a table in which the filter coefficient for each blur characteristic is stored for each combination of the blur characteristics.
  • the correction unit is The image processing apparatus according to any one of (1) to (3), further including a coefficient deriving unit that derives a filter coefficient for each blur characteristic.
  • the correction unit is The image processing apparatus according to any one of (1) to (5), wherein the combination information of the blur characteristics is acquired based on an image captured by an imaging apparatus.
  • the correction unit is The image processing apparatus according to any one of (1) to (5), wherein combination information of the blur characteristics is acquired based on an operation input.
  • the filter coefficient for each blur characteristic is a filter coefficient for each image projection device,
  • the image output unit includes: The image processing apparatus according to any one of (1) to (7), wherein the plurality of blur correction images are distributed and output to the plurality of image projection apparatuses.
  • the filter coefficient for each blur characteristic is a filter coefficient for each color image in the color image projector
  • the image output unit includes: The image processing device according to any one of (1) to (7), wherein the plurality of blur-corrected images are distributed and output to the spatial light modulators of the respective colors in the color image projection device.
  • the correction unit is While acquiring the combination information of the blur characteristics based on the image captured by the imaging device, As for the measured blur characteristic that is the blur characteristic measured based on the captured image, if the type of the measured blur characteristic is larger than the type of the blur characteristic included in the table, the approximate relationship among the measured blur characteristics.
  • the image processing apparatus according to (4), wherein the types of the actual measured blur characteristics are degenerated by unifying the blur characteristics existing in each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)

Abstract

例えば重畳投影画像に生じるフォーカスボケ等、複数のボケ特性が合成された合成ボケについての補正性能向上を図る。　本技術に係る画像処理装置は、画像投影装置による投影画像に生じるフォーカスボケに関して、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数であって、それぞれが複数のボケ特性に基づき求められたフィルタ係数を用いて、入力画像に対しボケ補正処理を施し複数のボケ補正画像を得る補正部と、補正部により得られた複数のボケ補正画像を個別に出力する画像出力部とを備えている。

Description

画像処理装置、画像処理方法
　本技術は、画像処理装置とその方法に関するものであり、特には、投影画像に生じるフォーカスボケを補正する技術分野に関する。
　例えば液晶プロジェクタ装置等、スクリーン等の投影対象物に画像を投影して表示する画像投影装置が広く知られている。このような画像投影装置を用いた画像投影としては、例えば輝度を稼ぐ目的等により、複数の画像投影装置が対象の画像を投影対象物上に重ねて投影するということが行われている（いわゆる重畳投影）。
　重畳投影を行う場合には、設置の都合上、全ての画像投影装置を投影対象物に対し適切な位置に配置することが困難となる。そのため、少なくとも適切でない位置に配置された画像投影装置による投影画像にはフォーカスずれに起因した画像ボケ（フォーカスボケ）が生じ易くなり、重畳投影画像の画質劣化を招来する。
　下記特許文献１には、重畳投影画像の画素の画素値とその画素に対応する入力画像の画素の画素値との差分が減少するように、各画像投影装置が投影する画像の画素値を順次変更していくフィードバック型の画像補正技術が開示されている。この補正技術を利用することで、重畳投影画像に生じるフォーカスボケを補正することが可能となる。
特開２００９－８９７４号公報
　しかしながら、上記特許文献１の技術はフィードバック型の補正を行うものであるため、結果の収束までに時間を要するものとなってしまう。特に、輝度を稼ぐために多くの画像処理装置を用いる場合には結果が収束しない虞もある。
　重畳投影画像に生じるフォーカスボケを補正する手法としては、重畳投影画像の各所におけるボケを撮像装置等を用いて計測し、計測したボケの逆関数により設計されるフィルタを用いて投影対象の画像に事前に補正処理（信号処理による補正）を施すということが考えられる。
　しかしながら、このようなボケの逆関数によるフィルタを用いた補正技術として、現状の技術では、解消できるボケの大きさに限界がある。
　本技術は上記の事情に鑑み為されたものであり、例えば重畳投影画像に生じるフォーカスボケ等、複数のボケ特性が合成された合成ボケについての補正性能向上を図ることを目的とする。
　本技術に係る画像処理装置は、画像投影装置による投影画像に生じるフォーカスボケに関して、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数であって、それぞれが複数のボケ特性に基づき求められたフィルタ係数を用いて、入力画像に対しボケ補正処理を施し複数のボケ補正画像を得る補正部と、前記補正部により得られた前記複数のボケ補正画像を個別に出力する画像出力部と、を備えるものである。
　上記のようにボケ補正のためのフィルタ係数をそれぞれ複数のボケ特性に基づき求めることで、ボケ特性ごとの補正フィルタ係数は、従来のようにそのボケ単体を打ち消す傾向（つまりボケが大きい方向のエンハンスを大とする傾向）に収束することに限らず、ボケが大きい方向のエンハンスを小、ボケが小さい方向のエンハンスを大とする傾向に収束可能となる。
　上記した本技術に係る画像処理装置においては、前記フィルタ係数は、複数のボケ特性が一式にまとめて組み込まれた導出式により求められたことが望ましい。
　上記のように複数のボケ特性をまとめて組み込んだ導出式を解くようにすれば、ボケ特性ごとの補正フィルタ係数は、従来のようにそのボケ単体を打ち消す傾向（つまりボケが大きい方向のエンハンスを大とする傾向）に収束することに限らず、ボケが大きい方向のエンハンスを小、ボケが小さい方向のエンハンスを大とする傾向に収束可能となる。
　上記した本技術に係る画像処理装置においては、前記導出式は、前記ボケ特性ごとに、対象画像の画素値に対し前記ボケ特性に基づくボケ付加処理及び前記フィルタ係数に基づくボケ補正処理を施した値の総和と、所定の理想値との差を求める式を含むことが望ましい。
　当該式を含む導出式は、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数が導出される導出式であって、複数のボケ特性が一式にまとめて組み込まれた式に該当する。
　上記した本技術に係る画像処理装置においては、前記補正部は、前記ボケ特性の組合わせを表す組合わせ情報を取得すると共に、前記ボケ特性ごとのフィルタ係数が前記ボケ特性の組合わせごとに格納されたテーブルに基づき、取得した前記組合わせ情報が表す前記ボケ特性の組合わせに応じた前記フィルタ係数を取得することが望ましい。
　これにより、複数のボケ特性が組合わされた合成ボケを補正する上で該当するボケ特性の組合わせに応じたフィルタ係数を取得するにあたり、導出式を用いてフィルタ係数を求める必要がなくなる。
　上記した本技術に係る画像処理装置においては、前記補正部は、前記ボケ特性ごとのフィルタ係数を導出する係数導出部を有することが望ましい。
　これにより、実際の使用環境で生じるボケの特性に応じた適切なフィルタ係数を取得し、ボケ補正に用いることが可能とされる。
　上記した本技術に係る画像処理装置においては、前記補正部は、撮像装置による撮像画像に基づき前記ボケ特性の組合わせ情報を取得することが望ましい。
　これにより、実際の使用環境で生じる合成ボケに応じた適切なフィルタ係数を取得することが可能とされる。
　上記した本技術に係る画像処理装置においては、前記補正部は、操作入力に基づき前記ボケ特性の組合わせ情報を取得することが望ましい。
　これにより、ボケ特性ごとのフィルタ係数を取得するにあたり、撮像装置を用いたボケ計測を行う必要がなくなる。
　上記した本技術に係る画像処理装置においては、前記ボケ特性ごとのフィルタ係数は、画像投影装置ごとのフィルタ係数であり、前記画像出力部は、前記複数のボケ補正画像を複数の前記画像投影装置に分配出力することが望ましい。
　これにより、複数の画像投影装置によって重畳投影を行う場合に生じる合成ボケを適切に補正可能とされる。
　上記した本技術に係る画像処理装置においては、前記ボケ特性ごとのフィルタ係数は、カラー画像投影装置における各色の画像ごとのフィルタ係数であり、前記画像出力部は、前記複数のボケ補正画像を、前記カラー画像投影装置における各色の空間光変調器に分配出力することが望ましい。
　これにより、Ｒ（赤），Ｇ（緑），Ｂ（青）等の各色の投影画像でボケ特性が異なる場合に対応して、適切にボケ補正を行うことが可能とされる。
　上記した本技術に係る画像処理装置においては、前記補正部は、撮像装置による撮像画像に基づき前記ボケ特性の組合わせ情報を取得すると共に、前記撮像画像に基づき計測される前記ボケ特性である実測ボケ特性について、前記実測ボケ特性の種類が前記テーブルに含まれる前記ボケ特性の種類よりも多い場合には、前記実測ボケ特性のうち近似関係にあるボケ特性同士を統一化することで前記実測ボケ特性の種類を縮退させることが望ましい。
　これにより、テーブルに含まれるボケ特性の種類よりも実測ボケ特性の種類が多い場合において、ボケ補正のためのフィルタ係数を適正に取得することが可能となる。
　また、本技術に係る画像処理方法は、画像投影装置による投影画像に生じるフォーカスボケに関して、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数であって、それぞれが複数のボケ特性に基づき求められたフィルタ係数を用いて、入力画像に対しボケ補正処理を施し複数のボケ補正画像を得る補正ステップと、前記補正ステップにより得られた前記複数のボケ補正画像を個別に出力する画像出力ステップと、を有するものである。
　このような画像処理方法によっても、上記した本技術に係る画像処理装置と同様の作用が得られる。
　本技術によれば、複数のボケ特性が合成された合成ボケについてのボケ補正性能の向上を図ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施形態としての画像処理装置を含んで構成される画像投影システムの構成例を示した図である。 実施形態としての画像処理装置の概略構成を示したブロック図である。 合成ボケについての説明図である。 先行例としてのボケ補正手法についての説明図である。 第一実施形態の画像処理装置の構成例を説明するためのブロック図である。 ＬＵＴ（ルックアップテーブル）に格納すべき各フィルタ係数を求めるための手順の例を示したフローチャートである。 ボケの簡易化モデルのデータの例を説明するための図である。 ＬＵＴの格納情報の例を示した図である。 ＬＵＴからフィルタ係数を取得するために実行すべき処理手順の例を示したフローチャートである。 第二実施形態の画像処理装置の構成例を説明するためのブロック図である。 第二実施形態における係数取得部がフィルタ係数を取得するために実行すべき処理手順の例を示したフローチャートである。 第三実施形態の画像処理装置の構成例を説明するためのブロック図である。 ボケ特性の統一化の例を説明するための図である。 各画像投影装置のフォーカス調整例について説明するための図である。
　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．第一実施形態＞
［1-1．画像投影システムの概要］
［1-2．画像処理装置の概略構成］
［1-3．実施形態としての合成ボケ補正手法］
［1-4．第一実施形態としての画像処理装置］
［1-5．処理手順］
＜２．第二実施形態＞
［2-1．第二実施形態としての画像処理装置］
［2-2．処理手順］
＜３．第三実施形態＞
＜４．変形例＞
＜５．実施形態のまとめ＞
＜６．本技術＞
＜１．第一実施形態＞
［1-1．画像投影システムの概要］

　図１は、本技術に係る実施形態としての画像処理装置１を含んで構成される画像投影システム（実施形態としての画像投影システム）の構成例を示している。
　実施形態としての画像投影システムは、画像処理装置１と、ｎ台（ｎは２以上の自然数）のプロジェクタ装置２と、撮像装置３とを備える。
　各プロジェクタ装置２は、透過型の液晶プロジェクタ装置として構成されている。具体的に、プロジェクタ装置２は、Ｒ（赤）色、Ｇ（緑）色及びＢ（青）色のそれぞれに対応する液晶パネルを備えた、いわゆる三板式の液晶プロジェクタ装置として構成されている。図示のように本例の画像投影システムでは、プロジェクタ装置２の台数は４台（ｎ＝４）であるとする。
　画像処理装置１は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、デジタルデータによる画像に各種の信号処理（画像処理）を施し、各プロジェクタ装置２に対して分配出力することが可能に構成されている。
　本実施形態の画像投影システムでは、画像処理装置１が分配出力した画像を、各プロジェクタ装置２が共通のスクリーンＳ上に投影する。このとき、画像の投影は、各プロジェクタ装置２の投影画像がスクリーンＳ上で互いに重なるように行われる（いわゆる「重畳投影」）。具体的に、本実施形態では、スクリーンＳ上に表示される画像の輝度向上を図るべく、各プロジェクタ装置２による投影画像の各画素位置が一致するように重畳投影が行われる。
　なお、プロジェクタ装置２による画像の投影対象はスクリーンＳに限定されるものではなく、例えば室内の壁面等、スクリーンＳ以外とすることもできる。
　ここで以下、重畳投影により投影対象物上に表示される画像のことを「重畳投影画像Ｐｐ」と表記する。
　撮像装置３は、例えばＣＣＤ（Charged-coupled devices）センサやＣＭＯＳ（Complementary metal-oxide-semiconductor）センサ等の撮像素子を有するデジタルカメラ装置として構成されている。撮像装置３は、画像処理装置１と通信可能に構成され、撮像画像を画像処理装置１に送信可能とされている。本例において、撮像装置３は、画像処理装置１がプロジェクタ装置２による投影画像に生じるフォーカスボケを計測するにあたっての撮像画像を得るために用いられ、スクリーンＳ上における画像の投影範囲全体が画角に収まる位置に配置される。
［1-2．画像処理装置の概略構成］

　図２は、画像処理装置１の概略構成を示したブロック図である。
　画像処理装置１は、重畳投影画像Ｐｐに生じる合成ボケ、すなわち個々のプロジェクタ装置２の投影画像に生じるボケが合成されたボケを補正するために、投影対象の画像にボケ補正のための信号処理（フィルタ処理）を施し、該信号処理を施した画像を各プロジェクタ装置２に投影させる。
　図示のように画像処理装置１は、画像入力部５、係数取得部６、ボケ補正部７、及び画像出力部８を備えている。
　画像入力部５は、プロジェクタ装置２により投影する画像（つまり投影対象の画像）を入力する。画像の入力は、例えば画像処理装置１の外部装置から行ってもよいし、或いは、画像処理装置１に設けられた例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスに記憶された画像データを読み出して入力する構成とすることもできる。
　係数取得部６は、所定の導出式によって求まるボケ特性ごとのフィルタ係数を取得する。この導出式は、投影画像に生じるフォーカスボケについて、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数が導出される導出式とされ、複数のボケ特性が一式にまとめて組み込まれた式とされている。
　本例のように複数のプロジェクタ装置２による重畳投影画像Ｐｐに生じる合成ボケを補正するにあたっては、フィルタ係数としては、プロジェクタ装置２ごとのフィルタ係数を取得する。このとき、重畳投影画像Ｐｐにおけるボケの特性は画素ごとに異なり得るので、プロジェクタ装置２ごとのフィルタ係数としては、重畳投影画像Ｐｐの各位置（本例では後述する各代表点）に対応するフィルタ係数を取得する。
　なお、上記の導出式を含め、実施形態としてのボケ補正手法の詳細については改めて説明する。
　ボケ補正部７は、係数取得部６が取得した個々のフィルタ係数に基づき、画像入力部５が入力した画像に対しボケ補正処理を施して複数のボケ補正画像を得る。具体的に、本例におけるボケ補正部７は、プロジェクタ装置２と同数のボケ補正フィルタ７ａを有しており、各ボケ補正フィルタ７ａが、それぞれ対応するプロジェクタ装置２に対して取得されたフィルタ係数を用いて、入力画像に対するボケ補正処理を施す。これにより、プロジェクタ装置２ごとのボケ補正画像が得られる。
　ここでのボケ補正処理は、ボケの逆関数により設計されるフィルタを用いた信号処理となる。
　画像出力部８は、ボケ補正部７により得られた複数のボケ補正画像を個別に出力する。具体的に、本例の画像出力部８は、プロジェクタ装置２ごとに、対応する一つのボケ補正画像を出力する。
　各プロジェクタ装置２がそれぞれ対応するボケ補正画像を投影することで、重畳投影画像Ｐｐにおけるフォーカスボケの解消が図られる。
　ここで、本技術に係る「補正部」は、本例では少なくとも係数取得部６とボケ補正部７とを含む部分となる。
［1-3．実施形態としての合成ボケ補正手法］

　先ず、合成ボケについて図３を参照して説明しておく。
　図３Ａは、重畳投影画像Ｐｐにおける二つの異なる画像エリアＡ１、Ａ２を例示している。紙面の横方向、縦方向がそれぞれ画像の水平方向、垂直方向に対応しており、画像エリアＡ１は重畳投影画像Ｐｐの左上角の領域、画像エリアＡ２は重畳投影画像Ｐｐの右上角の領域であるとする。
　図３Ｂに示すように、説明上、重畳投影画像Ｐｐを２台のプロジェクタ装置２の画像投影により得る場合を考える。
　重畳投影時には２台のプロジェクタ装置２を同一位置に配置することはできないため、主に投影面までの光路長の差等に起因して、各プロジェクタ装置２による投影画像にはそれぞれ異なる特性のフォーカスボケが生じる。
　このとき、重畳投影画像Ｐｐに生じるフォーカスボケは、プロジェクタ装置２各々の投影画像に生じるフォーカスボケに起因したものとなるが、プロジェクタ装置２単体の投影画像においては、画素ごと（画像内のエリアごと）にフォーカスボケの特性が異なり得る。これは、画像内の各エリアまでの光路長に差が生じることに起因する。
　ここで、例えば図３Ｂのように２台のプロジェクタ装置２が左右に離間して配置された場合において、左側のプロジェクタ装置２の投影画像における画像エリアＡ１に生じるフォーカスボケの特性をボケ特性Ｃ１Ｌとする。また、左側のプロジェクタ装置２の投影画像における画像エリアＡ２に生じるフォーカスボケの特性をボケ特性Ｃ２Ｌとする。さらに、右側のプロジェクタ装置２の投影画像における画像エリアＡ１、Ａ２に生じるフォーカスボケの特性をそれぞれボケ特性Ｃ１Ｒ、Ｃ２Ｒとする。
　図３Ｃは、これらボケ特性Ｃ１Ｌ、Ｃ２Ｌ、Ｃ１Ｒ、Ｃ２Ｒの例を模式的に表している。ここでは、各ボケ特性Ｃの視覚化モデルとして、点広がり関数（ＰＳＦ：Point Spread Function ）の視覚化モデルを表している。
　図示のように、左側のプロジェクタ装置２によるボケ特性Ｃ１Ｌ、Ｃ２Ｌについては、ボケ特性Ｃ１Ｌは画像の水平方向におけるボケが小さく垂直方向におけるボケが大きくなる傾向であるのに対し、ボケ特性Ｃ２Ｌは、逆に垂直方向におけるボケが小さく水平方向におけるボケが大きくなる傾向とされる。
　また、右側のプロジェクタ装置２によるボケ特性Ｃ１Ｒ、Ｃ２Ｒについて、ボケ特性Ｃ１Ｒは垂直方向におけるボケが小さく水平方向におけるボケが大きくなる傾向となり、ボケ特性Ｃ２Ｒは、垂直方向におけるボケが大きく水平方向におけるボケが小さくなる傾向とされる。
　画像エリアＡ１に着目すると、左側のプロジェクタ装置２のボケ特性Ｃ１Ｌは、該プロジェクタ装置２から画像エリアＡ１までの水平方向における光路長が比較的短いことから、水平方向におけるボケが小さい傾向となる。一方、右側のプロジェクタ装置２のボケ特性Ｃ１Ｒは、該プロジェクタ装置２から画像エリアＡ１までの水平方向における光路長が比較的長いことから、水平方向におけるボケが大きい傾向となる。同様の理由により、画像エリアＡ２に着目すると、左側のプロジェクタ装置２のボケ特性Ｃ２Ｌは水平方向におけるボケが大きい傾向となり、逆に右側のプロジェクタ装置２のボケ特性Ｃ２Ｒは水平方向におけるボケが小さい傾向となる。
　このように、重畳投影を行う場合は、画像内のエリアごとに各プロジェクタ装置２のボケ特性が異なり得る。
　ここで、重畳投影画像Ｐｐに生じるボケを補正するための手法として、以下のような先行例としての手法が存在する。
　図４は、先行例としてのボケ補正手法についての説明図である。
　なお、ここでも説明の便宜上、２台のプロジェクタ装置２により重畳投影を行う前提とする。また、ここでは、画像内の単一エリアについてのボケ補正処理を考える。画像内の各エリアについて、以下で説明する手法と同様の手法でボケ補正を行うことで、重畳投影画像Ｐｐ全体のボケ補正を実現することができる。
　先行例としてのボケ補正手法は、ボケの補正にあたり、ボケの逆関数により設計されるフィルタを用いる。すなわち、前述したボケ補正フィルタ７ａを用いる。図中では、重畳投影が２台のプロジェクタ装置２により行われる場合に対応して、ボケ補正フィルタ７ａが二つ設けられている。
　ここで、一方のプロジェクタ装置２の投影画像（ここでは画像内の単一エリア）に生じるボケの特性をボケ特性φとし、他方のプロジェクタ装置２の投影画像（同様に画像内の単一エリア）に生じるボケの特性をボケ特性Φとする。
　また、ボケ特性φによるボケを補正するためのフィルタ係数をｗ１、ボケ特性Φによるボケを補正するためのフィルタ係数をｗ２とする。
　ここでのボケ補正のためのフィルタ処理は、エッジを強調（エンハンス）する処理であり、例えば５×５フィルタ等、複数１セットのフィルタ係数を用いて行われるものである。すなわち、上記のフィルタ係数ｗ１、ｗ２は、複数のフィルタ係数を含む。
　ボケ補正フィルタ７ａによるボケ補正のためのフィルタ処理を入力画像に施し、これをプロジェクタ装置２により投影して得られる画像の画素値は、プロジェクタ装置２ごとに以下の［式１］［式２］で表すことができる。


Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　すなわち、この場合における一方のプロジェクタ装置２の投影画像の値は、［式１］のように、入力画像の画素値ｘに対しボケ特性φに基づくボケ付加処理及びフィルタ係数ｗ１に基づくボケ補正処理を施した値として表すことができる。また、この場合における他方のプロジェクタ装置２の投影画像の値は、［式２］のように、画素値ｘに対しボケ特性Φに基づくボケ付加処理及びフィルタ係数ｗ２に基づくボケ補正処理を施した値として表すことができる。
　先行例においては、ボケ補正のためのフィルタ係数ｗ１、ｗ２を、以下の［式３］［式４］に示す導出式に基づき求めるものとしている。


Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 　但し、［式３］［式４］において、「ｙ」は重畳投影画像Ｐｐの画素値の理想値であり、具体的には、フォーカスボケが生じない理想状態での重畳投影画像Ｐｐの画素値を表す。
　先行例では、［式３］が表すＱ１、すなわち、画素値ｘに対しボケ特性φに基づくボケ付加処理及びフィルタ係数ｗ１に基づくボケ補正処理を施した値と所定の理想値（ここではｙ／２）との誤差の値に基づいて、一方のプロジェクタ装置２に対応するフィルタ係数ｗ１を求める。具体的には、誤差Ｑ１をできるだけ小さくするフィルタ係数ｗ１を求める。
　また先行例では、［式４］が表すＱ２、すなわち、画素値ｘに対しボケ特性Φに基づくボケ付加処理及びフィルタ係数ｗ２に基づくボケ補正処理を施した値と所定の理想値（ｙ／２）との誤差の値に基づいて、他方のプロジェクタ装置２に対応するフィルタ係数ｗ２を求める。具体的には、誤差Ｑ２をできるだけ小さくするフィルタ係数ｗ２を求める。
　しかしながら、上記先行例の手法によると、プロジェクタ装置２ごとのフィルタ係数ｗは、それぞれ単一の特性によるボケ（φ又はΦ）を打ち消すように個別に求められることから、発生するボケが大きい場合には、ボケを補正しきれない虞がある。
　例えば、ボケ特性φが前述したボケ特性Ｃ１Ｌのように垂直方向のボケが大きく水平方向のボケが小さい特性であり、ボケ特性Φがボケ特性Ｃ１Ｒのように水平方向のボケが大きく垂直方向のボケが小さい特性であったとする。
　この場合、［式３］のようにφによるボケを解消するフィルタ係数ｗ１を求めた場合には、ボケの大きい垂直方向のエンハンスを大きくするフィルタ係数ｗ１が求まる。また［式４］のようにΦによるボケを解消するフィルタ係数ｗ２を求めた場合には、ボケの大きい水平方向のエンハンスを大きくするフィルタ係数ｗ２が求まる。
　このとき、フィルタ係数ｗは、より大きなボケを打ち消すためにはより絶対値の大きい係数が導出される傾向となるが、打ち消すべきボケが大きく、絶対値が大きな係数が求められた場合には、ボケ補正後の画素値がダイナミックレンジを超える虞があり、補正の効果を投影画像に反映しきれなくなる虞がある。
　従って、上記のようにボケが大きい方向のエンハンスを大きくする傾向となる先行例の手法では、解消できるボケの大きさに限界がある。
　そこで、本実施形態では、下記［式５］のように、複数のボケ特性が一式にまとめて組み込まれた導出式に基づきフィルタ係数ｗ１、ｗ２を求める。


Figure JPOXMLDOC01-appb-M000005
 　具体的には、［式５］における誤差Ｑをできるだけ小さくするフィルタ係数ｗ１、ｗ２を求める。
　この誤差Ｑは、ボケ特性（φ、Φ）ごとに、画素値ｘに対しボケ特性に基づくボケ付加処理及びフィルタ係数（ｗ１、ｗ２）に基づくボケ補正処理を施した値の総和と、所定の理想値（ｙ）との差と言うことができる。
　［式５］は、端的に言えば、フィルタ係数ｗ１、ｗ２を、先行例のように単一のボケ特性のみに基づき求めるのではなく、複数のボケ特性に基づき求めるものであると言うことができる。
　複数のボケ特性について、先行例のようにボケ特性単体ごとに導出式を解いていると（つまり単体のボケ特性しか組み込まれていない導出式を解いていると）、そのボケ特性によるボケを打ち消すようにするフィルタ係数ｗしか求まらない。つまり、例えば垂直方向のボケが大きければ垂直方向をエンハンスするフィルタ係数ｗしか求まらない。
　これに対し、［式５］のようにそれぞれのフィルタ係数を複数のボケ特性に基づき求めるようにする、すなわち複数のボケ特性をまとめて組み込んだ導出式により求めるようにすれば、ボケ特性ごとのフィルタ係数ｗは、先行例のように単体のボケを打ち消す傾向（ボケが大きい方向のエンハンスを大とする傾向）に収束することに限らず、ボケが大きい方向のエンハンスを小、ボケが小さい方向のエンハンスを大とする傾向に収束可能となる。つまり、例えば図３で示した画像エリアＡ１についてのボケ特性Ｃ１Ｌのように、垂直方向のボケが大且つ水平方向のボケが小となる左側のプロジェクタ装置２に用いるフィルタ係数ｗについては、垂直方向のエンハンスを小とし水平方向のエンハンスを小とするフィルタ係数ｗに収束可能となる。また、画像エリアＡ１についてのボケ特性Ｃ１Ｒのように、水平方向のボケが大且つ垂直方向のボケが小となる右側のプロジェクタ装置２に用いるフィルタ係数ｗについては、垂直方向のエンハンスを大とし水平方向のエンハンスを小とするフィルタ係数ｗに収束可能となる。これらのフィルタ係数ｗによる補正を合計した結果、画像エリアＡ１については、二つのボケ特性による合成ボケが適切に補正されるようになる。つまり、左側のプロジェクタ装置２についての水平方向のエンハンスは、右側のプロジェクタ装置２の投影画像に生じる水平方向ボケへの補正として機能し、また、右側のプロジェクタ装置２についての垂直方向のエンハンスは、左側のプロジェクタ装置２の投影画像に生じる垂直方向ボケへの補正として機能することになり、二つの補正の合計により、合成ボケに対する補正が適正に行われるものである。
　このように、各ボケ特性について互いにボケが小さい方向をエンハンスし、それらの補正の合計によって合成ボケを補正するということができれば、先行例のようにボケが大きい方向をエンハンスするという手法を採る場合よりも、補正可能なボケ量を大きくすることができる。すなわち、合成ボケについての補正性能の向上を図ることができ、画質のさらなる向上を図ることができる。
　なお、上記では２台のプロジェクタ装置２が重畳投影を行う場合の合成ボケに対する導出式を例示したが、ｎ台のプロジェクタ装置２が重畳投影を行う場合の導出式は、プロジェクタ装置２ごとのボケ特性、すなわちｎ個のボケ特性をまとめて組み込んだ導出式を用いる。
　また、上記の導出式は、一つの画像エリアで生じるボケの補正フィルタ係数を導出する式であり、重畳投影画像Ｐｐの全域でボケ補正を行うためには、画像内における必要とされる複数の画像エリアごとに、それぞれ同様の導出式によって各プロジェクタ装置２のフィルタ係数ｗを求める。
［1-4．第一実施形態としての画像処理装置］

　第一実施形態の画像処理装置１は、上記［式５］のように複数のボケ特性が一式にまとめて組み込まれた導出式で求まるフィルタ係数ｗを格納したＬＵＴ（ルックアップテーブル）１０を用い、各プロジェクタ装置２に対応するフィルタ係数ｗを取得するように構成される。
　図５は、画像処理装置１の構成例を説明するためのブロック図である。なお図５では、画像処理装置１の構成例と共に、図１に示した撮像装置３も併せて示している。
　以下の説明において、既に説明済みとなった部分と同様の部分については同一符号を付して説明を省略する。
　先の図２で説明したように、画像処理装置１は、画像入力部５、係数取得部６、ボケ補正部７、及び画像出力部８を備えている。
　係数取得部６は、ＬＵＴ１０を備えると共に、ボケ計測部１１及び制御部１２を備えている。ＬＵＴ１０には、予め［式５］のような導出式を用いて求められた各プロジェクタ装置２の画像エリアごとのフィルタ係数ｗが、各プロジェクタ装置２の設置条件ごとに格納されている。ここでの設置条件とは、重畳投影を行う各プロジェクタ装置２の少なくとも配置位置に係る条件を意味するものであり、例えば、各プロジェクタ装置２の投影面に対する位置関係の条件とされる。
　ここで、第一実施形態において、画像処理装置１の製造者（製造メーカ）は、画像投影システムが実際に使用される本番環境、すなわち、本番の重畳投影が行われる環境において想定される複数の設置条件について、予め本番環境とは異なる環境下において、それら設置条件ごとに各プロジェクタ装置２のボケ特性の計測を行い、計測したボケ特性を用いて［式５］のような導出式を解くことにより、各プロジェクタ装置２の画像エリアごとのフィルタ係数ｗを設置条件ごとに求める。
　製造者は、このように求めた各プロジェクタ装置２の画像エリアごとのフィルタ係数ｗを、設置条件ごとにＬＵＴ１０に記憶させる。
　具体的に、製造者側では、本番環境とは異なる環境、例えば、画像処理装置１の工場出荷前環境（以下「出荷前環境」とも表記する）において、例えば図６に示すような手順によりＬＵＴ１０に格納すべき各フィルタ係数ｗを求める。
　先ず、出荷前環境において製造者は、ｎ台のプロジェクタ装置２を、第１設置条件として定められた所定の位置関係に配置する（ステップＳ１）。ここで、予め製造者側で想定した設置環境の種類の数を「ｍ」（ｍは２以上の自然数）とする、図中の「Ｍ」は、設置条件の識別子を意味する。
　出荷前段階で用いる各プロジェクタ装置２は、本番環境で使用するプロジェクタ装置２と同一の個体である必要はない。
　次いで、ｎ台のプロジェクタ装置２のうち、１台目のプロジェクタ装置２を選択する（ステップＳ２）。つまり、第１～第ｎのプロジェクタ装置２のうち第１のプロジェクタ装置２を選択する。図中の「Ｎ」は、プロジェクタ装置２の識別子を意味する。
　次いで、選択したプロジェクタ装置２により、テスト画像を投影させる（ステップＳ３）。本例では、テスト画像としてｏ個（ｏは２以上の自然数）の代表点が設定された画像を用いる。例えば、代表点としては、画像の中央及び四隅の計５点を含む５以上の点が設定され、テスト画像は、例えばそれら代表点に該当する画素のみを発光させる画像が用いられる。
　続いて、投影画像の撮像画像を取得する（ステップＳ４）。すなわち、選択したプロジェクタ装置２がテスト画像を投影している状態において、投影面を撮像装置により撮像させてその撮像画像を得る。
　その上で、各代表点のボケ特性を計測する（ステップＳ５）。
　この際、ボケ特性のデータについては、点広がり関数を表すデータとしてもよいが、本例では、例えばデータ容量削減のため、図７に示すようなボケの簡易化モデルのデータを採用する。この図７に示す簡易モデルは、投影面におけるボケの広がりが正規分布状になるとの前提でボケ特性を簡易的に表すもので、各方向のボケ度合い（σａ、σｂ）と、ボケの方向を定義するための角度θとでボケ特性を表すものとされる。σａとσｂは、互いに直交する方向のボケ度合いをそれぞれ表す。
　なお、ボケ特性を表す具体的なデータについては特に限定されるものではなく、例えばＬＰＦ（Low Pass Filter）の係数データとすることもできる。
　説明を図６に戻す。
　ステップＳ５に続くステップＳ６では、計測したボケ特性を現在の設置条件及びプロジェクタ装置２と対応づけて記憶させる。すなわち、ステップＳ５の計測により得られた各ボケ特性のデータを、現在の設置条件、及び現在選択中のプロジェクタ装置２を表す情報と対応づけて所要の記憶装置に記憶させる。
　次いで、ステップＳ７では、ｎ台のプロジェクタ装置２全てについてボケ特性を計測したか否かが判定され（Ｎ≧ｎ）、全てのプロジェクタ装置２についてボケ特性を計測していない場合は、ステップＳ８で次のプロジェクタ装置２を選択し（Ｎ←Ｎ＋１）、ステップＳ３に戻る。これにより、次のプロジェクタ装置２について、ボケ特性の計測、記憶が行われる。
　一方、ステップＳ７において全てのプロジェクタ装置２についてボケ特性を計測したと判定された場合は、ステップＳ９で、代表点ごとに各プロジェクタ装置２のフィルタ係数ｗを計算する。すなわち、代表点ごとに、各プロジェクタ装置２のボケ特性（ｎ個のボケ特性）が一式にまとめて組み込まれた導出式に基づき、各プロジェクタ装置２のフィルタ係数ｗを計算する。先の［式５］の導出式は、２台のプロジェクタ装置２で重畳投影を行う場合に対応して、理想値ｙから減算される項がそれぞれボケ特性φ、ボケ特性Φを含んだ二つとされていたが、ステップＳ９で用いる導出式は、対象とする代表点について各プロジェクタ装置２ごとに計測されたボケ特性のうちそれぞれ対応する一つを含むｎ個の項を理想値ｙより減算する式を用いる。
　続くステップＳ１０では、計算した各プロジェクタ装置２の代表点ごとのフィルタ係数ｗを現在の設置条件と対応づけて所要の記憶装置に記憶させる。
　これまでのステップＳ１～Ｓ１０の手順により、第一設置条件について、各プロジェクタ装置２の代表点ごとのフィルタ係数ｗが得られることになる。
　次いで、ステップＳ１１では、ｍ個全ての設置条件についてフィルタ係数ｗを求めたか否か（Ｍ≧ｍ）が判定され、全ての設置条件についてフィルタ係数ｗを求めていない場合は、ステップＳ１２で次の設置条件に相当する位置関係に各プロジェクタ装置２を配置し（Ｍ←Ｍ＋１）、ステップＳ２に進む。これにより、次の設置条件について、各プロジェクタ装置２について代表点ごとのボケ特性の計測（Ｓ３～Ｓ８）、計測したボケ特性に基づく各プロジェクタ装置２の代表点ごとのフィルタ係数ｗの計算、記憶（Ｓ９～Ｓ１０）が行われる。
　そして、このようなフィルタ係数ｗの計算、記憶が繰り返され、ステップＳ１１で全ての設置条件についてフィルタ係数ｗを求めたと判定されたことに応じて、図６に示す一連の手順が終了となる。
　本例のＬＵＴ１０には、例えば上記の手順によって求まった各プロジェクタ装置２の代表点ごとのフィルタ係数ｗが設置条件ごとに格納される。
　図８は、ＬＵＴ１０の格納情報の例を示している。
　なお、図８では、ボケ特性の種類の数が１～ｐのｐ個、フィルタ係数ｗの種類（フィルタ係数ｗの組合わせの種類）の数が１～ｒのｒ個であった場合を例示している。
　図示のようにＬＵＴ１０においては、予め想定した複数の設置条件の個々に対して、各プロジェクタ装置２の代表点（画像エリア）ごとのフィルタ係数ｗがそれぞれ対応づけて格納されている。
　本例のＬＵＴ１０においては、各設置条件に対し、その設置条件下で計測された各プロジェクタ装置２の代表点ごとのボケ特性のデータも格納されている。
　説明を図５に戻す。
　係数取得部６において、ボケ計測部１１は、撮像装置３より入力される撮像画像に基づき、本番環境において、各プロジェクタ装置２の代表点ごとのボケ特性を計測する。
　制御部１２は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータを有して構成され、例えば上記ＲＯＭに格納されたプログラムに従った処理を実行することで、画像処理装置１の各種動作制御を行う。
　特に、この場合の制御部１２は、本番環境において、ボケ計測部１１が計測したボケ特性に基づき、ＬＵＴ１０から各プロジェクタ装置２の設置条件に応じたフィルタ係数ｗを取得し、取得したフィルタ係数ｗをボケ補正部７におけるボケ補正フィルタ７ａごとに設定させる制御を行う。
［1-5．処理手順］

　図９のフローチャートを参照し、ＬＵＴ１０からフィルタ係数ｗを取得するために制御部１２（ＣＰＵ）が実行する具体的な処理手順について説明する。
　先ず、制御部１２はステップＳ１０１で、プロジェクタ識別子Ｎを「１」にセットした上で、ステップＳ１０２で第Ｎのプロジェクタ装置２によりテスト画像を投影させる。すなわち、画像入力部５に対する指示を行ってテスト画像をボケ補正部７に入力させる。このとき、ボケ補正部７にはボケ補正機能をオフとする指示を行い、入力されたテスト画像がボケ補正処理を経ずに画像出力部８に入力されるようにする。またこの際、画像出力部８には、第Ｎのプロジェクタ装置２に対してのみテスト画像を出力するように指示を行う。
　次いで、制御部１２はステップＳ１０３で、投影画像の撮像画像を取得するための処理を行う。すなわち、ボケ計測部１１に撮像装置３による撮像画像を取得させる。
　さらに、次のステップＳ１０４で制御部１２は、各代表点のボケ特性を計測するための処理として、ボケ計測部１１に、取得した撮像画像における各代表点のボケ特性を計測させる処理を行い、ステップＳ１０５で、計測したボケ特性を現在のプロジェクタ装置２と対応づけて記憶するための処理を行う。すなわち、ボケ計測部１１に計測させた代表点ごとのボケ特性を現在のプロジェクタ装置２（現在のプロジェクタ識別子Ｎ）と対応づけて所定の記憶装置（例えば制御部１２のＲＡＭ等）に記憶させる。
　次いで、制御部１２はステップＳ１０６で、プロジェクタ識別子Ｎがｎ以上であるか否か（Ｎ≧ｎ）を判定し、Ｎ≧ｎでなければ、ステップＳ１０７でプロジェクタ識別子Ｎの値を１インクリメント（Ｎ←Ｎ＋１）し、ステップＳ１０２に戻る。
　一方、Ｎ≧ｎであれば、制御部１２はステップＳ１０８に進み、計測したボケ特性の組合わせに基づく設置条件のマッチングを行う。すなわち、ＬＵＴ１０における各設置条件のうち、各プロジェクタ装置２の代表点ごとのボケ特性の組合わせが、ステップＳ１０１～Ｓ１０７の処理によって取得された各プロジェクタ装置２の代表点ごとのボケ特性の組合わせとマッチする設置条件を特定する。
　このマッチングの手法として、本例ではボケ特性の誤差が最小となる設置条件を特定する手法を採る。具体的には、ＬＵＴ１０における設置条件ごとに、格納されているボケ特性とステップＳ１０１～Ｓ１０７によって取得されたボケ特性との間の誤差、及びそれら誤差の総和を計算し、計算した誤差総和が最小となる設置条件を、マッチする設定条件として特定する。すなわち、本番環境における設置条件にマッチする設置条件として特定する。
　続くステップＳ１０９で制御部１２は、マッチした設置条件に対応するフィルタ係数ｗを取得し、図９に示す一連の処理を終える。
　このステップＳ１０９の処理により、本番環境における設置条件に対応して各プロジェクタ装置２ごと、つまり各ボケ補正フィルタ７ａごとに設定すべきフィルタ係数ｗ（代表点ごとのフィルタ係数）が取得される。
　なお、上記では、本番環境における各プロジェクタ装置２の代表点ごとのボケ特性を撮像装置３の撮像画像に基づき取得する例を挙げたが、本番環境において、各プロジェクタ装置２の代表点ごとのボケ特性を表す情報（ボケ特性の組合わせを表す情報）は、ユーザの操作入力に基づき取得することも可能である。
　これにより、ボケ補正のためのフィルタ係数ｗを取得するにあたって本番環境において撮像装置３を設けることが不要となり、画像投影システムの構成の簡易化、コスト削減を図ることができる。
　なお、この点については、以降で説明する第二、第三実施形態においても同様である。
　ここで、撮像装置３を用いたボケ計測を行う手法とすれば、実測したボケ特性に基づき対応するフィルタ係数ｗを取得可能となるため、本番環境で生じるボケの特性に応じた適切なフィルタ係数を取得してボケ補正に用いることができる。従って、ボケ補正性能のさらなる向上を図ることができる。
　第一実施形態では、ＬＵＴ１０を用いてフィルタ係数ｗを取得する手法を採っているため、［式５］のような導出式を用いたフィルタ係数ｗの導出のための計算処理を本番環境において行う必要がなくなる。従って、本番環境において使用する画像処理装置１において、ボケ補正を実現する上での処理負担軽減を図ることができる。
＜２．第二実施形態＞
［2-1．第二実施形態としての画像処理装置］

　図１０及び図１１を参照し、第二実施形態としての画像処理装置１Ａについて説明する。
　第二実施形態の画像処理装置１Ａは、本番環境におけるボケ特性に基づき、［式５］のような導出式に基づきボケ補正のためのフィルタ係数ｗを導出する機能を備えたものである。
　図１０は、画像処理装置１Ａの構成例を説明するための図であり、先の図５と同様に、画像処理装置１Ａの構成例と共に撮像装置３を併せて示している。
　第一実施形態の画像処理装置１との差異点は、係数取得部６に代わり係数取得部６Ａが設けられた点であり、係数取得部６Ａは、係数取得部６と比較して、制御部１２に代わり制御部１２Ａが設けられ、ＬＵＴ１０が省略されて係数導出部１３が設けられた点が異なる。
　係数導出部１３は、［式５］のような導出式に従って、ボケ計測部１１が計測したボケ特性、すなわち各プロジェクタ装置２の代表点ごとのボケ特性に基づき、各プロジェクタ装置２の代表点ごとのフィルタ係数ｗを計算する。具体的には、対象とする代表点についてプロジェクタ装置２ごとに計測されたｎ個のボケ特性がまとめて組み込まれた導出式を用いて、各プロジェクタ装置２の代表点ごとのフィルタ係数ｗを計算する。より具体的に、この場合の導出式としても、ボケ特性ごとに、対象画像の画素値に対しボケ特性に基づくボケ付加処理及びフィルタ係数ｗに基づくボケ補正処理を施した値の総和と所定の理想値との差を求める式を含み、係数導出部１３は、当該差を小さくするフィルタ係数ｗを計算により求める。
　制御部１２Ａは、ボケ計測部１１によるボケ特性の計測、及び係数導出部１３によるフィルタ係数ｗの計算を実行させるための処理を行う。
［2-2．処理手順］

　図１１は、制御部１２Ａが本番環境においてフィルタ係数ｗを取得するために実行する具体的な処理手順を示したフローチャートである。
　先ず、制御部１２Ａとしても、制御部１２と同様にステップＳ１０１～Ｓ１０７の処理を実行する。つまりこれにより、本番環境における各プロジェクタ装置２の代表点ごとに計測されたボケ特性が得られる。
　制御部１２Ａは、ステップＳ１０６でプロジェクタ識別子Ｎがｎ以上であると判定した場合には、ステップＳ２０１で代表点ごとに各プロジェクタ装置２のフィルタ係数ｗを計算させるための処理を実行する。すなわち、係数導出部１３が、ステップＳ１０７の処理により得られた各プロジェクタ装置２の代表点ごとのボケ特性に基づき、各プロジェクタ装置２の代表点ごとのフィルタ係数ｗを計算するように、係数導出部１３に対する指示を行う。
　制御部１２Ａは、ステップＳ２０１の処理を実行したことに応じ図１１に示す一連の処理を終える。
　この第二実施形態のように、導出式に基づきボケ補正のためのフィルタ係数ｗを導出する係数導出部１３を備えた構成とすることで、本番環境で生じるボケの特性に応じた適切なフィルタ係数ｗを取得することができ、ボケ補正性能のさらなる向上を図ることができる。
＜３．第三実施形態＞

　続いて、図１２を参照し、第三実施形態としての画像処理装置１Ｂについて説明する。
　図１２は、第三実施形態としての画像処理装置１Ｂの構成例を説明するための図であり、画像処理装置１Ｂの構成例と共に、撮像装置３及びスクリーンＳを併せて示している。
　画像処理装置１Ｂは、図１に示したような複数のプロジェクタ装置２による重畳投影を行うシステムに適用されるものではなく、カラー画像の投影を行う単一のプロジェクタ装置に適用されるものである。
　画像処理装置１Ｂは、カラー画像の投影を行う透過型の液晶プロジェクタ装置として構成されている。
　図示のように画像処理装置１Ｂは、画像入力部５、係数取得部６Ｂ、色画像生成部１４、ボケ補正部７Ａ、画像出力部８Ａ、及び光学系１５を備えている。
　色画像生成部１４は、画像入力部５による入力画像（カラー画像）に基づき、Ｒ，Ｇ，Ｂ各色の画像を生成する。
　ボケ補正部７Ａは、ボケ補正フィルタ７ａとして、Ｒ，Ｇ，Ｂの各色に対応した三つを備えており、各ボケ補正フィルタ７ａは、色画像生成部１４が出力するＲ画像、Ｇ画像、Ｂ画像のうちそれぞれ対応する一つの画像についてフィルタ係数ｗに基づくボケ補正処理を施す。
　図示のように、光学系１５においては、透過型の液晶パネル１６として、Ｇ光に対する空間光変調を施す液晶パネル１６Ｇ、Ｒ光に対する空間光変調を施す液晶パネル１６Ｒ、及びＢ光に対する空間光変調を施す液晶パネル１６Ｂと共に、色合成プリズム１７及び投影レンズ（投影光学系）１８が設けられている。光学系１５においては、不図示の光源より発せられた光がダイクロイックミラー等の色分離素子によってＲ光、Ｇ光、Ｂ光に色分離され、それぞれ対応する色の液晶パネル１６に入射する。
　液晶パネル１６Ｒ、１６Ｇ、１６Ｂによる空間光変調を受けたＲ光、Ｇ光、Ｂ光の各像光は、色合成プリズム１７によってそれぞれ投影レンズ１８に向けて出射され、投影レンズ１８を介してスクリーンＳに投影される。
　画像出力部８Ａは、ボケ補正部７ＡからのＲ画像、Ｇ画像、Ｂ画像を入力し、それぞれ対応する色の液晶パネル１６に出力する。これにより、Ｒ光に対してはＲ画像に基づく空間光変調が、Ｇ光に対してはＧ画像に基づく空間光変調が、またＢ光に対してはＢ画像に基づく空間光変調がそれぞれ施される。
　係数取得部６Ｂは、第二実施形態における係数取得部６Ａと比較して、制御部１２Ａに代わり制御部１２Ｂが設けられ、係数導出部１３に代えて係数導出部１３Ａが設けられた点が異なる。
　ここで、カラー画像を投影するプロジェクタ装置においては、Ｒ，Ｇ，Ｂ等の各色の光の波長差等に起因して、各色の投影画像間でフォーカスボケの特性が異なることが有り得る。すなわち、各色の投影画像は、第一、第二実施形態における各プロジェクタ装置２の投影画像と同様に、画像内の各エリアにおいてボケ特性が異なり得るものである。
　そこで、第三実施形態では、各色の投影画像に生じるボケが合成されて生じる、カラー投影画像における合成ボケを補正可能とするべく、係数取得部６Ｂに係数導出部１３Ａを設けている。
　係数導出部１３Ａは、以下の［式６］の導出式に基づき、Ｒ，Ｇ，Ｂの各画像についてのフィルタ係数ｗを求める。


Figure JPOXMLDOC01-appb-M000006
 　但し、「φＲ」「φＧ」「φＢ」はそれぞれＲ、Ｇ、Ｂの投影画像のボケ特性を、「ｗＲ」「ｗＧ」「ｗＢ」はそれぞれＲ画像、Ｇ画像、Ｂ画像のボケ補正フィルタのフィルタ係数ｗを、「Ｒ」「Ｇ」「Ｂ」はそれぞれＲ画像、Ｇ画像、Ｂ画像の画素値を意味する。この場合における「ｙ」は、Ｒ光、Ｇ光、Ｂ光による画像が合成されたカラー投影画像の画素値の理想値（例えば、ボケが生じない理想状態で得られる理想値としての画素値）を意味している。
　係数導出部１３Ａは、各代表点について、［式６］における誤差Ｑを小さくするフィルタ係数ｗＲ、ｗＧ、ｗＢを求める。これにより、カラー投影画像において、Ｒ，Ｇ，Ｂごとに異なる特性のボケが生じる場合に対応して、合成ボケを補正するためのフィルタ係数ｗＲ、ｗＧ、ｗＢを求めることができる。
　この場合、制御部１２Ｂは、ボケ計測部１１により、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれについて代表点ごとのボケ特性が計測されるように制御を行う。具体的に、制御部１２Ｂは、画像入力部５及び色画像生成部１４に対する指示を行って、Ｒ画像によるテスト画像のみがスクリーンＳに投影されるようにする。なおこの場合も、テスト画像に対してはボケ補正処理が施されないようにしておく。そして、Ｒ画像によるテスト画像が投影されている状態において、撮像装置３による撮像画像をボケ計測部１１に取得させ、該撮像画像に基づき、代表点ごとのボケ特性を計測させる。このようにテスト画像の代表点ごとのボケ特性計測のための処理を、同様にＧ画像、Ｂ画像についても行い、Ｒ，Ｇ，Ｂの各投影画像の代表点ごとのボケ特性を計測させる。
　制御部１２Ｂは、このように計測されたＲ，Ｇ，Ｂの各投影画像の代表点ごとのボケ特性に基づき、係数導出部１３Ａに、代表点ごとのフィルタ係数ｗＲ、ｗＧ、ｗＢを計算させる。そして、ボケ補正部７ＡにおけるＲ画像用のボケ補正フィルタ７ａにはフィルタ係数ｗＲを、Ｇ画像用のボケ補正フィルタ７ａにはフィルタ係数ｗＧを、Ｂ画像用のボケ補正フィルタ７ａにはフィルタ係数ｗＢをそれぞれ設定させる。
　これにより、カラー投影画像において色ごとに異なる特性によるボケが生じる場合に対応して、合成ボケの補正を行うことができる。
　なお、第三実施形態において、フィルタ係数ｗＲ、ｗＧ、ｗＢの取得は、係数導出部１３Ａによらず、第一実施形態のようにＬＵＴを用いて行うことができる。Ｒ，Ｇ，Ｂの投影画像に生じるボケは、画像処理装置１Ｂ（プロジェクタ装置）の投影面に対する設置条件によって異なるため、この場合のＬＵＴには、第一実施形態の場合と同様に設置条件ごとのボケ特性、及び対応するフィルタ係数ｗＲ、ｗＧ、ｗＢを格納しておき、制御部１２Ｂは、本番環境におけるＲ，Ｇ，Ｂ各投影画像のボケ特性に基づいてＬＵＴから対応するフィルタ係数ｗＲ、ｗＧ、ｗＢを取得する。
　また、上記では、撮像装置３が画像処理装置１Ｂと別体に設けられた例を挙げたが、撮像装置３は画像処理装置１Ｂと一体に設けることもできる。
　また、上記では、プロジェクタ装置が有する空間光変調器が透過型の液晶パネル１６とされる例を挙げたが、空間光変調器として反射型液晶パネルを用いることもできる。なお、空間光変調器としては、例えばＤＭＤ（Digital Micromirror Device）を用いる等、液晶パネルに限定されるものではない。
＜４．変形例＞

　なお、本技術は上記で説明した具体例に限定されず、多様な変形例が考えられるものである。
　例えば、第一実施形態のように本番環境にてＬＵＴを用いたフィルタ係数ｗの取得を行う場合において、本番環境において計測されるボケ特性の数が、ＬＵＴにおけるボケ特性の数（つまり出荷前環境で想定した設置条件で生じるボケの特性の数）よりも多くなることも有り得る。例えば、図８に示したＬＵＴ１０の例では、出荷前環境におけるボケ特性の数は１～ｏまでのｏ個であったが、本番環境において計測されるボケ特性の数がこれよりも多いｑ個となることも有り得る。
　そのような場合には、例えば図１３に示すように、本番環境で計測されたボケ特性（ここではφ１～φｑのｑ個とする）について、ボケ特性間のマッチングをとり、近似関係にあるボケ特性同士を統一化する。統一化の例としては、例えば近似関係にある二つのボケ特性のデータを平均化することが挙げられる。図中では、ボケ特性φ１とボケ特性φ２とが近似関係にあり、これらボケ特性φ１、φ２を平均化してボケ特性φｆに統一化した例を示している。このような統一化により、本番環境で計測されたボケ特性の種類を縮退させる（減少させる）ことができる。
　上記のようなボケ特性同士の統一化を必要に応じて行うことで、ＬＵＴに含まれるボケ特性の種類よりも実測ボケ特性の種類が多い場合に対応して、ボケ補正のためのフィルタ係数を適正に取得することが可能となる。
　なお、上記では、ＬＵＴからフィルタ係数を取得する際には、ボケ特性の誤差が最小となる設置条件を特定し、特定した設置条件に紐付くフィルタ係数を取得する例を挙げたが、上記のようなボケ特性の統一化を行った際には、統一化されたボケ特性に対応するフィルタ係数については、取得したフィルタ係数をそのままボケ補正に用いるのではなく、取得したフィルタ係数を統一化対象数Ｆ（統一元のボケ特性の数）で除算する。例えば、統一化として二つのボケ特性の平均化を行った場合には、Ｆ＝２として、取得したフィルタ係数を「２」により除算する。このとき、ボケ補正に用いるフィルタ係数は、それらの総和が「１」となるように正規化する。
　ここで、第一、第二実施形態で説明したように、［式５］のような導出式によりフィルタ係数ｗを導出する手法では、プロジェクタ装置２ごとのボケ補正として、ボケが大きい方向、すなわち元の画像情報がボケにより大きく失われてしまう方向のエンハンスを小とし、ボケが小さい方向、すなわち元の画像情報が大きく失われない方向のエンハンスを大とする補正を行うことができ、これらの補正の合計により、重畳投影画像Ｐｐに生じる合成ボケを効果的に補正することができる。
　このような実施形態としてのボケ補正特性に鑑みると、各プロジェクタ装置２のフォーカスは、図１４Ａに例示するような通常の調整手法、すなわち、投影面の全体に略均一にフォーカスが合うように調整する場合よりも、図１４Ｂのように、各プロジェクタ装置２が投影面のそれぞれ異なる位置にフォーカスを合わせるように調整した方が、より高いボケ補正効果を得ることができる。
　例えば、先の図１で例示したように４台のプロジェクタ装置２を水平方向に配列させて重畳投影を行う場合において、４台のプロジェクタ装置２を左端から順に第１～第４のプロジェクタ装置２とすると、例えば図１４Ｂに例示するように、左端に位置する第１のプロジェクタ装置２（一点鎖線）は、投影面の左端にフォーカスが合うように調整し、その右側の第２のプロジェクタ装置２（実線）は、投影面の中央よりもやや左寄りの位置にフォーカスが合うように調整する。また、第３のプロジェクタ装置２（短破線）は、投影面の中央よりもやや右寄りの位置にフォーカスが合うように調整し、右端に位置する第４のプロジェクタ装置２（長破線）は投影面の右端にフォーカスが合うように調整する。
　このように重畳投影を行う各プロジェクタ装置２については、投影面に対する位置関係に応じてそれぞれフォーカスが合う位置を調整することで、［式５］のような導出式を用いたボケ補正が行われる場合に対応して、合成ボケの補正効果をさらに高めることができる。
　ここで、上記では、ＬＵＴ１０が画像処理装置１に設けられた例を示したが、ＬＵＴ１０は、例えばネットワーク上の外部装置等、画像処理装置１と通信可能な外部装置に設けることも可能であり、画像処理装置１にＬＵＴ１０を設けることは必須ではない。
　また、上記では、プロジェクタ装置２の設置条件が、ｎ台のプロジェクタ装置２を用いることを前提とする条件とされた例を挙げたが、本番環境において、重畳投影に用いるプロジェクタ装置２の台数が可変とされる場合にも対応可能とするべく、ＬＵＴ１０には、プロジェクタ装置２の設置台数が異なる設置条件ごとのフィルタ係数ｗを格納しておくこともできる。
　また、第一、第二実施形態では、実施形態としての画像処理装置（１又は１Ａ）がプロジェクタ装置２と別体に設けられた例を示したが、画像処理装置は何れかのプロジェクタ装置２と一体に構成することもできる。
＜５．実施形態のまとめ＞

　以上説明してきたように実施形態の画像処理装置（同１又は１Ａ又は１Ｂ）は、画像投影装置による投影画像に生じるフォーカスボケに関して、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数であって、それぞれが複数のボケ特性に基づき求められたフィルタ係数を用いて、入力画像に対しボケ補正処理を施し複数のボケ補正画像を得る補正部（係数取得部６若しくは６Ａ若しくは６Ｂ、及びボケ補正部７若しくは７Ａ）と、補正部により得られた複数のボケ補正画像を個別に出力する画像出力部（同８又は８Ａ）と、を備えるものである。
　上記のようにボケ補正のためのフィルタ係数をそれぞれ複数のボケ特性に基づき求めることで、ボケ特性ごとの補正フィルタ係数は、従来のようにそのボケ単体を打ち消す傾向（つまりボケが大きい方向のエンハンスを大とする傾向）に収束することに限らず、ボケが大きい方向のエンハンスを小、ボケが小さい方向のエンハンスを大とする傾向に収束可能となる。
　これにより、各ボケ特性の画像について、互いにボケが小さい方向をエンハンスし、それらの補正の合計によって合成ボケを補正するということが可能となり、従って、合成ボケについての補正性能向上を図ることができる。
　また、実施形態としての画像処理装置においては、フィルタ係数は、複数のボケ特性が一式にまとめて組み込まれた導出式により求められたものである。
　上記のように複数のボケ特性をまとめて組み込んだ導出式を解くようにすれば、ボケ特性ごとの補正フィルタ係数は、従来のようにそのボケ単体を打ち消す傾向（つまりボケが大きい方向のエンハンスを大とする傾向）に収束することに限らず、ボケが大きい方向のエンハンスを小、ボケが小さい方向のエンハンスを大とする傾向に収束可能となる。
　これにより、各ボケ特性の画像について、互いにボケが小さい方向をエンハンスし、それらの補正の合計によって合成ボケを補正するということが可能となり、従って、合成ボケについての補正性能向上を図ることができる。
　また、実施形態としての画像処理装置においては、導出式は、ボケ特性ごとに、対象画像の画素値に対しボケ特性に基づくボケ付加処理及びフィルタ係数に基づくボケ補正処理を施した値の総和と、所定の理想値との差を求める式を含んでいる。
　当該式を含む導出式は、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数が導出される導出式であって、複数のボケ特性が一式にまとめて組み込まれた式に該当する。
　従って、このような導出式から導出されたフィルタ係数をボケ補正に用いることで、ボケ補正性能の向上を図ることができる。
　さらにまた、実施形態としての画像処理装置においては、補正部は、ボケ特性の組合わせを表す組合わせ情報を取得すると共に、ボケ特性ごとのフィルタ係数がボケ特性の組合わせごとに格納されたテーブル（ＬＵＴ１０）に基づき、取得した組合わせ情報が表すボケ特性の組合わせに応じたフィルタ係数を取得している。
　これにより、複数のボケ特性が組合わされた合成ボケを補正する上で該当するボケ特性の組合わせに応じたフィルタ係数を取得するにあたり、導出式を用いてフィルタ係数を求める必要がなくなる。
　従って、ボケ補正にあたっての画像処理装置の処理負担軽減を図ることができる。
　また、実施形態としての画像処理装置（同１Ａ又は１Ｂ）においては、補正部（係数取得部６Ａ若しくは６Ｂ、及びボケ補正部７若しくは７Ａ）は、ボケ特性ごとのフィルタ係数を導出する係数導出部（同１３又は１３Ａ）を有している。
　これにより、実際の使用環境で生じるボケの特性に応じた適切なフィルタ係数を取得し、ボケ補正に用いることが可能とされる。
　従って、実際に生じるボケ特性に応じたフィルタ係数によってボケ補正をより正確に行うことができ、ボケ補正性能のさらなる向上を図ることができる。すなわち、画質のさらなる向上を図ることができる。
　さらに、実施形態としての画像処理装置においては、補正部は、撮像装置（同３）による撮像画像に基づきボケ特性の組合わせ情報を取得している。
　これにより、実際の使用環境で生じる合成ボケに応じた適切なフィルタ係数を取得することが可能とされる。
　従って、ボケ補正性能の向上を図ることができ、画質向上が図られる。
　さらにまた、実施形態としての画像処理装置においては、補正部は、操作入力に基づきボケ特性の組合わせ情報を取得している。
　これにより、ボケ特性ごとのフィルタ係数を取得するにあたり、撮像装置を用いたボケ計測を行う必要がなくなる。
　従って、ボケ補正を行うための構成の簡易化、コスト削減を図ることができる。
　また、実施形態としての画像処理装置（同１又は１Ａ）においては、ボケ特性ごとのフィルタ係数は、画像投影装置ごとのフィルタ係数であり、画像出力部は、複数のボケ補正画像を複数の画像投影装置に分配出力している。
　これにより、複数の画像投影装置によって重畳投影を行う場合に生じる合成ボケを適切に補正可能とされる。
　従って、重畳投影時の画質向上を図ることができる。
　さらに、実施形態としての画像処理装置（同１Ｂ）においては、ボケ特性ごとのフィルタ係数は、カラー画像投影装置における各色の画像ごとのフィルタ係数であり、画像出力部は、複数のボケ補正画像を、カラー画像投影装置における各色の空間光変調器（液晶パネル１６）に分配出力している。
　これにより、Ｒ，Ｇ，Ｂ等の各色の投影画像でボケ特性が異なる場合に対応して、適切にボケ補正を行うことが可能とされる。
　従って、カラー画像投影時の画質向上を図ることができる。
　さらにまた、実施形態としての画像処理装置においては、補正部は、撮像装置による撮像画像に基づきボケ特性の組合わせ情報を取得すると共に、撮像画像に基づき計測されるボケ特性である実測ボケ特性について、実測ボケ特性の種類がテーブルに含まれるボケ特性の種類よりも多い場合には、実測ボケ特性のうち近似関係にあるボケ特性同士を統一化することで実測ボケ特性の種類を縮退させている。
　これにより、テーブルに含まれるボケ特性の種類よりも実測ボケ特性の種類が多い場合において、ボケ補正のためのフィルタ係数を適正に取得することが可能となる。
　従って、テーブルに含まれるボケ特性の種類に対する実測ボケ特性の種類の多寡に拘わらず、合成ボケの補正を行うことができる。
　また、実施形態としての画像処理方法は、画像投影装置による投影画像に生じるフォーカスボケに関して、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数であって、それぞれが複数のボケ特性に基づき求められたフィルタ係数を用いて、入力画像に対しボケ補正処理を施し複数のボケ補正画像を得る補正ステップと、補正ステップにより得られた複数のボケ補正画像を個別に出力する画像出力ステップと、を有するものである。
　このような実施形態としての画像処理方法によっても、上記した実施形態としての画像処理装置と同様の作用及び効果を得ることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜６．本技術＞

　なお本技術は以下のような構成も採ることができる。
（１）
　画像投影装置による投影画像に生じるフォーカスボケに関して、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数であって、それぞれが複数のボケ特性に基づき求められたフィルタ係数を用いて、入力画像に対しボケ補正処理を施し複数のボケ補正画像を得る補正部と、
　前記補正部により得られた前記複数のボケ補正画像を個別に出力する画像出力部と、を備える
　画像処理装置。
（２）
　前記フィルタ係数は、複数のボケ特性が一式にまとめて組み込まれた導出式により求められた
　前記（１）に記載の画像処理装置。
（３）
　前記導出式は、
　前記ボケ特性ごとに、対象画像の画素値に対し前記ボケ特性に基づくボケ付加処理及び前記フィルタ係数に基づくボケ補正処理を施した値の総和と、所定の理想値との差を求める式を含む
　前記（２）に記載の画像処理装置。
（４）
　前記補正部は、
　前記ボケ特性の組合わせを表す組合わせ情報を取得すると共に、
　前記ボケ特性ごとのフィルタ係数が前記ボケ特性の組合わせごとに格納されたテーブルに基づき、取得した前記組合わせ情報が表す前記ボケ特性の組合わせに応じた前記フィルタ係数を取得する
　前記（１）乃至（３）の何れかに記載の画像処理装置。
（５）
　前記補正部は、
　前記ボケ特性ごとのフィルタ係数を導出する係数導出部を有する
　前記（１）乃至（３）の何れかに記載の画像処理装置。
（６）
　前記補正部は、
　撮像装置による撮像画像に基づき前記ボケ特性の組合わせ情報を取得する
　前記（１）乃至（５）の何れかに記載の画像処理装置。
（７）
　前記補正部は、
　操作入力に基づき前記ボケ特性の組合わせ情報を取得する
　前記（１）乃至（５）の何れかに記載の画像処理装置。
（８）
　前記ボケ特性ごとのフィルタ係数は、画像投影装置ごとのフィルタ係数であり、
　前記画像出力部は、
　前記複数のボケ補正画像を複数の前記画像投影装置に分配出力する
　前記（１）乃至（７）の何れかに記載の画像処理装置。
（９）
　前記ボケ特性ごとのフィルタ係数は、カラー画像投影装置における各色の画像ごとのフィルタ係数であり、
　前記画像出力部は、
　前記複数のボケ補正画像を、前記カラー画像投影装置における各色の空間光変調器に分配出力する
　前記（１）乃至（７）の何れかに記載の画像処理装置。
（１０）
　前記補正部は、
　撮像装置による撮像画像に基づき前記ボケ特性の組合わせ情報を取得すると共に、
　前記撮像画像に基づき計測される前記ボケ特性である実測ボケ特性について、前記実測ボケ特性の種類が前記テーブルに含まれる前記ボケ特性の種類よりも多い場合には、前記実測ボケ特性のうち近似関係にあるボケ特性同士を統一化することで前記実測ボケ特性の種類を縮退させる
　前記（４）に記載の画像処理装置。
　１、１Ａ、１Ｂ　画像処理装置、２　プロジェクタ装置、３　撮像装置、５　画像入力部、６、６Ａ、６Ｂ　係数取得部、７、７Ａ　ボケ補正部、７ａ　ボケ補正フィルタ、８、８Ａ　画像出力部、１０　ＬＵＴ（ルックアップテーブル）、１１　ボケ計測部、１２、１２Ａ、１２Ｂ　制御部、１３、１３Ａ　係数導出部、１４　色画像生成部、１５　光学系、１６（１６Ｒ、１６Ｇ、１６Ｂ）　液晶パネル、１７　色合成プリズム、１８　投影レンズ（投写光学系）、Ｓ　スクリーン、Ｐｐ　重畳投影画像

Claims (11)

  1. 　画像投影装置による投影画像に生じるフォーカスボケに関して、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数であって、それぞれが複数のボケ特性に基づき求められたフィルタ係数を用いて、入力画像に対しボケ補正処理を施し複数のボケ補正画像を得る補正部と、
    　前記補正部により得られた前記複数のボケ補正画像を個別に出力する画像出力部と、を備える
    　画像処理装置。
  2. 　前記フィルタ係数は、複数のボケ特性が一式にまとめて組み込まれた導出式により求められた
    　請求項１に記載の画像処理装置。
  3. 　前記導出式は、
    　前記ボケ特性ごとに、対象画像の画素値に対し前記ボケ特性に基づくボケ付加処理及び前記フィルタ係数に基づくボケ補正処理を施した値の総和と、所定の理想値との差を求める式を含む
    　請求項２に記載の画像処理装置。
  4. 　前記補正部は、
    　前記ボケ特性の組合わせを表す組合わせ情報を取得すると共に、
    　前記ボケ特性ごとのフィルタ係数が前記ボケ特性の組合わせごとに格納されたテーブルに基づき、取得した前記組合わせ情報が表す前記ボケ特性の組合わせに応じた前記フィルタ係数を取得する
    　請求項１に記載の画像処理装置。
  5. 　前記補正部は、
    　前記ボケ特性ごとのフィルタ係数を導出する係数導出部を有する
    　請求項１に記載の画像処理装置。
  6. 　前記補正部は、
    　撮像装置による撮像画像に基づき前記ボケ特性の組合わせ情報を取得する
    　請求項１に記載の画像処理装置。
  7. 　前記補正部は、
    　操作入力に基づき前記ボケ特性の組合わせ情報を取得する
    　請求項１に記載の画像処理装置。
  8. 　前記ボケ特性ごとのフィルタ係数は、画像投影装置ごとのフィルタ係数であり、
    　前記画像出力部は、
    　前記複数のボケ補正画像を複数の前記画像投影装置に分配出力する
    　請求項１に記載の画像処理装置。
  9. 　前記ボケ特性ごとのフィルタ係数は、カラー画像投影装置における各色の画像ごとのフィルタ係数であり、
    　前記画像出力部は、
    　前記複数のボケ補正画像を、前記カラー画像投影装置における各色の空間光変調器に分配出力する
    　請求項１に記載の画像処理装置。
  10. 　前記補正部は、
    　撮像装置による撮像画像に基づき前記ボケ特性の組合わせ情報を取得すると共に、
    　前記撮像画像に基づき計測される前記ボケ特性である実測ボケ特性について、前記実測ボケ特性の種類が前記テーブルに含まれる前記ボケ特性の種類よりも多い場合には、前記実測ボケ特性のうち近似関係にあるボケ特性同士を統一化することで前記実測ボケ特性の種類を縮退させる
    　請求項４に記載の画像処理装置。
  11. 　画像投影装置による投影画像に生じるフォーカスボケに関して、複数のボケ特性の個々に対応したボケ補正のためのフィルタ係数であって、それぞれが複数のボケ特性に基づき求められたフィルタ係数を用いて、入力画像に対しボケ補正処理を施し複数のボケ補正画像を得る補正ステップと、
    　前記補正ステップにより得られた前記複数のボケ補正画像を個別に出力する画像出力ステップと、を有する
    　画像処理方法。
PCT/JP2019/009423 2018-05-28 2019-03-08 画像処理装置、画像処理方法 WO2019230108A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/057,250 US11575862B2 (en) 2018-05-28 2019-03-08 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018101545 2018-05-28
JP2018-101545 2018-05-28

Publications (1)

Publication Number Publication Date
WO2019230108A1 true WO2019230108A1 (ja) 2019-12-05

Family

ID=68697306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009423 WO2019230108A1 (ja) 2018-05-28 2019-03-08 画像処理装置、画像処理方法

Country Status (2)

Country Link
US (1) US11575862B2 (ja)
WO (1) WO2019230108A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383828B (zh) * 2017-03-09 2022-02-08 索尼公司 图像处理设备和方法
WO2019230109A1 (ja) * 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法
JP7347205B2 (ja) * 2019-12-26 2023-09-20 セイコーエプソン株式会社 投写システムの制御方法、投写システム及び制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174184A (ja) * 2004-12-16 2006-06-29 Olympus Corp プロジェクタ
JP2009042838A (ja) * 2007-08-06 2009-02-26 Ricoh Co Ltd 画像投影方法および画像投影装置
JP2010183229A (ja) * 2009-02-04 2010-08-19 Seiko Epson Corp プロジェクタ、プロジェクションシステム、画像表示方法、及び画像表示プログラム
WO2016157671A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び画像表示装置
WO2016157670A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP2016197145A (ja) * 2015-04-02 2016-11-24 株式会社東芝 画像処理装置および画像表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009008974A (ja) 2007-06-29 2009-01-15 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
US8837853B2 (en) * 2011-09-06 2014-09-16 Sony Corporation Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
JP6168794B2 (ja) * 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
JP6575742B2 (ja) * 2014-02-26 2019-09-18 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
CN107079127B (zh) * 2014-11-10 2019-11-29 麦克赛尔株式会社 投影仪以及影像显示方法
US10791305B2 (en) * 2017-02-28 2020-09-29 Sony Corporation Image processing apparatus and image processing method
CN110431840B (zh) * 2017-03-28 2021-12-21 索尼公司 图像处理装置、方法以及存储介质
US11218675B2 (en) * 2018-03-02 2022-01-04 Sony Corporation Information processing apparatus, computation method of information processing apparatus, and program
WO2019230109A1 (ja) * 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174184A (ja) * 2004-12-16 2006-06-29 Olympus Corp プロジェクタ
JP2009042838A (ja) * 2007-08-06 2009-02-26 Ricoh Co Ltd 画像投影方法および画像投影装置
JP2010183229A (ja) * 2009-02-04 2010-08-19 Seiko Epson Corp プロジェクタ、プロジェクションシステム、画像表示方法、及び画像表示プログラム
WO2016157671A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び画像表示装置
WO2016157670A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP2016197145A (ja) * 2015-04-02 2016-11-24 株式会社東芝 画像処理装置および画像表示装置

Also Published As

Publication number Publication date
US20210195153A1 (en) 2021-06-24
US11575862B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
US8659672B2 (en) Image processing apparatus and image pickup apparatus using same
JP5200743B2 (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
KR102328020B1 (ko) 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
JP4126564B2 (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP5343441B2 (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
JP5157358B2 (ja) 画像表示システム、及び画像補正方法
EP1931142B1 (en) Projector and adjustment method of the same
WO2019230108A1 (ja) 画像処理装置、画像処理方法
WO2016009493A1 (ja) 画像処理方法及び該画像処理方法を実行する画像処理装置
JP2005535010A (ja) 光学異常の電子補正のためのシステムおよび方法
JP2001054131A (ja) カラー画像表示システム
JP6877052B2 (ja) 画像処理方法及び画像処理方法を実行する画像処理装置
JP2016036066A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
WO2016157671A1 (ja) 情報処理装置、情報処理方法、プログラム、及び画像表示装置
US8294834B2 (en) Projection display apparatus for facilitating registration adjustment of colors of a display image
JP2011247976A (ja) 光変調装置の位置調整方法、光変調装置の位置調整量算出装置、及びプロジェクター
JP2011217304A (ja) 画像処理装置、プロジェクター、マルチプロジェクションシステム及び画像処理方法
JP2009044488A (ja) プロジェクタおよび映像信号処理方法
JP2010103886A (ja) 画像処理装置、画像表示装置及び画像処理方法
JP7266179B2 (ja) 画像処理装置及び撮像装置
JP2013025076A (ja) 画像処理装置、画像表示装置及び画像処理方法
JP6031327B2 (ja) 投影システム、プロジェクタ及び制御方法
JP5522241B2 (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
JP4762412B2 (ja) 画像再生システムの欠陥を判定し且つ少なくとも部分的に補正する方法及び該方法を実施するための装置
JP5120179B2 (ja) 画像処理装置、画像処理方法およびプロジェクションシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19811051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19811051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP