WO2015064510A1 - 画像処理装置、画像処理方法および投射装置 - Google Patents

画像処理装置、画像処理方法および投射装置 Download PDF

Info

Publication number
WO2015064510A1
WO2015064510A1 PCT/JP2014/078413 JP2014078413W WO2015064510A1 WO 2015064510 A1 WO2015064510 A1 WO 2015064510A1 JP 2014078413 W JP2014078413 W JP 2014078413W WO 2015064510 A1 WO2015064510 A1 WO 2015064510A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pixel
sum
light intensity
pixels
Prior art date
Application number
PCT/JP2014/078413
Other languages
English (en)
French (fr)
Inventor
亮佑 中越
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP14857287.8A priority Critical patent/EP3065399B1/en
Publication of WO2015064510A1 publication Critical patent/WO2015064510A1/ja
Priority to US15/138,541 priority patent/US9686521B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/126—The frame memory having additional data ports, not inclusive of standard details of the output serial port of a VRAM
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Definitions

  • the present invention relates to an image processing device, an image processing method, and a projection device.
  • an image based on an image signal is projected onto a projection medium such as a screen or a wall surface by driving a display element based on the input image signal, modulating the light from the light source by the display element, and emitting it through the optical system.
  • a projection device for projecting is known.
  • the optical system is configured using optical components such as a projection lens and a color synthesis prism.
  • optical components such as a projection lens and a color synthesis prism.
  • the light modulated by the display element passes through the optical system, it is affected by the characteristics of the optical components used in the optical system.
  • a phenomenon called optical flare occurs in which an edge portion or the like blurs in a projected image projected on a projection medium.
  • Patent Document 1 discloses a configuration in which optical flare is corrected by image processing corresponding to ambient light.
  • the display element is driven in units of pixels in accordance with the image signal, and light from the light source is modulated in units of pixels and projected onto the projection medium. Therefore, the above-described optical flare is generated as light bleeding in which light spreads in pixel units. This light blur becomes a factor that degrades the resolution and saturation of an image projected on the projection medium.
  • a light component due to light bleeding based on the light spot is present at a predetermined ratio around the light spot.
  • a light component due to light bleeding based on the light spot is present at a predetermined ratio around the light spot.
  • a light blur light component based on the adjacent G light spot is superimposed at the position of the R light spot, and the saturation of the R color at the R light spot is lowered.
  • Patent Document 1 corrects blurring of an edge portion in an image caused by optical flare, and it is difficult to apply it to eliminate light blur in pixel units.
  • the present invention has been made in view of the above, and an object thereof is to enable projection images to be projected with higher quality.
  • the present invention provides a first sum that is the sum of the light intensities of the dispersed light generated when the pixel light from the target pixel is dispersed when passing through the optical system.
  • a first calculation unit that calculates the first light intensity by calculating and adding the first total and the light intensity of the pixel light; and when each pixel light by each pixel around the target pixel passes through the optical system
  • a second calculation unit for calculating a second sum that is a sum of the light intensities of the dispersed light generated by the dispersion at the position of the target pixel, and subtracting the second sum from the first light intensity.
  • a combining unit that calculates the second light intensity of the pixel light from the target pixel.
  • the projection image can be projected with higher quality.
  • FIG. 1 is a block diagram illustrating a configuration of an example of a projection apparatus applicable to the embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of an example of the image processing unit according to the embodiment.
  • FIG. 3 is a diagram schematically illustrating an example of reading and writing of pixels in the pixel buffer according to the embodiment.
  • FIG. 4 is a diagram schematically illustrating a configuration example of the line memory according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of blocks supplied to the two-dimensional filter and the gain adjustment unit according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of light intensity distribution for each pixel in a block according to the embodiment.
  • FIG. 7 is a diagram for more specifically explaining the influence of surrounding pixels on the target pixel.
  • FIG. 1 is a block diagram illustrating a configuration of an example of a projection apparatus applicable to the embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of an example of the image processing unit according to the embodiment.
  • FIG. 8A is a diagram for more specifically explaining the influence of surrounding pixels on the target pixel.
  • FIG. 8B is a diagram for more specifically explaining the influence of surrounding pixels on the target pixel.
  • FIG. 8C is a diagram for more specifically explaining the influence of surrounding pixels on the target pixel.
  • the first calculation unit estimates the first sum of the light intensities of the dispersed light dispersed by the light blur generated according to the characteristics of the projection optical system for the light from the target pixel.
  • the first calculation unit adds the estimated first sum of the light intensities to the light intensity by the target pixel to calculate a new light intensity by the target pixel.
  • the second calculation unit estimates the second sum by estimating the light intensity of the dispersed light by the light of each of the other pixels at the position corresponding to the target pixel.
  • the synthesis unit subtracts the second total light intensity estimated by the second calculation unit from the new light intensity by the target pixel calculated by the first calculation unit.
  • the pixel value of the pixel of interest is obtained based on the light intensity of the pixel of interest thus obtained, and the display element is driven according to the obtained pixel value to perform projection.
  • the first calculation unit supplements the light intensity of the target pixel lost due to the dispersion
  • the second calculation unit suppresses the influence of the dispersion light of the other pixels on the target pixel. ing. Therefore, the deterioration of the image quality of the projected image due to light bleeding is suppressed, and a higher quality projected image can be obtained.
  • FIG. 1 shows a configuration of an example of a projection apparatus applicable to the embodiment.
  • the projection apparatus 1 includes an image processing unit 10, a display element 20, a light source 30, an illumination optical system 40, and a projection optical system 50.
  • the light emitted from the light source 30 enters the display element 20 through the illumination optical system 40.
  • the image processing unit 10 performs image processing, which will be described later, on the image signal 3 input to the projection apparatus 1, and outputs the processed image signal 4 to the display element 20.
  • the image signal 3 and the projection image signal 4 are digital signals, respectively.
  • the projection image signal 4 is considered as a display element driving signal for driving the display element 20, the signals are both analog and digital signals. .
  • the display element 20 is an LCOS (Liquid crystal on silicon), for example, and is a light modulation element that modulates incident light according to image data and emits it.
  • the display element 20 modulates and emits the light incident from the illumination optical system 40 according to the projection image signal 4 supplied from the image processing unit 10.
  • the light emitted from the display element 20 is projected as a projected image onto the screen 2 via the projection optical system 50 including an optical system configured using optical components such as a projection lens and a color synthesis prism.
  • the projection optical system 50 may further include an optical mechanism such as a zoom mechanism, a focus mechanism, or a shift mechanism.
  • FIG. 2 shows an exemplary configuration of the image processing unit 10 according to the embodiment.
  • the image processing unit 10 includes a first gamma correction unit 100, a line memory 101, a pixel buffer 102, a two-dimensional filter 103, a gain adjustment unit 104, a coefficient storage unit 105, and a synthesis unit 106. And a second gamma correction unit 107.
  • the image signal supplied from the outside is input to the image processing unit 10 and supplied to the first gamma correction unit 100.
  • the image signal 3 is, for example, a digital video signal having a resolution of horizontal 1920 pixels ⁇ vertical 1080 lines, a frame rate of 60 fps (frame per second), R (red), G (green), and B (blue).
  • the format of the image signal 3 that can be input to the image processing unit 10 is not limited to this example.
  • the image signal 3 is sequentially input to the image processing unit 10 line by line from the upper end line to the lower end line of the image frame.
  • the image signal 3 is sequentially input to the image processing unit 10 in units of pixels from the left end to the right end of the image frame in each line.
  • the image processing unit 10 performs each process described later on the image signal 3 independently for each of the RGB signals. In the following description, it is assumed that the image signal 3 is an RGB image signal unless otherwise specified.
  • the first gamma correction unit 100 performs a gamma correction process on the supplied image signal 3 to convert the gradation characteristic of the image signal 3 into a linear characteristic.
  • the image signal output from the first gamma correction unit 100 is stored in the line memory 101.
  • the image signal output from the first gamma correction unit 100 is a luminance signal corresponding to the luminance values R ′, G ′, and B ′ of RGB colors.
  • the line memory 101 includes N (N is a natural number) line memories each capable of storing pixel signals for one line, and reading and writing are performed by FIFO (First In, First Out) in the entire N line memories. Further, the line memory 101 has a write port and a read port, and a dual port type that can execute writing and reading in parallel is used.
  • an image signal is stored line by line in each of the N line memories included in the line memory 101, and the first pixel of the next line is supplied to the line memory 101 when the line memory 101 is full.
  • the position of each pixel stored in each of the N line memories is shifted by one pixel, the pixel is stored at the beginning of the first line memory, and the last pixel of each line memory is Stored at the beginning of the line memory. The last pixel of the last line memory is pushed out of the line memory and discarded, for example.
  • the image processing unit 10 reads out the pixels stored in the line memory 101 in units of predetermined blocks and stores them in the pixel buffer 102.
  • the pixel buffer 102 can store at least N ⁇ M pixels of N pixels in the vertical direction and M (M is a natural number) pixels in the horizontal direction.
  • the image processing unit 10 reads out pixels from the line memory 101 in a block of N lines (pixels) ⁇ M pixels and stores the pixels in the pixel buffer 102. That is, the image processing unit 10 extracts M pixels corresponding to positions in the line from each of the N line memories included in the line memory 101, and stores them in the pixel buffer 102 as a block of N ⁇ M pixels. .
  • the storage of the pixels in the pixel buffer 102 is performed with a predetermined delay with respect to the reading of the pixels from the line memory 101. For example, when the value N and the value M are odd numbers, the pixels read from the line memory 101 are delayed by (M / 2 + 1) pixels in the pixel direction and (N / 2 + 1) pixels in the line direction, respectively. Stored in the pixel buffer 102. Storage of pixels in the pixel buffer 102 is sequentially processed for each pixel clock.
  • Pixels stored in a block of N lines ⁇ M pixels in the pixel buffer 102 are read out to the two-dimensional filter 103 and the gain adjustment unit 104.
  • the two-dimensional filter 103 and the gain adjustment unit 104 perform an operation on the pixel stored in the pixel buffer 102 using a coefficient stored in advance in the coefficient storage unit 105, and the pixel of one pixel Calculate the value.
  • the image processing unit 10 shifts the block of N lines ⁇ M pixels from the line memory 101 by one pixel in the line direction. Are read out and stored in the pixel buffer 102.
  • the image processing unit 10 performs the same processing for the next line and calculates the pixel value of each pixel.
  • FIG. 3 schematically shows an example of reading and writing of pixels in the image buffer 102 according to the embodiment.
  • An example of the image signal 3 input to the image processing unit 10 is schematically shown as an image signal 200 in the upper part of FIG.
  • a range of D pixels (D is a natural number) in the width direction is a display area, and hatched areas 202 and 203 on both sides of the display area are non-display areas.
  • the non-display area in the vertical direction is omitted.
  • the chart 204 shows an example of the horizontal synchronization signal HSYNC of the image signal 200.
  • the horizontal blanking period HBlk corresponding to the non-display area in the horizontal direction is arranged corresponding to the horizontal synchronization signal HSYNC.
  • writing of pixels for one line to the line memory 101 is performed in a period corresponding to the width D indicating the display area in accordance with the horizontal synchronization signal HSYNC.
  • each of the N line memories in the line memory 101 is in a state in which pixels for one line are written from the top. In this state, when one pixel of the next line is written into the line memory 101 after the horizontal blanking period HBlk, the position of each pixel is shifted by one pixel in each of the N line memories in the line memory 101.
  • the pixel buffer 102 stores the pixels read from the line memory 101 in the block 201 composed of N lines ⁇ M pixels.
  • the line memory 101 includes N line memories each capable of storing D pixels, and forms a storage area of N lines ⁇ D pixels as a whole.
  • an N line ⁇ M pixel readout area 1010 for extracting pixels to be stored in the pixel buffer 102 is set for the N line ⁇ D pixel storage area.
  • the read area 1010 is set at the head of the line memory 101.
  • the chart 205 shows an example of a pixel clock that defines pixel timing. For example, pixels are written into the line memory 101 at the rising timing of the clock.
  • the image processing unit 10 performs from the reading of the block 201 from the line memory 101 to the end of the processing by the two-dimensional filter 103 and the gain adjusting unit 104 at the timing of one pixel clock.
  • the image processing unit 10 reads, for example, N lines ⁇ M in the readout area 1010 from the line memory 101 in which pixels from the first line to the Nth line of the image signal 200 are stored. for example, blocks 201 1 including a pixel of pixels, is read at the timing t 0 in accordance with the pixel clock and store the pixel buffer 102.
  • the two-dimensional filter 103 and the gain adjustment unit 104 perform processing on the pixels included in the block 2011 1 stored in the pixel buffer 102 until the next pixel clock timing t 2. Output the value.
  • the image processing unit 10 the reading from the line memory 101 of the next block 201 2 is started at the timing t 2.
  • the block 201 2 as a result of writing one pixel to the line memory 101 at the timing t 2 , each pixel stored in the line memory 101 is shifted in the pixel direction by one pixel with respect to the readout region 1010. It is a block. That is, the block 201 2 is a block in which the included pixels are shifted by one pixel with respect to the block 2011 1 .
  • the image processing unit 10, similarly to the above applies to the block 201 2, written in the pixel buffer 102 is read from the read area 1010 of the line memory 101. Then, the image processing unit 10 reads out the block 201 2 from the pixel buffer 102, performs the process in the two-dimensional filter 103 and the gain adjustment unit 104, and outputs the next pixel value.
  • the image processing unit 10, this, the processing up to output a pixel value by reading a block 201 2 from the line memory 101 are executed at the timing of one pixel clock.
  • the image processing unit 10 executes the above-described processing up to the block 201 m at the end of the line for each pixel clock. After the end of the horizontal blanking period HBlk, the image processing unit 10 starts storing the pixels of the next line in the line memory 101, and performs the processing for the blocks read from the reading area 1010 for each pixel clock in the same manner as described above. And repeat.
  • FIG. 5 shows an example of the block 201 supplied to the two-dimensional filter 103 and the gain adjustment unit 104 according to the embodiment.
  • each block 201 1 , 201 2 ,..., 201 m described using the chart 206 in FIG. 3 is represented by a block 201 of N lines (pixels) ⁇ M pixels.
  • the block 201 is configured to include 49 pixels of 7 pixels ⁇ 7 pixels.
  • the shape of the light blur generated by the projection optical system 50 is a concentric circle centered on the pixel, and the center pixel 210 of the block 201 is selected as the target pixel 210. That is, in the following, it is assumed that dispersed light due to light blur is generated concentrically around the light of the pixel of interest 210.
  • the target pixel 210 is not limited to the center pixel of the block 201, and any pixel in the block 201 can be selected as the target pixel 210.
  • any pixel in the block 201 can be selected as the target pixel 210.
  • the shape of light bleeding by the projection optical system 50 is not concentric with the pixel of interest 210 as the center, but is biased to an elliptical shape or other shapes, attention is paid to the pixel at an appropriate position in the block 201.
  • the pixel 210 can be selected.
  • the gain adjusting unit 104 estimates the first sum of the light intensities of the dispersed light in the periphery due to the light blur of the light emitted from the projection optical system 50 based on the target pixel 210.
  • the gain adjustment unit 104 a first sum that is guessed, by adding the light intensity based on pixel values of the pixel of interest 210, obtaining a corrected light intensity P C of the pixel of interest 210.
  • the gain adjustment unit 104 compensates for the attenuation of the light intensity of the original light due to the light blur by obtaining the first sum of the dispersed light due to the light blur and adding it to the light intensity of the original light. .
  • the gain adjustment unit 104 performs processing by regarding the pixel value of the target pixel 210 as light intensity of light based on the target pixel 210.
  • the light intensity F at each position of the dispersed light due to light bleeding can be estimated by calculating the following equation (1) using the distance R from the target pixel 210.
  • the proportionality constant a and the index b are values obtained in advance by, for example, experiments or simulations.
  • the distance R in Expression (1) is the inter-pixel distance.
  • FIG. 6 shows an example of the distribution of light intensity for each pixel in the block 201 based on each light intensity F obtained using the above-described equation (1) according to the embodiment.
  • the light intensity distribution is shown as a percentage of the light intensity of the light based on the target pixel 210, such as 0.1% and 0.7%.
  • the light intensity distribution data is calculated in advance and stored in the coefficient storage unit 105 as a coefficient for the light intensity related to the target pixel 210.
  • the light intensity of the dispersed light due to the light blur is shown as being concentrically distributed with respect to the position of the target pixel 210.
  • the gain adjusting unit 104 obtains a first sum B S of each light intensity F obtained by the above equation (1).
  • the first sum B S can be calculated by the following equation (2), for example.
  • the value P 0 is the light intensity of the light based on the target pixel 210.
  • the variable i is a series of indexes assigned to each of (N ⁇ M ⁇ 1) pixels excluding the target pixel 210 in the block 201.
  • the light intensity P 0 of the pixel of interest 210 is a value obtained by subtracting the first sum B S of each light intensity F of dispersed light due to light bleeding from the ideal light intensity P P. Therefore, the gain adjustment unit 104 obtains a corrected light intensity P C in accordance with Equation (3) below.
  • P C P 0 + B S (3)
  • the first sum B S 0, and the corrected light intensity P C and the light intensity P 0 of the target pixel 210 are equal.
  • the first sum B S is obtained based on the light intensity F obtained by using the inter-pixel distance between the target pixel 210 and each pixel, but this is not limited to this example.
  • the first sum B S can be obtained as an integral value of the light intensity F when the distance from the target pixel 210 is continuously taken.
  • the two-dimensional filter 103 estimates the light intensity at the position of the target pixel 210 of the dispersed light due to the light blurring of each peripheral pixel located around the target pixel 210, and the second of the estimated light intensity. Find the sum of. By subtracting the second total from the light intensity based on the pixel value of the target pixel 210, the light intensity of the target pixel 210 excluding the influence of the surrounding pixels can be obtained.
  • the two-dimensional filter 103 obtains the second sum of the light intensity at the position of the target pixel 210 of the dispersed light due to the light blurring of the peripheral pixels. Then, the second sum obtained is subtracted from the light intensity of the pixel of interest 210 in the subsequent synthesis unit 106, thereby eliminating the influence of the surrounding pixels on the pixel of interest 210.
  • FIG. 7 in a block 201, consider a pixel of interest 210 and peripheral pixels 220 1 , 220 2, and 220 3 around the pixel of interest 210.
  • the light from the target pixel 210 is superimposed with the dispersed light due to the light blurring of the light from these peripheral pixels 220 1 , 220 2, and 220 3 as indicated by arrows in FIG. .
  • peripheral pixels 220 1 , 220 2, and 220 3 are pixels in a range in which the dispersed light due to the light blur of each light affects the pixel of interest 210.
  • the light intensity F at the other pixel position of the dispersed light due to the light blur based on the light of a certain pixel depends on the distance R between the certain pixel and the other pixel. Determined. Therefore, the light intensity at the position of the target pixel 210 of the dispersed light due to the light blurring of the peripheral pixel 220 1 can be obtained using the light intensity distribution obtained with the position of the target pixel 210 as the center.
  • the data indicating the light intensity distribution is calculated in advance and stored in the coefficient storage unit 105 as described above.
  • the dispersed light by bleeding light of light of the pixel of interest 210, the light intensity at the position of the peripheral pixel 220 1, are 0.3% of the light intensity of the light of the pixel of interest 210. Accordingly, the scattered light due to bleeding light of the surrounding pixels 220 1 of the light, the light intensity at the position of the pixel of interest 210 is estimated to be 0.3% of the light intensity of the surrounding pixels 220 1.
  • the peripheral pixel 220 2 and 220 3 of the optical light bleeding by dispersed light, the light intensity at the position of the pixel of interest 210, respectively, surrounding the pixel 220 2 and 220 3 Is estimated to be 0.5% and 0.1% of the light intensity.
  • the sum of the dispersed light due to the light bleeding of the peripheral pixels 220 1 , 220 2 and 220 3 at the position of the target pixel 210 is (luminance of the peripheral pixel 220 1 ) ⁇ 0.3% + (peripheral pixel 220 2 luminance) ⁇ 0.5% + (calculated as 0.1% brightness) ⁇ surrounding pixels 220 3.
  • the light intensity is calculated as the pixel luminance.
  • the two-dimensional filter 103 uses the coefficients stored in the coefficient storage unit 105 to distribute all pixels i in the block 201 other than the target pixel 210 due to light blur of the pixels.
  • the light intensity P i at the position of the pixel of interest 210 of light is obtained.
  • the two-dimensional filter 103 obtains a second sum B X of the light intensity P i obtained for each pixel i.
  • the two-dimensional filter 103 calculates the second total sum B X according to the following equation (4).
  • the gain adjustment unit 104 inputs the corrected light intensity P C calculated by the above-described equation (3) to the addition input terminal of the synthesis unit 106. Further, the two-dimensional filter 103 inputs the second sum B X calculated by the above-described equation (4) to the subtraction input terminal of the synthesis unit 106.
  • the combining unit 106 calculates the ideal light intensity P P of the light from the pixel of interest 210 by subtracting the sum B X from the corrected light intensity P C.
  • the light intensity P 0 of the light from the target pixel 210 is expressed as follows using the ideal light intensity P P of the light from the target pixel 210 and the above-described first sum B S and second sum B X. (5).
  • P 0 P P ⁇ B S + B X (5)
  • the combining unit 106 outputs a pixel having a pixel value corresponding to the light having the light intensity P P obtained as described above.
  • the pixels output from the synthesis unit 106 are supplied to the second gamma correction unit 107.
  • the pixels output from the second gamma correction unit 107 are output from the image processing unit 10 as the projection image signal 4.
  • the projection image signal 4 output from the image processing unit 10 is supplied to the display element 20.
  • the display element 20 modulates the light emitted from the light source 30 and passing through the illumination optical system 40 for each pixel based on the projection image signal 4 supplied from the image processing unit 10.
  • the light modulated by the display element 20 is projected onto the screen 2 as projection light through the projection optical system 50. Since this projection light is corrected for light blur generated by the projection optical system 50 by the image processing unit 10, a higher quality projection image can be obtained on the screen 2.
  • the image processing unit 10 performs processing for each RGB color, it is possible to correct not only the luminance but also the color. For example, for the R color, a component lost due to light blur is added to each pixel by the processing of the gain adjusting unit 104, and the luminance of each pixel is corrected. At the same time, the influence of the dispersed light due to the light blurring of the light of each RGB color pixel on the target pixel 210 is suppressed, and the influence on each other color between the RGB colors is suppressed. Therefore, the saturation of the projected image can be improved.
  • the light blur generated by the projection optical system 50 has a shape expressed in two dimensions such as a concentric circle centered on the pixel light. Therefore, the image processing unit 10 according to the embodiment uses the two-dimensional filter 103 that can perform two-dimensional filter processing on the X axis (horizontal direction) and the Y axis (vertical direction), and the influence of peripheral pixels on the target pixel 210. Ask for. As a result, processing for a shape represented in two dimensions, which was difficult with a horizontal filter and a vertical filter that perform processing in one dimension, is facilitated, and dispersed light due to color blurring of peripheral pixels at the position of the pixel of interest 210 can be efficiently processed. Can be removed.
  • the image processing unit 10 executes processing by the two-dimensional filter 103 and the gain adjustment unit 104 by a combination of the line memory 101 and the pixel buffer 102. Therefore, the image processing unit 10 can execute the processing according to the embodiment by real-time processing that does not use a frame memory, and can reduce the cost of the apparatus.
  • the image quality deterioration of the projected image due to light blur is suppressed by the image processing in the image processing unit 10. Therefore, the cost of the apparatus can be reduced compared to a method for suppressing the deterioration of the image quality of the projected image due to light bleeding by an optical approach such as adding a high-performance antireflection film to the projection optical system 50 or using a glass material with high transmittance. Can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Projection Apparatus (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

　注目画素による画素光が光学系を通過する際に分散されて発生する分散光の光強度の総和である第１の総和を算出し、第１の総和と注目画素の画素光の光強度との加算により第１の光強度を算出する。また、注目画素の周辺の各画素による各画素光が光学系を通過する際に分散されて発生する各分散光による各光強度の、注目画素の位置における総和である第２の総和を算出する。第１の光強度から第２の総和を減じることにより、注目画素による画素光の第２の光強度を算出する。

Description

画像処理装置、画像処理方法および投射装置
　本発明は、画像処理装置、画像処理方法および投射装置に関する。
　従来から、入力された画像信号に基づき表示素子を駆動し、光源からの光を表示素子で変調して光学系を介して射出することで、スクリーンや壁面といった被投射媒体に画像信号に基づく画像を投射する投射装置が知られている。
　光学系は、投射レンズや色合成プリズムといった光学部品を用いて構成される。表示素子で変調された光は、光学系を通過する際に、光学系に用いられる光学部品の特性に基づく影響を受ける。これにより、被投射媒体上に投射される投射画像に、エッジ部分などが滲む、光学フレアと呼ばれる現象が発生する。特許文献１には、周囲光に対応して、画像処理により光学フレアを補正するようにした構成が開示されている。
特開２００６－２５４２３８号公報
　ところで、表示素子は、画像信号に応じて画素単位で駆動され、光源からの光は、画素単位で変調されて被投射媒体に投射される。したがって、上述した光学フレアは、画素単位で光が滲む光滲みとして発生することになる。この光滲みは、被投射媒体に投射される画像の解像度や彩度を劣化させる要因となる。
　すなわち、１の画素に対応する被投射媒体上の光点において、当該光点に基づく光滲みによる光成分が、当該光点の周囲に所定の割合で存在する状態となる。一例として、互いに近接した位置に投射されるＲ（赤）色およびＧ（緑）色の光点（画素）を考える。この場合、例えばＲ色の光点の位置に、近接するＧ色の光点に基づく光滲みの光成分が重畳され、Ｒ色の光点におけるＲ色の彩度が低下してしまう。
　また、光滲みにより１の光点の光成分が周囲に分散されるため、当該光点の輝度が低下すると共に、近接する２の光点の光成分が交じり合うことにより、画像の解像度が低下してしまう。
　なお、上述した特許文献１は、光学フレアにより生じる画像内のエッジ部分の暈けを補正するもので、画素単位の光滲みの解消に適用することは、困難である。
　本発明は、上記に鑑みてなされたものであって、投射画像をより高品質に投射可能とすることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、注目画素による画素光が光学系を通過する際に分散されて発生する分散光の光強度の総和である第１の総和を算出し、第１の総和と画素光の光強度との加算により第１の光強度を算出する第１の算出部と、注目画素の周辺の各画素による各画素光が光学系を通過する際に分散されて発生する各分散光による各光強度の、注目画素の位置における総和である第２の総和を算出する第２の算出部と、第１の光強度から第２の総和を減じることにより、注目画素による画素光の第２の光強度を算出する合成部とを有することを特徴とする。
　本発明によれば、投射画像をより高品質に投射可能となるという効果を奏する。
図１は、実施形態に適用可能な投射装置の一例の構成を示すブロック図である。 図２は、実施形態に係る画像処理部の一例の構成を示すブロック図である。 図３は、実施形態に係る画素バッファにおける画素の読み書きの例を概略的に示す図である。 図４は、実施形態に係るラインメモリの構成例を概略的に示す図である。 図５は、実施形態に係る２次元フィルタおよびゲイン調整部に供給されるブロックの例を示す図である。 図６は、実施形態に係る、ブロック内での画素毎の光強度の分布の例を示す図である。 図７は、注目画素に対する周辺画素の影響についてより具体的に説明するための図である。 図８Ａは、注目画素に対する周辺画素の影響についてより具体的に説明するための図である。 図８Ｂは、注目画素に対する周辺画素の影響についてより具体的に説明するための図である。 図８Ｃは、注目画素に対する周辺画素の影響についてより具体的に説明するための図である。
　以下に図面を参照しながら、本発明に係る画像処理装置、画像処理方法および投射装置の好適な実施形態を説明する。係る実施形態に示す具体的な数値および外観構成などは、本発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本発明に直接関係のない要素は詳細な説明および図示を省略している。
（実施形態）
　実施形態では、第１の算出部が、注目画素による光について、投射光学系の特性に応じて発生する光滲みにより分散する分散光の光強度の第１の総和を推測する。第１の算出部は、推測した光強度の第１の総和を、注目画素による光強度に加算し、注目画素による新たな光強度を算出する。さらに、実施形態では、第２の算出部が、注目画素に対応する位置での、他の画素それぞれの光による分散光の光強度を推測して第２の総和を求める。そして、合成部が、第２の算出部が推測した光強度の第２の総和を、第１の算出部が算出した注目画素による新たな光強度から減算する。実施形態では、このようにして得られた注目画素の光強度に基づき当該注目画素の画素値を求め、求めた画素値に従い表示素子を駆動して投射を行う。
　実施形態では、このように、第１の算出部により、分散によって失われる注目画素の光強度を補い、第２の算出部により、注目画素に対する他の画素の分散光による影響を抑制するようにしている。したがって、光滲みによる投射画像の画質劣化が抑制され、より高画質の投射画像を得ることができる。
　図１は、実施形態に適用可能な投射装置の一例の構成を示す。図１において、投射装置１は、画像処理部１０と、表示素子２０と、光源３０と、照明光学系４０と、投射光学系５０とを有する。
　投射装置１において、光源３０から射出された光が照明光学系４０を介して表示素子２０に入射される。画像処理部１０は、投射装置１に入力された画像信号３に対して後述する画像処理を施し、投射画像信号４として表示素子２０に対して出力する。なお、画像信号３および投射画像信号４は、それぞれディジタル方式の信号であり、投射画像信号４を表示素子２０を駆動する表示素子駆動信号と考えた場合は、アナログ・ディジタル両方式の信号となる。
　表示素子２０は、例えばＬＣＯＳ(Liquid　crystal　on　silicon)であって、入射された光を画像データに従い変調して射出する、光変調素子である。表示素子２０は、照明光学系４０から入射された光を、画像処理部１０から供給された投射画像信号４に従い変調して射出する。表示素子２０から射出された光は、投射レンズや色合成プリズムといった光学部品を用いて構成される光学系を含む投射光学系５０を介して、スクリーン２に対して投射画像として投射される。投射光学系５０は、さらに、ズーム機構やフォーカス機構、シフト機構といった光学機構を含んでもよい。
　図２は、実施形態に係る画像処理部１０の一例の構成を示す。図２において、画像処理部１０は、第１ガンマ補正部１００と、ラインメモリ１０１と、画素バッファ１０２と、２次元フィルタ１０３と、ゲイン調整部１０４と、係数記憶部１０５と、合成部１０６と、第２ガンマ補正部１０７とを有する。
　外部から供給された画像信号が画像処理部１０に入力され、第１ガンマ補正部１００に供給される。ここでは、画像信号３は、例えば、解像度が水平１９２０画素×垂直１０８０ライン、フレームレートが６０ｆｐｓ(frame　per　second)、Ｒ（赤）、Ｇ（緑）、Ｂ（青）各色からなるディジタルビデオ信号であるものとする。勿論、画像処理部１０に入力可能な画像信号３の形式は、この例に限定されるものではない。
　画像信号３は、画像フレームの上端のラインから下端のラインに向けて、ライン毎に順次、画像処理部１０に入力される。また、画像信号３は、各ラインにおいて、画像フレームの左端から右端に向けて、画素単位で順次、画像処理部１０に入力される。
　なお、画像処理部１０は、画像信号３に対する後述する各処理を、ＲＧＢ各色の信号についてそれぞれ独立して行う。以下では、特に記載のない限り、画像信号３は、ＲＧＢ各色の画像信号であるものとする。
　第１ガンマ補正部１００は、供給された画像信号３に対してガンマ補正処理を施し、当該画像信号３の階調特性を線形な特性に変換する。例えば、標準的なディジタルビデオ信号は、γ＝２．２のガンマ補正が施され、階調特性が非線形とされている。そこで、第１ガンマ補正部１００は、供給された画像信号に対してγ＝０．４５（＝１．０／２．２）としてガンマ補正を施し、当該画像信号３の階調特性を線形な特性に変換する。これにより、後段における画像処理を容易とすることができる。
　第１ガンマ補正部１００から出力された画像信号は、ラインメモリ１０１に格納される。ここで第１ガンマ補正部１００から出力される画像信号は、ＲＧＢ各色の輝度値Ｒ’、Ｇ’およびＢ’に対応する輝度信号である。ラインメモリ１０１は、それぞれ１ライン分の画素信号を格納可能なＮ（Ｎは自然数）本のラインメモリを含み、Ｎ本のラインメモリ全体でＦＩＦＯ(First　In,　First　Out)により読み書きが行われる。また、ラインメモリ１０１は、書き込みポートと読み出しポートとをそれぞれ有し、書き込みと読み出しとを並列的に実行可能な、ディアルポートタイプのものが用いられる。
　一例として、ラインメモリ１０１に含まれるＮ本の各ラインメモリに１ラインずつ画像信号が格納され、ラインメモリ１０１が満杯になっている状態で、次のラインの先頭の画素がラインメモリ１０１に供給された場合について考える。この場合、Ｎ本の各ラインメモリにおいて格納される各画素の位置が１画素分シフトされ当該画素が１番目のラインメモリの先頭に格納されると共に、各ラインメモリの末尾の画素がそれぞれ次のラインメモリの先頭に格納される。最後のラインメモリの末尾の画素は、ラインメモリから押し出されて例えば捨てられる。
　画像処理部１０は、ラインメモリ１０１に格納される画素を所定のブロック単位で読み出して、画素バッファ１０２に格納させる。例えば、画素バッファ１０２は、少なくとも、画像の垂直方向にＮ画素、水平方向にＭ（Ｍは自然数）画素の、Ｎ×Ｍ画素を格納可能とされている。画像処理部１０は、ラインメモリ１０１から、Ｎライン（画素）×Ｍ画素からなるブロックで画素を読み出して画素バッファ１０２に格納する。すなわち、画像処理部１０は、ラインメモリ１０１に含まれるＮ本の各ラインメモリから、ライン内での位置が対応するＭ画素をそれぞれ取り出して、Ｎ×Ｍ画素のブロックとして画素バッファ１０２に格納する。
　なお、実際には、画素バッファ１０２への画素の格納は、ラインメモリ１０１からの画素の読み出しに対して所定に遅延させて行われる。例えば、値Ｎおよび値Ｍがそれぞれ奇数の場合、ラインメモリ１０１から読み出された画素は、画素方向に（Ｍ／２＋１）画素分、ライン方向に（Ｎ／２＋１）画素分それぞれ遅延されて、画素バッファ１０２に格納される。画素バッファ１０２に対する画素の格納は、画素クロック毎に逐次処理される。
　画素バッファ１０２にＮライン×Ｍ画素のブロックで格納された画素は、２次元フィルタ１０３およびゲイン調整部１０４に読み出される。詳細は後述するが、２次元フィルタ１０３およびゲイン調整部１０４は、係数記憶部１０５に予め記憶される係数を用いて画素バッファ１０２に格納される画素に対して演算を行い、１つの画素の画素値を算出する。
　例えば、画像処理部１０は、２次元フィルタ１０３およびゲイン調整部１０４から１画素分の画素値が出力されると、ラインメモリ１０１から、Ｎライン×Ｍ画素のブロックをライン方向に１画素分ずらして読み出して、画素バッファ１０２に格納する。画像処理部１０は、１ライン分の画素について画素値が出力されると、次のラインについて同様の処理を行い、各画素の画素値を算出する。
　図３は、実施例に係る、画像バッファ１０２における画素の読み書きの例を概略的に示す。図３の上部に、画像処理部１０に入力される画像信号３の例を、画像信号２００として概略的に示す。画像信号２００において、幅方向のＤ（Ｄは自然数）画素分の範囲が表示領域であって、表示領域の両側の斜線を付した領域２０２および２０３は、それぞれ非表示領域とされる。なお、図３に示される画像信号２００は、垂直方向の非表示領域が省略されている。
　チャート２０４は、画像信号２００の水平同期信号ＨＳＹＮＣの例を示す。チャート２０４に例示されるように、水平方向の非表示領域に対応する水平ブランキング期間ＨＢｌｋは、水平同期信号ＨＳＹＮＣに対応して配置される。例えば、ラインメモリ１０１に対する１ライン分の画素の書き込みは、水平同期信号ＨＳＹＮＣに従い、表示領域を示す幅Ｄに対応する期間に行われる。Ｎライン分の画素の書き込みが終了した時点で、ラインメモリ１０１内のＮ本のラインメモリは、それぞれ、先頭から１ライン分の画素が書き込まれた状態となる。この状態で、水平ブランキング期間ＨＢｌｋの後、次のラインの１画素がラインメモリ１０１に書き込まれると、ラインメモリ１０１内のＮ本のラインメモリそれぞれにおいて、各画素の位置が１画素分シフトされる。
　画素バッファ１０２は、ラインメモリ１０１からＮライン×Ｍ画素からなるブロック２０１で読み出された画素が格納される。図４に例示されるように、ラインメモリ１０１は、それぞれＤ画素を格納可能なＮ本のラインメモリを含み、全体でＮライン×Ｄ画素の記憶領域を形成する。例えば、このＮライン×Ｄ画素の記憶領域に対して、画素バッファ１０２に格納する画素を抽出するＮライン×Ｍ画素の読み出し領域１０１０を設定する。この例では、読み出し領域１０１０は、ラインメモリ１０１の先頭に設定されている。
　図３の説明に戻り、チャート２０５は、画素のタイミングを規定する画素クロックの例を示す。例えば、クロックの立ち上がりのタイミングで、ラインメモリ１０１に画素が書き込まれる。画像処理部１０は、ラインメモリ１０１からのブロック２０１の読み出しから、２次元フィルタ１０３およびゲイン調整部１０４による処理の終了までを、１画素クロックのタイミングで行う。
　チャート２０６に例示されるように、画像処理部１０は、例えば画像信号２００の第１ライン目から第Ｎライン目までの画素が格納されたラインメモリ１０１から、読み出し領域１０１０内のＮライン×Ｍ画素分の画素を含む例えばブロック２０１1を、画素クロックに応じてタイミングｔ0で読み出して、画素バッファ１０２に格納する。画像処理部１０において、２次元フィルタ１０３およびゲイン調整部１０４は、画素バッファ１０２に格納されたブロック２０１1に含まれる画素に対する処理を、次の画素クロックのタイミングｔ2までに行い、１の画素値を出力する。
　画像処理部１０は、次のブロック２０１2のラインメモリ１０１からの読み出しを、タイミングｔ2で開始する。このブロック２０１2は、ラインメモリ１０１に対してタイミングｔ2において１画素が書き込まれた結果、ラインメモリ１０１に格納される各画素が読み出し領域１０１０に対して１画素分、画素方向にシフトされたブロックである。すなわち、ブロック２０１2は、含まれる画素がブロック２０１1に対して１画素分シフトされたブロックである。
　画像処理部１０は、このブロック２０１2についても上述と同様に、ラインメモリ１０１の読み出し領域１０１０から読み出して画素バッファ１０２に書き込む。そして、画像処理部１０は、画素バッファ１０２からブロック２０１2を読み出して、２次元フィルタ１０３およびゲイン調整部１０４での処理を行い、次の画素値を出力する。画像処理部１０は、この、ブロック２０１2をラインメモリ１０１から読み出して１つの画素値を出力するまでの処理を、１画素クロックのタイミングで実行する。
　画像処理部１０は、上述の処理を、画素クロック毎に、ラインの末尾のブロック２０１mまで実行する。画像処理部１０は、水平ブランキング期間ＨＢｌｋの終了の後、ラインメモリ１０１に対する次のラインの画素の格納を開始し、読み出し領域１０１０から画素クロック毎に読み出したブロックに対する処理を、上述と同様にして繰り返す。
（実施形態に係る処理）
　次に、上述した２次元フィルタ１０３およびゲイン調整部１０４における、実施形態に係る処理について説明する。図５は、実施形態に係る２次元フィルタ１０３およびゲイン調整部１０４に供給されるブロック２０１の例を示す。なお、図５では、図３のチャート２０６を用いて説明した各ブロック２０１1、２０１2、…、２０１mを、Ｎライン（画素）×Ｍ画素のブロック２０１で代表させて示している。図５の例では、Ｎ＝Ｍ＝７画素とされ、ブロック２０１が７画素×７画素の４９画素を含んで構成されている。
　以下では、投射光学系５０により発生する光滲みの形状が画素を中心とする同心円状であるものとし、ブロック２０１の中央の画素２１０を、注目画素２１０として選択したものとして説明を行う。すなわち、以下では、光滲みによる分散光が、注目画素２１０の光を中心として同心円状に発生するものとする。
　なお、注目画素２１０は、ブロック２０１の中央の画素に限定されず、ブロック２０１内の任意の画素を注目画素２１０として選択することができる。例えば、投射光学系５０による光滲みの形状が、注目画素２１０を中心とする同心円状ではなく、楕円形状やその他の形状に偏っているような場合、ブロック２０１内の適切な位置の画素を注目画素２１０として選択することができる。
（ゲイン調整部による処理）
　第１の算出部としてのゲイン調整部１０４における処理について説明する。実施形態に係るゲイン調整部１０４は、注目画素２１０に基づき投射光学系５０から射出される光の光滲みによる周辺における分散光の光強度の第１の総和を推測する。そして、ゲイン調整部１０４は、推測された第１の総和を、注目画素２１０の画素値に基づく光強度に加算して、注目画素２１０の補正された光強度ＰCを求める。
　すなわち、光が投射光学系５０を通過することで光滲みが発生することで、光滲みによる分散光の分だけ、元の光の光強度が減衰することになる。そこで、実施形態に係るゲイン調整部１０４は、光滲みによる分散光の第１の総和を求めて元の光の光強度に加算することで、光滲みによる元の光の光強度の減衰を補う。
　ここで、画素に基づく光強度、すなわち、光源３０から射出された光が表示素子２０で画素に基づき変調された光の光強度は、当該画素の画素値に対応すると考えられる。そこで、注目画素２１０の画素値を注目画素２１０に基づく光の光強度と見做して、ゲイン調整部１０４による処理を行う。
　光滲みによる分散光の各位置における光強度Ｆは、注目画素２１０からの距離Ｒを用いて、下記の式（１）の計算を行うことで推測できる。なお、式（１）において、比例定数ａおよび指数ｂは、例えば実験やシミュレーションなどにより予め求められた値である。また、実際には、画像信号２００は画素単位の信号なので、式（１）における距離Ｒは、画素間距離が用いられる。
Figure JPOXMLDOC01-appb-M000001
　図６は、実施形態に係る、上述の式（１）を用いて求めた各光強度Ｆに基づく、ブロック２０１内での画素毎の光強度の分布の例を示す。図６において、光強度の分布は、０．１％、０．７％といったように、注目画素２１０に基づく光の光強度に対するパーセンテージで示されている。この光強度の分布のデータは、予め計算して、注目画素２１０に係る光強度に対する係数として係数記憶部１０５に記憶させておく。また、図６では、光滲みによる分散光の光強度が、注目画素２１０の位置に対して同心円状に分布しているものとして示している。
　ゲイン調整部１０４は、上述の式（１）で求めた各光強度Ｆの第１の総和ＢSを求める。第１の総和ＢSは、例えば下記の式（２）により算出できる。式（２）において、値Ｐ0は、注目画素２１０に基づく光の光強度である。また、変数ｉは、ブロック２０１内の注目画素２１０を除く（Ｎ×Ｍ－１）個の各画素に対して付与される一連のインデクスである。
Figure JPOXMLDOC01-appb-M000002
　注目画素２１０の光強度Ｐ0は、理想的な光強度ＰPから光滲みによる分散光の各光強度Ｆの第１の総和ＢSを減じた値である。したがって、ゲイン調整部１０４は、補正された光強度ＰCを下記の式（３）に従い求める。
ＰC＝Ｐ0＋ＢS　　…（３）
　光滲みが全く無い理想的な状態では、第１の総和ＢS＝０となり、補正された光強度ＰCと注目画素２１０の光強度Ｐ0とが等しくなる。
　なお、上述では、第１の総和ＢSを、注目画素２１０と各画素との画素間距離を用いて求めた光強度Ｆに基づき求めたが、これはこの例に限定されない。例えば、第１の総和ＢSを、注目画素２１０との距離を連続的にとった場合の光強度Ｆの積分値として求めることもできる。
（２次元フィルタによる処理）
　第２の算出部としての２次元フィルタ１０３における処理について説明する。実施形態に係る２次元フィルタ１０３は、注目画素２１０の周辺に位置する各周辺画素の光滲みによる分散光の、注目画素２１０の位置での光強度を推測し、推測された光強度の第２の総和を求める。この第２の総和を、注目画素２１０の画素値に基づく光強度から減算することで、周辺画素の影響を排除した注目画素２１０の光強度を求めることができる。
　すなわち、注目画素２１０の周辺の周辺画素によっても、注目画素２１０と同様に光滲みが発生する。この光滲みによる分散光が注目画素２１０による光に重畳されると、投射画像の解像度の低下を引き起こす要因となる。また、ＲＧＢ各色について考えた場合には、ＲＧＢ各色の輝度値が、周辺画素に基づく分散光の重畳分だけ本来の輝度値よりも高くなり、彩度やコントラストの低下を引き起こす要因ともなる。
　そこで、実施形態に係る２次元フィルタ１０３は、周辺画素の光滲みによる分散光の、注目画素２１０の位置での光強度の第２の総和を求める。そして、求めた第２の総和を、後段の合成部１０６において注目画素２１０の光強度から減算することで、注目画素２１０に対する周辺画素からの影響を排除する。
　図７と、図８Ａ、図８Ｂおよび図８Ｃとを用いて、注目画素２１０に対する周辺画素の影響について、より具体的に説明する。図７に示されるように、ブロック２０１において、注目画素２１０と、注目画素２１０の周辺の周辺画素２２０1、２２０2および２２０3とを考える。投射光学系５０を介した場合、注目画素２１０による光は、図７において矢印にて示されるように、これら周辺画素２２０1、２２０2および２２０3の光の光滲みによる分散光が重畳される。
　なお、周辺画素２２０1、２２０2および２２０3は、それぞれの光の光滲みによる分散光が注目画素２１０に光に影響を与える範囲にある画素であるものとする。
　図８Ａ、図８Ｂおよび図８Ｃは、周辺画素２２０1、２２０2および２２０3それぞれについて、分散光による注目画素２１０への影響の例を示している。図８Ａを参照し、上述の式（１）から、ある画素の光に基づく光滲みによる分散光の、他の画素位置における光強度Ｆは、ある画素と他の画素との間の距離Ｒにより決まる。そのため、周辺画素２２０1の光の光滲みによる分散光の、注目画素２１０の位置での光強度は、注目画素２１０の位置を中心として求めた光強度の分布を用いて求めることができる。この光強度の分布を示すデータは、上述したように、予め計算され係数記憶部１０５に記憶されている。
　図８Ａの例では、注目画素２１０の光の光滲みによる分散光の、周辺画素２２０1の位置での光強度が、注目画素２１０の光の光強度の０．３％とされている。したがって、周辺画素２２０1の光の光滲みによる分散光の、注目画素２１０の位置での光強度は、周辺画素２２０1の光強度の０．３％になると推測される。
　同様に、図８Ｂおよび図８Ｃをそれぞれ参照し、周辺画素２２０2および２２０3の光の光滲みによる分散光の、注目画素２１０の位置での光強度は、それぞれ、周辺画素２２０2および２２０3の光強度の０．５％、０．１％となると推測される。
　したがって、注目画素２１０の位置における各周辺画素２２０1、２２０2および２２０3の光の光滲みによる分散光の総和は、(周辺画素２２０1の輝度)×０．３％＋(周辺画素２２０2の輝度)×０．５％＋(周辺画素２２０3の輝度)×０．１％として計算される。なお、ここでは、上述と同様に、光強度を画素の輝度と見做して計算している。
　より具体的には、２次元フィルタ１０３は、係数記憶部１０５に記憶される係数を用いて、ブロック２０１内の、注目画素２１０を除く全ての画素ｉについて、当該画素の光の光滲みによる分散光の注目画素２１０の位置における光強度Ｐiを求める。そして、２次元フィルタ１０３は、各画素ｉについて求めた光強度Ｐiの第２の総和ＢXを求める。例えば、２次元フィルタ１０３は、下記の式（４）に従い、第２の総和ＢXを算出する。
Figure JPOXMLDOC01-appb-M000003
　説明は図２に戻り、ゲイン調整部１０４は、上述した式（３）により算出した補正された光強度ＰCを、合成部１０６の加算入力端に入力する。また、２次元フィルタ１０３は、上述した式（４）により算出した第２の総和ＢXを、合成部１０６の減算入力端に入力する。合成部１０６は、補正された光強度ＰCから総和ＢXを減じて、注目画素２１０による光の理想的な光強度ＰPを算出する。
　すなわち、注目画素２１０による光の光強度Ｐ0は、注目画素２１０による光の理想的な光強度ＰPと、上述した第１の総和ＢSおよび第２の総和ＢXとを用いて、下記の式（５）によって表すことができる。
Ｐ0＝ＰP－ＢS＋ＢX　　…（５）
　したがって、注目画素２１０の光による理想的な光強度ＰPは、下記の式（６）により表される。
ＰP＝Ｐ0＋ＢS－ＢX　　…（６）
　ここで、上述の式（３）により、Ｐ0＋ＢS＝ＰCである。したがって、合成部１０６でゲイン調整部１０４から出力された補正された光強度ＰCから、２次元フィルタ１０３から出力された総和ＢXを減じることで、注目画素２１０の光による理想的な光強度ＰPを得ることができる。
　合成部１０６は、上述したようにして得られた光強度ＰPの光に対応する画素値の画素を出力する。合成部１０６から出力された画素は、第２ガンマ補正部１０７に供給される。第２ガンマ補正部１０７は、供給された画素に対して例えばγ＝２．２のガンマ補正を施して、階調特性を非線形の特性として出力する。第２ガンマ補正部１０７から出力された画素は、投射画像信号４として画像処理部１０から出力される。
　画像処理部１０から出力された投射画像信号４は、表示素子２０に供給される。表示素子２０は、光源３０から射出され照明光学系４０を介した光を、画像処理部１０から供給された投射画像信号４に基づき画素毎に変調する。表示素子２０で変調された光は、投射光学系５０を介して投射光としてスクリーン２に投射される。この投射光は、画像処理部１０により投射光学系５０により発生する光滲みが補正されているため、スクリーン２上により高画質の投射画像を得ることができる。
　また、画像処理部１０は、ＲＧＢ各色毎に処理を行うため、輝度のみならず、色に対しての補正が可能である。例えば、Ｒ色について、ゲイン調整部１０４の処理により、光滲みにより失われる成分が各画素に加えられ、各画素の輝度が補正される。それと共に、ＲＧＢ各色の画素の光の光滲みによる分散光の、注目画素２１０に対する影響が抑制され、ＲＧＢ各色間での互いの色への影響が抑制される。そのため、投射画像の彩度を向上させることができる。
　さらに、上述したように、投射光学系５０により発生する光滲みは、画素の光を中心とする同心円状などの２次元で表される形状を有する。そこで、実施形態に係る画像処理部１０は、Ｘ軸（水平方向）およびＹ軸（垂直方向）の２次元でフィルタ処理が可能な２次元フィルタ１０３を用いて、注目画素２１０に対する周辺画素の影響を求める。これにより、１次元で処理を行う水平フィルタおよび垂直フィルタでは困難であった、２次元で表わされる形状に対する処理が容易となり、注目画素２１０の位置における周辺画素の色滲みによる分散光を、効率的に除去することができる。
　さらにまた、実施形態に係る画像処理部１０は、２次元フィルタ１０３およびゲイン調整部１０４による処理を、ラインメモリ１０１と画素バッファ１０２との組み合わせにより実行している。そのため、画像処理部１０は、実施形態に係る処理を、フレームメモリを用いないリアルタイム処理で実行することができると共に、装置のコストを削減することができる。
　また、実施形態では、光滲みによる投射画像の画質劣化を、画像処理部１０における画像処理によって抑制している。そのため、投射光学系５０に対する、高性能な反射防止膜の付加や、透過率の高い硝材を使用するなどの光学アプローチにより光滲みによる投射画像の画質劣化を抑制する方法に比べ、装置のコストを削減することができる。
１　投射装置
２　スクリーン
１０　画像処理部
２０　表示素子
３０　光源
４０　照明光学系
５０　投射光学系
１００　第１ガンマ補正部
１０１　ラインメモリ
１０２　画素バッファ
１０３　２次元フィルタ
１０４　ゲイン調整部
１０５　係数記憶部
１０６　合成部
１０７　第２ガンマ補正部
２０１，２０１1，２０１2，２０１3，２０１D-M-1，２０１D-M　ブロック
２１０　注目画素
２２０1，２２０2，２２０3　周辺画素

Claims (6)

  1. 　注目画素による画素光が光学系を通過する際に分散されて発生する分散光の光強度の総和である第１の総和を算出し、該第１の総和と該画素光の光強度との加算により第１の光強度を算出する第１の算出部と、
    　前記注目画素の周辺の各画素による各画素光が前記光学系を通過する際に分散されて発生する各分散光による各光強度の、前記注目画素の位置における総和である第２の総和を算出する第２の算出部と、
    　前記第１の光強度から前記第２の総和を減じることにより、前記注目画素による画素光の第２の光強度を算出する合成部と
    を有する
    ことを特徴とする画像処理装置。
  2. 　前記第１の算出部、前記第２の算出部および前記合成部は、ＲＧＢ各色の画素をそれぞれ独立して処理する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第２の算出部は、
    　前記第２の総和を推測する演算を２次元で行う２次元フィルタを備える
    ことを特徴とする請求項１または請求項２に記載の画像処理装置。
  4. 　ライン単位で画像を格納するＮ（Ｎは自然数）個のラインメモリと、
    　前記Ｎ個のラインメモリのそれぞれから、ライン内での位置が対応するＭ（Ｍは自然数）画素をそれぞれ取り出して、Ｎ×Ｍ個の画素を格納する画素記憶部と
    をさらに有し、
    　前記第１の算出部は、
    　前記画素記憶部に格納される前記Ｎ×Ｍ個の画素のうち１の画素を前記注目画素とし、該Ｎ×Ｍ個の画素の範囲で前記第１の総和を算出する
    ことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
  5. 　注目画素による画素光が光学系を通過する際に分散されて発生する分散光の光強度の総和である第１の総和を算出し、該第１の総和と該画素光の光強度との加算により第１の光強度を算出する第１の算出ステップと、
    　前記注目画素の周辺の各画素による各画素光が前記光学系を通過する際に分散されて発生する各分散光による各光強度の、前記注目画素の位置における総和である第２の総和を算出する第２の算出ステップと、
    　前記第１の光強度から前記第２の総和を減じることにより前記注目画素による画素光の第２の光強度を算出する合成ステップと
    を有する
    ことを特徴とする画像処理方法。
  6. 　光源からの光を複数の画素を含む画像に基づき該複数の画素毎に変調する光変調素子と、
    　前記光変調素子で変調された光を外部に投射させる光学系と、
    　入力画像に含まれる複数の画素における注目画素による画素光が前記光学系を通過する際に分散されて発生する分散光の光強度の総和である第１の総和を算出し、該第１の総和と該画素光の光強度との加算により第１の光強度を算出する第１の算出部と、
    　前記注目画素の周辺の各画素による各画素光が前記光学系を通過する際に分散されて発生する各分散光による各光強度の、前記注目画素の位置における総和である第２の総和を算出する第２の算出部と、
    　前記第１の光強度から前記第２の総和を減じることにより前記注目画素による画素光の第２の光強度を算出する合成部と
    を有し、
    　前記光変調素子は、
    　前記合成部でそれぞれ前記第２の光強度を求めた前記入力画像に含まれる複数の画素毎に、前記光源からの光を変調する
    ことを特徴とする投射装置。
PCT/JP2014/078413 2013-10-31 2014-10-24 画像処理装置、画像処理方法および投射装置 WO2015064510A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14857287.8A EP3065399B1 (en) 2013-10-31 2014-10-24 Image processing device, image processing method, and projection apparatus
US15/138,541 US9686521B2 (en) 2013-10-31 2016-04-26 Image processing device, image processing method, and projection apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013226289A JP6361111B2 (ja) 2013-10-31 2013-10-31 画像処理装置、画像処理方法および投射装置
JP2013-226289 2013-10-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/138,541 Continuation US9686521B2 (en) 2013-10-31 2016-04-26 Image processing device, image processing method, and projection apparatus

Publications (1)

Publication Number Publication Date
WO2015064510A1 true WO2015064510A1 (ja) 2015-05-07

Family

ID=53004116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/078413 WO2015064510A1 (ja) 2013-10-31 2014-10-24 画像処理装置、画像処理方法および投射装置

Country Status (4)

Country Link
US (1) US9686521B2 (ja)
EP (1) EP3065399B1 (ja)
JP (1) JP6361111B2 (ja)
WO (1) WO2015064510A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019187511A1 (ja) * 2018-03-29 2021-04-15 ソニー株式会社 信号処理装置、情報処理方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435466A (ja) * 1990-05-30 1992-02-06 Sharp Corp 画像信号処理装置
JP2003032580A (ja) * 2001-07-16 2003-01-31 Seiko Epson Corp プロジェクタによって投写される画像の画像処理
JP2006254238A (ja) 2005-03-11 2006-09-21 Nec Viewtechnology Ltd 画像表示装置のフレア補正回路、および画像表示装置のフレア補正方法
JP2009042838A (ja) * 2007-08-06 2009-02-26 Ricoh Co Ltd 画像投影方法および画像投影装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9908791D0 (en) * 1999-04-16 1999-06-09 Innovation Tk Limited Imaging systems
JP4094256B2 (ja) * 2001-07-30 2008-06-04 Ｎｅｃディスプレイソリューションズ株式会社 画質改善装置および画質改善方法
JP4544164B2 (ja) * 2006-01-24 2010-09-15 ソニー株式会社 記録再生装置、欠陥判定方法
KR100728818B1 (ko) * 2006-03-03 2007-06-19 주식회사 대우일렉트로닉스 광 정보 검출 방법, 광 정보 검출기 및 데이터 샘플링 방법
JP4963598B2 (ja) * 2006-12-08 2012-06-27 キヤノン株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
US7869019B2 (en) * 2007-04-06 2011-01-11 Sony Corporation Device, method, and program for estimating light source
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP5811248B2 (ja) * 2013-10-15 2015-11-11 ウシオ電機株式会社 光源装置およびプロジェクタ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435466A (ja) * 1990-05-30 1992-02-06 Sharp Corp 画像信号処理装置
JP2003032580A (ja) * 2001-07-16 2003-01-31 Seiko Epson Corp プロジェクタによって投写される画像の画像処理
JP2006254238A (ja) 2005-03-11 2006-09-21 Nec Viewtechnology Ltd 画像表示装置のフレア補正回路、および画像表示装置のフレア補正方法
JP2009042838A (ja) * 2007-08-06 2009-02-26 Ricoh Co Ltd 画像投影方法および画像投影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3065399A4

Also Published As

Publication number Publication date
US20160241826A1 (en) 2016-08-18
EP3065399A4 (en) 2016-09-07
JP6361111B2 (ja) 2018-07-25
US9686521B2 (en) 2017-06-20
JP2015088946A (ja) 2015-05-07
EP3065399B1 (en) 2019-09-18
EP3065399A1 (en) 2016-09-07

Similar Documents

Publication Publication Date Title
JP6439418B2 (ja) 画像処理装置及び画像処理方法、並びに画像表示装置
US20150213766A1 (en) Display apparatus and control method thereof
WO2016157670A1 (ja) 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
KR101031665B1 (ko) 화상 처리 장치, 화상 표시 장치, 화상 처리 방법 및 화상 표시 방법
JP2010041172A (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
JP6688878B2 (ja) 視覚アーティファクトの出現を軽減するための方法及び装置
US8452121B2 (en) Image processor, image display device, and image processing method
JP6361111B2 (ja) 画像処理装置、画像処理方法および投射装置
US10222683B2 (en) Image display device and method of controlling same
JP5509610B2 (ja) 画像処理装置、画像表示装置及び画像処理方法
JP5522241B2 (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム
JP5321089B2 (ja) 画像処理装置、画像表示装置、及び画像処理方法
JP5141871B2 (ja) 画像処理方法及び画像表示装置
US20110164049A1 (en) Image signal distribution apparatus and control method thereof, and program
JP5439811B2 (ja) 画像処理装置、画像表示装置及び画像処理方法
JP2019041189A (ja) 画像投射装置およびその制御方法
JP2008015502A (ja) マルチプロジェクションシステム
JP5509608B2 (ja) 画像処理装置、画像表示装置、及び画像処理方法
JP6601192B2 (ja) 表示装置
JP5655271B2 (ja) 画像処理装置、画像表示装置及び画像処理方法
JP2009253331A (ja) 補正値テーブル生成方法、補正値テーブル生成装置及び画像処理装置
WO2012160691A1 (ja) プロジェクタおよび処理方法
JP2014161054A (ja) 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14857287

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014857287

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014857287

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE