WO2018212212A1 - 画像調整装置、画像調整方法及びプログラム - Google Patents

画像調整装置、画像調整方法及びプログラム Download PDF

Info

Publication number
WO2018212212A1
WO2018212212A1 PCT/JP2018/018861 JP2018018861W WO2018212212A1 WO 2018212212 A1 WO2018212212 A1 WO 2018212212A1 JP 2018018861 W JP2018018861 W JP 2018018861W WO 2018212212 A1 WO2018212212 A1 WO 2018212212A1
Authority
WO
WIPO (PCT)
Prior art keywords
tone
image data
tone curve
luminance value
image
Prior art date
Application number
PCT/JP2018/018861
Other languages
English (en)
French (fr)
Inventor
作一 大塚
Original Assignee
国立大学法人 鹿児島大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 鹿児島大学 filed Critical 国立大学法人 鹿児島大学
Priority to US16/613,740 priority Critical patent/US11107441B2/en
Priority to JP2019518822A priority patent/JP7180885B2/ja
Publication of WO2018212212A1 publication Critical patent/WO2018212212A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Definitions

  • the present invention relates to an image adjustment device, an image adjustment method, and a program.
  • the dynamic range refers to the width (ratio) of the maximum and minimum luminance values in the image. Recently, it has become possible to capture an image with a wide dynamic range, and such an image is also referred to as an HDR (High Dynamic Range) image.
  • the dynamic range is 6000: 1 (1/6000), for example, and the luminance value is expressed by 16 bits, for example.
  • an image having a dynamic range that can be represented by a normal display is called an SDR (Standard Dynamic Range) image.
  • the dynamic range is, for example, 20: 1 (1/20)
  • the luminance value is expressed by, for example, 8 bits.
  • HDR images such as movies that are supposed to be displayed using an HDR display in a dark room
  • SDR displays such as mobile device screens in a bright environment
  • an image processing apparatus or the like that generates an image that can be displayed within a luminance range that can be expressed by a display screen from an input HDR image is disclosed (for example, see Patent Document 1).
  • Image tone mapping includes global mapping that maps the entire image using the same tone curve and partial mapping that performs partially different tone mapping using partial features of the image.
  • the present inventor has discovered that, except for some special conditions, a person is consciously discriminating the balance of luminance over the entire screen. Therefore, if partial mapping is performed, there is a possibility that the balance of the brightness of the image that affects the determination of the brightness of the human being may be lost. It is desirable that the brightness can be adjusted in consideration of the actual appearance of the image in the actual environment.
  • the illumination light at the time of viewing affects the actual appearance of the image in the real environment. This is because when the illumination light is reflected on the screen displaying the image, the luminance of each pixel of the person viewing the image increases due to the reflected light. As a result, for example, in an environment where illumination light is strong, the contrast of a portion having a low luminance value is significantly reduced, and an image is not visible.
  • the present invention has been made in view of the above circumstances, and can perform image adjustment by tone mapping in consideration of how an image looks in an actual environment without losing the balance of luminance of the image.
  • An object of the present invention is to provide an image adjustment method and program.
  • an image adjustment apparatus provides: A tone adjustment unit that adjusts the luminance value of the first image data having the first dynamic range to the luminance value of the second image data having a second dynamic range smaller than the first dynamic range;
  • the tone adjustment unit The normalized luminance values by the maximum value 1 in the first image data and I, the normalized luminance values by the maximum value 1 in the second image data and D O, brightness due to environmental light during viewing
  • the value is Da
  • the luminance value of the second image data considering the influence of ambient light during viewing is L O
  • the conversion tone curve is TD (I)
  • the tone curve TD (I) is adjusted so that it does not become zero.
  • the tone curve TL (I) in the tone adjustment unit is a monotonically increasing function. It is good as well.
  • the slope ⁇ (I) is greater than 0.5 at least at one location where 1 ⁇ I ⁇ Ia. It is good as well.
  • the tone adjustment unit Based on the intensity of the ambient light detected by the illumination sensor and the reflectance of the screen displaying the image, the brightness value Da by the ambient light is calculated, According to the luminance value Da, the tone curve TD (I) is adjusted so that the slope ⁇ (I) does not become 0 in the entire dynamic range. It is good as well.
  • the tone adjustment unit In accordance with the luminance value Da, the maximum luminance value of the second image data is adjusted together with the tone curve TD (I) so that the inclination ⁇ (I) does not become 0 in the entire dynamic range. It is good as well.
  • a storage unit that stores a plurality of tone curves having different characteristics.
  • the tone adjustment unit Among the tone curves stored in the storage unit, the slope ⁇ (I) when the influence of ambient light during viewing is taken into consideration in the range of luminance values with a large number of pixels in the first image data is large.
  • Select tone curve TD (I) Adjusting the luminance value of the first image data to the luminance value of the second image data using the selected tone curve TD (I); It is good as well.
  • the tone adjustment unit Of the tone curve TD (I) stored in the storage unit the inclination when the influence of ambient light during viewing is taken into account in the luminance value range of the viewer's gaze area in the first image data
  • Select a tone curve TD (I) with a large ⁇ (I) Adjusting the luminance value of the first image data to the luminance value of the second image data using the selected tone curve TD (I); It is good as well.
  • It has a display unit that displays images and an operation unit that is a man-machine interface, While the display unit displays the tone curve TD (I), the characteristics of the tone curve TD (I) can be adjusted via the operation unit. It is good as well.
  • the display unit displays a tone curve TL (I) that takes into account the influence of ambient light during viewing. It is good as well.
  • the tone adjustment unit The image data including the region having the lowest luminance value is used as the first image data, and the tone curve displayed on the display unit is used to change the luminance value of the first image data to the second image data.
  • the characteristics of the tone curve can be adjusted by an operation input of the operation unit. It is good as well.
  • An image adjustment method includes: A tone adjustment step of adjusting a luminance value of the first image data having the first dynamic range to a luminance value of the second image data having a second dynamic range smaller than the first dynamic range;
  • the program according to the fourth aspect of the present invention is: Computer Functioning as a tone adjusting unit for adjusting the luminance value of the first image data having the first dynamic range to the luminance value of the second image data having the second dynamic range smaller than the first dynamic range;
  • the contrast ratio is increased by the ambient light during viewing. Even in a state in which the value becomes small, it is possible to increase the discrimination threshold (minimum change amount that can be distinguished) while reducing blackout and overexposure. As a result, it is possible to perform image adjustment by tone mapping that takes into consideration the appearance of an image in an actual environment without destroying the balance of luminance of the image.
  • the image adjustment apparatus 1 is a computer, and includes a control unit 2 including a CPU (Central Processing Unit) and a memory, a storage unit 3 including a hard disk, an operation unit 4 serving as a man-machine interface, And a display unit 5 that is a display for displaying a screen.
  • a control unit 2 including a CPU (Central Processing Unit) and a memory
  • a storage unit 3 including a hard disk
  • an operation unit 4 serving as a man-machine interface
  • a display unit 5 that is a display for displaying a screen.
  • the image adjustment apparatus 1 includes a pre-processing unit 10, a tone adjustment unit 11, and a post-processing unit 12 as such components.
  • the storage unit 3 stores input data 20, a tone curve 21, and output data 22.
  • the input data 20 is moving image data or still image data (first image data) captured by the image sensor.
  • the input data 20 may be an HDR standard image (TIFF (Tag Image File Format), BTR (Broadcast and Television Receivers) standard), an SDR standard image (JPEG (Joint Photographic Experts Group), MPEG (Moving Picture Experts Group). )).
  • the image adjustment apparatus 1 uses the luminance value of the input data 20 (first image data) having the first dynamic range as the output data 22 (second image data) having the second dynamic range (for example, SDR). Adjust the brightness value.
  • Output data 22 having the adjusted luminance value is stored in the storage unit 3.
  • the first dynamic range is larger than the second dynamic range (that is, the second dynamic range is smaller than the first dynamic range).
  • the actual luminance value I ′ (I ′ MIN to I ′ MAX ) of the imaging target and the luminance value D ip (Log1 to Log 255) of the image data (input data 20) captured by the image sensor.
  • the luminance value D ip (Log1 to Log 255) of the image data (input data 20) captured by the image sensor.
  • LogD i f1 (LogI ′) between the case of 8 bits) and Log 65535 (16 bits).
  • the SDR image and the HDR image have a limit in the linear relationship with the actual luminance value I ′ because of noise included in the image.
  • the tone adjustment unit 11 inputs the luminance value I of each pixel of the data preprocessed by the preprocessing unit 10 and reads the tone curve 21 from the storage unit 3. Tone adjustment unit 11, a luminance value I of the input data 20 read by using the tone curve 21 is adjusted to the brightness value D O of the output data 22.
  • X is the luminance value I of the preprocessed image data
  • Y is the adjusted luminance value D O or the luminance value L O taking into account the influence of ambient light during viewing.
  • the storage unit 3 stores a standard tone curve TD STD (I) (corresponding to TD (I) described later) as the tone curve 21.
  • tone curve TD STD (I) is a graph of the slope gamma (I).
  • the value of the slope ⁇ (I) varies depending on the luminance value I.
  • the characteristics of the tone curve TD STD (I) are determined in consideration of the influence of ambient light during viewing.
  • the influence of ambient light will be described by taking the following three cases as examples. S: Brightness as in a dark room where a movie is viewed (1000: 1) A: Brightness that is dark and reproducible in a wide dynamic range (100: 1) B: Normal brightness (dynamic range 20 : 1)
  • the luminance value of the pixel becomes D O.
  • the actual appearance of the image changes due to the influence of the reflection of the illumination light incident on the monitor screen. That is, the luminance value of each pixel of the image, the luminance value D O, the luminance value L O luminance value D A is taken into account due to the reflection of the illumination light reflected by the monitor screen.
  • a tone curve TL (I) corresponding to the luminance value L O perceived by the person actually viewing the monitor screen is drawn with a dotted line.
  • This tone curve is an S-shaped curve such as a sigmoid curve.
  • the tone curve TD STD (I) takes into account the influence of ambient light during viewing, and the tone curve showing the actual appearance is ⁇ (I) over the entire area. Is not 0, blackout is minimized.
  • the image adjustment apparatus 1 stores a plurality of tone curves TD SEL (I) as tone curves 21 in addition to a plurality of tone curves TD STD (I) having different characteristics, that is, curve shapes.
  • 6 and 7 show two tone curves TD SEL1 (I) and TD SEL2 (I). In the present embodiment, these tone curves correspond to a tone curve TD (I) described later.
  • the tone curve TD SEL1 (I) is a tone curve considering reflection during viewing, the gradient ⁇ (I) on the high luminance side with respect to the tone curve TD STD (I) is It is getting bigger. For this reason, the tone curve TD SEL1 (I) is suitable for displaying an image having many high-luminance pixels.
  • the tone curve TD SEL2 (I) when assuming a tone curve that takes into account the reflection upon viewing, the inclination of the low-intensity side relative to the tone curve TD STD (I) ⁇ ( I) is increasing.
  • the tone curve TD SEL2 (I) is suitable for displaying an image having many pixels with relatively low luminance.
  • the storage unit 3 can store more tone curves TD SEL (I). Further, the tone adjustment unit 11 takes into account the influence of ambient light during viewing in the range of luminance values with a large number of pixels in the input data 20 from the tone curve TD SEL (I) stored in the storage unit 3. It is possible to select a tone curve TD SEL (I) having a large slope ⁇ (I) and adjust the luminance value using the selected tone curve.
  • the maximum value of the slope ⁇ (I) of the tone curve TD SEL (I) can be set to 0.5 or more and less than 1.0, for example.
  • the storage unit 3 has, for example, an inclination ⁇ (in consideration of the influence of ambient light at the time of viewing in the luminance value range of the viewer's gaze area (the area that the author wants to show to the viewer / the area that the viewer wants to see). It is possible to store a tone curve having a large I) as a tone curve TD SEL (I).
  • the tone adjustment unit 11 has a slope when the influence of ambient light during viewing is taken into account in the range of luminance values with a large number of pixels in the input data 20 from the tone curve TD SEL (I) stored in the storage unit 3.
  • the tone curve TD SEL (I) having a large value is selected, and the luminance value can be adjusted using the selected tone curve.
  • the tone curve TD SEL (I) is a tone curve having a portion with a large slope ⁇ (I) in part when reflection of illumination light is taken into consideration.
  • the maximum value of ⁇ (I) may be close to 1. There may be one portion where the inclination ⁇ (I) is large, or there may be a plurality of portions.
  • the tone curve TD STD (I) described above is a curve that has two portions with a large slope ⁇ (I).
  • the tone adjusting unit 11 can adjust the characteristics of the tone curve 21 via the operation unit 4 while the display unit 5 displays the tone curve 21 (corresponding to a tone curve TD (I) described later).
  • a tone curve TD STD (I) a tone curve TD SEL (I), and a tone curve TD LIN (I) can be employed.
  • the display unit 5 can display the tone curve TL (I) in consideration of the influence of ambient light during viewing.
  • the tone adjustment unit 11 outputs the normalized luminance value I of the input data 20 using the tone curve displayed on the display unit 5 as image data including the region having the lowest luminance value as the input data 20. adjust the brightness value D i of the data 22, it is possible to display the output data 22 to the display unit 5.
  • the tone adjustment unit 11 can adjust the characteristic (gradient ⁇ (I)) of the tone curve displayed on the display unit 5 according to the operation input of the operation unit 4. By this operation, it is possible to generate a tone curve TD N (I) that can be adjusted in luminance so that the actual appearance becomes fine.
  • the tone curve 21 is a tone curve in which the gradient ⁇ (I) does not become zero over the entire dynamic range even if the influence of ambient light during viewing is taken into account.
  • These tone curves have at least one portion where ⁇ (I) is near 1.
  • the post-processing unit 12 performs post-processing. Specifically, the post-processing unit 12 performs inverse gamma correction, format adjustment to JPEG data or MPEG data, and the like on the image data whose tone has been adjusted by the tone adjustment unit 11.
  • the post-processing unit 12 stores the moving image data or image data whose format has been adjusted in the storage unit 3 as output data 22.
  • the preprocessing unit 10 performs preprocessing (linearization, calibration) (step S1). Subsequently, the tone adjustment unit 11 selects the processing content and branches to the selected processing (step S2: tone adjustment step). There are three processes that can be executed by the tone adjustment unit 11: automatic process 1, automatic process 2, and manual process. The branch of the process may be performed based on an operation input by the operation unit 4 or may be set in advance.
  • the tone adjustment unit 11 reads the standard tone curve TD STD (I) as the tone curve 21 (step S11). Subsequently, the tone adjusting unit 11 converts the tone curve TD STD (I) from a curve on the logarithmic axis to a tone curve TDL STD (I) on the real axis (step S12). Subsequently, the tone adjustment section 11 uses the tone curve TDL STD (I), to adjust the luminance values I of the image data to the luminance value D O of the image data (step S13).
  • the tone adjustment unit 11 uses the tone curves TD SEL (I) (TD SEL1 (I), TD SEL2 (I )) Is read out (step S21). Subsequently, the tone adjustment unit 11 generates a histogram of the luminance value I for the normalized image data (step S22). Subsequently, the tone adjusting unit 11 determines a tone curve TD SEL (I) based on the generated histogram (step S23).
  • a tone curve for example, TD SEL1 (I)
  • a tone curve having a large slope ⁇ (I) in the high luminance region
  • the number of pixels having low luminance is large
  • the low luminance is obtained.
  • a tone curve for example, TD SEL2 (I)
  • a histogram of the luminance value I of the gaze area is generated in the image data in step S22, and the luminance value of the gaze area corresponding to the histogram is generated.
  • a tone curve TD SEL (I) having a large slope ⁇ (I) in the range may be selected in step S23.
  • the tone adjustment unit 11 adjusts the tone curve TD SEL (I) from the curve on the logarithmic axis to the tone curve TDL SEL (I) on the real axis (step S24). Subsequently, the tone adjustment section 11 uses the tone curve TDL SEL (I), to adjust the luminance value I of each pixel in the luminance value D O (step S25).
  • the actual (apparent) luminance value of each pixel of the image displayed on the monitor screen is the luminance value D as shown in FIG. O to the luminance value L O obtained by adding the luminance value D a from the reflection of the illumination light.
  • the image data is also in consideration of the influence of the ambient light at the time of viewing, corresponding to the tone curve (L O as not to tilt gamma (I) is 0 in the dynamic range throughout The brightness value of the image is adjusted based on the tone curve), and a clear image without blackout or the like is obtained for a viewer of the image.
  • the characteristics of the tone curve can be in accordance with the luminance value distribution of the image captured by the image sensor, the displayed image can be made clearer.
  • the tone curve TD 0 (I) selected as the initial value may be TD STD (I) or TD SEL (I) (TD SEL1 (I), TD SEL2 (I)). Or TD LIN (I).
  • the tone adjusting unit 11 adjusts the tone curve TD N (I) from a curve on the logarithmic axis to a curve on the real axis, and generates a tone curve TDL N (I) (step S32). Subsequently, the tone adjustment unit 11 uses the tone curve TDL N (I) to adjust the luminance value I of the image data to the luminance value D O of the image data (step S33).
  • the tone adjustment section 11, the luminance value D O, to calculate the luminance value L O by adding luminance values D A from the reflection of ambient light at the time of viewing (step S34).
  • the luminance value D A can be adjusted by an operation input of the operation unit 4. For example, in the case of A, 1/100 can be input, and in the case of B, 1/20 can be input.
  • the tone adjusting unit 11 performs tone mapping evaluation (step S35).
  • the tone adjusting unit 11 displays image data based on the calculated luminance value D O on the display unit 5 and displays a tone curve corresponding to the luminance value L O.
  • the evaluator who looks at the display unit 5 evaluates the displayed image data.
  • image data used for evaluation image data as shown in FIG. 13 can be used.
  • the image data shown in FIG. 13 is image data including a peripheral compensation unit as an area having the lowest luminance value and an evaluation screen display unit.
  • Peripheral compensator a luminance value D A from the reflection of the illumination light at the time of viewing is used to evaluate whether correct. If the correct luminance value D A, and the peripheral compensation unit, and the evaluation screen display unit is to become like feel together.
  • the tone adjustment unit 11 displays an image of the display screen evaluation unit of the output data 22 whose luminance value has been adjusted on the display unit 5, and evaluates whether the peripheral compensation unit and the evaluation screen display unit can be felt together. I do. In the image actually displayed by the evaluator, it is felt that the image on the evaluation screen display unit is fine, and if the peripheral compensation unit and the evaluation screen display unit are felt together, the evaluation result is OK.
  • the tone adjustment unit 11 determines whether or not the evaluation result is OK (step S36). If the evaluation result is not OK (step S36; No), the tone adjustment unit 11 further increments the counter value N by 1 (step S37). Furthermore, the tone adjustment section 11 changes the operation input of the operation unit 4 a tone curve TD N (I) as described above, generates a new tone curve TD N (I) (step S38).
  • step S32 adjusts the tone curve TDL N (I) to the real axis (step S32), calculates the luminance value D O (step S33), and calculates the luminance value L O (step).
  • step S34 tone mapping evaluation (step S35), and evaluation result determination (step S36) are repeated. If it is determined in step S36 that the evaluation result is OK (step S36; Yes), the image adjustment apparatus 1 proceeds to post-processing.
  • the tone curve TD N (I) at this time is the tone curve TD (I).
  • post-processing When the automatic process 1, the automatic process 2 or the manual process ends, as shown in FIG. 12, the post-processing unit 12 performs final image adjustment as post-processing (step S41).
  • post-processing includes, for example, inverse gamma correction and conversion processing to a JPEG or MPEG format. After finishing the post-processing, the image adjustment apparatus 1 ends the processing.
  • the image adjustment apparatus 1 includes a tone adjustment unit 11.
  • the tone adjustment unit 11 adjusts the luminance value of the first image data having the first dynamic range to the luminance value of the second image data having the second dynamic range that is smaller than the first dynamic range. More specifically, the tone adjusting unit 11 sets the luminance value normalized with the maximum value 1 in the first image data as I and the luminance value normalized with the maximum value 1 in the second image data as D. Adjustment is performed with O as the brightness value of the ambient light during viewing.
  • the tone curve TD (I) is adjusted so as not to occur. For example, as shown in FIG. 14, by adjusting the tone curve TD (I), TL (I), which is the sum of TD (I) and Da, has a slope ⁇ (I) that is in the entire dynamic range ( 10 -4 to 1) and the tone curve is not 0.
  • TD STD (I), TD SEL1 (I), and TD SEL2 (I) correspond to TD (I), and the dotted curve corresponds to TL (I).
  • the tone adjustment unit 11 adjusts the tone curve TL (I) in consideration of the influence of ambient light. Examples of the adjusted tone curve TL (I) are shown in FIGS.
  • the luminance value I taking the maximum value of ⁇ (I) occurs at a position smaller than Ia, and the gradation in the dark part is relatively emphasized, while the contrast ratio in the bright part is Lack of softness.
  • the tone curve TD (I) shown in FIG. 16 is also a monotonically increasing function in which the slope ⁇ (I) is not constant on the logarithmic axis.
  • the tone curve TL (I) there is a section where the slope ⁇ (I) exceeds 0.5 in at least one place where 1 ⁇ I ⁇ Ia.
  • the value of I at which the gradient ⁇ (I) of the tone curve TL (I) has the maximum value is Im, the relationship of 1 ⁇ lm ⁇ Ia is satisfied.
  • the tone curve TL (I) is a function in which a place where ⁇ (I) is maximum exists in any part of the highlight from the halftone where the influence of the ambient light is relatively small. Become.
  • the tone curve 21 in which the gradient ⁇ (I) does not become zero even when the contrast ratio is reduced in consideration of the influence of reflection of ambient light during viewing is used. Since the image is adjusted, the discrimination threshold (minimum change amount that can be distinguished) is increased while reducing blackout and whiteout even when the contrast ratio is small due to the influence of ambient light during viewing. be able to. As a result, it is possible to perform image adjustment by tone mapping in consideration of human appearance without destroying the balance of luminance of the image.
  • the image adjustment device 1 may adjust an image displayed on a specific display 8.
  • An illumination sensor 7 is attached to the outer frame of the display 8, and the illumination sensor 7 can detect the intensity of ambient light incident on the screen of the display 8.
  • the image adjustment apparatus 1 further includes an illumination sensor 7 and an input unit 6 for inputting sensor output from the illumination sensor 7.
  • the tone adjustment unit 11 uses the brightness of the ambient light as effective minimum brightness information on the screen of the display 8.
  • the value Da is calculated.
  • the reflectance can be accurately calculated by using a value measured in advance, but a standard value may be used.
  • the tone adjuster 11 adjusts the tone curve so that the slope ⁇ (I) of the tone curve TL (I) does not become 0 in the entire dynamic range according to the calculated luminance value Da. Adjust TD (I). In this way, even if the intensity of the ambient light changes, image conversion can be performed under the appropriate tone curve TL (I) each time, so that an easily viewable image can always be displayed.
  • the tone adjustment unit 11 performs the second image data together with the tone curve TD (I) so that the gradient ⁇ (I) does not become 0 in the entire dynamic range according to the luminance value Da.
  • maximum luminance value (the maximum value of 1 and comprising D O in the vertical axis) may be a so as to vertically adjusted.
  • the maximum luminance value of the second image data may be increased as the luminance value Da increases.
  • the effective luminance contrast ratio and the gradation characteristics can be kept substantially the same. . Therefore, it is possible to expect the effect of preventing the visibility from being disturbed due to an excessive luminance contrast ratio.
  • Even when the ambient light becomes extremely bright so that the maximum level cannot be adjusted by adjusting only the tone curve TD (I), a more appropriate gradation can be expressed even within a limited luminance contrast ratio. It becomes possible.
  • the image can be adjusted by selecting a tone curve 21 having a large slope ⁇ (I) when the influence of ambient light during viewing is taken into account within the range of luminance values of the viewer's gaze area. In this way, even in a state where the contrast ratio is reduced due to the influence of ambient light during viewing as a whole, the contrast in important areas of the image can be further increased while reducing blackout and overexposure. it can.
  • 2.2 to 2.4
  • the dynamic range is Since it is much narrower than HDR, the difference from human visual characteristics is not extremely large in approximation, and no major problem has occurred in the operability of tone mapping.
  • the HDR image has a wide dynamic range
  • a tone curve having both axes as real values there arises a problem of operability that it becomes difficult to precisely operate the low luminance portion. Therefore, in the image adjustment apparatus 1 according to the present embodiment, in the manual processing, the tone curve 21 whose logarithm of the luminance value is displayed on the horizontal axis and the vertical axis is displayed on the display unit 5 and the tone is set via the operation unit 4.
  • the curve 21 can be adjusted. Human visual characteristics are expressed almost logarithmically, not by real axes (according to Weber-Fechner's law), so it is more human sense (visual characteristics) to use the tone curve 21 displayed on both logarithmic axes.
  • the brightness value of the image can be adjusted in a state close to.
  • the tone curve may be changed every time the scene changes.
  • the image adjustment apparatus 1 which concerns on each said embodiment adjusted the image data displayed on a display
  • this invention is not limited to this.
  • the present invention can also be applied to adjustment of the luminance value of image data displayed on a photograph or printed matter.
  • the present invention can be applied as pre-processing or comprehensive processing of tone mapping at the time of media conversion (for example, conversion from an image displayed on a display to a printed material).
  • the step of describing the program for performing the operation of each of the above embodiments is a process performed in time series in the described order. However, even if not necessarily processed in time series, it is executed in parallel or individually. Processing may be included.
  • the system represents the entire apparatus configured by a plurality of apparatuses or the entire function configured by a plurality of functions.
  • the hardware configuration and software configuration of the image adjustment apparatus 1 are merely examples, and can be arbitrarily changed and modified.
  • the central part that performs the processing of the image adjustment apparatus 1 including the control unit 2 and the storage unit 3 can be realized by using a normal computer system without using a dedicated system.
  • a computer program for executing the above operation is stored and distributed in a computer-readable recording medium (flexible disk, CD-ROM, DVD-ROM, etc.), and the computer program is installed in the computer.
  • the image adjustment apparatus 1 that executes the above-described processing may be configured.
  • the image adjustment apparatus 1 may be configured by storing the computer program in a storage device included in a server device on a communication network such as the Internet and downloading the computer program by a normal computer system.
  • the functions of the image adjustment apparatus 1 are realized by sharing an OS (operating system) and an application program, or by cooperation between the OS and the application program, only the application program part is stored in a recording medium or a storage device. Also good.
  • OS operating system
  • a computer program may be posted on a bulletin board (BBS, “Bulletin“ Board System ”) on a communication network, and the computer program distributed via the network.
  • the computer program may be started and executed in the same manner as other application programs under the control of the OS, so that the above-described processing may be executed.
  • the present invention can be applied to display images under various environments.
  • 1 image adjustment device 1 image adjustment device, 2 control unit, 3 storage unit, 4 operation unit, 5 display unit, 6 input unit, 7 illumination sensor, 8 display, 10 pre-processing unit, 11 tone adjustment unit, 12 post-processing unit, 20 input data (First image data), 21 tone curve, 22 output data (second image data)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

トーン調整部は、第1の画像データにおける最大値1で正規化された輝度値をIとし、第2の画像データにおける最大値1で正規化された輝度値をDOとし、鑑賞時の環境光の輝度値をDaとし、鑑賞時の環境光の影響を考慮した輝度値をLOとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、LO=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する。

Description

画像調整装置、画像調整方法及びプログラム
 本発明は、画像調整装置、画像調整方法及びプログラムに関する。
 ダイナミックレンジとは、画像における輝度の最大値と最小値の幅(比率)のことをいう。最近では、ダイナミックレンジが広い画像を撮像することが可能となっており、このような画像をHDR(High Dynamic Range)画像ともいう。HDR画像においては、ダイナミックレンジは例えば6000:1(1/6000)であり、その輝度値は例えば16ビットで表現される。
 これに対して、通常のディスプレイで表現できる程度の幅のダイナミックレンジを有する画像をSDR(Standard Dynamic Range)画像という。SDR画像では、ダイナミックレンジは、例えば20:1(1/20)であり、輝度値は例えば8ビットで表現される。
 最近では、モバイル機器等の発達に伴い、暗い部屋でHDRディスプレイを用いて表示することが前提となっている映画等のHDR画像を、明るい環境の下でモバイル機器の画面のようなSDRディスプレイを用いて鑑賞したいという要請が高まっている。そこで、入力されたHDR画像から、表示画面が表現可能な輝度範囲内で表示できる画像を生成する画像処理装置等が開示されている(例えば、特許文献1参照)。
特開2006-215756号公報
 画像のトーンマッピングには、画像全体を同じトーンカーブを用いてマッピングするグローバルマッピングと、画像の部分的な特徴を用いて部分的に異なるトーンマッピングを行う部分マッピングと、がある。本発明者は、一部の特殊な条件を除いて、人は画面全体で輝度のバランスを意識して判別していることを発見した。したがって、部分マッピングを行うと、人間の輝度の判別に影響を与える画像の輝度のバランスが崩れてしまう可能性があるため、画像に対してグローバルマッピングを行って画像の輝度のバランスを崩すことなく、現実の環境での画像の実際の見え方を考慮して輝度を調整できるようになっているのが望ましい。
 現実の環境での画像の実際の見え方に影響を与えるのが鑑賞時の照明光である。照明光が画像を表示する画面で反射すると、その反射光によりその画像を見る者の各画素の輝度が大きくなるためである。これにより、例えば、照明光が強い環境では、輝度値の低い部分のコントラストが大幅に低下し、画像が見えなくなってしまうなどの影響が出る。
 本発明は、上記実情に鑑みてなされたものであり、画像の輝度のバランスを崩すことなく、現実の環境での画像の見え方を考慮したトーンマッピングで画像調整を行うことができる画像調整装置、画像調整方法及びプログラムを提供することを目的とする。
 上記目的を達成するために、本発明の第1の観点に係る画像調整装置は、
 第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部を備え、
 前記トーン調整部は、
 前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、鑑賞時の環境光による輝度値をDaとし、鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
 L=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する。
 この場合、前記トーン調整部における前記トーンカーブTL(I)は、単調増加関数である、
 こととしてもよい。
 また、Da=TD(I)=TL(I)/2を与える輝度値Iの値をIaとし、
 1≧I≧Iaの少なくとも1箇所で前記傾きγ(I)が0.5を上回っている、
 こととしてもよい。
 前記傾きγ(I)が最大値をとるIの値をImとすると、
 1≧lm≧Iaの関係を満たす、
 こととしてもよい。
 前記環境光の強度を検出する照明センサを備え、
 前記トーン調整部は、
 前記照明センサで検出された前記環境光の強度と、画像を表示する画面の反射率とに基づいて、前記環境光による輝度値Daを算出し、
 前記輝度値Daに応じて、前記傾きγ(I)がダイナミックレンジ全域で0にならないように、前記トーンカーブTD(I)を調整する、
 こととしてもよい。
 前記トーン調整部は、
 前記輝度値Daに応じて、前記傾きγ(I)がダイナミックレンジ全域で0にならないように前記トーンカーブTD(I)とともに前記第2の画像データの最大輝度値を調整する、
 こととしてもよい。
 この場合、特性が異なるトーンカーブを複数記憶する記憶部を備え、
 前記トーン調整部は、
 前記記憶部に記憶されたトーンカーブの中から、前記第1の画像データにおいて画素数が多い輝度値の範囲で鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きい前記トーンカーブTD(I)を選択し、
 選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する、
 こととしてもよい。
 特性が異なる前記トーンカーブTD(I)を複数記憶する記憶部を備え、
 前記トーン調整部は、
 前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて鑑賞者の注視領域の輝度値の範囲で鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きいトーンカーブTD(I)を選択し、
 選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する、
 こととしてもよい。
 画像を表示する表示部と、マンマシンインターフェイスである操作部とを備え、
 前記表示部が前記トーンカーブTD(I)を表示しつつ、前記操作部を介して前記トーンカーブTD(I)の特性を調整可能である、
 こととしてもよい。
 前記表示部は、鑑賞時の環境光の影響を加味したトーンカーブTL(I)を表示する、
 こととしてもよい。
 前記トーン調整部は、
 輝度値が最低である領域を含む画像データを、前記第1の画像データとして、前記表示部に表示されたトーンカーブを用いて、前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整し、
 前記表示部に前記第2の画像データを表示しつつ、前記操作部の操作入力により前記トーンカーブの特性を調整可能である、
 こととしてもよい。
 本発明の第2の観点に係る画像調整装置は、
 画像を表示する表示部と、
 マンマシンインターフェイスである操作部と、
 第1のダイナミックレンジを有する第1の画像データの輝度値を、第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部と、を備え、
 前記トーン調整部は、
 入力をXとし、出力をYとした場合にlogY=γ(X)LogXの関係を有するトーンカーブを用いて前記第1の画像データの輝度値を、前記第2の画像データの輝度値に調整し、
 前記表示部が前記トーンカーブを表示しつつ、前記操作部を介して前記トーンカーブの特性を調整可能である。
 本発明の第3の観点に係る画像調整方法は、
 第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整ステップを含み、
 前記トーン調整ステップでは、
 前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、鑑賞時の環境光による輝度値をDaとし、
 鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
 L=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する。
 本発明の第4の観点に係るプログラムは、
 コンピュータを、
 第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部として機能させ、
 前記トーン調整部は、
 前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、鑑賞時の環境光による輝度値をDaとし、
 鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
 L=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する。
 本発明によれば、鑑賞時の環境光の影響を考慮してコントラスト比が低下した状態でも傾きが0とならないトーンカーブを用いて画像調整を行っているため、鑑賞時の環境光によりコントラスト比が小さくなった状態でも、黒つぶれや、白とびを少なくしつつ、弁別閾(区別できる最小の変化量)を増加させることができる。この結果、画像の輝度のバランスを崩すことなく、現実の環境での画像の見え方を考慮したトーンマッピングで画像調整を行うことができる。
本発明の実施の形態に係る画像調整装置の構成を示すブロック図である。 撮像対象の実際の輝度と撮像された画像データの輝度との関係を示す図である。 HDR、SDRの雑音レベルと、16ビットの理論限界とを示す図である。 図1の画像調整装置におけるトーンカーブの一例を示す図である。 従来のトーンカーブの一例を示す図である。 鑑賞時の実際の画像の見え方を示す模式図である。 明るい環境で撮像されたトーンカーブの一例を示す図である。 暗い環境で撮像されたトーンカーブの一例を示す図である。 本発明の実施の形態に係る画像調整装置の動作を示すフローチャートである。 自動処理1のフローチャートである。 自動処理2のフローチャートである。 手動処理のフローチャートである。 後処理のフローチャートである。 手動処理で用いられる画像データの一例を示す図である。 図1の画像調整装置で調整される一般的なトーンカーブを示す図である。 調整されたトーンカーブの一例を示す図である。 調整されたトーンカーブの他の例を示す図である。 本発明の他の実施の形態に係る画像調整装置の構成を示すブロック図である。 図17の画像調整装置で調整される一般的なトーンカーブを示す図である。
 以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、以下の図面では、各構成部材の大きさや構成部材間の位置関係が実際のものとは異なる場合がある。また、以下の図面において、同一又は相当部分には同一符号を付す。
 図1に示すように、画像調整装置1はコンピュータであり、CPU(Central Processing Unit)及びメモリから成る制御部2と、ハードディスク等から成る記憶部3と、マンマシンインターフェイスである操作部4と、画面を表示する表示ディスプレイである表示部5と、を備える。操作部4の操作入力により、制御部2が記憶部3に記憶されたプログラムを実行されることにより、画像調整装置1の以下の構成要素の機能が実現される。例えば、操作部4の操作入力に従って表示部5の表示画像が変更され、画像データの輝度値が調整される。
 画像調整装置1は、そのような構成要素として、前処理部10と、トーン調整部11と、後処理部12と、を備える。また、記憶部3には、入力データ20と、トーンカーブ21と、出力データ22とが記憶されている。
 入力データ20は、撮像素子で撮像された動画データ又は静止画データ(第1の画像データ)である。入力データ20は、HDR規格の画像(TIFF(Tag Image File Format),BTR(Broadcast and Television Receivers)規格)でもよいし、SDR規格の画像(JPEG(Joint Photographic Experts Group),MPEG(Moving Picture Experts Group))でもよい。画像調整装置1は、第1のダイナミックレンジを有する入力データ20(第1の画像データ)の輝度値を、第2のダイナミックレンジ(例えばSDR)を有する出力データ22(第2の画像データ)の輝度値に調整する。調整した輝度値を有する出力データ22は、記憶部3に記憶される。本実施の形態では、第1のダイナミックレンジは、第2のダイナミックレンジより大きい(すなわち第2のダイナミックレンジは、第1のダイナミックレンジより小さい)ものとする。
 なお、撮像素子においては、撮像対象の実際の輝度値I’(I’MIN~I’MAX)と、撮像素子で撮像された画像データ(入力データ20)の輝度値Dip(Log1~Log255(8ビットの場合)又はLog65535(16ビットの場合))との間には、図2Aに示すように、LogD=f1(LogI’)の関係がある。なお、SDR画像、HDR画像には、図2Bに示すように、画像に含まれるノイズのため、実際の輝度値I’との間で線形関係に限界がある。
 前処理部10は、画像の輝度調整に先立って前処理を行う。具体的には、前処理部10は、入力データ20を記憶部3から読み込んで、入力データ20に対する前処理、例えば、入力データ20の線形化、正規化、校正処理を行う。具体的には、前処理部10は、入力データ20の各画素の輝度値Dを、以下の演算式を用いて正規化された輝度値Dipに変換する。
 Dip=K・f -1(D
 なお、以下の実施の形態では、この輝度値Dipを、第1の画像データ(入力データ20)の輝度値Iとして説明を行う。
 トーン調整部11は、前処理部10で前処理されたデータの各画素の輝度値Iを入力するとともにトーンカーブ21を記憶部3から読み込む。トーン調整部11は、読み込んだ入力データ20の輝度値Iを、トーンカーブ21を用いて、出力データ22の輝度値Dに調整する。
 トーンカーブ21は、前処理された入力データ20の輝度値をXとし、出力する画像データの輝度値をYとすると、logY=γ(X)LogXの関係を有する曲線である。γ(X)はトーンカーブ21の傾きである。本実施の形態では、Xは、前処理がなされた画像データの輝度値Iであり、Yは調整後の輝度値Dまたは鑑賞時の環境光の影響を加味した輝度値Lである。
 記憶部3には、トーンカーブ21として、標準となるトーンカーブTDSTD(I)(後述するTD(I)に対応)が記憶されている。図3に示すように、横軸をLogIとし、縦軸をLogDとすると、トーンカーブTDSTD(I)は、傾きγ(I)のグラフとなる。傾きγ(I)の値は輝度値Iによって異なっている。また、トーンカーブTDSTD(I)は、輝度値の最大値近傍(LogI=1の近傍)では、その輝度値が、ハードクリッピングでなく、ソフトクリッピングされている。すなわち、輝度値の最大値に近づくにつれて、傾きγ(I)が小さくなっている。これにより、画像の白とびが抑制されている。
 本実施の形態では、トーンカーブTDSTD(I)は、鑑賞時の環境光の影響を考慮してその特性が決められている。鑑賞時の環境については様々なものがある。環境光の影響について、以下の3つの場合を例にとって説明する。
S:映画を見る暗室のような明るさ(1000:1)の場合
A:周りが暗く、広いダイナミックレンジ(100:1)で再生可能な明るさの場合
B:通常の明るさ(ダイナミックレンジ20:1)の場合
 入力データ20の正規化された輝度値Iを、トーンカーブTDSTD(I)を用いて調整すれば、画素の輝度値はDとなる。しかしながら、図5に示すように、モニタ画面に入射する照明光の反射の影響により、画像の実際の見え方は変化する。すなわち、画像の各画素の輝度値は、輝度値Dに、モニタ画面で反射した照明光の反射による輝度値Dが加味された輝度値Lとなる。図3には、この実際にモニタ画面を見る人が知覚する輝度値Lに対応するトーンカーブTL(I)が点線で描かれている。
 Sの場合には、輝度値Dの大きさは、コントラスト比=1/1000となる。また、Aの場合には、輝度値Dの大きさは、コントラスト比=1/100となる。さらに、Bの場合には、輝度値Dの大きさは、コントラスト比=1/20となる。モニタ画面に表示される画像では、これらの輝度値Dだけ輝度が大きくなる。
 図3に示すように、点線で示されるトーンカーブでも、その傾きγ(I)は、ダイナミックレンジ全域で0になっていないので、モニタ画面を見る人は、コントラストの良い画像としてその画像を認識することができる。このトーンカーブは、例えばジグモイド曲線のようなS字カーブとなる。
 一方、図4に示すように、従来のトーンカーブをそのまま用いて輝度値の調整を行った場合には、モニタ画面に表示される画像の実際の見え方は、傾きγ(I)が0の部分を有するトーンカーブに従ったものとなる。このため、モニタ画面に表示される画像は、黒つぶれ、すなわち黒い部分がつぶれた画像として認識される。これに対して、図3に示す本実施の形態に係るトーンカーブTDSTD(I)は、鑑賞時の環境光の影響を加味して、実際の見えを示すトーンカーブが全域でγ(I)が0でないので、黒つぶれが最小限に抑えられている。
 画像調整装置1は、トーンカーブ21として、特性、すなわちカーブ形状が異なる複数のトーンカーブTDSTD(I)の他にも、複数のトーンカーブTDSEL(I)を記憶している。図6及び図7には、2つのトーンカーブTDSEL1(I)、TDSEL2(I)が示されている。本実施の形態では、これらのトーンカーブが後述のトーンカーブTD(I)に対応する。
 図6に示すように、トーンカーブTDSEL1(I)は、鑑賞時の反射を考慮したトーンカーブとしたときに、トーンカーブTDSTD(I)に対して高輝度側の傾きγ(I)が大きくなっている。このため、トーンカーブTDSEL1(I)は、高輝度の画素が多い画像の表示に適している。
 また、図7に示すように、トーンカーブTDSEL2(I)は、鑑賞時の反射を考慮したトーンカーブを仮定したときに、トーンカーブTDSTD(I)に対して低輝度側の傾きγ(I)が大きくなっている。トーンカーブTDSEL2(I)は、比較的低い輝度の画素が多い画像の表示に適している。
 これらの他にも、記憶部3は、より多くのトーンカーブTDSEL(I)を記憶することが可能である。また、トーン調整部11は、記憶部3に記憶されたトーンカーブTDSEL(I)の中から、入力データ20において画素数が多い輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きγ(I)が大きいトーンカーブTDSEL(I)を選択し、選択したトーンカーブを用いた輝度値の調整が可能である。このようなトーンカーブTDSEL(I)の傾きγ(I)の最大値としては、例えば、0.5以上1.0未満とすることができる。
 記憶部3は、例えば、鑑賞者の注視領域(作者が鑑賞者に見せたい領域・鑑賞者が見たい領域)の輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きγ(I)が大きいトーンカーブをトーンカーブTDSEL(I)として記憶することが可能である。トーン調整部11は、記憶部3に記憶されたトーンカーブTDSEL(I)の中から、入力データ20において画素数が多い輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きが大きいトーンカーブTDSEL(I)を選択し、選択したトーンカーブを用いた輝度値の調整が可能である。
 このように、トーンカーブTDSEL(I)は、照明光の反射を考慮した時に一部に傾きγ(I)の大きい部分を有するトーンカーブとなる。γ(I)の最大値は1近傍となってもよい。傾きγ(I)の大きい部分は1箇所であってもよいし、複数箇所存在していてもよい。上述のトーンカーブTDSTD(I)は、傾きγ(I)の大きい部分を2か所有するカーブである。
 画像調整装置1は、この他、トーンカーブ21としてγ(I)=1のトーンカーブも記憶している。これをトーンカーブTDLIN(I)と呼ぶ。
 また、トーン調整部11は、表示部5がトーンカーブ21(後述するトーンカーブTD(I)に対応)を表示しつつ、操作部4を介してトーンカーブ21の特性を調整可能である。初期のトーンカーブとしては、トーンカーブTDSTD(I)、トーンカーブTDSEL(I)、トーンカーブTDLIN(I)を採用することができる。
 このとき、表示部5は、鑑賞時の環境光の影響を加味したトーンカーブTL(I)を表示可能である。トーン調整部11は、輝度値が最低である領域を含む画像データを、入力データ20として、表示部5に表示されたトーンカーブを用いて、入力データ20の正規化された輝度値Iを出力データ22の輝度値Dに調整し、表示部5に出力データ22を表示することができる。
 この状態で、トーン調整部11は、操作部4の操作入力にしたがって、表示部5に表示されたトーンカーブの特性(傾きγ(I))を調整可能である。この動作により、実際の見え方が精細となるように輝度調整を行うことができるトーンカーブTD(I)を生成することができる。
 いずれの場合でも、トーンカーブ21は、鑑賞時の環境光の影響を加味しても、ダイナミックレンジ全域で傾きγ(I)が0にならないトーンカーブとなる。これらのトーンカーブには、γ(I)が1近傍である部分が少なくとも1箇所存在する。これにより、調整後の画像データでは、輝度値が低い部分の黒つぶれや輝度値が高い部分の白とびの発生を低減することができる。
 後処理部12は、後処理を行う。具体的には、後処理部12は、トーン調整部11でトーンが調整された画像データに対して逆ガンマ補正やJPEGデータ又はMPEGデータへのフォーマット調整等を行う。後処理部12は、フォーマット調整された動画データ又は画像データを出力データ22として記憶部3に記憶する。
 次に、本発明の実施の形態に係る画像調整装置1の動作(画像調整方法)について図8~図12のフローチャートを主に参照して、説明する。
 まず、前処理部10は、前述のように、前処理(線形化、校正)を行う(ステップS1)。続いて、トーン調整部11は、処理内容を選択し、選択した処理への分岐を行う(ステップS2:トーン調整ステップ)。トーン調整部11が実行可能な処理には、自動処理1と、自動処理2と、手動処理との3つがある。処理の分岐は、操作部4による操作入力に基づいて行われるようにしてもよいし、予め設定されていてもよい。
(自動処理1)
 自動処理1が選択された場合、図9に示すように、トーン調整部11は、トーンカーブ21として、標準のトーンカーブTDSTD(I)を読み出す(ステップS11)。続いて、トーン調整部11は、トーンカーブTDSTD(I)を、対数軸上のカーブから実数軸上のトーンカーブTDLSTD(I)に変換する(ステップS12)。続いて、トーン調整部11は、トーンカーブTDLSTD(I)を用いて、画像データの輝度値Iを画像データの輝度値Dに調整する(ステップS13)。
 調整された画像データは、表示部5に表示されると、画像の各画素の輝度値は、図5に示すように、輝度値Dに照明光の反射による輝度値Dを加算した輝度値Lとなる。したがって、図3に示すように、この画像データは、鑑賞時の環境光の影響を加味しても、ダイナミックレンジ全域で傾きγ(I)が0にならないトーンカーブ21に基づいて調整された画像となり、その画像を見る者にとって黒つぶれ等のない鮮明な画像となる。
(自動処理2)
 自動処理2が選択された場合、図10に示すように、トーン調整部11は、トーンカーブ21として、カーブの形状が異なるトーンカーブTDSEL(I)(TDSEL1(I)、TDSEL2(I))を読み出す(ステップS21)。続いて、トーン調整部11は、正規化された画像データに対して、輝度値Iのヒストグラムを生成する(ステップS22)。続いて、トーン調整部11は、生成したヒストグラムに基づいて、トーンカーブTDSEL(I)を決定する(ステップS23)。例えば、高輝度となる画素数が多ければ、高輝度の領域で傾きγ(I)が大きいトーンカーブ(例えばTDSEL1(I))が選択され、低い輝度の画素数が多ければ、低い輝度の領域で傾きγ(I)が大きいトーンカーブ(例えばTDSEL2(I))が選択される。また、鑑賞者等によって指定された注視領域が指定されている場合には、ステップS22で、画像データにおいて注視領域の輝度値Iのヒストグラムを生成し、そのヒストグラムに対応する注視領域の輝度値の範囲で傾きγ(I)が大きいトーンカーブTDSEL(I)をステップS23で選択するようにしてもよい。
 続いて、トーン調整部11は、トーンカーブTDSEL(I)を、対数軸上のカーブから実数軸上のトーンカーブTDLSEL(I)に調整する(ステップS24)。続いて、トーン調整部11は、トーンカーブTDLSEL(I)を用いて、各画素の輝度値Iを輝度値Dに調整する(ステップS25)。
 調整された画像データは、表示部5に表示されると、モニタ画面に表示される画像の各画素の実際(見かけ上)の輝度値は、図6又は図7に示すように、輝度値Dに照明光の反射による輝度値Dを加算した輝度値Lとなる。したがって、図6又は図7に示すように、この画像データは、鑑賞時の環境光の影響を加味しても、ダイナミックレンジ全域で傾きγ(I)が0にならないトーンカーブ(Lに対応するトーンカーブ)に基づいて輝度値が調整された画像となり、その画像を見る者にとって黒つぶれ等のない鮮明な画像となる。さらに、トーンカーブの特性を、撮像素子で撮像された画像の輝度値の分布に応じたものとすることができるので、表示する画像をさらに鮮明なものとすることができる。
(手動処理)
 手動処理が選択された場合、図11に示すように、トーン調整部11は、トーンカーブ21として、初期値となるトーンカーブTD(I)(N=0)を読み出す(ステップS31)。初期値として選択されるトーンカーブTD(I)は、TDSTD(I)であってもよいし、TDSEL(I)(TDSEL1(I)、TDSEL2(I))であってもよいし、TDLIN(I)であってもよい。
 続いて、トーン調整部11は、トーンカーブTD(I)を、対数軸上のカーブから実数軸のカーブに調整し、トーンカーブTDL(I)を生成する(ステップS32)。続いて、トーン調整部11は、トーンカーブTDL(I)を用いて、画像データの輝度値Iを画像データの輝度値Dに調整する(ステップS33)。
 さらに、トーン調整部11は、輝度値Dに、鑑賞時の環境光の反射による輝度値Dを加算して輝度値Lを算出する(ステップS34)。輝度値Dは操作部4の操作入力により調整することが可能であるが、例えば、Aの場合には、1/100、Bの場合には1/20を入力することができる。
 続いて、トーン調整部11は、トーンマッピングの評価を行う(ステップS35)。ここでは、トーン調整部11は、算出された輝度値Dに基づく画像データを表示部5に表示するとともに、輝度値Lに対応するトーンカーブを表示する。表示部5を見る評価者は、表示される画像データの評価を行う。
 なお、評価に用いる画像データとしては、図13に示すような画像データを用いることができる。図13に示す画像データは、輝度値が最低である領域としての周辺補償部と、評価画面表示部とが含まれる画像データとなる。周辺補償部は、鑑賞時の照明光の反射による輝度値Dが正確であるか否かの評価に用いられる。輝度値Dが正確であれば、周辺補償部と、評価画面表示部とが一体となって感じられるようになるためである。
 トーン調整部11は、表示部5に輝度値を調整した出力データ22の表示画面評価部の画像を表示しつつ、周辺補償部と評価画面表示部とが一体となって感じられるかどうかの評価を行う。評価者が実際に表示された画像において、評価画面表示部の画像が精細であると感じられ、周辺補償部と評価画面表示部とが一体となって感じられれば評価結果はOKとなる。
 トーン調整部11は、評価結果がOKであるか否かを判定する(ステップS36)。評価結果がOKでなければ(ステップS36;No)、さらに、トーン調整部11は、カウンタ値Nを1だけインクリメントする(ステップS37)。さらに、トーン調整部11は、上述のようにしてトーンカーブTD(I)を操作部4の操作入力により変更して、新たなトーンカーブTD(I)を生成する(ステップS38)。
 その後、トーン調整部11は、ステップS32に戻り、トーンカーブTDL(I)の実数軸への調整(ステップS32)、輝度値Dの算出(ステップS33)、輝度値Lの算出(ステップS34)、トーンマッピングの評価(ステップS35)、評価結果の判定(ステップS36)が繰り返される。ステップS36で評価結果がOKであると判定されれば(ステップS36;Yes)、画像調整装置1は、後処理へ進む。このときのトーンカーブTD(I)がトーンカーブTD(I)である。
(後処理)
 自動処理1、自動処理2又は手動処理が終了すると、図12に示すように、後処理部12は、後処理として画像最終調整を行う(ステップS41)。後処理には、前述のように、例えば逆ガンマ補正やJPEGやMPEGのフォーマットへの変換処理などがある。後処理終了後、画像調整装置1は処理を終了する。
 本実施の形態に係る画像調整装置1についてまとめる。画像調整装置1は、トーン調整部11を備える。トーン調整部11は、第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整する。より具体的には、トーン調整部11は、第1の画像データにおける最大値1で正規化された輝度値をIとし、第2の画像データにおける最大値1で正規化された輝度値をDとし、鑑賞時の環境光の輝度値をDaとして調整を行う。トーン調整部11は、鑑賞時の環境光の影響を考慮した輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、L=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定する。
 トーン調整部11は、TL(I)をトーンカーブ調整時の目的関数に設定して、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する。例えば、図14に示すように、トーンカーブTD(I)が調整されることにより、TD(I)とDaとの和であるTL(I)は、その傾きγ(I)がダイナミックレンジ全域(10-4~1)で0でないトーンカーブとなっている。なお、図3、図6及び図7では、TDSTD(I)、TDSEL1(I)、TDSEL2(I)がTD(I)に相当し、点線の曲線がTL(I)に相当する。
 このようにして、トーン調整部11は、環境光の影響を考慮してトーンカーブTL(I)を調整する。調整されたトーンカーブTL(I)の例を図15、図16に示す。
 図15に示す、トーンカーブTD(I)は、両対数軸上で、I=Iaを境に傾きγ(I)が変わる直線となる。この場合、トーンカーブTL(I)は、単調増加関数となる。原画像(γ(I)=1の画像)より、暗部の再現性が改善される。Da=TD(I)=TL(I)/2を与える輝度値Iの値をIaとする。トーンカーブTL(I)において、γ(I)の最大値をとる輝度値Iは、Iaよりも小さいところに生じ、比較的暗部のところの階調が強調される一方、明部のコントラスト比が不足して、軟調になる。
 図16に示すトーンカーブTD(I)も、両対数軸上で、傾きγ(I)が一定でない単調増加関数となる。トーンカーブTL(I)において、1≧I≧Iaの少なくとも1箇所で傾きγ(I)が0.5を上回る区間がある。また、トーンカーブTL(I)の傾きγ(I)が最大値をとるIの値をImとすると、1≧lm≧Iaの関係を満たす。このようにすることで、トーンカーブTL(I)は、環境光の影響が相対的に少ない中間調からハイライトの何れかの部分にγ(I)が最大の場所が存在するような関数となる。このトーンカーブTL(I)を用いれば、視覚的により良好に、HDR画像からSDR画像を変換が可能になる。
 以上詳細に説明したように、本実施の形態によれば、鑑賞時の環境光の反射による影響を考慮してコントラスト比が低下した状態でも傾きγ(I)が0とならないトーンカーブ21を用いて画像調整を行っているため、鑑賞時の環境光の影響によりコントラスト比が小さくなった状態でも、黒つぶれや、白とびを少なくしつつ、弁別閾(区別できる最小の変化量)を増加させることができる。この結果、画像の輝度のバランスを崩すことなく、人間の見えを考慮したトーンマッピングで画像調整を行うことができる。
 また、別の実施の形態として、図17に示すように、画像調整装置1は、特定のディスプレイ8に表示される画像を調整するものであってもよい。ディスプレイ8の外枠には、照明センサ7が取り付けられており、照明センサ7により、ディスプレイ8の画面に入射する環境光の強度を検出することが可能となっている。画像調整装置1は、照明センサ7と照明センサ7からのセンサ出力を入力する入力部6をさらに備える。
 トーン調整部11は、照明センサ7で検出された環境光の強度と、画像を表示するディスプレイ8の反射率とに基づいて、ディスプレイ8の画面の実効的な最低輝度情報として、環境光による輝度値Daを算出する。反射率は、予め測定された値を用いることで正確に算出できるが、標準的な値を用いてもよい。そして、トーン調整部11は、図18に示すように、算出された輝度値Daに応じて、トーンカーブTL(I)の傾きγ(I)がダイナミックレンジ全域で0にならないように、トーンカーブTD(I)を調整する。このようにすれば、環境光の強度が変化しても、その都度、適切なトーンカーブTL(I)の下で、画像変換を行うことができるので、常に見やすい画像を表示することができる。
 このとき、図18に示すように、トーン調整部11は、輝度値Daに応じて、傾きγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)とともに第2の画像データの最大輝度値(縦軸で1となるDの最大値)を上下させて調整するようにしてもよい。例えば、輝度値Daが大きくなるにつれて第2の画像データの最大輝度値を高くするようにしてもよい。このようにすることで、暗い部屋から中程度の明るさの部屋のように環境光が変化する場合であっても、実効的な輝度コントラスト比と階調特性とをほぼ同一に保つことが出来る。したがって、必要以上の輝度コントラスト比となって見やすさを阻害することを防止できる効果が期待できる。また、最大レベルを調整できない程に環境光が極端に明るくなった場合においても、トーンカーブTD(I)のみを調整することで、限られた輝度コントラスト比の中でもより適切な階調を表現することが可能になる。
 また、上記各実施の形態によれば、複数のトーンカーブのうち、画素数が多い輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きγ(I)が大きいトーンカーブ21又は鑑賞者の注視領域の輝度値の範囲で鑑賞時の環境光の影響を加味した時の傾きγ(I)が大きいトーンカーブ21を選択して画像を調整することができる。このようにすれば、全体として鑑賞時の環境光の影響によりコントラスト比が小さくなった状態でも、黒つぶれや、白とびを少なくしつつ、画像の重要な領域でのコントラストをさらに大きくすることができる。
 また、従来では、手動処理でトーンカーブ21を調整する際には、γ補正(通常はγ=2.2~2.4)された画像データの画素値もしくは輝度値の実数値を横軸(X軸)、縦軸(Y軸)としたトーンカーブを表示しつつ、表示されたトーンカーブを手動操作で調整していた。このように、両軸を実数値とするトーンカーブを使用しても、一般的なSDR画像のようにγ補正された8ビットの画像データの画素値を入出力した場合には、ダイナミックレンジはHDRと比較してはるかに狭いため、近似的に人間の視覚特性との差が極端に大きくならず、トーンマッピングの操作性に大きな問題は生じていなかった。しかし、HDR画像はダイナミックレンジが広いため、両軸を実数値とするトーンカーブを用いた場合には、低輝度部分の操作を緻密に行うことが困難になるという操作性の問題が生じる。そこで、本実施の形態に係る画像調整装置1では、手動処理において、横軸及び縦軸がともに輝度値の対数となるトーンカーブ21を表示部5で表示しつつ、操作部4を介してトーンカーブ21を調整可能とした。人間の視覚特性は、実数軸ではなくほぼ対数軸で表される(ヴェーバー・フェヒナーの法則による)ので、両対数軸で表示されたトーンカーブ21を用いた方が、人間の感覚(視覚特性)に近い状態で、画像の輝度値の調整を行うことができる。
 なお、入力データ20が動画データである場合、場面(シーン)が切り替わる度にトーンカーブを変更するようにしてもよい。
 なお、上記各実施の形態に係る画像調整装置1は、ディスプレイに表示される画像データを調整したが、本発明はこれには限られない。本発明は、写真や印刷物に表示される画像データの輝度値の調整にも適用することが可能である。例えば、本発明は、メディア変換(例、ディスプレイに表示される画像から印刷物への変換)に際してのトーンマッピングの前処理又は包括処理として適応可能である。
 上記各実施の形態の動作を行うプログラムを記述するステップは、記載された順序に沿って時系列に行われる処理であるが、必ずしも時系列に処理されなくても、並列的又は個別に実行される処理を含んでいてもよい。
 上記各実施の形態において、システムとは、複数の装置で構成される装置全体又は複数の機能で構成される機能全体を表すものである。
 その他、画像調整装置1のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
 制御部2及び記憶部3などから構成される画像調整装置1の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する画像調整装置1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで画像調整装置1を構成してもよい。
 画像調整装置1の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
 搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
 この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
 なお、本願については、2017年5月18日に出願された日本国特許出願2017-99165号を基礎とする優先権を主張し、本明細書中に日本国特許出願2017-99165号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
 本発明は、様々な環境下で画像を表示するのに適用することができる。
 1 画像調整装置、2 制御部、3 記憶部、4 操作部、5 表示部、6 入力部、7 照明センサ、8 ディスプレイ、10 前処理部、11 トーン調整部、12 後処理部、20 入力データ(第1の画像データ)、21 トーンカーブ、22 出力データ(第2の画像データ)

Claims (14)

  1.  第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部を備え、
     前記トーン調整部は、
     前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、鑑賞時の環境光による輝度値をDaとし、鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
     L=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する、
     画像調整装置。
  2.  前記トーン調整部における前記トーンカーブTL(I)は、単調増加関数である、
     請求項1に記載の画像調整装置。
  3.  Da=TD(I)=TL(I)/2を与える輝度値Iの値をIaとし、
     1≧I≧Iaの少なくとも1箇所で前記傾きγ(I)が0.5を上回っている、
     請求項2に記載の画像調整装置。
  4.  前記傾きγ(I)が最大値をとるIの値をImとすると、
     1≧lm≧Iaの関係を満たす、
     請求項2又は3に記載の画像調整装置。
  5.  前記環境光の強度を検出する照明センサを備え、
     前記トーン調整部は、
     前記照明センサで検出された前記環境光の強度と、画像を表示する画面の反射率とに基づいて、前記環境光による輝度値Daを算出し、
     前記輝度値Daに応じて、前記傾きγ(I)がダイナミックレンジ全域で0にならないように、前記トーンカーブTD(I)を調整する、
     請求項1から4のいずれか一項に記載の画像調整装置。
  6.  前記トーン調整部は、
     前記輝度値Daに応じて、前記傾きγ(I)がダイナミックレンジ全域で0にならないように前記トーンカーブTD(I)とともに前記第2の画像データの最大輝度値を調整する、
     請求項5に記載の画像調整装置。
  7.  特性が異なるトーンカーブを複数記憶する記憶部を備え、
     前記トーン調整部は、
     前記記憶部に記憶されたトーンカーブの中から、前記第1の画像データにおいて画素数が多い輝度値の範囲で鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きい前記トーンカーブTD(I)を選択し、
     選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する、
     請求項1から6のいずれか一項に記載の画像調整装置。
  8.  特性が異なる前記トーンカーブTD(I)を複数記憶する記憶部を備え、
     前記トーン調整部は、
     前記記憶部に記憶された前記トーンカーブTD(I)の中から、前記第1の画像データにおいて鑑賞者の注視領域の輝度値の範囲で鑑賞時の環境光の影響を加味した時の前記傾きγ(I)が大きいトーンカーブTD(I)を選択し、
     選択した前記トーンカーブTD(I)を用いて前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整する、
     請求項1から6のいずれか一項に記載の画像調整装置。
  9.  画像を表示する表示部と、マンマシンインターフェイスである操作部とを備え、
     前記表示部が前記トーンカーブTD(I)を表示しつつ、前記操作部を介して前記トーンカーブTD(I)の特性を調整可能である、
     請求項1から6のいずれか一項に記載の画像調整装置。
  10.  前記表示部は、鑑賞時の環境光の影響を加味したトーンカーブTL(I)を表示する、
     請求項9に記載の画像調整装置。
  11.  前記トーン調整部は、
     輝度値が最低である領域を含む画像データを、前記第1の画像データとして、前記表示部に表示されたトーンカーブを用いて、前記第1の画像データの輝度値を前記第2の画像データの輝度値に調整し、
     前記表示部に前記第2の画像データを表示しつつ、前記操作部の操作入力により前記トーンカーブの特性を調整可能である、
     請求項10に記載の画像調整装置。
  12.  画像を表示する表示部と、
     マンマシンインターフェイスである操作部と、
     第1のダイナミックレンジを有する第1の画像データの輝度値を、第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部と、を備え、
     前記トーン調整部は、
     入力をXとし、出力をYとした場合にlogY=γ(X)LogXの関係を有するトーンカーブを用いて前記第1の画像データの輝度値を、前記第2の画像データの輝度値に調整し、
     前記表示部が前記トーンカーブを表示しつつ、前記操作部を介して前記トーンカーブの特性を調整可能である、
     画像調整装置。
  13.  第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整ステップを含み、
     前記トーン調整ステップでは、
     前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、鑑賞時の環境光による輝度値をDaとし、
     鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
     L=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する、
     画像調整方法。
  14.  コンピュータを、
     第1のダイナミックレンジを有する第1の画像データの輝度値を、第1のダイナミックレンジより小さい第2のダイナミックレンジを有する第2の画像データの輝度値に調整するトーン調整部として機能させ、
     前記トーン調整部は、
     前記第1の画像データにおける最大値1で正規化された輝度値をIとし、前記第2の画像データにおける最大値1で正規化された輝度値をDとし、鑑賞時の環境光による輝度値をDaとし、
     鑑賞時の環境光の影響を考慮した前記第2の画像データの輝度値をLとし、変換用のトーンカーブをTD(I)とし、環境を考慮したトーンカーブをTL(I)とした場合に、
     L=Do+Da=TD(I)+Da=TL(I)の関係が成り立つように仮定し、Lo=TL(I)を両対数に変換した後の傾きを示すγ(I)がダイナミックレンジ全域で0にならないようにトーンカーブTD(I)を調整する、
     プログラム。
PCT/JP2018/018861 2017-05-18 2018-05-16 画像調整装置、画像調整方法及びプログラム WO2018212212A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/613,740 US11107441B2 (en) 2017-05-18 2018-05-16 Image adjustment device, image adjustment method, and computer readable medium
JP2019518822A JP7180885B2 (ja) 2017-05-18 2018-05-16 画像調整装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-099165 2017-05-18
JP2017099165 2017-05-18

Publications (1)

Publication Number Publication Date
WO2018212212A1 true WO2018212212A1 (ja) 2018-11-22

Family

ID=64273935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018861 WO2018212212A1 (ja) 2017-05-18 2018-05-16 画像調整装置、画像調整方法及びプログラム

Country Status (3)

Country Link
US (1) US11107441B2 (ja)
JP (1) JP7180885B2 (ja)
WO (1) WO2018212212A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093608A (ja) * 2019-12-09 2021-06-17 国立大学法人 鹿児島大学 画質調整装置、画質調整方法及びプログラム
US11107441B2 (en) 2017-05-18 2021-08-31 Sakuichi Ohtsuka Image adjustment device, image adjustment method, and computer readable medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11473971B2 (en) * 2019-09-27 2022-10-18 Apple Inc. Ambient headroom adaptation
US11348470B1 (en) * 2021-01-07 2022-05-31 Rockwell Collins, Inc. Apparent video brightness control and metric

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177558A (ja) * 2008-01-25 2009-08-06 Sony Corp 画像処理装置および方法、並びにプログラム
US20130155330A1 (en) * 2011-12-19 2013-06-20 Dolby Laboratories Licensing Corporation Color Grading Apparatus and Methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215756A (ja) 2005-02-02 2006-08-17 Dainippon Ink & Chem Inc 画像処理装置および画像処理方法ならびにそのプログラム
CN104902141B (zh) * 2015-06-08 2018-06-26 西安诺瓦电子科技有限公司 图像处理方法及装置
JP7180885B2 (ja) 2017-05-18 2022-11-30 作一 大塚 画像調整装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177558A (ja) * 2008-01-25 2009-08-06 Sony Corp 画像処理装置および方法、並びにプログラム
US20130155330A1 (en) * 2011-12-19 2013-06-20 Dolby Laboratories Licensing Corporation Color Grading Apparatus and Methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MANTIUK, RAFAL ET AL.: "Display Adaptive Tone Mapping", PROC. ACM SIGGRAPH, 2008, XP055043632, ISBN: 978-1-4503-0112-1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107441B2 (en) 2017-05-18 2021-08-31 Sakuichi Ohtsuka Image adjustment device, image adjustment method, and computer readable medium
JP2021093608A (ja) * 2019-12-09 2021-06-17 国立大学法人 鹿児島大学 画質調整装置、画質調整方法及びプログラム

Also Published As

Publication number Publication date
JP7180885B2 (ja) 2022-11-30
US20210174763A1 (en) 2021-06-10
JPWO2018212212A1 (ja) 2020-03-19
US11107441B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
WO2018212212A1 (ja) 画像調整装置、画像調整方法及びプログラム
JP6030396B2 (ja) 映像処理装置
US8330768B2 (en) Apparatus and method for rendering high dynamic range images for standard dynamic range display
US9672603B2 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image
EP2800352B1 (en) Image pickup apparatus and image processing apparatus
CN111447425A (zh) 显示方法和显示装置
JP5089783B2 (ja) 画像処理装置及びその制御方法
US9672650B2 (en) Image processing apparatus, image processing method, and storage medium
US8014623B2 (en) System and method for efficiently enhancing videos and images
JP2016173477A (ja) 画像表示装置及びその制御方法
US9799108B2 (en) Image processing apparatus, image processing method, and storage medium
US10861420B2 (en) Image output apparatus, image output method, for simultaneous output of multiple images
JP2009124264A (ja) 画像処理装置および画像処理方法
US11810281B2 (en) Image processing apparatus, image processing method, and storage medium
Su et al. Adaptive tone mapping for display enhancement under ambient light using constrained optimization
Mohammadi et al. An entropy-based inverse tone mapping operator for high dynamic range applications
WO2018167898A1 (ja) 映像表示装置
JPWO2018003665A1 (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
KR101872015B1 (ko) 적외선 영상 생성장치 및 방법
Cyriac et al. Automatic, viewing-condition dependent contrast grading based on perceptual models
JP7332325B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6628925B2 (ja) 画像表示装置及びその制御方法
JP6270448B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20230029938A (ko) Pq 시프트를 이용한 주변 광 보상을 위한 시스템들 및 방법들
JP2024518827A (ja) 周囲光および/または非ディスプレイ由来の表面光に対する位置変化する適応性のあるディスプレイ管理

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18802157

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019518822

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18802157

Country of ref document: EP

Kind code of ref document: A1