WO2013141071A1 - 画像表示装置及び方法 - Google Patents

画像表示装置及び方法 Download PDF

Info

Publication number
WO2013141071A1
WO2013141071A1 PCT/JP2013/056732 JP2013056732W WO2013141071A1 WO 2013141071 A1 WO2013141071 A1 WO 2013141071A1 JP 2013056732 W JP2013056732 W JP 2013056732W WO 2013141071 A1 WO2013141071 A1 WO 2013141071A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
luminance
unit
backlight
segment
Prior art date
Application number
PCT/JP2013/056732
Other languages
English (en)
French (fr)
Inventor
渡辺　幹夫
田丸　雅也
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2014506149A priority Critical patent/JP5683745B2/ja
Priority to CN201380015618.9A priority patent/CN104205204B/zh
Publication of WO2013141071A1 publication Critical patent/WO2013141071A1/ja
Priority to US14/492,745 priority patent/US9117410B2/en
Priority to US14/810,292 priority patent/US9536479B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/3413—Details of control of colour illumination sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3607—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals for displaying colours or for displaying grey scales with a specific pixel layout, e.g. using sub-pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Definitions

  • the present invention relates to an image display apparatus and method, and more particularly to a technique for controlling the backlight luminance of a transmissive display panel.
  • This liquid crystal display device controls the backlight luminance for each region so that it is bright in the bright region of the image and dark in the dark region, corresponding to the luminance level of the image displayed on the liquid crystal panel. As a result, the contrast ratio of the bright and dark portions is increased, and an image with a wide dynamic range can be displayed.
  • the display described in Patent Document 2 includes a first light modulator that forms an image of light on a rear projection screen, and a second light modulator in the rear projection screen. With these two light modulators, The light is modulated so that an image with a wide dynamic range can be displayed.
  • the invention described in Patent Document 1 controls the backlight luminance (BLD control) for each area so that the bright area of the image displayed on the liquid crystal panel is bright and the dark area is dark. For this reason, according to the invention described in Patent Document 1, it is possible to display an image with a wide dynamic range. However, in the invention described in Patent Document 1, for example, the backlight luminance is also changed in the low luminance region and the intermediate luminance region, the gradation becomes hard, and an unnatural image may be displayed.
  • Patent Document 2 can also display an image having a wide dynamic range.
  • Patent Document 2 does not disclose a technique for displaying and reproducing an image with a natural appearance.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image display apparatus and method capable of faithfully displaying and reproducing a wide dynamic range shooting scene.
  • an image display apparatus uses a first image and a second image captured with lower sensitivity or lower exposure than the first image.
  • Image acquisition means for acquiring a third image that has been subjected to range expansion processing or a fourth image that is not accompanied by dynamic range expansion processing, and transmission that displays the third image or the fourth image acquired by the image acquisition means.
  • a display unit, a backlight unit disposed on the rear surface of the transmissive display panel and capable of controlling the brightness for each segment obtained by dividing the backlight of the transmissive display panel, and an image acquired by the image acquisition means is a third
  • a first image having a wide dynamic range generated by combining the first image and the second image captured with low sensitivity or low exposure with respect to the first image.
  • the backlight of each segment of the backlight unit having the gradation of the high luminance portion suppressed compared to the gradation of the low luminance portion is individually controlled to display an image with a wide dynamic range. That is, the backlight unit is controlled (BLD) so that the backlight luminance of the segment corresponding to the suppressed high luminance portion of the third image is higher than the backlight luminance of the segment corresponding to the low luminance portion. Control).
  • the third image is an image with a wide dynamic range in which the high luminance part is suppressed, but the luminance of the suppressed high luminance part is expanded and corresponds to the third image.
  • the shooting scene to be played can be faithfully displayed and reproduced.
  • the transmissive display panel in the above embodiment includes both a transmissive display panel using a backlight as a light source and a hybrid display panel using both external light and a backlight as light sources.
  • control unit determines that the image acquired by the image acquisition unit is the fourth image based on the determination result of the determination unit, and all segments have the same backlight luminance.
  • the backlight unit is controlled so that As a result, the shooting scene corresponding to the fourth image can be faithfully displayed and reproduced.
  • the image acquisition unit acquires the synthesis information related to the third image and the wide dynamic range combination associated with the third image, and the determination unit includes the acquired combination. Based on the information, it is determined whether the image acquired by the image acquisition means is the third image or the fourth image. This is because it is impossible to determine whether or not the image is a wide dynamic range shooting scene even if the image is analyzed. The composite information relating to the wide dynamic range composition recorded in association with the third image is not obtained. Use.
  • the third image is generated by using only the first image with a low-luminance portion that is equal to or lower than a preset threshold value, and a high-luminance portion that exceeds the threshold value.
  • the composite information includes a threshold value.
  • the low luminance part generated using only the first image of the third image is sufficiently assigned a gradation, but at least the high luminance generated using the second image
  • the gradation is suppressed at the time of wide dynamic range synthesis.
  • the threshold value indicates a luminance value at a boundary between a low luminance part where gradation is not suppressed and a high luminance part where gradation is suppressed.
  • control unit determines, as a pixel of the high luminance part, a pixel that exceeds the threshold value in the third image based on the threshold value included in the synthesis information. .
  • control unit includes an extraction unit that extracts a plurality of pixels corresponding to each segment from the third image for each segment of the backlight unit. If it is determined that a certain percentage or more of the plurality of pixels correspond to the pixels in the high luminance portion, or if the average value of the plurality of extracted pixels is determined to be the luminance value corresponding to the high luminance portion, the back of the segment is determined. It is preferable to control the backlight unit so as to increase the light luminance.
  • the pixels of the third image and the segment of the backlight unit do not correspond one-to-one, and the segment is larger.
  • the backlight luminance of the segment is determined based on the pixel values of a plurality of pixels corresponding to the segment. That is, when a certain percentage or more of the plurality of pixels corresponding to the segment corresponds to the pixels in the high luminance portion, or the average value of the plurality of pixels is determined as the luminance value corresponding to the high luminance portion.
  • BLD control is performed to increase the backlight luminance of the segment.
  • the control unit stores a table or a calculation formula indicating the relationship between the representative luminance value of the plurality of pixels corresponding to each segment of the backlight unit and the backlight luminance.
  • a storage unit that calculates a corresponding backlight luminance based on a representative luminance value of a plurality of pixels extracted by the extraction unit and a table or calculation formula stored in the storage unit; and for each segment of the backlight unit It is preferable to control the backlight unit based on the calculated backlight luminance.
  • the backlight luminance of the segment is changed, and thereby the luminance of the high-luminance portion suppressed is increased.
  • the backlight luminance at this time is obtained by using a table or a calculation formula indicating the relationship between the luminance value (representative luminance value) stored in advance and the backlight luminance.
  • the image acquisition means acquires the third image and the combination information related to the wide dynamic range combination associated with the third image, and the combination information is the third information.
  • the storage means includes a plurality of tables or calculation formulas corresponding to the width of the dynamic range of the third image, and includes information related to the width of the dynamic range of the image.
  • the table or calculation formula to be increased is stored, and the control means acquires the corresponding table or calculation formula from the storage means based on the information related to the width of the dynamic range included in the synthesis information, and uses the table or calculation formula Thus, it is preferable to calculate the backlight luminance.
  • the third image includes a plurality of types having different dynamic range widths (high luminance part suppression magnitudes), and has composite information including information related to the dynamic range width, A plurality of tables or calculation formulas indicating the relationship between the luminance value and the backlight luminance are prepared corresponding to the width of the dynamic range of the third image.
  • the backlight luminance is calculated using a table or a calculation formula corresponding to the dynamic range of the third image.
  • the image acquisition means is a third image and a gain correction table associated with the third image, and the first image and the third image
  • the gain correction table corresponding to the difference in the gradation conversion characteristics is acquired, and the control unit performs back-up for each segment based on the acquired gain correction table and the representative luminance values of a plurality of pixels corresponding to each segment of the backlight unit. It is preferable to calculate the light luminance.
  • the first image and the third image have different gradation conversion characteristics (gamma characteristics, etc.) during image processing.
  • a gain correction table corresponding to the difference in gradation conversion characteristics between the first image and the third image is also acquired.
  • the control means uses the gain correction table acquired together with the third image, and determines the backlight luminance for each segment based on this gain correction table and the representative luminance values of a plurality of pixels corresponding to each segment of the backlight unit. I am trying to calculate.
  • the dynamic range expansion process is performed using the first image and the second image captured with lower sensitivity or lower exposure than the first image.
  • An image acquisition process for acquiring a third image or a fourth image without dynamic range expansion processing, and a display process for displaying the third image or the fourth image acquired by the image acquisition process on the transmissive display panel And a determination step of determining whether the image acquired by the image acquisition step is the third image or the fourth image, and the backlight for the transmissive display panel is divided.
  • a control step for controlling a backlight unit capable of controlling brightness for each segment, and the control step determines that the image acquired by the image acquisition step is the third image based on the determination result in the determination step.
  • the backlight of the segment corresponding to the high luminance part suppressed by the dynamic range expansion process in the third image to be higher than the backlight luminance of the segment corresponding to the low luminance part.
  • the unit is controlled.
  • an image (third image) in which the gradation of the high luminance part is suppressed compared to the gradation of the low luminance part is acquired, and the third image is suppressed when reproduced and displayed.
  • BLD control is performed so that the backlight luminance of the segment corresponding to the high luminance portion is higher than the backlight luminance of the segment corresponding to the low luminance portion. Therefore, it is possible to faithfully display and reproduce an actual shooting scene with a wide dynamic range.
  • the block diagram which shows embodiment of the image display apparatus which concerns on this invention The perspective view of the liquid crystal display part shown in FIG.
  • the block diagram which shows the principal part of the digital camera which images and records the image containing a wide DR image, and the image display apparatus which displays a wide DR image etc.
  • Graph showing imaging characteristics, image processing characteristics, display characteristics and reproduction characteristics according to the present invention The figure which shows an example of the tag information recorded on the header part of the image file in which a wide DR image is stored
  • the figure which shows an example of gain correction information among the tag information recorded on the header part of the image file in which a wide DR image is stored Graph showing the relationship between image data and backlight brightness
  • the flowchart which shows the whole flow of the image display method which concerns on embodiment of this invention.
  • FIG. 1 Flow chart showing BLD processing for wide DR image
  • the figure which shows notionally the adjustment method which adjusts LCD data with control of the backlight brightness
  • FIG. 1 is a block diagram showing an embodiment of an image display device according to the present invention
  • FIG. 2 is a perspective view of the liquid crystal display unit shown in FIG.
  • the image display apparatus 1 shown in FIG. 1 is a display having a backlight local dimming (BLD) function.
  • the image display device 1 includes a central processing unit (CPU) 10, a memory 12, an operation unit 14, a liquid crystal display unit (LCD) 16 (LCD panel 16a (transmission type display panel), backlight unit (LED array) 16b), video A signal generator 20, an LCD image quality parameter generator 22, an LCD controller 24, an LCD driver 26, a backlight control signal generator 28 (control means, extraction means), a light emitting diode (LED) driver 30, an image storage 32, and A tag information analysis unit 34 is provided.
  • the CPU 10 controls the overall operation of the image display device according to a predetermined control program based on the input from the operation unit 14.
  • the CPU 10 acquires an image file stored in the image storage 32, expands compressed image data (for example, JPEG (Joint Photographic Experts Group) compressed image data) stored in the image file, and extracts the decompressed image data. Includes an image acquisition function to acquire.
  • compressed image data for example, JPEG (Joint Photographic Experts Group) compressed image data
  • the memory 12 includes SDRAM (Synchronous Dynamic Random Access Memory) which is a volatile memory, EEPROM (Electronically Erasable and Programmable Read Only Memory; storage means) which is a rewritable nonvolatile memory, and the like.
  • SDRAM Serial Dynamic Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • storage means storage means
  • the SDRAM is used as a work area when the control program is executed by the CPU 10 and as a storage area for temporarily storing image data to be reproduced.
  • the EEPROM stores a program including a BLD control program, a table or calculation formula used for BLD control, various parameters, and the like.
  • the LCD display unit 16 includes a transmissive LCD panel 16a and a backlight unit 16b. As shown in FIG. 2, the backlight unit 16b is disposed on the back surface of the LCD panel 16a, and includes an LED array in which one LED is arranged for each LED segment.
  • the backlight unit 16b can control the light emission luminance (backlight luminance) for each LED segment. That is, the backlight unit 16b is applied with BLD control for individually controlling the backlight luminance for each LED segment.
  • the LED segment usually has about 200 horizontal pixels and 200 vertical pixels as one segment.
  • the LCD display unit 16 is not limited to a transmissive display panel.
  • a hybrid type display panel liquid crystal panel of a type that uses both reflection of external light and a backlight as a light source can be used.
  • the video signal generation unit 20 converts the image data temporarily stored in the memory 12 into a video signal for display on the LCD panel 16a, and performs gamma correction (inverse gamma correction) according to the gamma characteristic of the LCD display unit 16. Is output to the LCD control unit 24.
  • gamma correction inverse gamma correction
  • parameters for adjusting image quality for example, brightness
  • the LCD control unit 24 controls the LCD drive unit 26 based on the video signal and parameters input from the video signal generation unit 20.
  • the LCD drive unit 26 drives the LCD panel 16a with a control signal corresponding to the video signal applied from the LCD control unit 24, and controls the transmittance of each LCD element (display element).
  • the backlight control signal generation unit 28 extracts a plurality of pixels corresponding to each LED segment of the backlight unit 16b (extraction means) and a backlight local dimming (BLD) control function (control means). Etc.
  • the backlight control signal generation unit 28 generates a backlight control signal for controlling the luminance of each LED segment based on the image to be reproduced and displayed on the LCD display unit 16 and the tag information extracted by the tag information analysis unit 34. Generate. Details of the backlight control signal generator 28 will be described later.
  • the LED driver 30 individually drives the LED segments of the backlight unit 16b by the backlight control signal applied from the backlight control signal generation unit 28, and causes each LED segment to emit a backlight under BLD control.
  • the image storage 32 is composed of, for example, a hard disk device or the like, and stores image files of still images or moving images to be displayed on the LCD display unit 16.
  • the image storage 32 is not limited to the one built in the image display device 1 but may be an external recording medium (for example, a memory card) that is connected to the image display device 1 via an interface and is removable.
  • the tag information analysis unit 34 reads the tag information from the header portion of the image file read for display from the image storage 32, and extracts the wide dynamic range (wide DR) synthesis information included in the tag information. Then, the tag information analysis unit 34 outputs the extracted wide DR synthesis information and the like to the backlight control signal generation unit 28.
  • FIG. 3 is a block diagram showing a main part of the digital camera 50 that captures and records an image including a wide DR image and the image display device 1 that displays the wide DR image and the like.
  • the digital camera 50 includes two types of photodiode groups having different sensitivities, or an image pickup unit including an image pickup element having two types of photodiode groups having the same sensitivity but whose exposure time can be individually controlled.
  • the imaging unit 52 includes a pixel with high sensitivity (hereinafter referred to as “main pixel”) and a pixel with low sensitivity (hereinafter referred to as “sub pixel”) during wide DR imaging, and image data from the main pixel and the sub pixel. Are output simultaneously.
  • main pixel pixel with high sensitivity
  • sub pixel pixel with low sensitivity
  • a low-sensitivity image is an image obtained from a photodiode group with low sensitivity in the case of an imaging device having two types of photodiode groups with different sensitivities.
  • the low-sensitivity image is an image obtained from a photodiode group having a short exposure time compared to the exposure time for obtaining an image having a standard brightness. is there.
  • the signal components of the optical black region are removed by the OB correction units 54a and 54b, respectively, and white balance (WB) gain correction is performed.
  • the white balance is corrected by the units 56 a and 56 b and then added to the dynamic range (DR) synthesis unit 58.
  • the RAW data of the high-sensitivity image and the low-sensitivity image applied to the DR synthesis unit 58 is 14-bit data (0 to 16383).
  • the sensitivity ratio between the high sensitivity image and the low sensitivity image is n: 1 (n> 1). That is, the low sensitivity image has a sensitivity ratio of 1 / n with respect to the high sensitivity image.
  • the high-sensitivity image is compressed to 1 / n, and the boundary between the low-luminance part and the high-luminance part With respect to a predetermined threshold value S1 indicating the threshold value S1, pixels having a threshold value S1 or lower use pixels of a high-sensitivity image, and pixels exceeding the threshold value S1 use pixels of a low-sensitivity image to synthesize these pixels. Note that as the pixels exceeding the threshold S1 and until the high-sensitivity image is saturated, the pixels of the high-sensitivity image and the pixels of the low-sensitivity image may be mixed at an appropriate ratio. Further, by compressing the high-sensitivity image to 1 / n, the noise component can also be compressed to 1 / n, and the image quality can be improved as compared with the case where only the low-sensitivity image is used.
  • the wide DR image synthesized by the DR synthesis unit 58 is subjected to gamma correction by the gamma correction unit 60.
  • the gamma correction unit 60 is a part that performs the same gamma correction as the gamma correction for a normal image (high-sensitivity image), and performs gamma correction having the characteristics indicated by the broken line in the second quadrant of FIG. At the time of this gamma correction, 14-bit data is converted to 8-bit data (0 to 255).
  • the wide DR image subjected to gamma correction by the gamma correction unit 60 is subsequently subjected to gain correction by the gain correction unit 62. Since the wide DR image has a sensitivity of 1 / n that of a normal image as described above, the low sensitivity portion is dark.
  • the gain correction unit 62 performs gain correction so that the halftone including the low-sensitivity portion of the wide DR image becomes large as indicated by the solid line in the second quadrant of FIG. That is, if the value after gamma correction of the value R1 of the high-sensitivity image corresponding to the threshold value S1 is D1, the gain correction is performed so that the gamma correction and gain correction value of the wide DR image becomes D1.
  • the wide DR image whose gain has been corrected by the gain correction unit 62 is demosaiced (simultaneous processing) by a demosaic processing unit (synchronization processing unit) (not shown), and then the luminance signal Y and the color difference signal Cr, It is converted to Cb, compressed according to the JPEG method, and recorded on a recording medium or the like of the digital camera 50 (not shown).
  • the digital camera 50 shown in FIG. 3 has the gamma correction unit 60 and the gain correction unit 62, the gradation conversion may be performed by one correction unit.
  • LCD data C (i, j) is generated based on the wide DR image, and the BLD algorithm of the backlight control signal generation unit 28 is generated. Accordingly, LED data E (m, n) (backlight control signal) is generated.
  • the LCD data C (i, j) is subjected to gain correction, inverse gamma correction based on the gamma characteristic of the LCD display unit 16, and the like, and is applied to the LCD panel 16a. Thereby, each display element of the LCD panel 16a is controlled to have a transmittance corresponding to a wide DR image.
  • each LED segment of the backlight unit 16b is controlled by the LED data E (m, n).
  • the BLD control is performed so that the LED segment in which the pixel having the luminance equal to or lower than the threshold value D1 in the second quadrant in FIG.
  • the inverse gamma characteristic of the LCD display unit 16 is given to the low luminance part of the wide DR image (characteristic of D1 or less in the third quadrant).
  • the image of the low luminance portion having the threshold value S1 or less is displayed as an image having a brightness proportional to the subject luminance as shown in the fourth quadrant.
  • BLD control is performed so that the LED segment in which pixels having luminance exceeding the threshold value D1 in the second quadrant in FIG. 4 are displayed is higher than the normal backlight luminance.
  • the high luminance part of the wide DR image in which the gradation of the high luminance part is suppressed in the recorded image can be expanded, and the wide DR shooting scene can be displayed and reproduced more faithfully.
  • the maximum value of the display brightness of a normal image is 250 cd / m 2 and the maximum value of the display brightness of a wide DR image is 750 cd / m 2
  • the DR is enlarged three times and displayed. be able to.
  • the high luminance portion may be linearly changed in proportion to the subject luminance in the same manner as the low luminance portion.
  • the high luminance portion may be changed along a polygonal line or a curve so that the maximum value and the maximum value of the subject luminance coincide with each other. .
  • FIG. 5A shows an example of tag information recorded in the header portion of the image file in which the wide DR image is stored.
  • the digital camera 50 When capturing a wide DR image, the digital camera 50 records DR synthesis information and gain correction information in addition to normal shooting information as tag information as shown in FIG. 5A.
  • the DR synthesis information includes a high luminance portion compression ratio k (sensitivity ratio between high sensitivity image and low sensitivity image), a threshold D1 (second quadrant in FIG. 4) indicating a boundary between the low luminance portion and the high luminance portion of the wide DR image.
  • the threshold value D1) shown in FIG. It is possible to detect how much the high luminance part of the wide DR image is suppressed by the high luminance part compression rate k. Further, the low luminance part and the high luminance part of the wide DR image can be discriminated by the threshold value D1.
  • the gain correction information is information indicating a gain correction table Tg indicating what kind of gain correction has been performed on the wide DR image as shown in FIG. 5B.
  • This gain correction table Tg is a correction table corresponding to a difference in gradation conversion characteristics (gamma characteristics, etc.) during image processing between a normal image (high sensitivity image) and a wide DR image (second quadrant in FIG. 4). reference).
  • the backlight control signal generation unit 28 represents a representative luminance value equal to or lower than a threshold value D1 among representative luminance values DRR (Data Reproduced and Representing the segment) of a plurality of image data for each LED segment of the wide DR image.
  • a threshold value D1 among representative luminance values DRR (Data Reproduced and Representing the segment) of a plurality of image data for each LED segment of the wide DR image.
  • DRR Data Reproduced and Representing the segment
  • a backlight control signal having a normal luminance E1 is generated.
  • the backlight control signal generating unit 28 increases the backlight luminance according to the value of the representative luminance value DRR (LED data). ) Is generated.
  • FIG. 6 shows three graphs having different characteristics of the backlight luminance E with respect to the representative luminance value DRR exceeding the threshold value D1.
  • the backlight control signal generation unit 28 determines a graph of any of the input / output characteristics based on the high luminance portion compression rate k included in the DR synthesis information. As the high luminance portion compression rate k is larger, the high luminance portion of the wide DR image is largely suppressed, so a graph with a large inclination is determined.
  • the EEPROM of the memory 12 stores a plurality of tables corresponding to the graph shown in FIG.
  • the backlight control signal generation unit 28 backlights each LED segment based on a table determined from a plurality of tables based on the high luminance portion compression rate k and a representative luminance value DRR corresponding to the LED segment of the wide DR image. Generate a control signal.
  • a backlight control signal is generated for each LED segment based on the gain correction table Tg (corresponding to one of the plurality of tables) stored in the header section and the image data of the wide DR image. May be. Furthermore, a calculation formula may be stored instead of the table corresponding to the graph shown in FIG.
  • FIG. 7 is a flowchart showing the overall flow of the image display method according to the embodiment of the present invention.
  • a desired image file is selected by the operation unit 14, and an image file to be reproduced and displayed is acquired from the image storage 32 (step S10).
  • the tag information analysis unit 34 acquires header information of the acquired image file (step S12).
  • the DR synthesis information is output to the backlight control signal generation unit 28.
  • the backlight control signal generation unit 28 determines whether the image in the acquired image file is a wide DR image or a normal image depending on whether or not the DR synthesis information is input from the tag information analysis unit 34 (step S14). When determining that the image is a normal image (in the case of “No”), the backlight control signal generation unit 28 performs the BLD process for the normal image in step S16 (step S16). On the other hand, when it is determined that the image is a wide DR image (in the case of “Yes”), the backlight control signal generation unit 28 performs a BLD process for the wide DR image (step S18).
  • the backlight unit 16b is controlled so that all the LED segments of the backlight unit 16b have the same backlight luminance (backlight luminance E1 shown in FIG. 6).
  • the BLD process for the wide DR image controls the backlight unit 16b based on the flowchart shown in FIG.
  • JPEG decompression is performed on the wide DR image in the acquired image file (step S20).
  • each pixel of the wide DR image expanded by JPEG is assumed to be DR (i, j).
  • the LED segment (m, n) is determined, and a plurality of pixels DR (i, j) in the LED segment (m, n) are acquired (step S22).
  • (m, n) indicates the coordinates of the LED segment (see FIG. 2).
  • the pixel DR (i, j) and the LED segment (m, n) do not correspond one-to-one, and the LED segment (m, n) is larger. Therefore, when determining the backlight luminance of the LED segment (m, n), it is necessary to determine it based on the pixel values of a plurality of pixels DR (i, j) corresponding to the LED segment (m, n). There is.
  • the number M of pixels exceeding the threshold D1 (see FIG. 6) among the plurality of pixels DR (i, j) in the LED segment (m, n) is acquired (step S24). Then, it is determined whether or not the acquired number of pixels M exceeds a predetermined value M1 (fixed value) (step S26).
  • M1 is a value that is 70% of the number of pixels in one LED segment (m, n). Note that an average value of the plurality of pixels DR (i, j) may be obtained, and it may be determined whether or not the average value exceeds the threshold value D1.
  • step S28 When the number of pixels M does not exceed M1 (in the case of “No”), the process proceeds to step S28. On the other hand, when the number of pixels M exceeds M1 (in the case of “Yes”), the process proceeds to step S29.
  • step S28 the LED data E (m, n) of the LED segment (m, n) is set to the normal luminance E1 (see FIG. 6).
  • step S29 the representative luminance value DRR (m, n) of the plurality of pixels DR (i, j) in the LED segment (m, n) is calculated.
  • the representative luminance value of the plurality of pixels DR (i, j) the maximum value or the average value of the plurality of pixels DR (i, j) can be applied.
  • step S30 the LED data E (m, n) of the LED segment (m, n) is obtained based on the gain correction table Tg, the representative luminance value DRR (m, n), and the high luminance portion compression rate k. Calculated by the following equation.
  • E (m, n) F1 (Tg (k, DRR (m, n)))
  • the calculation process of the LED data E (m, n) is not limited to that according to the above [Equation 1].
  • FIG. 6 shows a plurality of graphs showing the relationship between the high luminance part and the backlight luminance. Among the plurality of tables or calculation formulas corresponding to these graphs, the high luminance part compression rate k is shown. To determine the table or calculation formula to be used, and based on the determined table or calculation formula and the representative luminance value DRR (m, n) of the pixel DR (i, j) of the plurality of pixels, the LED data E (m , n) may be calculated.
  • step S32 it is determined whether or not the calculation of LED data for all segments has been completed. If the calculation has not been completed (in the case of “No”), the coordinates of the LED segment are updated (step S34). ), The process proceeds to step S22, and the processes from step S22 to step S32 are repeated. On the other hand, when the calculation of LED data for all segments is completed (in the case of “Yes”), the LED data calculation process in the BLD process for the wide DR image is ended.
  • the backlight luminance E of the LED segment (m, n) based on the LED data E (m, n) calculated in this way, the luminance of the high luminance portion in which the wide DR image is suppressed can be increased.
  • the actual shooting scene can be faithfully displayed and reproduced.
  • FIG. 9 is a diagram conceptually showing an adjustment method for adjusting the LCD data (i, j) in accordance with the control of the backlight luminance E of the LED segment (m, n).
  • the LED segment in which the backlight luminance E is controlled is mounted in the segment and emits light with a predetermined number of LEDs.
  • a step may be seen between the LED segments.
  • the luminance step is reduced by changing the LCD data C (i, j) for the display elements belonging to each LED segment near the segment boundary.
  • E (m, n) and E (m-1, n) the original LCD data C (i, j) indicated by a broken line is changed to LCD data C (i, j) indicated by a solid line.
  • the original LCD data C (i, j) is converted from the pixel D (i, j) and the backlight luminance E (m, n) of the LED segment (m, n) to which the pixel D (i, j) belongs, Based on the backlight brightness E (m, n-1), E (m, n + 1), E (m-1, n), E (m + 1, n) Change to the data shown.
  • FIG. 10 shows reproduction characteristics when BLD control is not performed on a wide DR image. As shown in the fourth quadrant of FIG. 10, although the gradation is assigned to the high luminance part, it is suppressed as compared with the low luminance part, and the gradation becomes soft, resulting in a so-called sleepy picture. .
  • the luminance of the high luminance portion suppressed by the BLD control is expanded, the gradation of the high luminance portion becomes hard, and the shooting scene of wide DR is more faithful.
  • the display can be reproduced.
  • FIG. 11 is an image showing an example of a wide DR image, which includes a high-luminance portion at the top.
  • the gradation of the high luminance portion can be made hard, and the gradation expression can be enriched.
  • the high luminance part in the wide DR image has a small number of gradations, and on the other hand, the contrast is emphasized. As a result, the luminance change becomes large, but the luminance change in the high luminance part is difficult to detect. There is little influence on.
  • the low-brightness portion of the wide DR image is irradiated with a constant constant luminance, the contrast is unnecessarily emphasized, and problems such as an unnatural image do not occur, and a good image quality can be provided. it can.
  • Examples of other embodiments of the image processing apparatus 1 include a mobile phone, a smartphone, a PDA (Personal Digital Assistant), and a portable game machine.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 12 is a perspective view illustrating an appearance of a smartphone 500 that is another embodiment of the image processing apparatus 1.
  • a smartphone 500 illustrated in FIG. 12 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541. Note that the configuration of the housing 502 is not limited to this, and, for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 13 is a block diagram showing a configuration of the smartphone 500 shown in FIG.
  • the smartphone 500 includes a wireless communication unit 510, a display input unit 520, a call unit 530, an operation unit 540, a camera unit 541, a storage unit 550, an external input / output unit 560, A GPS (Global Positioning System) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501 are provided.
  • the smartphone 500 has a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW.
  • the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 displays images (still images and moving images), character information, and the like visually by transmitting information to the user under the control of the main control unit 501, and detects user operations on the displayed information. This is a so-called touch panel.
  • the display input unit 520 includes a display panel 521 and an operation panel 522.
  • the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the display panel 521 in addition to a transmissive display (liquid crystal) panel, a hybrid display panel can be used.
  • the display panel 521 has the backlight local dimming control function according to the above embodiment.
  • the smartphone 500 displays an image stored in the storage unit 550, an image input via the wireless communication unit 510, the external input / output unit 560, or the like or an image captured by the camera unit 541 on the display panel 521. BLD control according to the above embodiment is performed.
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 501.
  • the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 constitute a display input unit 520 integrally.
  • the operation panel 522 is disposed so as to completely cover the display panel 521.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 has a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, non-display) for an outer edge portion that does not overlap the other display panel 521. May be provided).
  • the size of the display area and the size of the display panel 521 may be completely matched, but it is not always necessary to match the two.
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
  • examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 can be mounted on the same surface as the display input unit 520 and the microphone 532 can be mounted on the side surface of the housing 502.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on the lower and lower side of the display unit of the housing 502 of the smartphone 500 and turns on when pressed with a finger or the like, and restores a spring or the like when the finger is released. It is a push button type switch that is turned off by force.
  • the storage unit 550 includes control software and control data of the main control unit 501, application software including an image processing program for generating a desired monocular 3D image in which the parallax is enlarged / reduced according to the present invention, and first and second half moon filters Group, first and second conversion filter groups, first and second inverse filter groups, address data associating names and telephone numbers of communication partners, sent and received e-mail data, web downloaded by web browsing Data and downloaded content data are stored, and streaming data and the like are temporarily stored.
  • the storage unit 550 includes an internal storage unit 551 with a built-in smartphone and an external storage unit 552 having a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, universal serial bus (USB), IEEE1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • Examples of external devices connected to the smartphone 500 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 500, or may allow data inside the smartphone 500 to be transmitted to the external device. it can.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received plurality of GPS signals, and calculates the latitude of the smartphone 500, A position consisting of longitude and altitude is detected.
  • the GPS reception unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS reception unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. The detection result is output to the main control unit 501.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating according to the application software stored in the storage unit 550.
  • an application processing function for example, an infrared communication function for controlling the external input / output unit 560 to perform data communication with the opposite device, an e-mail function for sending / receiving e-mails, a web browsing function for browsing web pages, and a 2D image For example, a 3D image generation function.
  • the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or a display image scroll request through a scroll bar.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 541 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • the camera unit 541 converts image data obtained by imaging into compressed image data such as JPEG (JointoPhotographic coding Experts Group) under the control of the main control unit 501, and records the data in the storage unit 550 or externally.
  • the data can be output through the input / output unit 560 and the wireless communication unit 510.
  • the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this.
  • the camera unit 541 may be mounted on the back surface of the display input unit 520, or a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for shooting can be switched to shoot alone, or a plurality of camera units 541 can be used simultaneously for shooting.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the position information acquired by the GPS receiving unit 570 and the sound information acquired by the microphone 532 to the image data of the still image or the moving image (the text information may be converted into the text information by the main control unit 501 or the like).
  • posture information acquired by the motion sensor unit 580 or the like can be added and recorded in the storage unit 550 or output through the external input / output unit 560 or the wireless communication unit 510.
  • the digital camera 50 and the camera unit 541 of the smartphone 500 have a dynamic range expansion function (wide dynamic range composition function), but may not have this function.
  • the BLD control function of the present invention can also be applied to an image taken by an imaging means that does not have a dynamic range expansion function.
  • SYMBOLS 1 ... Image display apparatus, 10 ... Central processing unit (CPU), 12 ... Memory, 16 ... LCD display part, 16a ... LCD panel, 16b ... Backlight unit, 20 ... Video signal generation part, 22 ... LCD image quality parameter generation part 24 ... LCD control unit, 26 ... LCD drive unit, 28 ... backlight control signal generation unit, 30 ... LED driver, 32 ... image storage, 34 ... tag information analysis unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

　本発明は、広ダイナミックレンジ画像を表示する際に、広ダイナミックレンジの撮影シーンを忠実に表示再現することを目的とする。　本発明の一態様に係る画像表示方法は、第１の画像と、第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得して透過型表示パネルに表示させ、前記取得した画像が第３の画像と判別したときに、第３の画像のうちの高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くする。

Description

画像表示装置及び方法
　本発明は画像表示装置及び方法に係り、特に透過型表示パネルのバックライト輝度を制御する技術に関する。
　従来、液晶パネルの背面に配設されたバックライトユニットの各セグメントのバックライト輝度を個別に制御する機能（バックライトローカルディミング（ＢＬＤ）機能）を備えた液晶表示装置が提案されている（特許文献１）。
　この液晶表示装置は、液晶パネルに表示する画像の輝度レベルに対応して、画像の明るい領域では明るく、暗い領域では暗くなるように領域毎にバックライト輝度を制御する。これにより、明暗部分のコントラスト比を大きくし、ダイナミックレンジの広い画像を表示できるようにしている。
　また、特許文献２に記載のディスプレイは、リアプロジェクションスクリーンに光を結像させる第１光変調器と、リアプロジェクションスクリーン内の第２光変調器とを有し、これらの２つの光変調器により光を変調させ、広ダイナミックレンジを持つ画像を表示できるようにしている。
特開２０１０－０９７９０９号公報 米国特許第７５８１８３７号公報
　特許文献１に記載の発明は、液晶パネルに表示する画像の明るい領域は明るく、暗い領域は暗くなるように領域毎にバックライト輝度を制御（ＢＬＤ制御）する。このため、特許文献１に記載の発明によれば、広ダイナミックレンジの画像を表示することができる。しかしながら、特許文献１に記載の発明では、例えば、低輝度領域及び中間輝度領域もバックライト輝度が変更され、階調が硬調となり、不自然な画像が表示されることがある。
　特許文献２に記載の発明も広ダイナミックレンジを持つ画像を表示することができる。しかしながら、特許文献２には、自然な見えの良好な画像を表示再生する技術は開示されていない。
　本発明はこのような事情に鑑みてなされたもので、広ダイナミックレンジの撮影シーンを忠実に表示再現することができる画像表示装置及び方法を提供することを目的とする。
　前記目的を達成するために本発明の一の態様に係る画像表示装置は、第１の画像と、第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得手段と、画像取得手段により取得した第３の画像又は第４の画像を表示する透過型表示パネルと、透過型表示パネルの背面に配設され、透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットと、画像取得手段により取得した画像が、第３の画像か第４の画像かを判別する判別手段と、判別手段の判別結果により画像取得手段により取得した画像が第３の画像と判別されると、第３の画像のうちのダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするようにバックライトユニットを制御する制御手段と、を備えている。
　本発明の一の態様によれば、第１の画像と、第１の画像に対して低感度又は低露光で撮像された第２の画像とを合成することにより生成された広ダイナミックレンジの第３の画像であって、低輝度部の階調に比べて高輝度部の階調が抑圧された第３の画像を透過型表示パネルに表示する際に、バックライトユニットの各セグメントのバックライト輝度を個別に制御し、広ダイナミックレンジの画像となるように表示させる。即ち、第３の画像のうちの抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするようにバックライトユニットを制御（ＢＬＤ制御）するようにしている。これにより、第３の画像は、高輝度部が抑圧されている広ダイナミックレンジの画像であるが、その抑圧されている高輝度部の輝度が伸張されることになり、第３の画像に対応する撮影シーンを忠実に表示再現できるようにしている。
　尚、上記の態様における透過型表示パネルは、バックライトを光源とする透過型表示パネルと、外光とバックライトの両方を光源とするハイブリッド方式の表示パネルの両方を含むものとする。
　本発明の他の態様に係る画像表示装置において、制御手段は、判別手段の判別結果により画像取得手段により取得した画像が第４の画像と判別されると、全セグメントがそれぞれ同一のバックライト輝度になるようにバックライトユニットを制御するようにしている。これにより、第４の画像に対応する撮影シーンを忠実に表示再現できるようにしている。
　本発明の更に他の態様に係る画像表示装置において、画像取得手段は、第３の画像及び第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、判別手段は、取得した合成情報に基づいて画像取得手段により取得した画像が、第３の画像か第４の画像かを判別している。これは、画像を解析しても広ダイナミックレンジの撮影シーンの画像か否かを判別することができないからであり、第３の画像に関連付けられて記録されている広ダイナミックレンジ合成に関する合成情報を利用する。
　本発明の更に他の態様に係る画像表示装置において、第３の画像は、予め設定された閾値以下の低輝度部が第１の画像のみを使用して生成され、閾値を超える高輝度部が少なくとも第２の画像を使用して生成され、合成情報は、閾値を含んでいる。第３の画像のうちの第１の画像のみを使用して生成されている低輝度部は十分に階調が割り当てられているが、少なくとも第２の画像を使用して生成されている高輝度部は広ダイナミックレンジ合成時に階調が抑圧されている。前記閾値は、階調が抑圧されていない低輝度部と階調が抑圧されている高輝度部との境界の輝度値を示すものである。
　本発明の更に他の態様に係る画像表示装置において、制御手段は、合成情報に含まれる閾値に基づいて、第３の画像のうちの閾値を超える画素を高輝度部の画素として判別している。
　本発明の更に他の態様に係る画像表示装置において、制御手段は、バックライトユニットのセグメント毎に、第３の画像から各セグメントに対応する複数の画素を抽出する抽出手段を有し、抽出した複数の画素のうちの一定の割合以上の画素が高輝度部の画素に対応すると判別し、又は抽出した複数の画素の平均値が高輝度部に対応する輝度値と判別すると、そのセグメントのバックライト輝度を高くするようにバックライトユニットを制御することが好ましい。
　第３の画像の画素と、バックライトユニットのセグメントとは一対一に対応しておらず、セグメントの方が大きい。セグメントのバックライト輝度は、そのセグメントに対応する複数の画素の画素値に基づいて決定する。即ち、セグメントに対応する複数の画素のうちの一定の割合以上の画素が高輝度部の画素に対応している場合、あるいは複数の画素の平均値が高輝度部に対応する輝度値と判別される場合に、そのセグメントのバックライト輝度を高くするようにＢＬＤ制御する。
　本発明の更に他の態様に係る画像表示装置において、制御手段は、バックライトユニットの各セグメントに対応する複数の画素の代表輝度値とバックライト輝度との関係を示すテーブル又は計算式を記憶する記憶手段を有し、抽出手段により抽出した複数の画素の代表輝度値と記憶手段に記憶されているテーブル又は計算式とに基づいて対応するバックライト輝度を算出し、バックライトユニットのセグメント毎に算出したバックライト輝度に基づいてバックライトユニットを制御することが好ましい。
　即ち、各セグメントに対応する複数の画素の代表輝度値の大きさに応じて、そのセグメントのバックライト輝度を変更し、これにより抑圧されている高輝度部の輝度を上げるようにしている。このときのバックライト輝度は、予め記憶されている輝度値（代表輝度値）とバックライト輝度との関係を示すテーブル又は計算式を使用して求める。
　本発明の更に他の態様に係る画像表示装置において、画像取得手段は、第３の画像及び第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、合成情報は、第３の画像のダイナミックレンジの広さに関連する情報を含み、記憶手段は、第３の画像のダイナミックレンジの広さに対応する複数のテーブル又は計算式であって、ダイナミックレンジが広いほどバックライト輝度を高くするテーブル又は計算式を記憶し、制御手段は、合成情報に含まれるダイナミックレンジの広さに関連する情報に基づいて記憶手段から対応するテーブル又は計算式を取得し、テーブル又は計算式を使用してバックライト輝度を算出することが好ましい。
　第３の画像は、ダイナミックレンジの広さ（高輝度部の抑圧の大きさ）が異なる複数種類のものがあり、ダイナミックレンジの広さに関連する情報を含む合成情報を有しており、一方、輝度値とバックライト輝度との関係を示すテーブル又は計算式は、第３の画像のダイナミックレンジの広さに対応して複数のものが準備されている。そして、第３の画像のＢＬＤ制御時には、第３の画像のダイナミックレンジの広さに対応するテーブル又は計算式を使用してバックライト輝度を算出するようにしている。
　本発明の更に他の態様に係る画像表示装置において、画像取得手段は、第３の画像及び第３の画像に関連付けられたゲイン補正テーブルであって、第１の画像と第３の画像との階調変換特性の差分に対応するゲイン補正テーブルを取得し、制御手段は、取得したゲイン補正テーブルとバックライトユニットの各セグメントに対応する複数の画素の代表輝度値とに基づいてセグメント毎にバックライト輝度を算出することが好ましい。
　第１の画像と第３の画像とは、画像処理時の階調変換特性（ガンマ特性等）が異なっている。第３の画像の取得時に第１の画像と第３の画像との階調変換特性の差分に対応するゲイン補正テーブルも取得する。制御手段は、第３の画像とともに取得したゲイン補正テーブルを使用し、このゲイン補正テーブルとバックライトユニットの各セグメントに対応する複数の画素の代表輝度値とに基づいてセグメント毎にバックライト輝度を算出するようにしている。
　本発明の更に他の態様に係る画像表示方法は、第１の画像と、第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得工程と、画像取得工程により取得した第３の画像又は第４の画像を透過型表示パネルに表示させる表示工程と、画像取得工程により取得した画像が、第３の画像か第４の画像かを判別する判別工程と、透過型表示パネルの背面に配設され、透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットを制御する制御工程と、を含み、制御工程は、判別工程での判別結果により画像取得工程により取得した画像が第３の画像と判別されると、第３の画像のうちのダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするようにバックライトユニットを制御するようにしている。
　本発明によれば、低輝度部の階調に比べて高輝度部の階調が抑圧された画像（第３の画像）を取得し、この第３の画像を再生表示する際に、抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くなるようにＢＬＤ制御する。このため、広ダイナミックレンジの実際の撮影シーンを忠実に表示再現することができる。
本発明に係る画像表示装置の実施の形態を示すブロック図 図１に示した液晶表示部の斜視図 広ＤＲ画像を含む画像を撮像して記録するデジタルカメラと、広ＤＲ画像等を表示する画像表示装置の要部を示すブロック図 本発明に係る撮像特性、画像処理特性、ディスプレイ特性及び再現特性を示すグラフ 広ＤＲ画像が格納される画像ファイルのヘッダ部に記録されるタグ情報の一例を示す図 広ＤＲ画像が格納される画像ファイルのヘッダ部に記録されるタグ情報のうちゲイン補正情報の一例を示す図 画像データとバックライト輝度との関係を示すグラフ 本発明の実施の形態に係る画像表示方法の全体の流れを示すフローチャート 広ＤＲ画像用のＢＬＤ処理を示すフローチャート ＬＥＤセグメントのバックライト輝度の制御に伴って、ＬＣＤデータを調整する調整方法を概念的に示す図 従来の撮像特性、画像処理特性、ディスプレイ特性及び再現特性を示すグラフ 広ＤＲ画像の一例を示す画像 本発明のほかの実施形態であるスマートフォンの外観を示す斜視図 図１２に示すスマートフォンの構成を示すブロック図
　以下、添付図面に従って本発明に係る画像表示装置及び方法の実施の形態について説明する。
　［画像表示装置の構成］
　図１は本発明に係る画像表示装置の実施の形態を示すブロック図であり、図２は図１に示した液晶表示部の斜視図である。
　図１に示す画像表示装置１は、バックライトローカルディミング（ＢＬＤ）機能を備えたディスプレイである。画像表示装置１は、中央処理装置（ＣＰＵ）１０、メモリ１２、操作部１４、液晶表示部（ＬＣＤ）１６（ＬＣＤパネル１６ａ（透過型表示パネル）、バックライトユニット（ＬＥＤアレイ）１６ｂ）、映像信号生成部２０、ＬＣＤ画質パラメータ生成部２２、ＬＣＤ制御部２４、ＬＣＤ駆動部２６、バックライト制御信号生成部２８（制御手段、抽出手段）、発光ダイオード（ＬＥＤ）ドライバ３０、画像ストレージ３２、及びタグ情報解析部３４を備えている。
　ＣＰＵ１０は、操作部１４からの入力に基づき所定の制御プログラムに従って画像表示装置全体の動作を統括制御する。ＣＰＵ１０は、画像ストレージ３２に保存された画像ファイルを取得し、画像ファイルに格納された圧縮画像データ（例えば、ＪＰＥＧ（Joint Photographic Experts Group）圧縮された画像データ）を伸張し、伸張した画像データを取得する画像取得機能を含んでいる。
　メモリ１２は、揮発性メモリであるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory；記憶手段）等を含んでいる。ＳＤＲＡＭは、ＣＰＵ１０による制御プログラムの実行時におけるワークエリアとして、また、再生する画像データを一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、ＢＬＤ制御プログラムを含むプログラム、ＢＬＤ制御に使用するテーブル又は計算式、各種のパラメータ等が記憶されている。
　ＬＣＤ表示部１６は、透過型のＬＣＤパネル１６ａと、バックライトユニット１６ｂとを備えている。バックライトユニット１６ｂは、図２に示すようにＬＣＤパネル１６ａの背面に配設され、ＬＥＤセグメント毎に１つのＬＥＤが配列されたＬＥＤアレイから構成されている。バックライトユニット１６ｂは、ＬＥＤセグメント毎に発光輝度（バックライト輝度）が制御可能になっている。即ち、バックライトユニット１６ｂは、ＬＥＤセグメント毎にバックライト輝度を個別に制御するＢＬＤ制御が適用されるものである。尚、ＬＥＤセグメントは、通常、水平２００画素、垂直２００画素程度を１つのセグメントとしている。
　尚、本発明に係るＬＣＤ表示部１６は、透過型の表示パネルに限定されるものではない。ＬＣＤ表示部１６としては、例えば、外光の反射とバックライトの両方を光源として利用するタイプのハイブリッド方式の表示パネル（液晶パネル）を用いることもできる。
　映像信号生成部２０は、メモリ１２に一時的に記憶された画像データをＬＣＤパネル１６ａに表示するための映像信号に変換し、ＬＣＤ表示部１６のガンマ特性に応じたガンマ補正（逆ガンマ補正）を行い、これをＬＣＤ制御部２４に出力する。ＬＣＤ制御部２４の他の入力には、ＬＣＤ画質パラメータ生成部２２から画質調整用のパラメータ（例えば、明るさ等）が入力されている。ＬＣＤ制御部２４は、映像信号生成部２０から入力する映像信号及びパラメータに基づいてＬＣＤ駆動部２６を制御する。ＬＣＤ駆動部２６は、ＬＣＤ制御部２４から加えられる映像信号に対応する制御信号によりＬＣＤパネル１６ａを駆動し、ＬＣＤ素子（表示素子）毎にその透過率を制御する。
　一方、バックライト制御信号生成部２８は、バックライトユニット１６ｂの各ＬＥＤセグメントに対応する複数の画素を抽出する画素抽出機能（抽出手段）、及びバックライトローカルディミング（ＢＬＤ）制御機能（制御手段）等を含んでいる。バックライト制御信号生成部２８は、ＬＣＤ表示部１６に再生表示させる画像、及びタグ情報解析部３４により抽出されるタグ情報に基づいて、各ＬＥＤセグメントの輝度を制御するためのバックライト制御信号を生成する。尚、バックライト制御信号生成部２８の詳細については後述する。
　ＬＥＤドライバ３０は、バックライト制御信号生成部２８から加えられるバックライト制御信号によりバックライトユニット１６ｂのＬＥＤセグメントを個別に駆動し、各ＬＥＤセグメントからそれぞれＢＬＤ制御されたバックライトを発光させる。
　画像ストレージ３２は、例えば、ハードディスク装置などにより構成され、ＬＣＤ表示部１６に表示するための静止画又は動画の画像ファイルが格納されている。尚、画像ストレージ３２は、画像表示装置１に内蔵されたものに限らず、インターフェースを介して画像表示装置１に接続され、着脱可能な外部記録媒体（例えば、メモリカード等）でもよい。
　タグ情報解析部３４は、画像ストレージ３２から表示用に読み出された画像ファイルのヘッダ部からタグ情報を読み出し、そのタグ情報に含まれる広ダイナミックレンジ（広ＤＲ）合成情報等を抽出する。そして、タグ情報解析部３４は、この抽出した広ＤＲ合成情報等をバックライト制御信号生成部２８に出力する。
　［広ＤＲ画像］
　次に、本発明に係る画像表示方法が適用される広ＤＲ画像について説明する。
　図３は広ＤＲ画像を含む画像を撮像して記録するデジタルカメラ５０と、広ＤＲ画像等を表示する画像表示装置１の要部を示すブロック図である。
　図３において、デジタルカメラ５０は、感度の異なる２種類のフォトダイオード群、又は感度は同じであるが、露出時間が個別に制御可能な２種類のフォトダイオード群を有する撮像素子を備えた撮像部５２を有する。撮像部５２は、広ＤＲ撮像時に感度の高い画素（以下、「主画素」という）と、感度の低い画素（以下、「副画素」という）を有し、主画素と副画素からの画像データを同時に出力する。ここで、主画素からなる画像（高感度画像）は、標準（通常）の明るさの画像であり、副画素からなる画像（低感度画像）は、露出アンダーの画像である。低感度画像は、感度の異なる２種類のフォトダイオード群を有する撮像素子の場合には、感度の低いフォトダイオード群から得られる画像である。また、感度が同じ２つのフォトダイオード群を有する撮像素子の場合には、低感度画像は、標準の明るさの画像を得る露光時間に比べて、露光時間の短いフォトダイオード群から得られる画像である。
　撮像部５２から出力される主画素及び画素の画像データは、それぞれＯＢ補正部５４ａ、５４ｂにより光学的黒領域（オプティカルブラック（ＯＢ）領域）の信号成分が除去され、ホワイトバランス（ＷＢ）ゲイン補正部５６ａ，５６ｂによりホワイトバランス補正された後、ダイナミックレンジ（ＤＲ）合成部５８に加えられる。
　図４に示すように、ＤＲ合成部５８に加えられる高感度画像及び低感度画像のＲＡＷデータは、それぞれ１４ビットデータ（0～16383）とする。また、高感度画像と低感度画像との感度比は、ｎ：１（ｎ＞１）とする。即ち、低感度画像は、高感度画像に対して感度比が１／ｎとなっている。
　これらの高感度画像と低感度画像とを広ＤＲ合成する場合には、図４の第１象限に示すように高感度画像を１／ｎに圧縮し、低輝度部と高輝度部との境界を示す所定の閾値Ｓ１を基準にして、閾値Ｓ１以下の画素は、高感度画像の画素を使用し、閾値Ｓ１を超える画素は、低感度画像の画素を使用し、これらの画素を合成する。尚、閾値Ｓ１を超え、かつ高感度画像が飽和するまでの画素としては、高感度画像の画素と低感度画像の画素とを適宜の比率で混合してもよい。また、高感度画像を１／ｎに圧縮することにより、ノイズ成分も１／ｎに圧縮することができ、低感度画像のみを使用する場合に比べて高画質にすることができる。
　図３に戻って、ＤＲ合成部５８により合成された広ＤＲ画像は、ガンマ補正部６０によりガンマ補正が行われる。ガンマ補正部６０は、通常の画像（高感度画像）に対するガンマ補正と同じガンマ補正を行う部分であり、図４の第２象限の破線で示す特性を有するガンマ補正を行う。また、このガンマ補正時に１４ビットデータから８ビットデータ（0～255）に変換される。
　ガンマ補正部６０によりガンマ補正された広ＤＲ画像は、続いてゲイン補正部６２によりゲイン補正が行われる。広ＤＲ画像は、前述したように通常の画像の１／ｎの感度になっているため、低感度部が暗くなっている。ゲイン補正部６２は、図３の第２象限の実線に示すように広ＤＲ画像の低感度部を含む中間調が大きくなるようにゲイン補正を行う。即ち、閾値Ｓ１に対応する高感度画像の値Ｒ１のガンマ補正後の値をＤ１とすると、広ＤＲ画像のガンマ補正及びゲイン補正された値が、Ｄ１になるようにゲイン補正を行う。
　図４の第２象限の実線で示されているように、広ＤＲ画像は、低輝度部の階調に比べて高輝度部の階調が抑圧されていることが分かる。
　ゲイン補正部６２によりゲイン補正された広ＤＲ画像は、図示しないデモザイク処理部（同時化処理部）でデモザイク処理（同時化処理）された後、ＹＣ処理部６４により輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換され、ＪＰＥＧ方式に従って圧縮され、図示しないデジタルカメラ５０の記録メディア等に記録される。
　図３に示したデジタルカメラ５０は、ガンマ補正部６０とゲイン補正部６２とを有しているが、これらの階調変換を１つの補正部にて行うようにしてもよい。
　［ＢＬＤ制御］
　次に、本発明に係る画像表示装置１のＢＬＤ制御について説明する。
　図３において、上記のようにして撮像された広ＤＲ画像を取得すると、その広ＤＲ画像に基づいてＬＣＤデータＣ(i,j)が生成されるとともに、バックライト制御信号生成部２８のＢＬＤアルゴリズムに従ってＬＥＤデータＥ(m,n)（バックライト制御信号）が生成される。ＬＣＤデータＣ(i,j)は、ゲイン補正及びＬＣＤ表示部１６のガンマ特性による逆ガンマ補正等が行われ、ＬＣＤパネル１６ａに加えられる。これにより、ＬＣＤパネル１６ａの各表示素子は、広ＤＲ画像に対応した透過率になるように制御される。
　また、バックライトユニット１６ｂの各ＬＥＤセグメントは、ＬＥＤデータＥ(m,n)により発光輝度が制御される。
　例えば、図４の第２象限の閾値Ｄ１以下の輝度の画素が表示されるＬＥＤセグメントに対しては、通常の輝度となるようにＢＬＤ制御する。これにより、広ＤＲ画像の低輝度部は、ＬＣＤ表示部１６の逆ガンマ特性のみが付与される（第３象限のＤ１以下の特性）。その結果、閾値Ｓ１以下の低輝度部の画像は、第４象限に示すように被写体輝度に比例した明るさの画像として表示される。
　一方、図４の第２象限の閾値Ｄ１を超える輝度の画素が表示されるＬＥＤセグメントに対しては、通常のバックライト輝度よりも高くなるようにＢＬＤ制御する。これにより、記録画像では高輝度部の階調が抑圧されていた広ＤＲ画像の高輝度部を伸張することができ、広ＤＲの撮影シーンをより忠実に表示再現することができる。例えば、通常の画像の表示輝度の最大値を、２５０ｃｄ／ｍ２とした場合に、広ＤＲ画像の表示輝度の最大値を、７５０ｃｄ／ｍ２にすると、ＤＲを３倍に拡大して表示することができる。
　尚、図４の第４象限に示すように、高輝度部は、低輝度部と同様に被写体輝度に比例して線形に変化させてもよい。また、表示輝度の最大値が制限されている場合には、高輝度部は、その最大値と被写体輝度の最大値とが一致するように折れ線、又は曲線に沿って変化させるようにしてもよい。
　図５Ａは、広ＤＲ画像が格納される画像ファイルのヘッダ部に記録されるタグ情報の一例を示している。
　デジタルカメラ５０は、広ＤＲ画像の撮像時には、図５Ａに示すようにタグ情報として、通常の撮影情報に加えて、ＤＲ合成情報及びゲイン補正情報を記録する。
　ＤＲ合成情報は、高輝度部圧縮率ｋ（高感度画像と低感度画像との感度比）、広ＤＲ画像の低輝度部と高輝度部との境界を示す閾値Ｄ１（図４の第２象限に示した閾値Ｄ１）とを有している。高輝度部圧縮率ｋにより、広ＤＲ画像の高輝度部がどの程度抑圧されているかを検出することができる。また、閾値Ｄ１により広ＤＲ画像の低輝度部と高輝度部とを判別することができる。
　また、ゲイン補正情報は、図５Ｂに示すように広ＤＲ画像に対し、どのようなゲイン補正が行われたかを示すゲイン補正テーブルＴｇを示す情報である。このゲイン補正テーブルＴｇは、通常の画像（高感度画像）と広ＤＲ画像との画像処理時の階調変換特性（ガンマ特性等）の差分に対応する補正テーブルである（図４の第２象限参照）。
　図１に示したタグ情報解析部３４は、画像ファイルのヘッダ部から上記ＤＲ合成情報、ゲイン補正情報を抽出し、これをバックライト制御信号生成部２８に渡す。バックライト制御信号生成部２８は、図６に示すように広ＤＲ画像のＬＥＤセグメント毎の複数の画像データの代表輝度値ＤＲＲ（Data Reproduced and Representing the segment）のうちの閾値Ｄ１以下の代表輝度値ＤＲＲに対応するＬＥＤセグメントに対しては、通常輝度Ｅ１となるバックライト制御信号を生成する。バックライト制御信号生成部２８は、閾値Ｄ１を超える代表輝度値ＤＲＲに対応するＬＥＤセグメントに対しては、その代表輝度値ＤＲＲの値に応じてバックライト輝度を高くするバックライト制御信号（ＬＥＤデータ）を生成する。
　図６には、閾値Ｄ１を超える代表輝度値ＤＲＲに対してバックライト輝度Ｅの特性が異なる３つのグラフが示されている。バックライト制御信号生成部２８は、例えば、ＤＲ合成情報に含まれる高輝度部圧縮率ｋによりいずれかの入出力特性のグラフを決定する。高輝度部圧縮率ｋが大きい程、広ＤＲ画像の高輝度部が大きく抑圧されているため、傾きの大きなグラフを決定する。
　メモリ１２のＥＥＰＲＯＭには、図６に示したグラフに対応する複数のテーブルが記憶されている。バックライト制御信号生成部２８は、高輝度部圧縮率ｋに基づいて複数のテーブルから決定したテーブルと、広ＤＲ画像のＬＥＤセグメントに対応する代表輝度値ＤＲＲとに基づいてＬＥＤセグメント毎にバックライト制御信号を生成する。
　また、ヘッダ部に記憶されたゲイン補正テーブルＴｇ（上記複数のテーブルのいずれかのテーブルに相当）と、広ＤＲ画像の画像データとに基づいてＬＥＤセグメント毎にバックライト制御信号を生成するようにしてもよい。更に、図６に示したグラフに対応するテーブルの代わりに、計算式を記憶するようにしてもよい。
　［画像表示方法］
　次に、本発明に係る画像表示方法の実施の形態について説明する。
　図７は本発明の実施の形態に係る画像表示方法の全体の流れを示すフローチャートである。
　図７において、操作部１４により所望の画像ファイルを選択し、画像ストレージ３２から再生表示させる画像ファイルを取得する（ステップＳ１０）。タグ情報解析部３４は、取得した画像ファイルのヘッダ情報を取得する（ステップＳ１２）。ヘッダ情報として広ＤＲ画像用のＤＲ合成情報が含まれている場合には、そのＤＲ合成情報をバックライト制御信号生成部２８に出力する。
　バックライト制御信号生成部２８は、タグ情報解析部３４からＤＲ合成情報を入力したか否かにより、取得した画像ファイル内の画像が、広ＤＲ画像か通常画像かを判別する（ステップＳ１４）。バックライト制御信号生成部２８は、通常画像と判別すると（「No」の場合）、ステップＳ１６の通常画像用のＢＬＤ処理を行う（ステップＳ１６）。一方、広ＤＲ画像と判別すると（「Yes」の場合）、バックライト制御信号生成部２８は、広ＤＲ画像用のＢＬＤ処理を行う（ステップＳ１８）。
　通常画像用のＢＬＤ処理は、バックライトユニット１６ｂの全ＬＥＤセグメントがそれぞれ同一のバックライト輝度（図６に示したバックライト輝度Ｅ１）になるようにバックライトユニット１６ｂの制御を行う。
　一方、広ＤＲ画像用のＢＬＤ処理は、図８に示すフローチャートに基づくバックライトユニット１６ｂの制御を行う。
　以下、図８に示すフローチャートに従って広ＤＲ画像用のＢＬＤ処理について説明する。
　まず、取得した画像ファイル内の広ＤＲ画像をＪＰＥＧ伸張する（ステップＳ２０）。ここで、ＪＰＥＧ伸張した広ＤＲ画像の各画素を、ＤＲ(i,j)とする。
　次に、ＬＥＤセグメント(m,n)を決定し、そのＬＥＤセグメント(m,n)内の複数の画素ＤＲ(i,j)を取得する（ステップＳ２２）。ここで、(m,n)は、ＬＥＤセグメントの座標を示す（図２参照）。
　即ち、画素ＤＲ(i,j)と、ＬＥＤセグメント(m,n)とは一対一に対応しておらず、ＬＥＤセグメント(m,n)の方が大きい。そこで、ＬＥＤセグメント(m,n)のバックライト輝度を決定する場合には、そのＬＥＤセグメント(m,n)内に対応する複数の画素ＤＲ(i,j)の画素値に基づいて決定する必要がある。
　次に、ＬＥＤセグメント(m,n)内の複数の画素ＤＲ(i,j)のうち閾値Ｄ１（図６参照）を超える画素数Ｍを取得する（ステップＳ２４）。そして、取得した画素数Ｍが、所定の値Ｍ１（固定値）を超えているか否かを判別する（ステップＳ２６）。Ｍ１としては、例えば、１つのＬＥＤセグメント(m,n)内の画素数の７０％の値とする。尚、複数の画素ＤＲ(i,j)の平均値を求め、その平均値が閾値Ｄ１を超えるか否かを判別するようにしてもよい。
　画素数ＭがＭ１を超えていない場合（「No」の場合）には、ステップＳ２８に遷移させる。一方、画素数ＭがＭ１を超えている場合（「Yes」の場合）には、ステップＳ２９に遷移させる。
　ステップＳ２８では、ＬＥＤセグメント(m,n)のＬＥＤデータＥ(m,n)を、通常輝度Ｅ１（図６参照）に設定する。
　一方、ステップＳ２９では、ＬＥＤセグメント(m,n)内の複数の画素ＤＲ(i,j)の代表輝度値ＤＲＲ(m,n)を算出する。複数の画素ＤＲ(i,j)の代表輝度値としては、複数の画素ＤＲ(i,j)の最大値、あるいは平均値等を適用することができる。
　続いて、ステップＳ３０では、ＬＥＤセグメント(m,n)のＬＥＤデータＥ(m,n)を、ゲイン補正テーブルＴｇ、代表輝度値ＤＲＲ(m,n)、及び高輝度部圧縮率ｋに基づいて、次式により算出する。
　［数１］
　Ｅ(m,n)＝Ｆ１（Ｔｇ(ｋ,ＤＲＲ(m,n))）
　尚、ＬＥＤデータＥ(m,n)の算出処理は、上記［数１］式によるものに限定されない。例えば、図６には、高輝度部とバックライト輝度との関係を示す複数のグラフが示されているが、これらのグラフに対応する複数のテーブル又は計算式のうち、高輝度部圧縮率ｋにより使用するテーブル又は計算式を決定し、この決定したテーブル又は計算式と、複数の画素の画素ＤＲ(i,j)の代表輝度値ＤＲＲ(m,n)とに基づいてＬＥＤデータＥ(m,n)を算出するようにしてもよい。
　続いて、全セグメントのＬＥＤデータの算出が終了したか否かを判別し（ステップＳ３２）、終了していない場合（「No」の場合）には、ＬＥＤセグメントの座標を更新した後（ステップＳ３４）、ステップＳ２２に遷移させ、上記ステップＳ２２からステップＳ３２の処理を繰り返す。一方、全セグメントのＬＥＤデータの算出が終了すると（「Yes」の場合）、広ＤＲ画像に対するＢＬＤ処理におけるＬＥＤデータの算出処理を終了する。
　このようにして算出したＬＥＤデータＥ(m,n)によりＬＥＤセグメント(m,n)のバックライト輝度Ｅを制御することにより、広ＤＲ画像の抑圧された高輝度部の輝度を上げることができ、実際の撮影シーンを忠実に表示再現することができる。
　図９は、ＬＥＤセグメント(m,n)のバックライト輝度Ｅの制御に伴って、ＬＣＤデータ(i,j)を調整する調整方法を概念的に示す図である。
　図９の（ａ）部に示すようにバックライト輝度Ｅが制御されるＬＥＤセグメントは、セグメント内に実装され所定数のＬＥＤで発光する。隣接するＬＥＤセグメントのＬＥＤ輝度が大きく異なる場合、ＬＥＤセグメント間に段差が見えることがある。これを防止するために、各ＬＥＤセグメントに属する表示素子に対するＬＣＤデータＣ(i,j)を、セグメント境界付近で変更することで、輝度の段差を低減する。
　例えば、図９の（ｂ）部に示すように，ＬＥＤセグメント(m+1,n),(m,n),(m-1,n)のバックライト輝度Ｅ(m+1,n),Ｅ(m,n),Ｅ(m-1,n)に段差がある場合、破線で示す元のＬＣＤデータＣ(i,j)を、実線で示すＬＣＤデータＣ(i,j)になるように変更する。即ち、元のＬＣＤデータＣ(i,j)を、画素Ｄ(i,j)と、画素Ｄ(i,j)が属するＬＥＤセグメント(m,n)のバックライト輝度Ｅ(m,n)、及び上下左右のバックライト輝度Ｅ(m,n-1),Ｅ(m,n+1), Ｅ(m-1,n),Ｅ(m+1,n)とに基づいて、次式で示すデータに変更する。
　［数２］
　Ｃ(i,j)＝Ｆ２｛(Ｄ(i,j),Ｅ(m,n),Ｅ(m-1,n),Ｅ(m+1,n), Ｅ(m,n-1),Ｅ(m,n+1)｝
　図１０は広ＤＲ画像に対してＢＬＤ制御を行わない場合の再現特性を示している。図１０の第４象限に示されているように、高輝度部には階調が割り当てられているものの、低輝度部分に比べて抑圧されており、階調が軟調となり、いわゆる眠い絵となる。
　これに対し、本発明では、図４に示したように高輝度部がＢＬＤ制御により抑圧されていた輝度が伸張され、高輝度部の階調が硬調となり、広ＤＲの撮影シーンをより忠実に表示再現することができる。
　図１１は広ＤＲ画像の一例を示す画像であり、上部に高輝度部が含まれている。本発明では、この高輝度部の階調を硬調にすることができ、階調表現を豊かにすることができる。尚、広ＤＲ画像における高輝度部は、階調の割当てが少なく、その反面、コントラストが強調される結果、輝度の変化が大きくなるが、高輝度部の輝度の変化は検知しにくいため、画質への影響が少ない。
　一方、広ＤＲ画像の低輝度部は、定常の一定輝度で照射されるため、コントラストが不要に強調され、不自然な画像となるなどの問題が発生せず、良好な画質を提供することができる。
　画像処理装置１のほかの実施形態としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
　［スマートフォンの構成］
　図１２は、画像処理装置１のほかの実施形態であるスマートフォン５００の外観を示す斜視図である。
　図１２に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１３は、図１２に示すスマートフォン５００の構成を示すブロック図である。図１３に示すように、スマートフォン５００は、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００は、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルである。表示入力部５２０は、表示パネル５２１と、操作パネル５２２とを備える。
　表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。表示パネル５２１としては、透過型表示（液晶）パネルのほか、ハイブリッド方式の表示パネルを用いることができる。表示パネル５２１は、上記の実施形態に係るバックライトローカルディミング制御機能を有している。本実施形態に係るスマートフォン５００は、記憶部５５０に記憶された画像、無線通信部５１０、外部入出力部５６０等を介して入力された画像、又はカメラ部５４１によって撮像された画像を表示パネル５２１に表示するときに、上記の実施形態に係るＢＬＤ制御を行う。
　操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される１又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図１２に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成している。操作パネル５２２は、表示パネル５２１を完全に覆うように配置されている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する。）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１２に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１３に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る視差を拡縮した所望の単眼３Ｄ画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、第１、第２の半月フィルタ群、第１、第２の変換フィルタ群、第１、第２の逆フィルタ群、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標）)、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力される。
　電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、２Ｄ画像から３Ｄ画像を生成する機能などがある。
　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１２に示すスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限定されるものではない。カメラ部５４１は、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力の１つとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部５０１等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。
　尚、上記の実施形態においては、デジタルカメラ５０及びスマートフォン５００のカメラ部５４１は、ダイナミックレンジ拡大機能（広ダイナミックレンジ合成機能）を有しているが、この機能を有しないものであってもよい。ダイナミックレンジ拡大機能を有しない撮像手段によって撮影された画像に対しても、本発明のＢＬＤ制御機能を適用することができる。
　また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１…画像表示装置、１０…中央処理装置（ＣＰＵ）、１２…メモリ、１６…ＬＣＤ表示部、１６ａ…ＬＣＤパネル、１６ｂ…バックライトユニット、２０…映像信号生成部、２２…ＬＣＤ画質パラメータ生成部、２４…ＬＣＤ制御部、２６…ＬＣＤ駆動部、２８…バックライト制御信号生成部、３０…ＬＥＤドライバ、３２…画像ストレージ、３４…タグ情報解析部

Claims (10)

  1. 　第１の画像と、前記第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得手段と、
    　前記画像取得手段により取得した第３の画像又は第４の画像を表示する透過型表示パネルと、
    　前記透過型表示パネルの背面に配設され、該透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットと、
    　前記画像取得手段により取得した画像が、前記第３の画像か第４の画像かを判別する判別手段と、
    　前記判別手段の判別結果により前記画像取得手段により取得した画像が前記第３の画像と判別されると、該第３の画像のうちの前記ダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするように前記バックライトユニットを制御する制御手段と、
    　を備えた画像表示装置。
  2. 　前記制御手段は、前記判別手段の判別結果により前記画像取得手段により取得した画像が前記第４の画像と判別されると、全セグメントがそれぞれ同一のバックライト輝度になるように前記バックライトユニットを制御する請求項１に記載の画像表示装置。
  3. 　前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、
    　前記判別手段は、前記取得した合成情報に基づいて前記画像取得手段により取得した画像が、前記第３の画像か第４の画像かを判別する請求項１又は２に記載の画像表示装置。
  4. 　前記第３の画像は、予め設定された閾値以下の低輝度部が前記第１の画像のみを使用して生成され、前記閾値を超える高輝度部が少なくとも前記第２の画像を使用して生成され、
    　前記合成情報は、前記閾値を含む請求項３に記載の画像表示装置。
  5. 　前記制御手段は、前記合成情報に含まれる閾値に基づいて、前記第３の画像のうちの前記閾値を超える画素を高輝度部の画素として判別する請求項４に記載の画像表示装置。
  6. 　前記制御手段は、前記バックライトユニットのセグメント毎に、前記第３の画像から各セグメントに対応する複数の画素を抽出する抽出手段を有し、前記抽出した複数の画素のうちの一定の割合以上の画素が前記高輝度部の画素に対応すると判別し、又は前記抽出した複数の画素の平均値が前記高輝度部に対応する輝度値と判別すると、そのセグメントのバックライト輝度を高くするように前記バックライトユニットを制御する請求項１から５のいずれか１項に記載の画像表示装置。
  7. 　前記制御手段は、前記バックライトユニットの各セグメントに対応する複数の画素の代表輝度値とバックライト輝度との関係を示すテーブル又は計算式を記憶する記憶手段を有し、前記抽出手段により抽出した複数の画素の代表輝度値と前記記憶手段に記憶されているテーブル又は計算式とに基づいて対応するバックライト輝度を算出し、前記バックライトユニットのセグメント毎に算出したバックライト輝度に基づいて前記バックライトユニットを制御する請求項６に記載の画像表示装置。
  8. 　前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられた広ダイナミックレンジ合成に関する合成情報を取得し、
    　前記合成情報は、前記第３の画像のダイナミックレンジの広さに関連する情報を含み、
    　前記記憶手段は、前記第３の画像のダイナミックレンジの広さに対応する複数のテーブル又は計算式であって、ダイナミックレンジが広いほどバックライト輝度を高くするテーブル又は計算式を記憶し、
    　前記制御手段は、前記合成情報に含まれるダイナミックレンジの広さに関連する情報に基づいて前記記憶手段から対応するテーブル又は計算式を取得し、該テーブル又は計算式を使用して前記バックライト輝度を算出する請求項７に記載の画像表示装置。
  9. 　前記画像取得手段は、前記第３の画像及び該第３の画像に関連付けられたゲイン補正テーブルであって、前記第１の画像と第３の画像との階調変換特性の差分に対応するゲイン補正テーブルを取得し、
    　前記制御手段は、前記取得したゲイン補正テーブルと前記バックライトユニットの各セグメントに対応する複数の画素の代表輝度値とに基づいてセグメント毎にバックライト輝度を算出する請求項６に記載の画像表示装置。
  10. 　第１の画像と、前記第１の画像よりも低感度又は低露光で撮像された第２の画像とを用いてダイナミックレンジ拡大処理を施した第３の画像、又はダイナミックレンジ拡大処理を伴わない第４の画像を取得する画像取得工程と、
    　前記画像取得工程により取得した第３の画像又は第４の画像を透過型表示パネルに表示させる表示工程と、
    　前記画像取得工程により取得した画像が、前記第３の画像か第４の画像かを判別する判別工程と、
    　前記透過型表示パネルの背面に配設され、該透過型表示パネルに対するバックライトを分割されたセグメント毎に輝度制御可能なバックライトユニットを制御する制御工程と、を含み、
    　前記制御工程は、
    　前記判別工程での判別結果により前記画像取得工程により取得した画像が前記第３の画像と判別されると、該第３の画像のうちの前記ダイナミックレンジ拡大処理により抑圧された高輝度部に対応するセグメントのバックライト輝度を、低輝度部に対応するセグメントのバックライト輝度に比べて高くするように前記バックライトユニットを制御する画像表示方法。
PCT/JP2013/056732 2012-03-22 2013-03-12 画像表示装置及び方法 WO2013141071A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014506149A JP5683745B2 (ja) 2012-03-22 2013-03-12 画像表示装置及び方法
CN201380015618.9A CN104205204B (zh) 2012-03-22 2013-03-12 图像显示装置及方法
US14/492,745 US9117410B2 (en) 2012-03-22 2014-09-22 Image display device and method
US14/810,292 US9536479B2 (en) 2012-03-22 2015-07-27 Image display device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012065738 2012-03-22
JP2012-065738 2012-03-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/492,745 Continuation US9117410B2 (en) 2012-03-22 2014-09-22 Image display device and method

Publications (1)

Publication Number Publication Date
WO2013141071A1 true WO2013141071A1 (ja) 2013-09-26

Family

ID=49222531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/056732 WO2013141071A1 (ja) 2012-03-22 2013-03-12 画像表示装置及び方法

Country Status (4)

Country Link
US (2) US9117410B2 (ja)
JP (1) JP5683745B2 (ja)
CN (2) CN105609035B (ja)
WO (1) WO2013141071A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016134862A (ja) * 2015-01-21 2016-07-25 オリンパス株式会社 撮像装置、撮像方法、画像表示装置、およびプログラム
JP2017045030A (ja) * 2015-08-26 2017-03-02 キヤノン株式会社 画像表示装置
JP2018117343A (ja) * 2017-01-17 2018-07-26 キヤノン株式会社 画像処理装置および画像処理方法
WO2019049534A1 (ja) * 2017-09-08 2019-03-14 シャープ株式会社 画像処理装置、テレビジョン受像機、画像処理方法、制御プログラム、および記録媒体
KR102057467B1 (ko) * 2015-11-10 2019-12-19 캐논 가부시끼가이샤 표시 제어장치 및 그 제어 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5498532B2 (ja) * 2012-05-23 2014-05-21 シャープ株式会社 映像表示装置
US10192495B2 (en) * 2015-10-15 2019-01-29 Canon Kabushiki Kaisha Display apparatus with lighting device, control method for display apparatus, and storage medium
JP6755811B2 (ja) * 2017-02-07 2020-09-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2019053208A (ja) 2017-09-15 2019-04-04 キヤノン株式会社 表示装置及びその制御方法
WO2019176788A1 (ja) * 2018-03-13 2019-09-19 日本精機株式会社 表示装置
CN108520727B (zh) * 2018-03-28 2020-09-25 维沃移动通信有限公司 屏幕亮度调节方法及移动终端
JP7306383B2 (ja) 2018-05-22 2023-07-11 ソニーグループ株式会社 画像処理装置、表示装置、画像処理方法
CN110248098B (zh) * 2019-06-28 2021-08-24 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112825243A (zh) * 2019-11-21 2021-05-21 西安诺瓦星云科技股份有限公司 图像显示方法及装置、视频处理器和图像显示系统
EP4089667A4 (en) * 2020-01-09 2024-01-24 Sony Interactive Entertainment Inc DISPLAY CONTROL DEVICE, HEAD-MOUNTED DISPLAY AND IMAGE DISPLAY METHOD
CN111415629B (zh) * 2020-04-28 2022-02-22 Tcl华星光电技术有限公司 一种显示设备驱动方法、显示设备
CN112164007A (zh) * 2020-09-29 2021-01-01 Oppo广东移动通信有限公司 图像显示方法和装置、终端和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328532A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置及び画像記録装置
WO2006082883A1 (ja) * 2005-02-03 2006-08-10 Nikon Corporation 表示装置、電子機器およびカメラ
JP2009063694A (ja) * 2007-09-05 2009-03-26 Seiko Epson Corp 画像処理装置、画像表示装置、画像処理方法及びプログラム
JP2010187300A (ja) * 2009-02-13 2010-08-26 Nikon Corp 画像生成装置
JP2012220672A (ja) * 2011-04-07 2012-11-12 Sharp Corp 映像表示装置およびテレビ受信装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE479129T1 (de) 2001-02-27 2010-09-15 Dolby Lab Licensing Corp Bildanzeigevorrichtungen mit grossem dynamikbereich
JP4203081B2 (ja) * 2006-05-19 2008-12-24 株式会社東芝 画像表示装置および画像表示方法
US20080007574A1 (en) * 2006-07-05 2008-01-10 Fujifilm Corporation Image display method
JP2009002976A (ja) * 2007-06-19 2009-01-08 Renesas Technology Corp 表示駆動回路
JP2010028596A (ja) * 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
JP2010097909A (ja) 2008-10-20 2010-04-30 Panasonic Corp バックライト及び液晶表示装置
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
US8866928B2 (en) * 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328532A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置及び画像記録装置
WO2006082883A1 (ja) * 2005-02-03 2006-08-10 Nikon Corporation 表示装置、電子機器およびカメラ
JP2009063694A (ja) * 2007-09-05 2009-03-26 Seiko Epson Corp 画像処理装置、画像表示装置、画像処理方法及びプログラム
JP2010187300A (ja) * 2009-02-13 2010-08-26 Nikon Corp 画像生成装置
JP2012220672A (ja) * 2011-04-07 2012-11-12 Sharp Corp 映像表示装置およびテレビ受信装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016134862A (ja) * 2015-01-21 2016-07-25 オリンパス株式会社 撮像装置、撮像方法、画像表示装置、およびプログラム
WO2016117137A1 (ja) * 2015-01-21 2016-07-28 オリンパス株式会社 撮像装置、撮像方法、および画像表示装置
JP2017045030A (ja) * 2015-08-26 2017-03-02 キヤノン株式会社 画像表示装置
KR102057467B1 (ko) * 2015-11-10 2019-12-19 캐논 가부시끼가이샤 표시 제어장치 및 그 제어 방법
JP2018117343A (ja) * 2017-01-17 2018-07-26 キヤノン株式会社 画像処理装置および画像処理方法
WO2019049534A1 (ja) * 2017-09-08 2019-03-14 シャープ株式会社 画像処理装置、テレビジョン受像機、画像処理方法、制御プログラム、および記録媒体
JP2019049637A (ja) * 2017-09-08 2019-03-28 シャープ株式会社 画像処理装置、テレビジョン受像機、画像処理方法、制御プログラム、および記録媒体

Also Published As

Publication number Publication date
CN104205204A (zh) 2014-12-10
JPWO2013141071A1 (ja) 2015-08-03
CN105609035B (zh) 2019-03-01
US9117410B2 (en) 2015-08-25
CN104205204B (zh) 2016-01-20
US9536479B2 (en) 2017-01-03
JP5683745B2 (ja) 2015-03-11
CN105609035A (zh) 2016-05-25
US20150332636A1 (en) 2015-11-19
US20150009246A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
JP5683745B2 (ja) 画像表示装置及び方法
JP6021916B2 (ja) 画像表示装置及び方法
JP6302555B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5730439B2 (ja) 画像表示装置、撮影装置、画像表示システム及び方法
US20110205397A1 (en) Portable imaging device having display with improved visibility under adverse conditions
JP6063092B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6063093B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2012119761A (ja) 電子機器、画像処理方法及びプログラム
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP6911135B2 (ja) 撮像装置、撮像方法、およびプログラム
JPWO2018110051A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN113891008A (zh) 一种曝光强度调节方法及相关设备
KR20210101941A (ko) 전자 장치 및 그의 hdr 영상 생성 방법
CN116723416B (zh) 图像处理方法及电子设备
CN115297269B (zh) 曝光参数的确定方法及电子设备
JP6108831B2 (ja) 携帯機器、サーバ、画像生成方法およびプログラム
JP2006186901A (ja) 電子カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13764341

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014506149

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13764341

Country of ref document: EP

Kind code of ref document: A1