WO2015029613A1 - 画像生成装置、および、表示装置 - Google Patents

画像生成装置、および、表示装置 Download PDF

Info

Publication number
WO2015029613A1
WO2015029613A1 PCT/JP2014/068436 JP2014068436W WO2015029613A1 WO 2015029613 A1 WO2015029613 A1 WO 2015029613A1 JP 2014068436 W JP2014068436 W JP 2014068436W WO 2015029613 A1 WO2015029613 A1 WO 2015029613A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mask
unit
area
processing
Prior art date
Application number
PCT/JP2014/068436
Other languages
English (en)
French (fr)
Inventor
善光 村橋
崇志 峰
直樹 塩原
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/910,768 priority Critical patent/US10109077B2/en
Publication of WO2015029613A1 publication Critical patent/WO2015029613A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6011Colour correction or control with simulation on a subsidiary picture reproducer
    • H04N1/6013Colour correction or control with simulation on a subsidiary picture reproducer by simulating several colour corrected versions of the same image simultaneously on the same picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Definitions

  • the present invention relates to a display technology that can clearly show, for example, an image quality improvement effect by dividing a display screen into a plurality of display areas and displaying a predetermined image (video) in the divided display areas.
  • the image before the image quality adjustment and the image after the image quality adjustment are displayed on the screen at the same time. Therefore, when the image quality adjustment effect is strongly applied to a wide image area, the image quality adjustment effect is recognized. Becomes easy.
  • the present invention displays an image generation device that generates an image (video) that can easily recognize an image quality improvement effect by specifying a processing target region, and displays the image.
  • An object is to realize a display device.
  • the image generating apparatus having the first configuration includes a screen duplicating unit, a mask area determining unit, an image quality adjusting unit, and a synthesizing unit.
  • the image quality adjustment unit performs predetermined image processing on the processing target image in the mask region determined by the mask region determination unit, and outputs the image subjected to the image processing as an image after image quality adjustment.
  • the combining unit combines a combined image of the processing target image, the mask image, and the image quality adjusted image so that the processing target image, the mask image, and the image quality adjusted image are displayed on one display screen. get.
  • FIG. 1 is a schematic configuration diagram of an image generation apparatus 1000 according to a first embodiment.
  • FIG. 3 is a schematic configuration diagram of a mask region determination unit 2.
  • FIG. 3 is a schematic configuration diagram of an image quality adjustment unit 4
  • FIG. 3 is a schematic configuration diagram of an image quality adjustment unit 4A.
  • FIG. The schematic block diagram of the image generation apparatus 1000A of the modification of 1st Embodiment.
  • region determination parts of the image generation apparatus 1000A of the modification of 1st Embodiment The schematic block diagram of the image quality adjustment part 4B of the image generation apparatus 1000A of the modification of 1st Embodiment.
  • the figure (an example) which shows the setting condition of the image (output image Dout) produced
  • the schematic block diagram of the image generation apparatus 2000 which concerns on 2nd Embodiment.
  • the schematic block diagram of the image quality adjustment part 4D The figure (an example) which shows typically the image (output image Dout) produced
  • the image generation device 2000 is configured to perform adjustment of a processing target area (mask area) and image quality adjustment (adjustment of image processing intensity) based on the mask parameter and the processing intensity parameter, the generation is performed.
  • the figure (an example) which shows the setting condition of the adjusted image (output image Dout) and adjustment parameter.
  • FIG. 1 is a schematic configuration diagram of an image generation apparatus 1000 according to the first embodiment.
  • the image generation apparatus 1000 includes a screen duplication unit 1, a mask area determination unit 2, a synthesis unit 3, and an image quality adjustment unit 4.
  • the mask calculation unit 21 receives the composite duplicate image D1 output from the screen duplicating unit 1, and determines a mask area based on the input composite duplicate image D1 (details will be described later). Then, the mask calculation unit 21 outputs a signal (mask region instruction signal) M_ctl indicating the determined mask region to the mask image acquisition unit 22 and the image quality adjustment unit 4.
  • the image quality adjustment unit 4 is configured as shown in FIG. 3, for example, when the mask region instruction signal M_ctl generated by the mask region determination unit 2 is a binary signal that takes “0” and “1”. . That is, in this case, the image quality adjustment unit 4 includes an image processing unit 41, a gate unit 42, and a selector 43.
  • the image processing unit 41 receives the composite image D3 output from the first combining unit 31, and executes predetermined image processing on the input composite image D3. Then, the image processing unit 41 outputs the image D31 after the image processing (image signal D31) to the selector 43.
  • the image quality adjustment unit is configured as shown in FIG. 4, for example, when the mask region instruction signal M_ctl generated by the mask region determination unit 2 is a signal having an intermediate value between 0 and 1. That is, in this case, the image quality adjustment unit 4A includes an image processing unit 41, a gate selector 44, and an internal division processing unit 45. In this case, the image quality adjustment unit 4 of the image generation apparatus 1000 shown in FIG. 1 may be replaced with the image quality adjustment unit 4A shown in FIG.
  • the image processing unit 41 receives the composite image D3 output from the first combining unit 31, and executes predetermined image processing on the input composite image D3. Then, the image processing unit 41 outputs the image D31 after the image processing (image signal D31) to the selector 43.
  • the gate selector 44 receives the mask area instruction signal M_ctl output from the mask calculator 21 and the fixed value “0”. When the gate signal gate is active (for example, “1”), the gate selector 44 outputs the mask region instruction signal M_ctl to the internal division processing unit 45, while the gate signal gate is inactive (for example, “0”). ”),“ 0 ”is output to the internal division processing unit 45.
  • the internal division processing unit 45 includes a first coefficient multiplication unit 451, a second coefficient multiplication unit 452, and an adder 453.
  • the first coefficient multiplier 451 receives the composite image D3 output from the first composite unit 31, and multiplies the input composite image D3 by a coefficient (1- ⁇ ). That is, the pixel value (signal value) of each pixel of the composite image D3 is multiplied by the coefficient (1- ⁇ ). Then, the first coefficient multiplier 451 outputs an image (image signal) formed by the multiplied pixel value to the adder 453.
  • the second coefficient multiplier 452 receives the image D31 after the image processing output from the image processor 41, and multiplies the input image D31 by the coefficient ⁇ . That is, the coefficient ⁇ is multiplied by the pixel value (signal value) of each pixel of the image D31. Then, the second coefficient multiplier 452 outputs an image (image signal) formed by the multiplied pixel value to the adder 453.
  • the coefficient ⁇ is an output from the gate selector 44, and when the gate signal gate is “1”, the coefficient ⁇ is a signal value of the mask area instruction signal M_ctl.
  • the adder 453 receives the output of the first coefficient multiplier 451 and the output of the second coefficient multiplier 452 as inputs, and adds both. Then, the adder 453 outputs the added image (image signal) as an image D4 (image signal D4) to the second synthesis unit 32.
  • the internal division processing unit 45 D4 (1 ⁇ ) ⁇ D3 + ⁇ ⁇ D31 0 ⁇ ⁇ ⁇ 1
  • the image D3 and the image D31 are subjected to internal division processing with the internal division ratio ⁇ , and the image after the internal division processing is output to the second combining unit 32 as an image D4.
  • FIG. 5 is a diagram illustrating a schematic configuration of the image generation apparatus 1000 and an example of the images Din, D1, D2, D3, D4, and Dout.
  • an image area of 1/3 or less is extracted from the input image Din, and the extracted image area is duplicated into one image (an image forming one screen (for example, one frame image)). Synthesized.
  • FIG. 6 is a diagram schematically showing an example of the duplication process in the screen duplication unit 1.
  • the screen duplicating unit 1 extracts the image area R1 and duplicates the image area R1 so that three image areas R1 are arranged on the left and right sides. Image on the right).
  • the screen duplicating unit 1 extracts the image region R1a and duplicates the image region R1a so that three image regions R1a are arranged vertically, thereby producing a composite duplicated image D1 (FIG. ) On the right side).
  • the screen duplicating unit 1 extracts the image region R1b, and duplicates the image region R1b so that three image regions R1b are arranged in an oblique direction, so that the composite duplicated image D1 (FIG. c) on the right side).
  • the screen duplicating unit 1 duplicates the image region R1 so that three image regions R1 are arranged on the left and right, and generates a composite duplicated image D1 (the image on the right side of FIG. 6A). The case where this is done will be described.
  • the composite duplicate image D1 generated by the screen replication unit 1 is output to the mask calculation unit 21 of the mask area determination unit 2 and the first synthesis unit 31 of the synthesis unit 3.
  • the mask calculation unit 21 determines a mask region (processing target region) from the input composite duplicate image D1. For example, when the mask region (processing target region) is a skin color region, the mask calculation unit 21 detects a skin color region in the composite reproduction image D1, and outputs a signal value corresponding to a pixel included in the detected region as Mt ( For example, the mask signal M_ctl is set to “1”) and the signal value (pixel value) corresponding to the pixels in the other region is set to Mf (eg, “0”). Then, the acquired mask signal M_ctl is output to the mask image acquisition unit 22 and the image quality adjustment unit 4.
  • the mask region (processing target region) determined by the mask calculation unit 21 is not limited to the detection region of a specific color as described above.
  • the mask calculation unit 21 may detect a contour region or a texture region in the composite duplicate image D1, and determine (set) the detected image region as a mask region (processing target region).
  • the mask calculation unit 21 detects a specific object by performing advanced object recognition processing such as face detection, and determines an image region corresponding to the detected object as a mask region (processing target region) ( Setting).
  • the mask signal M_ctl indicating the mask region (processing target region) is not limited to the binary signal whose signal value is “0” or “1” as described above.
  • the mask signal M_ctl may be a multi-value signal that takes a multi-value obtained by dividing between 0 and 1.
  • the mask signal M_ctl may be a signal having an intermediate value between 0 and 1.
  • the mask signal M_ctl may be an 8-bit signal and may be a signal having a value from 0 to 255.
  • the mask calculation unit 21 may acquire the mask signal M_ctl based on the likelihood as disclosed in Japanese Patent Application No. 2012-265454, for example. Specifically, the mask calculation unit 21 sets a likelihood according to the degree to which a predetermined feature (for example, an image feature amount) is included in a certain image region (for example, a detection target object), and the set likelihood.
  • the mask signal M_ctl may be acquired based on the above.
  • the mask signal M_ctl acquired by the mask calculation unit 21 may be a signal other than the above as long as the image quality adjustment unit 4 can control the image quality adjustment.
  • the mask signal M_ctl generated by the mask calculation unit 21 is output to the mask image acquisition unit 22 and the image quality adjustment unit 4.
  • the mask image acquisition unit 22 acquires an image corresponding to the mask signal M_ctl output from the mask calculation unit 21. That is, the mask image acquisition unit 22 converts the signal value (mask value) of the mask signal M_ctl into the format of the image signal (video signal).
  • the mask image acquisition unit 22 converts the signal value (mask value) of the mask signal M_ctl into the format of the image signal (video signal) by the following (1) and (2).
  • the mask image acquisition unit 22 selects the pixel P1 (x1, y1).
  • Each pixel is expressed by a gradation value of 8 bits (0 to 255) for each of RGB.
  • the mask image acquisition unit 22 displays the red component value R (x1, y1) and the green component value G (x1, x1) of the pixel P1 (x1, y1) so that the pixel P1 (x1, y1) is displayed in “red”.
  • the mask image acquisition unit 22 selects the pixel P1 (x1, y1).
  • the processing is performed when the format conversion is performed on an image signal (video signal) in which each color component in the RGB color space takes an 8-bit value.
  • the present invention is not limited to this, and the mask image acquisition unit 22
  • the signal value (mask value) of the mask signal M_ctl may be converted into an image signal (video signal) in another color space (for example, YCbCr color space).
  • the number of bits is not limited to 8 bits.
  • the image signal (video signal) obtained by the above (1) and (2) that is, the region where the signal value of the mask signal M_ctl is Mt is displayed in “red”, and the region where the signal value of the mask signal M_ctl is Mf
  • the image signal (video signal) displayed in “black” is output from the mask image acquisition unit 22 to the first synthesis unit 31 of the synthesis unit 3 as an image signal (mask image signal) D2.
  • the first synthesizing unit 31 of the synthesizing unit 3 forms the synthesized duplicate image D1 output from the screen replicating unit 1 and the mask image D2 (formed by the mask image signal) output from the mask image acquiring unit of the mask area determining unit 2. Image). Specifically, in the first synthesis unit 31, the area AR2 of the composite duplicate image D1 shown in FIG. 5 (the middle image area divided into three as shown in FIG. 5) is the area of the mask image D2 shown in FIG. The synthesis process is executed so as to be replaced with AR2 (the middle image area divided into three as shown in FIG. 5).
  • This composition processing is performed, for example, based on the vertical synchronization signal (VD signal), the horizontal synchronization signal (HD signal), the enable signal, and the like, as shown in FIG.
  • VD signal vertical synchronization signal
  • HD signal horizontal synchronization signal
  • enable signal and the like, as shown in FIG.
  • the combined duplicate image signal D1 composite duplicate image D1
  • the mask image signal D2 mask image D2
  • the area AR1 and the area AR3 select the composite duplicate image signal D1 (the composite duplicate image D1).
  • the mask image signal D2 may be selected and output in the area AR2.
  • the image (image signal) synthesized by the first synthesis unit 31 is converted from the first synthesis unit 31 to the second synthesis unit 32 and the image quality adjustment unit as a synthesized image D3 (synthesized image signal D3). 4 is output.
  • predetermined image processing for example, image quality adjustment processing
  • image quality adjustment processing is executed on the composite image D 3
  • image D 31 image signal D 31
  • the mask area instruction signal M_ctl output from the mask calculation unit 21 is output to the selector 43 based on the gate signal gate. That is, when the gate signal gate is active (for example, “1”), the mask area instruction signal M_ctl is output to the selector 43, while when the gate signal gate is inactive (for example, “0”), “0” is output to the selector 43.
  • the selector 43 selects and outputs either the composite image D3 or the image D31 after the image processing in the image processing unit 41 according to the output from the gate unit 42.
  • the image signal D31 is selected, and the composite image D3 is selected in the other region.
  • the image D4 (image signal D4) generated in this way is output from the image quality adjustment unit 4 to the second synthesis unit 32 of the synthesis unit 3.
  • the mask area instruction signal M_ctl takes a binary value, that is, “0” or “1” has been described.
  • the mask area instruction signal M_ctl takes an intermediate value between 0 and 1.
  • the image quality adjustment unit 4 may be replaced with the image quality adjustment unit 4A, and the following processing may be executed in the image quality adjustment unit 4A.
  • the composite image D3 is input to the first coefficient multiplication unit 451 of the internal division processing unit 45 and the image processing unit 41.
  • predetermined image processing for example, image quality adjustment processing
  • image processing is performed on the composite image D3, and the image D31 (image signal D31) after the image processing is subjected to internal division processing.
  • image D31 image signal D31
  • second coefficient multiplier 452 of the unit 45 To the second coefficient multiplier 452 of the unit 45.
  • the gate selector 44 of the image quality adjustment unit 4 outputs the mask area instruction signal M_ctl output from the mask calculation unit 21 or the fixed value “0” to the internal division processing unit 45 based on the gate signal gate. That is, when the gate signal gate is active (for example, “1”), the mask area instruction signal M_ctl is output to the internal division processing unit 45, while the gate signal gate is inactive (for example, “0”). In some cases, “0” is output to the internal division processing unit 45.
  • the image D3 (the pixel value of each pixel) is multiplied by the coefficient (1- ⁇ ), and the multiplied image D3 is output to the adder 453. .
  • the image D31 (the pixel value of each pixel thereof) is multiplied by the coefficient ⁇ , and the multiplied image D31 is output to the adder 453.
  • the adder 453 the output from the first coefficient multiplier 451 and the output from the second coefficient multiplier 452 are added, and the added image (image signal) is output as an image D4 (image signal D4).
  • the image D4 (image signal D4) generated in this way is output from the image quality adjustment unit 4A to the second synthesis unit 32 of the synthesis unit 3.
  • the combined image D3 output from the first combining unit 31 and the image quality adjustment image D4 output from the image quality adjusting unit 4 (or image quality adjusting unit 4A) are combined.
  • the area AR3 of the composite image D3 shown in FIG. 5 is the area of the image quality adjustment image D4 shown in FIG.
  • the synthesis process is executed so as to be replaced with AR3 (right-side image area divided into three as shown in FIG. 5).
  • This composition processing is performed, for example, based on a vertical synchronization signal (VD signal), a horizontal synchronization signal (HD signal), an enable signal, and the like, and an area AR1 (the left image area divided into three as shown in FIG. 5) and an area In AR2 (middle image area divided into three as shown in FIG. 5), the composite image signal D3 (composite image D3) is selected and output, and the area AR3 (right side divided into three as shown in FIG. 5) is output.
  • the image region it can be realized by controlling in the second combining unit 32 so that the image quality adjustment image signal D4 (image quality adjustment image D4) is selected and output.
  • the area AR1 and the area AR2 select and output the composite image signal D3 (the composite image D3).
  • the image quality adjustment image signal D4 image quality adjustment image D4 may be selected and output.
  • the image (image signal) synthesized by the second synthesizing unit 32 is output from the second synthesizing unit 32 as the output image Dout (output image signal Dout).
  • combination part 32 is displayed on a display part (not shown), for example.
  • the image generating apparatus 1000 when displayed on the display device, (1) an image before image quality adjustment, (2) an image indicating a mask area (target area for image quality adjustment processing), and (3 ) It is possible to generate an image (video) that is displayed side by side on one screen with the image after image quality adjustment. That is, by viewing an image (video) generated by the image generation apparatus 1000, even an ordinary user who does not have specialized knowledge can easily recognize in which image region the image quality adjustment processing is performed ( Confirmation).
  • an image before image quality adjustment image of the area AR1
  • mask area image quality
  • three images region AR2 image indicating the adjustment processing target region
  • image quality adjusted image region AR3 image
  • the area AP3 of the area AR3 is the area targeted for the image quality adjustment process.
  • the image quality adjustment processing (processing by the image processing unit 41) is executed. Therefore, by comparing the areas corresponding to the area AP2 in the areas AR1 and AR3, the image quality adjustment effect can be easily recognized (confirmed) even by a general user who does not have specialized knowledge.
  • the image generation apparatus 1000 can generate an image (video) obtained by synthesizing an image (video) before and after the image quality adjustment processing and an image (video) in which the target area of the image quality adjustment processing is clearly specified. Therefore, by displaying an image (video) generated by the image generation apparatus 1000 on a display device or the like, even a general user can easily recognize (confirm) the image quality improvement effect.
  • FIG. 8 is a schematic configuration diagram of an image generation apparatus 1000A according to this modification.
  • FIG. 9 is a schematic configuration diagram of the mask area determination unit 2A of the image generation apparatus 1000A according to the present modification.
  • the third image quality adjustment unit 48 has the same configuration as the image quality adjustment unit 4 of the first embodiment. As shown in FIG. 15, the third image processing unit 481, the gate unit 482, the selector 483, and the like. Is provided.
  • the image quality adjustment unit 4D by applying the first image quality adjustment unit 46, the second image quality adjustment unit 47, and the third image quality adjustment unit 48 with the same configuration as the image quality adjustment unit 4A of the first embodiment, the image quality adjustment unit 4D. You may make it comprise.
  • the processing target region (mask region) of the third image processing (for example, the detail enhancer processing of a flat image region of a specific color) as shown in the region AR2 of FIG. It can be easily confirmed that the upper part of the screen is also the processing target area of the third image processing.
  • A2 Since the second image processing (for example, character portion emphasis processing) is performed in an area corresponding to the area AP2G of the area AR2 (area displayed in green), a portion corresponding to the area AP2R Can be easily recognized by comparing the image before image quality adjustment (image in area AR1) with the image after image quality adjustment (image in area AR3).
  • A3) In the area corresponding to the area AP2B of the area AR2 (area displayed in blue), the third image processing (for example, the noise reduction process for the skin color portion) is performed, and thus corresponds to the area AP2B.
  • the image quality adjustment effect can be confirmed as follows.
  • the image quality adjustment effect can be easily recognized.
  • the image before and after the execution of the image quality adjustment process and the mask area are set for each of the plurality of image processes even when the image quality adjustment is performed by executing the plurality of image processes.
  • An image can be generated by combining the specified image.
  • the image before and after the execution of the image quality adjustment process and the image in which the mask area is clearly specified for each of the plurality of image processes are displayed side by side on one screen. Therefore, even a general user can easily grasp the processing target area (mask area) and the processing intensity of each image processing.
  • the mask region determination unit has three mask calculation units
  • the image quality adjustment unit 4D has three image quality adjustment units.
  • the present invention is not limited to this, and the image generation apparatus Further, it may have more mask calculation units and image quality adjustment units.
  • the image generation apparatus 3000 includes a screen replication unit 1A, a mask area determination unit 2C, a synthesis unit 3A, and an image quality adjustment unit 4E.
  • the screen duplicating unit 1A extracts a predetermined image region (for example, the region R1 shown in FIG. 18) from the input image Din, and uses the extracted image region image as an image D1 (image signal D1), as a mask region determining unit. 2C, the image quality adjustment unit 4E, and the synthesis unit 3A.
  • a predetermined image region for example, the region R1 shown in FIG. 18
  • the combining unit 3A inputs the image D1 output from the screen duplicating unit 1A, the mask image D2 output from the mask area determining unit 2C, and the image-processed image D4 output from the image quality adjusting unit 4E. . Then, the combining unit 3Aha and the images D1, D2, and D3 are combined, and the combined image is output as an image Dout.
  • step S1 In step S1, initialization processing is executed.
  • the screen duplicating unit 1A extracts, for example, the image of the region R1 shown in FIG. 18 from the input image Din, sets the extracted image as the image D1, and sets the image size of the image D1 or the coordinates of the upper left end point. And the coordinates of the lower right corner point.
  • the size of the image D1 in the x direction is set to X_SIZE
  • the size in the y direction is set to Y_SIZE
  • the coordinates of the upper left end point Ps of the image D1 are set to Ps (x, y)
  • the pixel value of the coordinates (x, y) of the image D1 is expressed as P_in (x, y).
  • step S2 In step S2, a mask process is executed.
  • the mask area determination unit 2C performs a mask calculation process on the image data P_in (x, y) of the coordinates (x, y) of the image D1. Then, the mask area determination unit 2C acquires the mask calculation result as M (x, y). If the mask area determination unit 2C determines that the mask area corresponds to the mask area, the mask area determination unit 2C sets the mask calculation result M (x, y) to “1” (value Mt), and determines that the mask area does not correspond to the mask area. In this case, the mask calculation result M (x, y) is set to “0” (value Mf).
  • step S3 In step S3, a mask image acquisition process is executed.
  • the mask area determination unit 2C based on the mask calculation result M (x, y) acquired in step S2, the pixel value value Pm (x, y) of the coordinates (x, y) of the mask image.
  • the pixel value value Pm (x, y) of the coordinates (x, y) of the mask image is decided. For example, when the coordinate (x, y) is the mask target region, for example, the R component value of Pm (x, y) is set to “255”, and the G component value and the B component value are set to “0”. Thereby, the pixel of the mask image of the coordinate (x, y) can be displayed in red.
  • step S4 In step S4, image quality adjustment processing is executed.
  • step S5 In step S5, a composite image generation process is executed.
  • the combining unit 3A, the image data P_in (x, y) of the image D1, the image data Pm (x, y) of the mask image generated in step S3, and the image quality adjustment generated in step S4 The image data P_adj (x, y) of the subsequent image is combined with the image data P_out (x, y) of the combined image (output image).
  • the image D1 is displayed on the left side
  • the mask image D2 is displayed in the center
  • the image quality adjusted image D4 is displayed on the right side.
  • P_out (x, y) P_in (x, y)
  • P_out (x + X_SIZE, y) Pm (x, y)
  • P_out (x + 2 ⁇ X_SIZE, y) P_adj (x, y)
  • the image data P_out (x, y) of the composite image (output image) is acquired.
  • step S6 the value of x is incremented by 1.
  • step S7 the incremented x value is compared with the image size X_SIZE in the x direction of the image D1. If the value of x is greater than or equal to X_SIZE, the process proceeds to step S8; otherwise, the process returns to step S2.
  • step S8 the value of y is incremented by 1.
  • step S9 the incremented y value is compared with the image size Y_SIZE in the y direction of the image D1. If the value of y is greater than or equal to Y_SIZE, the process is terminated; otherwise, the process returns to step S2.
  • an output image Dout similar to that of the image generation device 1000 of the first embodiment can be acquired.
  • the mask calculation result M (x, y) has been described as a binary signal (a signal that takes “0” or “1”).
  • the intermediate value may be taken.
  • the image quality-adjusted image D4 and the output image Dout may be acquired based on the mask calculation result M (x, y) by internal division processing or the like.
  • the mask calculation result M (x, y) calculated and acquired is one.
  • the present invention is not limited to this, and the mask calculation is the same as in the second embodiment.
  • the acquired mask calculation results M (x, y) may be plural.
  • the mask image D2 may be generated so that a different color is displayed for each type of image processing to be processed.
  • the generated output image is not limited to that described above. In the above, the case where one screen is divided into three or four has been described, but an output image may be generated that is displayed by dividing one screen into a larger number. .
  • the image generation apparatus, the image generation method, and the like may be realized by combining some or all of the above-described embodiments (including modifications).
  • a display unit may be realized by adding a display unit to the above-described embodiment (including the modified example).
  • a display device that realizes the image generation method of the above embodiment may be realized.
  • part or all of the image generation apparatus of the above embodiment may be realized as an integrated circuit (for example, an LSI, a system LSI, or the like).
  • Part or all of the processing of each functional block in the above embodiment may be realized by a program. And a part or all of the processing of each functional block of the above embodiment may be executed by a central processing unit (CPU) in the computer.
  • a program for performing each processing is stored in a storage device such as a hard disk or ROM, and a central processing unit (CPU) reads the program from the ROM or RAM and executes it. Also good.
  • each process of the above embodiment may be realized by hardware, or may be realized by software (including a case where it is realized together with an OS (operating system), middleware, or a predetermined library). Further, it may be realized by mixed processing of software and hardware.
  • OS operating system
  • middleware middleware
  • predetermined library predetermined library
  • the image generating apparatus when the image generating apparatus according to the above-described embodiment is realized by hardware, it is necessary to adjust timing for performing each process.
  • details of timing adjustment of various signals generated in actual hardware design are omitted.
  • illustration of control signals for timing adjustment for example, a vertical synchronization signal, a horizontal synchronization signal, various enable signals, etc.
  • illustration of a delay device for adjusting timing is omitted.
  • execution order of the processing methods in the above embodiment is not necessarily limited to the description of the above embodiment, and the execution order can be changed without departing from the gist of the invention.
  • a computer program that causes a computer to execute the above-described method and a computer-readable recording medium that records the program are included in the scope of the present invention.
  • the computer-readable recording medium include a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a large-capacity DVD, a next-generation DVD, and a semiconductor memory.
  • the computer program is not limited to the one recorded on the recording medium, but may be transmitted via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, or the like.
  • the dimension of each member has a part which does not represent an actual dimension, a dimension ratio, etc. faithfully.
  • the image generating apparatus having the first configuration includes a screen duplicating unit, a mask area determining unit, an image quality adjusting unit, and a synthesizing unit.
  • the screen duplication unit extracts at least a part of the image area of the input image and outputs it as a processing target image.
  • the mask area determination unit determines a mask area in the processing target image and generates a mask image in which the mask area is specified.
  • the image quality adjustment unit performs predetermined image processing on the processing target image in the mask region determined by the mask region determination unit, and outputs the image subjected to the image processing as an image after image quality adjustment.
  • the combining unit combines a combined image of the processing target image, the mask image, and the image quality adjusted image so that the processing target image, the mask image, and the image quality adjusted image are displayed on one display screen. Generate.
  • an image before image quality adjustment processing target image extracted by the screen duplicating unit
  • an image indicating a mask area image quality adjustment processing target area
  • the image after image quality adjustment can be generated as an image (video) displayed side by side on one screen. That is, by viewing an image (video) generated by this image generation device, even an ordinary user who does not have specialized knowledge can easily recognize in which image area the image quality adjustment processing is performed ( Confirmation).
  • the mask region determining unit determines the first mask region and a second mask region different from the first mask region, and the first mask region Is set to the first pixel value, and the pixel value of the pixel included in the area on the mask image corresponding to the second mask area is set to the second pixel value.
  • a mask image is generated by setting the pixel value to.
  • the image quality adjustment unit performs the first image processing on the image area of the processing target image corresponding to the first mask area, and performs the process on the image area of the processing target image corresponding to the second mask area. By executing second image processing different from the first image processing, an image after image quality adjustment is generated.
  • this image generation apparatus a plurality of image processing can be executed for a plurality of mask regions. Further, in this image generating apparatus, a mask image in which different pixel values (first pixel value and second pixel value) are set in an area corresponding to a plurality of mask areas can be acquired. By referring to the images before and after the image quality adjustment, it is easy to recognize (confirm) what image quality adjustment processing is performed in which image area even for general users who do not have expertise. can do.
  • the synthesis unit in the first or second configuration, is configured to display the mask image at a position sandwiched between the processing target image and the image quality adjusted image. The image, the mask image, and the image after image quality adjustment are combined.
  • the mask image is displayed at a position sandwiched between the image before image quality adjustment and the image after image quality adjustment. It can be done easily without moving.
  • this image generating apparatus the adjustment of the mask area (processing target area) and the adjustment of the processing intensity of the image quality adjustment process can be performed with independent parameters.
  • the image quality adjustment effect, the mask area (processing target area), and the image quality adjustment process can be performed even by a general user simply by confirming the image (video) generated by the image generation apparatus on the display screen. It is possible to confirm accurately while grasping both the strength and the accuracy.
  • the display device having the fifth configuration includes an image generation device having any one of the first to fourth configurations, and a display unit that displays an image generated by the image generation device.

Abstract

処理対象領域を明示することで、ユーザに画質改善効果を認識させることができる画像を生成する画像生成装置を実現する。画像生成装置(1000)は、画面複製部(1)と、マスク領域決定部(2)と、合成部(3)と、画質調整部(4)と、を備える。画面複製部(1)は、入力画像の少なくとも一部の画像領域を抽出し処理対象画像として出力する。マスク領域決定部(2)は、処理対象画像において、マスク領域を決定するとともに、マスク領域を明示したマスク画像を生成する。画質調整部(4)は、マスク領域決定部(2)により決定されたマスク領域において、処理対象画像に対して所定の画像処理を実行し、画像処理を実行した画像を画質調整後画像として出力する。合成部(3)は、処理対象画像と、マスク画像と、画質調整後画像とが1つの表示画面に表示されるように、処理対象画像と、マスク画像と、画質調整後画像とを合成した合成画像を取得する。

Description

画像生成装置、および、表示装置
 本発明は、表示画面を複数の表示領域に分割し、分割した表示領域に所定の画像(映像)を表示することで、例えば、画質改善効果を明示することができる表示技術に関する。
 従来より、表示画面を複数に分割し、分割した表示領域に、画質調整前の画像と、画質調整後の画像とを表示し、ユーザに、画質調整効果を視認させる表示装置がある(例えば、特許文献1(特開2006-13618号公報)を参照)。
 このような表示装置では、画質調整前の画像と、画質調整後の画像とが、同時に画面に表示されるため、画質調整効果が広い画像領域に強く及ぶ場合、当該画質調整効果を認識することが容易となる。
 しかしながら、上記のような表示装置では、例えば、特定の画像領域に効く画質調整処理や、画像上の細かい部分に効く画質調整効果等の差異を、誰もが、認識することは困難である。
 上記のような表示装置に表示された複数の画像を専門家が見た場合、専門家は、画質調整効果を認識するために注目すべきポイントを知っているため、その画質調整効果を把握することができる。しかし、一般ユーザが上記のような表示装置に表示された複数の画像を見た場合、一般ユーザは、どこに注目したらよいかが分からず、画質調整効果を適切に認識することが困難である。
 例えば、所望の画像領域に、所定の画像調整処理を実行させようとする場合であって、画質調整前の画像と、画質調整後の画像との差異が明確に認識できない場合、(1)当該画像調整処理の強度が弱いために、画質改善効果を認識できないのか、それとも、(2)当該所望の画像領域に、当該画像調整処理が実行されていないために、画質改善効果を認識できないのか、を区別することは、一般ユーザにとっては、難しい。
 つまり、所望の画像領域に、所定の画像調整処理を実行させようとする場合であって、画質調整前の画像と、画質調整後の画像との差異が明確に認識できない場合、(1)処理強度の問題なのか、それとも、(2)処理対象領域の設定の問題なのか、を区別することは、一般ユーザにとっては、難しい。
 そこで、本発明は、上記問題点に鑑み、処理対象領域を明示することで、容易に、画質改善効果を認識することができる画像(映像)を生成する画像生成装置、および当該画像を表示する表示装置を実現することを目的とする。
 上記課題を解決するために、第1の構成の画像生成装置は、画面複製部と、マスク領域決定部と、画質調整部と、合成部と、を備える。
 画面複製部は、入力画像の少なくとも一部の画像領域を抽出し処理対象画像として出力する。
 マスク領域決定部は、処理対象画像において、マスク領域を決定するとともに、マスク領域を明示したマスク画像を生成する。
 画質調整部は、マスク領域決定部により決定されたマスク領域において、処理対象画像に対して所定の画像処理を実行し、当該画像処理を実行した画像を画質調整後画像として出力する。
 合成部は、処理対象画像と、マスク画像と、画質調整後画像とが1つの表示画面に表示されるように、処理対象画像と、マスク画像と、画質調整後画像とを合成した合成画像を取得する。
 本発明によれば、処理対象領域を明示することで、容易に、画質改善効果を認識することができる画像(映像)を生成する画像生成装置、および当該画像を表示する表示装置を実現することができる。
第1実施形態に係る画像生成装置1000の概略構成図。 マスク領域決定部2の概略構成図。 画質調整部4の概略構成図。 画質調整部4Aの概略構成図。 画像生成装置1000の概略構成と、画像Din、D1、D2、D3、D4およびDoutの一例を示す図。 画面複製部1における複製処理の例を模式的に示した図。 画像生成装置1000により生成された出力画像Doutを表示させた画面(一例)を示す図。 第1実施形態の変形例の画像生成装置1000Aの概略構成図。 第1実施形態の変形例の画像生成装置1000Aのマスク領域決定部2Aの概略構成図。 第1実施形態の変形例の画像生成装置1000Aの画質調整部4Bの概略構成図。 第1実施形態の変形例の画像生成装置1000Aの画質調整部4Cの概略構成図。 第1実施形態の変形例の画像生成装置1000Aにより生成した画像(出力画像Dout)と調整パラメータの設定状況を示す図(一例)。 第2実施形態に係る画像生成装置2000の概略構成図。 マスク領域決定部2Bの概略構成図。 画質調整部4Dの概略構成図。 第2実施形態に係る画像生成装置2000により生成した画像(出力画像Dout)を模式的に示す図(一例)。 画像生成装置2000において、マスクパラメータと処理強度パラメータとに基づいて、処理対象領域(マスク領域)の調整、および、画質調整(画像処理の処理強度の調整)を行うように構成した場合において、生成した画像(出力画像Dout)と調整パラメータの設定状況を示す図(一例)。 第3実施形態の画像生成装置3000の概略構成図。 第3実施形態に係る画像生成装置3000の処理フローチャート。 第3実施形態に係る画像生成装置3000により生成した画像(出力画像Dout)を模式的に示す図(一例)。
 [第1実施形態]
 第1実施形態について、図面を参照しながら、以下、説明する。
 <1.1:画像生成装置の構成>
 図1は、第1実施形態に係る画像生成装置1000の概略構成図である。
 画像生成装置1000は、図1に示すように、画面複製部1と、マスク領域決定部2と、合成部3と、画質調整部4と、を備える。
 画面複製部1は、入力画像Dinから1/3以下の画像領域を抽出し、抽出した画像領域を複製し1つの画像(1画面を形成する画像(例えば、1フレーム画像))に合成する。画面複製部1は、合成した画像(合成複製画像)D1を、マスク領域決定部2と、合成部3とに出力する。
 マスク領域決定部2は、図2に示すように、マスク算出部21と、マスク画像取得部22とを備える。
 マスク算出部21は、画面複製部1から出力される合成複製画像D1を入力し、入力された合成複製画像D1に基づいて、マスク領域を決定する(詳細については、後述)。そして、マスク算出部21は、決定したマスク領域を示す信号(マスク領域指示信号)M_ctlをマスク画像取得部22と、画質調整部4とに出力する。
 マスク画像取得部22は、マスク算出部21から出力されるマスク領域指示信号M_ctlを入力する。マスク画像取得部22は、入力されたマスク領域指示信号M_ctlに基づいて、マスク領域を明示する画像(マスク画像)D2を生成する。そして、マスク画像取得部22は、生成したマスク画像D2を合成部3に出力する。
 合成部3は、図1に示すように、第1合成部31と、第2合成部32とを備える。
 第1合成部31は、画面複製部1から出力される合成複製画像D1と、マスク領域決定部2から出力されるマスク画像D2とを入力する。第1合成部31は、合成複製画像D1と、マスク画像D2とを合成することで、合成画像D3を生成する。そして、第1合成部31は、生成した合成画像D3を第2合成部32と、画質調整部4とに出力する。
 第2合成部32は、第1合成部31から出力される合成画像D3と、画質調整部4から出力される画質調整画像D4(後述)とを入力する。第2合成部32は、合成画像D3と、画質調整画像D4とを合成することで、出力画像Doutを生成し、出力する。
 画質調整部4は、第1合成部31から出力される合成画像D3と、マスク領域決定部2のマスク算出部21から出力されるマスク領域指示信号M_ctlとを入力する。画質調整部4は、マスク領域指示信号M_ctlにより決定される画像領域に、所定の画像処理(画質調整処理)を実行する。そして、画質調整部4は、当該画像処理(画質調整処理)を実行した画像(画質調整画像)D4を合成部3の第2合成部32に出力する。
 画質調整部4は、マスク領域決定部2により生成されるマスク領域指示信号M_ctlが、「0」と「1」とをとる2値信号である場合、例えば、図3に示すように構成される。つまり、この場合、画質調整部4は、画像処理部41と、ゲート部42と、セレクタ43とを備える。
 画像処理部41は、第1合成部31から出力される合成画像D3を入力し、入力された合成画像D3に対して、所定の画像処理を実行する。そして、画像処理部41は、当該画像処理後の画像D31(画像信号D31)をセレクタ43に出力する。
 ゲート部42は、マスク算出部21から出力されるマスク領域指示信号M_ctlと、ゲート信号gateとを入力とする。ゲート部42は、ゲート信号gateがアクティブ(例えば、「1」)である場合、マスク領域指示信号M_ctlを、セレクタ43に出力し、一方、ゲート信号gateが非アクティブ(例えば、「0」)である場合、「0」を、セレクタ43に出力する。ゲート部42は、例えば、ANDゲートで実現される。
 セレクタ43は、第1合成部31から出力される合成画像D3と、画像処理部41から出力される画像処理後の画像D31とを入力する。セレクタ43は、ゲート部42からの出力が「0」である場合、画像D3を選択し、一方、ゲート部42からの出力が「1」である場合、画像D31を選択する。セレクタ43は、選択した画像(画像信号)を、画像D4(画像信号D4)として、合成部3の第2合成部32に出力する。
 また、画質調整部は、マスク領域決定部2により生成されるマスク領域指示信号M_ctlが、0~1の間の中間値をとる信号である場合、例えば、図4に示すように構成される。つまり、この場合、画質調整部4Aは、画像処理部41と、ゲートセレクタ44と、内分処理部45とを備える。なお、この場合、図1に示した画像生成装置1000の画質調整部4は、図4に示す画質調整部4Aに置換すればよい。
 画像処理部41は、第1合成部31から出力される合成画像D3を入力し、入力された合成画像D3に対して、所定の画像処理を実行する。そして、画像処理部41は、当該画像処理後の画像D31(画像信号D31)をセレクタ43に出力する。
 ゲートセレクタ44は、マスク算出部21から出力されるマスク領域指示信号M_ctlと、固定値「0」とを入力とする。ゲートセレクタ44は、ゲート信号gateがアクティブ(例えば、「1」)である場合、マスク領域指示信号M_ctlを、内分処理部45に出力し、一方、ゲート信号gateが非アクティブ(例えば、「0」)である場合、「0」を、内分処理部45に出力する。
 内分処理部45は、図4に示すように、第1係数乗算部451と、第2係数乗算部452と、加算器453とを備える。
 第1係数乗算部451は、第1合成部31から出力される合成画像D3を入力し、入力された合成画像D3に対して、係数(1-α)を乗算する。つまり、合成画像D3の各画素の画素値(信号値)に係数(1-α)を乗算する。そして、第1係数乗算部451は、乗算後の画素値により形成される画像(画像信号)を加算器453に出力する。
 なお、係数αは、ゲートセレクタ44からの出力であり、ゲート信号gateが「1」である場合、係数αは、マスク領域指示信号M_ctlの信号値である。
 第2係数乗算部452は、画像処理部41から出力される画像処理後の画像D31を入力し、入力された画像D31に対して、係数αを乗算する。つまり、画像D31の各画素の画素値(信号値)に係数αを乗算する。そして、第2係数乗算部452は、乗算後の画素値により形成される画像(画像信号)を加算器453に出力する。
 なお、係数αは、ゲートセレクタ44からの出力であり、ゲート信号gateが「1」である場合、係数αは、マスク領域指示信号M_ctlの信号値である。
 加算器453は、第1係数乗算部451の出力と、第2係数乗算部452の出力とを入力とし、両者を加算する。そして、加算器453は、加算後の画像(画像信号)を、画像D4(画像信号D4)として、第2合成部32に出力する。
 つまり、内分処理部45は、
  D4=(1-α)×D3+α×D31
  0≦α≦1
により、画像D3と画像D31とを、内分比αにより内分処理し、内分処理後の画像を、画像D4として、第2合成部32に出力する。
 <1.2:画像生成装置の動作>
 以上のように構成された画像生成装置1000の動作について、以下、説明する。
 図5は、画像生成装置1000の概略構成と、画像Din、D1、D2、D3、D4およびDoutの一例を示す図である。
 なお、以下では、図5に示す画像Dinが、画像生成装置1000に入力された場合を一例として、説明する。
 図5に示す画像Dinが、画面複製部1に入力される。
 画面複製部1では、入力画像Dinから1/3以下の画像領域が抽出され、抽出された画像領域が複製されて、1つの画像(1画面を形成する画像(例えば、1フレーム画像))に合成される。
 図6は、画面複製部1における複製処理の例を模式的に示した図である。
 画面複製部1では、図6(a)に示すように、画像領域R1を抽出し、画像領域R1が左右に3つ並ぶように複製することで、合成複製画像D1(図6(a)の右側の画像)を生成する。あるいは、画面複製部1では、図6(b)に示すように、画像領域R1aを抽出し、画像領域R1aが上下に3つ並ぶように複製することで、合成複製画像D1(図6(b)の右側の画像)を生成する。あるいは、画面複製部1では、図6(c)に示すように、画像領域R1bを抽出し、画像領域R1bが斜め方向に3つ並ぶように複製することで、合成複製画像D1(図6(c)の右側の画像)を生成する。
 以下では、図6(a)に示すように、画面複製部1により、画像領域R1が左右に3つ並ぶように複製され、合成複製画像D1(図6(a)の右側の画像)が生成された場合について、説明する。
 上記のようにして、画面複製部1により生成された合成複製画像D1は、マスク領域決定部2のマスク算出部21と、合成部3の第1合成部31と、に出力される。
 マスク算出部21では、入力された合成複製画像D1から、マスク領域(処理対象領域)が決定される。例えば、マスク領域(処理対象領域)を肌色領域とする場合、マスク算出部21は、合成複製画像D1において、肌色の領域を検出し、検出した領域に含まれる画素に対応する信号値をMt(例えば、「1」)に設定し、それ以外の領域の画素に対応する信号値(画素値)をMf(例えば、「0」)に設定したマスク信号M_ctlを取得する。そして、取得されたマスク信号M_ctlは、マスク画像取得部22と、画質調整部4とに出力される。
 なお、マスク算出部21が決定するマスク領域(処理対象領域)は、上記のように、特定の色の検出領域に限定されない。例えば、マスク算出部21は、合成複製画像D1において、輪郭領域やテクスチャ領域を検出し、当該検出した画像領域を、マスク領域(処理対象領域)として決定(設定)するようにしてもよい。
 さらに、マスク算出部21は、顔検出等の高度なオブジェクト認識処理を行うことで、特定のオブジェクトを検出し、当該検出したオブジェクトに相当する画像領域を、マスク領域(処理対象領域)として決定(設定)するようにしてもよい。
 また、マスク領域(処理対象領域)を示すマスク信号M_ctlは、上記のように、その信号値が「0」または「1」をとる2値信号に限定されない。例えば、マスク信号M_ctlは、0~1の間を複数に分割した多値をとる多値信号であってもよい。また、マスク信号M_ctlは、0~1の間の中間値をとる信号であってもよい。なお、上記では、マスク信号M_ctlの信号値の取り得る範囲を0~1に正規化した場合について説明しており、上記に限定されないのは言うまでもない。例えば、マスク信号M_ctlを、8ビットの信号とし、0~255の値をとる信号であってもよい。
 また、マスク算出部21は、例えば、特願2012-265454号に開示されているように、尤度に基づいて、マスク信号M_ctlを取得するようにしてもよい。具体的には、マスク算出部21は、ある画像領域(例えば、検出対象オブジェクト)において、所定の特徴(例えば、画像特徴量)が含まれる度合いに応じて尤度を設定し、設定した尤度に基づいて、マスク信号M_ctlを取得するようにしてもよい。
 なお、マスク算出部21で取得されるマスク信号M_ctlは、画質調整部4で、画質調整を制御することができる信号であれば、上記以外の信号であってもよい。
 以上のようにして、マスク算出部21により生成されたマスク信号M_ctlは、マスク画像取得部22と、画質調整部4とに出力される。
 マスク画像取得部22では、マスク算出部21から出力されたマスク信号M_ctlに対応する画像が取得される。つまり、マスク画像取得部22は、マスク信号M_ctlの信号値(マスク値)を画像信号(映像信号)のフォーマットに変換する。
 例えば、マスク画像取得部22は、以下の(1)、(2)により、マスク信号M_ctlの信号値(マスク値)を画像信号(映像信号)のフォーマットに変換する。
(1)画素P1(x1,y1)(画像上の座標(x1,y1)の画素)に対応するマスク信号M_ctlの信号値がMtである場合、マスク画像取得部22は、画素P1(x1,y1)が「赤」に表示されるように、画素P1(x1,y1)の赤色成分値R(x1,y1)、緑色成分値G(x1,y1)および青色成分値B(x1,y1)を、
  R(x1,y1)=255
  G(x1,y1)=0
  B(x1,y1)=0
に設定する。なお、各画素は、RGBそれぞれ8ビット(0~255)の階調値で表現されるものとする。
 また、マスク信号M_ctlの信号値Mtが0~1の中間値をとる場合、
マスク画像取得部22は、画素P1(x1,y1)が「赤」に表示されるように、画素P1(x1,y1)の赤色成分値R(x1,y1)、緑色成分値G(x1,y1)および青色成分値B(x1,y1)を、
  R(x1,y1)=255×Mt
  G(x1,y1)=0
  B(x1,y1)=0
  0≦Mt≦1
に設定するようにしてもよい。
(2)画素P1(x1,y1)(画像上の座標(x1,y1)の画素)に対応するマスク信号M_ctlの信号値がMfである場合、マスク画像取得部22は、画素P1(x1,y1)が「黒」に表示されるように、画素P1(x1,y1)の赤色成分値R(x1,y1)、緑色成分値G(x1,y1)および青色成分値B(x1,y1)を、
  R(x1,y1)=0
  G(x1,y1)=0
  B(x1,y1)=0
に設定する。
 なお、上記では、RGB色空間の各色成分が8ビットの値をとる画像信号(映像信号)にフォーマット変換する場合の処理であるが、これに限定されることはなく、マスク画像取得部22は、マスク信号M_ctlの信号値(マスク値)を、他の色空間(例えば、YCbCr色空間等)の画像信号(映像信号)に変換してもよい。また、ビット数も8ビットに限定されない。
 上記(1)、(2)により取得された画像信号(映像信号)、すなわち、マスク信号M_ctlの信号値がMtの領域が「赤」に表示され、マスク信号M_ctlの信号値がMfの領域が「黒」に表示される画像信号(映像信号)は、画像信号(マスク画像信号)D2として、マスク画像取得部22から合成部3の第1合成部31に出力される。
 合成部3の第1合成部31では、画面複製部1から出力される合成複製画像D1と、マスク領域決定部2のマスク画像取得部から出力されるマスク画像D2(マスク画像信号により形成される画像)とが、合成される。具体的には、第1合成部31では、図5に示す合成複製画像D1の領域AR2(図5に示すように、3分割した真ん中の画像領域)が、図5に示すマスク画像D2の領域AR2(図5に示すように、3分割した真ん中の画像領域)に、置換されるように、合成処理が実行される。この合成処理は、例えば、垂直同期信号(VD信号)、水平同期信号(HD信号)、イネーブル信号等に基づいて、領域AR1(図5に示すように、3分割した左側の画像領域)および領域AR3(図5に示すように、3分割した右側の画像領域)では、合成複製画像信号D1(合成複製画像D1)を選択して出力し、領域AR2では、マスク画像信号D2(マスク画像D2)を選択して出力するように、第1合成部31において制御することで実現できる。あるいは、領域AR2の座標情報(例えば、領域AR2の左上端点の座標と右下端点の座標)に基づいて、領域AR1および領域AR3では、合成複製画像信号D1(合成複製画像D1)を選択して出力し、領域AR2では、マスク画像信号D2(マスク画像D2)を選択して出力するようにしてもよい。
 このようにして、第1合成部31により、合成された画像(画像信号)は、合成画像D3(合成画像信号D3)として、第1合成部31から、第2合成部32と、画質調整部4に出力される。
 画質調整部4では、図3に示すように、第1合成部31から出力される合成画像D3が入力される。
 画質調整部4の画像処理部41では、合成画像D3に対して、所定の画像処理(例えば、画質調整処理)が実行され、当該画像処理後の画像D31(画像信号D31)が、セレクタ43に出力される。
 画質調整部4のゲート部42では、ゲート信号gateに基づいて、マスク算出部21から出力されるマスク領域指示信号M_ctlが、セレクタ43に出力される。つまり、ゲート信号gateがアクティブ(例えば、「1」)である場合、マスク領域指示信号M_ctlが、セレクタ43に出力され、一方、ゲート信号gateが非アクティブ(例えば、「0」)である場合、「0」が、セレクタ43に出力される。
 セレクタ43では、ゲート部42からの出力に従い、合成画像D3および画像処理部41での画像処理後の画像D31のいずれかが選択されて出力される。例えば、図3に示すように、マスク領域指示信号M_ctlが、略中央部の円形の領域で値Mt(=1)をとり、それ以外の領域で、値Mf(=0)をとる場合、ゲート信号gateを、領域AR1および領域AR2でのみアクティブにし、領域AR2で非アクティブにすると、領域AR1および領域AR3において、マスク領域指示信号M_ctlが値Mt(=1)である略中央部の円形の領域で、画像信号D31が選択され、それ以外の領域では、合成画像D3が選択される。
 このように処理することで、領域AR1および領域AR3において、
(1)マスク領域指示信号M_ctlが値Mt(=1)である領域では、画像処理部41により画像処理された画像(画像信号)D31が出力され、
(2)マスク領域指示信号M_ctlが値Mf(=0)である領域では、合成画像D3が出力される。
 なお、上記では、ゲート信号gateを、領域AR1および領域AR3で、アクティブにする場合について、説明したが、これに限定されず、例えば、ゲート信号gateを、領域AR3のみでアクティブにするようにしてもよい。この場合、セレクタ43から出力される画像D4の領域AR1および領域AR2は、合成画像D3と同様であり、領域AR3においてのみ、
(1)マスク領域指示信号M_ctlが値Mt(=1)である領域では、画像処理部41により画像処理された画像(画像信号)D31が、セレクタ43から出力され、
(2)マスク領域指示信号M_ctlが値Mf(=0)である領域では、合成画像D3が、セレクタ43から出力される。
 このようにして生成された画像D4(画像信号D4)は、画質調整部4から、合成部3の第2合成部32に出力される。
 なお、上記では、マスク領域指示信号M_ctlが、2値、すなわち、「0」または「1」をとる場合について説明しているが、マスク領域指示信号M_ctlが0~1の間の中間値をとる場合、画質調整部4を、画質調整部4Aに置換し、画質調整部4Aにおいて、以下の処理を実行すればよい。
 画質調整部4Aでは、図4に示すように、第1合成部31から出力される合成画像D3が入力される。
 合成画像D3は、内分処理部45の第1係数乗算部451と、画像処理部41とに入力される。
 画質調整部4Aの画像処理部41では、合成画像D3に対して、所定の画像処理(例えば、画質調整処理)が実行され、当該画像処理後の画像D31(画像信号D31)が、内分処理部45の第2係数乗算部452に出力される。
 画質調整部4のゲートセレクタ44では、ゲート信号gateに基づいて、マスク算出部21から出力されるマスク領域指示信号M_ctl、または、固定値「0」が、内分処理部45に出力される。つまり、ゲート信号gateがアクティブ(例えば、「1」)である場合、マスク領域指示信号M_ctlが、内分処理部45に出力され、一方、ゲート信号gateが非アクティブ(例えば、「0」)である場合、「0」が、内分処理部45に出力される。
 内分処理部45の第1係数乗算部451では、画像D3(の各画素の画素値)に、係数(1-α)が乗算され、乗算後の画像D3が、加算器453に出力される。
 内分処理部45の第2係数乗算部452では、画像D31(の各画素の画素値)に、係数αが乗算され、乗算後の画像D31が、加算器453に出力される。
 加算器453では、第1係数乗算部451からの出力と、第2係数乗算部452からの出力が加算され、加算後の画像(画像信号)が、画像D4(画像信号D4)として出力される。
 つまり、画質調整部4Aでは、
(1)gate=0のとき、α=0なので、
  D4=D3
(2)gate=1のとき、
  α=M_ctl(0≦M_ctl≦1)
  D4=(1-α)×D3+α×D31
に相当する処理が実行される。
 このようにして生成された画像D4(画像信号D4)は、画質調整部4Aから、合成部3の第2合成部32に出力される。
 合成部3の第2合成部32では、第1合成部31から出力される合成画像D3と、画質調整部4(または画質調整部4A)から出力される画質調整画像D4とが、合成される。具体的には、第2合成部32では、図5に示す合成画像D3の領域AR3(図5に示すように、3分割した右側の画像領域)が、図5に示す画質調整画像D4の領域AR3(図5に示すように、3分割した右側の画像領域)に、置換されるように、合成処理が実行される。この合成処理は、例えば、垂直同期信号(VD信号)、水平同期信号(HD信号)、イネーブル信号等に基づいて、領域AR1(図5に示すように、3分割した左側の画像領域)および領域AR2(図5に示すように、3分割した真ん中の画像領域)では、合成画像信号D3(合成画像D3)を選択して出力し、領域AR3(図5に示すように、3分割した右側の画像領域)では、画質調整画像信号D4(画質調整画像D4)を選択して出力するように、第2合成部32において制御することで実現できる。あるいは、領域AR3の座標情報(例えば、領域AR3の左上端点の座標と右下端点の座標)に基づいて、領域AR1および領域AR2では、合成画像信号D3(合成画像D3)を選択して出力し、領域AR3では、画質調整画像信号D4(画質調整画像D4)を選択して出力するようにしてもよい。
 このようにして、第2合成部32により、合成された画像(画像信号)は、出力画像Dout(出力画像信号Dout)として、第2合成部32から出力される。そして、第2合成部32から出力された画像Doutは、例えば、表示部(不図示)に表示される。
 以上のように、画像生成装置1000では、表示装置に表示させたときに、(1)画質調整前の画像と、(2)マスク領域(画質調整処理の対象領域)を示す画像と、(3)画質調整後の画像とを、1つの画面に、並べて表示される画像(映像)を生成することができる。つまり、画像生成装置1000により生成される画像(映像)を見ることで、どの画像領域において、画質調整処理が施されているかを、専門知識を有しない一般ユーザであっても、容易に認識(確認)することができる。
 例えば、図7に示すように、画像生成装置1000により生成された出力画像Doutを表示させた画面において、(1)画質調整前の画像(領域AR1の画像)と、(2)マスク領域(画質調整処理の対象領域)を示す画像(領域AR2の画像)と、(3)画質調整後の画像(領域AR3の画像)とが、1つの画面に、3つ並べて表示させる。
 そして、図7に示すように、領域AR2の領域AP2が、画質調整処理が実行された領域を示しているので、領域AR3の領域AP3が、画質調整処理対象となった領域であり、当該領域において、画質調整処理(画像処理部41による処理)が実行されている。したがって、領域AR1と領域AR3において、領域AP2に相当する領域を見比べることで、画質調整効果を、専門知識を有しない一般ユーザであっても、容易に、認識(確認)することができる。
 このように、画像生成装置1000では、画質調整処理前後の画像(映像)と、画質調整処理の対象領域を明示した画像(映像)とを合成した画像(映像)を生成することができる。したがって、画像生成装置1000により生成された画像(映像)を表示装置等に表示させることで、一般ユーザであっても、容易に、画質改善効果を認識(確認)することができる。
 ≪変形例≫
 次に、第1実施形態の変形例について、説明する。
 図8は、本変形例の画像生成装置1000Aの概略構成図である。
 図9は、本変形例の画像生成装置1000Aのマスク領域決定部2Aの概略構成図である。
 図10は、本変形例の画像生成装置1000Aの画質調整部4Bの概略構成図である。
 図11は、本変形例の画像生成装置1000Aの画質調整部4Cの概略構成図である。
 図8に示すように、本変形例の画像生成装置1000Aは、第1実施形態の画像生成装置1000において、調整パラメータ入力部5を追加し、マスク領域決定部2をマスク領域決定部2Aに置換し、画質調整部4Bに置換した構成を有している。
 それ以外については、本変形例の画像生成装置1000Aは、第1実施形態の画像生成装置1000と同様である。なお、本変形例において、第1実施形態と同様の部分については、説明を省略する。
 調整パラメータ入力部5は、例えば、(例えば、ユーザにより)外部から、マスク領域決定部2Aにおいて、マスク領域(処理対象画像)に設定(決定)される算出精度を調整するためのマスクパラメータM_paraと、画質調整部4Bでの画像処理の強度を調整するための処理強度パラメータImg_paraとを入力することができるインタフェースである。
 調整パラメータ入力部5は、入力されたマスクパラメータM_paraに関する情報を、マスク領域決定部2Aのマスク算出部21に出力する。
 マスク領域決定部2Aのマスク算出部21は、図9に示すように、調整パラメータ入力部5から出力されるマスクパラメータM_paraに関する情報を入力し、マスクパラメータM_paraに基づいて、マスク算出のための精度を設定する。そして、マスク領域決定部2Aのマスク算出部21は、マスクパラメータM_paraに基づいて設定された算出精度により、マスク領域を決定し、決定したマスク領域を示す信号(マスク領域指示信号)M_ctlをマスク画像取得部22と、画質調整部4とに出力する。
 つまり、マスク算出部21において、マスクパラメータM_paraに基づいた算出精度によりマスク領域を決定されることで、マスク領域(処理対象領域)に決定され易さを調整することができる。
 画質調整部4Bの画像処理部41は、図10に示すように、調整パラメータ入力部5から出力される処理強度パラメータImg_paraに関する情報を入力し、処理強度パラメータImg_paraに基づいて、画像処理部41で実行される画像処理の処理強度を設定する。そして、画質調整部4Bの画像処理部41は、処理強度パラメータImg_paraに基づいて設定された処理強度により、合成画像D3に対して画像処理を実行し、当該画像処理を実行した後の画像(画像信号)を、画像D31(画像信号)D31として、セレクタ43に出力する。
 つまり、画像処理部41では、処理強度パラメータImg_paraに基づいた処理強度で画像処理を実行することができる。
 また、第1実施形態と同様に、画質調整部4Bを、図11に示す画質調整部4Cに置換してもよい。
 画質調整部4Cにおいても、画質調整部4Bと同様に、画像処理部41に、処理強度パラメータImg_paraに関する情報が入力される。そして、画質調整部4Cの画像処理部41は、処理強度パラメータImg_paraに基づいて設定された処理強度により、合成画像D3に対して画像処理を実行し、当該画像処理を実行した後の画像(画像信号)を、画像D31(画像信号)D31として、内分処理部45に出力する。
 図12は、本変形例の画像生成装置1000Aにより生成した画像(出力画像Dout)と調整パラメータの設定状況を示す図(一例)である。
 図12(a)、(b)の下側の図は、処理対象領域を決定するためのパラメータと、処理強度のパラメータと、を模式的に示しており、処理対象領域を決定するためのパラメータがマスクパラメータM_paraに対応し、処理強度のパラメータが処理強度パラメータImg_paraに対応する。
 図12(a)の場合と、図12(b)の場合とでは、処理強度が同じ(処理強度パラメータImg_paraの値が同じ)で、処理対象領域を決定するためのパラメータは、図12(a)の場合の設定値よりも、図12(b)の場合の設定値の方が大きい(より処理対象領域に設定されやすい値になっている)。
 図12(a)の場合では、処理対象領域(マスク領域)が、領域AP2に相当する画像領域であるが、図12(b)の場合では、処理対象領域(マスク領域)が、領域AP2と領域AP2aに相当する画像領域となっており、図12(a)の場合よりも広い領域が、処理対象領域に設定されていることが分かる。
 つまり、図12(a)の場合では、領域AR3の領域AP3の部分に対して、画質調整処理が実行されており、図12(b)の場合では、領域AR3の領域AP3およびAP3aの部分に対して、画質調整処理が実行されていることが、容易に認識することができる。
 したがって、当該領域に注目して、画質調整前の画像(領域AR1に表示されている画像)と、画質調整後の画像(領域AR3に表示されている画像)とを比較することで、画質調整効果を容易に確認することができる。
 さらに、調整パラメータ入力部5において、マスクパラメータM_paraと、処理強度パラメータImg_paraとの値を変更することで、当該パラメータの変更に伴う、処理対象領域の変化、および、画質調整効果の変化を、容易に認識することができる。
 なお、図12(a)、(b)の下側に示したパラメータの調整状況を示す画像は、出力画像Doutに合成させて、あるいは、重畳させて、表示画面に表示させるようにしてもよい。
 [第2実施形態]
 次に、第2実施形態について、説明する。
 なお、以下では、本実施形態に特有の部分について、説明し、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
 図13は、第2実施形態に係る画像生成装置2000の概略構成図である。
 画像生成装置2000は、図13に示すように、第1実施形態の画像生成装置1000において、マスク領域決定部2をマスク領域決定部2Bに置換し、画質調整部4を画質調整部4Dに置換した構成を有している。
 それ以外については、本実施形態の画像生成装置2000は、第1実施形態の画像生成装置1000と同様である。
 図14は、マスク領域決定部2Bの概略構成図である。
 マスク領域決定部2Bは、図14に示すように、第1マスク算出部21Aと、第2マスク算出部21Bと、第3マスク算出部21Cと、マスク画像取得部22Aと、を備える。
 第1マスク算出部21Aは、画面複製部1から出力される合成複製画像D1を入力し、入力された合成複製画像D1に基づいて、第1マスク領域(例えば、人の顔部分の画像領域)を決定する。そして、第1マスク算出部21Aは、決定した第1マスク領域を示す信号(第1マスク領域指示信号)M1_ctlをマスク画像取得部22Aと、画質調整部4Dとに出力する。
 第2マスク算出部21Bは、画面複製部1から出力される合成複製画像D1を入力し、入力された合成複製画像D1に基づいて、第2マスク領域(例えば、文字の画像領域)を決定する。そして、第2マスク算出部21Bは、決定した第2マスク領域を示す信号(第2マスク領域指示信号)M2_ctlをマスク画像取得部22Aと、画質調整部4Dとに出力する。
 第3マスク算出部21Cは、画面複製部1から出力される合成複製画像D1を入力し、入力された合成複製画像D1に基づいて、第3マスク領域(例えば、特定色の平坦画像領域)を決定する。そして、第3マスク算出部21Cは、決定した第3マスク領域を示す信号(第3マスク領域指示信号)M3_ctlをマスク画像取得部22Aと、画質調整部4Dとに出力する。
 マスク画像取得部22Aは、第1マスク算出部21Aから出力される第1マスク領域指示信号M1_ctlと、第2マスク算出部21Bから出力される第2マスク領域指示信号M2_ctlと、第3マスク算出部21Cから出力される第3マスク領域指示信号M3_ctlと、を入力する。マスク画像取得部22Aは、入力された第1マスク領域指示信号M1_ctl~M3_ctlに基づいて、それぞれのマスク領域を明示する画像(マスク画像)D2を生成する。
 例えば、マスク画像取得部22Aは、
(1)第1マスク領域指示信号M1_ctlにおいて、その信号値がMt(=1)である部分に相当する画像領域(例えば、図14に示す円形の領域)に含まれる画素が赤色に表示されるようにし、
(2)第2マスク領域指示信号M2_ctlにおいて、その信号値がMt(=1)である部分に相当する画像領域(例えば、図14に示す文字が表示されている部分の矩形領域)に含まれる画素が緑色に表示されるようにし、
(3)第3マスク領域指示信号M3_ctlにおいて、その信号値がMt(=1)である部分に相当する画像領域(例えば、図14に示す下側の矩形領域)に含まれる画素が青色に表示されるようにして、
それぞれのマスク領域を明示する画像(マスク画像)D2を生成する。
 そして、マスク画像取得部22Aは、生成したマスク画像D2を合成部3に出力する。
 図15は、画質調整部4Dの概略構成図である。
 画質調整部4Dは、図15に示すように、第1画質調整部46と、第2画質調整部47と、第3画質調整部48と、画質調整合成部49と、を備える。
 第1画質調整部46は、第1実施形態の画質調整部4と同様の構成を有しており、図15に示すように、第1画像処理部461と、ゲート部462と、セレクタ463とを備える。
 第1画像処理部461は、第1合成部31から出力される合成画像D3を入力とし、入力された合成画像D3に対して第1の画像処理(例えば、肌色部分のノイズリダクション処理)を実行する。そして、第1の画像処理を実行した後の画像(画像信号)を画像D311(画像信号D311)として、セレクタ463に出力する。
 セレクタ463は、第1実施形態の画質調整部4のセレクタ43と同様に、
(1)ゲート信号がアクディブ(例えば、「1」)であり、第1マスク領域指示信号M1_ctlの信号値が「1」である場合、画像D311(画像信号D311)を選択し、画質調整合成部49に出力し、
(2)上記(1)以外の場合、合成画像D3(合成画像信号D3)を選択し、画質調整合成部49に出力する。
 なお、第1画質調整部46から画質調整合成部49に出力される画像(画像信号)を画像D321(画像信号D321)とする。
 第2画質調整部47は、第1実施形態の画質調整部4と同様の構成を有しており、図15に示すように、第2画像処理部471と、ゲート部472と、セレクタ473とを備える。
 第2画像処理部471は、第1合成部31から出力される合成画像D3を入力とし、入力された合成画像D3に対して第2の画像処理(例えば、文字部分の強調処理)を実行する。そして、第2の画像処理を実行した後の画像(画像信号)を画像D312(画像信号D312)として、セレクタ473に出力する。
 セレクタ473は、第1実施形態の画質調整部4のセレクタ43と同様に、
(1)ゲート信号がアクディブ(例えば、「1」)であり、第2マスク領域指示信号M2_ctlの信号値が「1」である場合、画像D312(画像信号D312)を選択し、画質調整合成部49に出力し、
(2)上記(1)以外の場合、合成画像D3(合成画像信号D3)を選択し、画質調整合成部49に出力する。
 なお、第2画質調整部47から画質調整合成部49に出力される画像(画像信号)を画像D322(画像信号D322)とする。
 第3画質調整部48は、第1実施形態の画質調整部4と同様の構成を有しており、図15に示すように、第3画像処理部481と、ゲート部482と、セレクタ483とを備える。
 第3画像処理部481は、第1合成部31から出力される合成画像D3を入力とし、入力された合成画像D3に対して第3の画像処理(例えば、特定色の平坦画像領域のディテールエンハンサ処理)を実行する。そして、第3の画像処理を実行した後の画像(画像信号)を画像D313(画像信号D313)として、セレクタ483に出力する。
 セレクタ483は、第1実施形態の画質調整部4のセレクタ43と同様に、
(1)ゲート信号がアクディブ(例えば、「1」)であり、第3マスク領域指示信号M3_ctlの信号値が「1」である場合、画像D313(画像信号D313)を選択し、画質調整合成部49に出力し、
(2)上記(1)以外の場合、合成画像D3(合成画像信号D3)を選択し、画質調整合成部49に出力する。
 なお、第3画質調整部48から画質調整合成部49に出力される画像(画像信号)を画像D323(画像信号D323)とする。
 画質調整合成部49は、第1画質調整部46から出力される画像D321と、第2画質調整部47から出力される画像D322と、第3画質調整部48から出力される画像D323と、第1マスク算出部21Aから出力される第1マスク領域指示信号M1_ctlと、第2マスク算出部21Bから出力される第2マスク領域指示信号M2_ctlと、第3マスク算出部21Cから出力される第3マスク領域指示信号M3_ctlと、を入力とする。
 そして、画質調整合成部49は、
(1)第1マスク領域指示信号M1_ctlが値Mt(=1)である領域については、第1画質調整部46から出力される画像D321を選択し、
(2)第2マスク領域指示信号M2_ctlが値Mt(=1)である領域については、第2画質調整部47から出力される画像D322を選択し、
(3)第3マスク領域指示信号M3_ctlが値Mt(=1)である領域については、第3画質調整部48から出力される画像D323を選択し、
(4)上記(1)~(3)のいずれにも該当しない場合、合成画像D3を選択し、
画像D4(画像信号D4)として、合成部3の第2合成部32に出力する。
 なお、上記(1)~(3)の複数に該当する場合、内分処理や平均処理等により、合成した画像を出力するようにしてもよい。
 なお、上記は、第1マスク領域指示信号M1_ctl、第2マスク領域指示信号M2_ctl、および、第3マスク領域指示信号M3_ctlが、2値信号(「0」と「1」をとる信号)の場合を前提としているが、第1実施形態と同様に、第1マスク領域指示信号M1_ctl、第2マスク領域指示信号M2_ctl、および、第3マスク領域指示信号M3_ctlが、0~1の中間値をとる信号である場合、画質調整部4Dを以下のように構成してもよい。
 すなわち、第1画質調整部46、第2画質調整部47および第3画質調整部48を、それぞれ、第1実施形態の画質調整部4Aと同様の構成にして適用することで、画質調整部4Dを構成するようにしてもよい。
 図16は、第2実施形態に係る画像生成装置2000により生成した画像(出力画像Dout)を模式的に示す図(一例)である。
 図16では、(1)第1マスク領域指示信号M1_ctlによりマスク領域に設定された領域が領域AR2Rであり、(2)第2マスク領域指示信号M2_ctlによりマスク領域に設定された領域が領域AR2Gであり、(3)第3マスク領域指示信号M3_ctlによりマスク領域に設定された領域が領域AR2Bである。
 図16に示すように、画像生成装置2000により生成された出力画像Doutを表示させた画面において、(1)画質調整前の画像(領域AR1の画像)と、(2)複数(本実施形態では3つ)のマスク領域(画質調整処理の対象領域)を示す画像(領域AR2の画像)と、(3)画質調整後の画像(領域AR3の画像)とが、1つの画面に、3つ並べて表示させる。
 そして、図16に示すように、
(1)領域AR2の領域AP2R(赤色に表示されている領域)が、第1の画像処理(例えば、肌色部分のノイズリダクション処理)により、画質調整処理が実行された領域を示しており、
(2)領域AR2の領域AP2G(緑色に表示されている領域)が、第2の画像処理(例えば、文字部分の強調処理)により、画質調整処理が実行された領域を示しており、
(3)領域AR2の領域AP2B(青色に表示されている領域)が、第3の画像処理(例えば、特定色の平坦画像領域のディテールエンハンサ処理)により、画質調整処理が実行された領域を示している。
 このように、画像生成装置2000により生成された出力画像Doutでは、領域AP2Gに表示されている画像により、異なる3つの画像処理が、どの領域で実行されているかを、容易に認識することができる。そして、領域AR1と領域AR3において、領域AP2に相当する領域を見比べることで、画質調整効果を、専門知識を有しない一般ユーザであっても、容易に、認識(確認)することができる。
 このように、画像生成装置2000では、画質調整処理前後の画像(映像)と、複数の画質調整処理の対象領域を(例えば、色分けにより)明示した画像(映像)とを合成した画像(映像)を生成することができる。したがって、画像生成装置2000により生成された画像(映像)を表示装置等に表示させることで、一般ユーザであっても、容易に、画質改善効果を認識(確認)することができる。
 また、本実施形態の画像生成装置2000において、第1実施形態の変形例と同様に、調整パラメータ入力部5を追加し、第1実施形態の変形例と同様に、マスクパラメータM_paraと、処理強度パラメータImg_paraとにより、処理対象領域(マスク領域)の調整、および、画質調整(画像処理の処理強度の調整)を行うようにしてもよい。
 例えば、画像生成装置2000において、
(1)マスク領域決定部2Bの第1マスク算出部21Aに入力するマスクパラメータを第1マスクパラメータM1_paraとし、画質調整部4Dの第1画像処理部461に入力させる処理強度パラメータを、第1処理強度パラメータImg1_paraとし、
(2)マスク領域決定部2Bの第2マスク算出部21Bに入力するマスクパラメータを第2マスクパラメータM2_paraとし、画質調整部4Dの第2画像処理部471に入力させる処理強度パラメータを、第2処理強度パラメータImg2_paraとし、
(3)マスク領域決定部2Bの第3マスク算出部21Cに入力するマスクパラメータを第3マスクパラメータM3_paraとし、画質調整部4Dの第3画像処理部481に入力させる処理強度パラメータを、第3処理強度パラメータImg3_paraとして、
第1実施形態の変形例と同様に、マスクパラメータと処理強度パラメータとに基づいて、処理対象領域(マスク領域)の調整、および、画質調整(画像処理の処理強度の調整)を行うようにしてもよい。
 図17は、画像生成装置2000において、マスクパラメータと処理強度パラメータとに基づいて、処理対象領域(マスク領域)の調整、および、画質調整(画像処理の処理強度の調整)を行うように構成した場合において、生成した画像(出力画像Dout)と調整パラメータの設定状況を示す図(一例)である。
 図17(a)、(b)の下側の図は、処理対象領域を決定するためのパラメータと、処理強度のパラメータと、を模式的に示している。具体的には、
(1)パラメータPaRとして表示されているものが、第1マスク算出部21Aに入力される第1マスクパラメータM1_paraと、第1画像処理部461に入力される第1処理強度パラメータImg1_paraとに対応し、
(2)パラメータPaGとして表示されているものが、第2マスク算出部21Bに入力される第2マスクパラメータM2_paraと、第2画像処理部471に入力される第2処理強度パラメータImg2_paraとに対応し、
(3)パラメータPaBとして表示されているものが、第3マスク算出部21Cに入力される第3マスクパラメータM3_paraと、第3画像処理部481に入力される第3処理強度パラメータImg3_paraとに対応する。
 図17では、領域AR2に表示されている画像において、複数(本実施形態では3つ)のマスク領域(画質調整処理の対象領域)が明示されている。つまり、
(1)領域AR2の領域AP2R(赤色に表示されている領域)が、第1の画像処理(例えば、肌色部分のノイズリダクション処理)により、画質調整処理が実行された領域を示しており、
(2)領域AR2の領域AP2G(緑色に表示されている領域)が、第2の画像処理(例えば、文字部分の強調処理)により、画質調整処理が実行された領域を示しており、
(3)領域AR2の領域AP2B(青色に表示されている領域)が、第3の画像処理(例えば、特定色の平坦画像領域のディテールエンハンサ処理)により、画質調整処理が実行された領域を示している。
 図17(a)の状態から、パラメータPaBの処理対象領域の度合いのみを変更し、図17(b)の状態に変更した場合、つまり、第3マスク算出部21Cに入力される第3マスクパラメータM3_paraのみを変更した場合、図17(b)の領域AR2に示されているように、第3の画像処理(例えば、特定色の平坦画像領域のディテールエンハンサ処理)の処理対象領域(マスク領域)が拡大し、画面の上側部分も第3の画像処理の処理対象領域となっていることが容易に確認できる。
 つまり、本実施形態の画像生成装置により生成された画像Doutにおいて、図17(a)の場合、以下のようにして、画質調整効果を確認することができる。
(A1)領域AR2の領域AP2Rに相当する領域(赤色に表示されている領域)において、第1の画像処理(例えば、肌色部分のノイズリダクション処理)が実行されているので、領域AP2Rに相当する部分を、画質調整前の画像(領域AR1の画像)と、画質調整後の画像(領域AR3の画像)とにおいて、見比べることで、その画質調整効果を容易に認識することができる。
(A2)領域AR2の領域AP2Gに相当する領域(緑色に表示されている領域)において、第2の画像処理(例えば、文字部分の強調処理)が実行されているので、領域AP2Rに相当する部分を、画質調整前の画像(領域AR1の画像)と、画質調整後の画像(領域AR3の画像)とにおいて、見比べることで、その画質調整効果を容易に認識することができる。
(A3)領域AR2の領域AP2Bに相当する領域(青色に表示されている領域)において、第3の画像処理(例えば、肌色部分のノイズリダクション処理)が実行されているので、領域AP2Bに相当する部分を、画質調整前の画像(領域AR1の画像)と、画質調整後の画像(領域AR3の画像)とにおいて、見比べることで、その画質調整効果を容易に認識することができる。
 また、本実施形態の画像生成装置により生成された画像Doutにおいて、図17(b)の場合、以下のようにして、画質調整効果を確認することができる。
(B1)領域AR2の領域AP2Rに相当する領域(赤色に表示されている領域)において、第1の画像処理(例えば、肌色部分のノイズリダクション処理)が実行されているので、領域AP2Rに相当する部分を、画質調整前の画像(領域AR1の画像)と、画質調整後の画像(領域AR3の画像)とにおいて、見比べることで、その画質調整効果を容易に認識することができる。
(B2)領域AR2の領域AP2Gに相当する領域(緑色に表示されている領域)において、第2の画像処理(例えば、文字部分の強調処理)が実行されているので、領域AP2Rに相当する部分を、画質調整前の画像(領域AR1の画像)と、画質調整後の画像(領域AR3の画像)とにおいて、見比べることで、その画質調整効果を容易に認識することができる。
(B3)領域AR2の領域AP2Bおよび領域AP2Baに相当する領域(青色に表示されている領域)において、第3の画像処理(例えば、肌色部分のノイズリダクション処理)が実行されているので、領域AP2Bに相当する部分を、画質調整前の画像(領域AR1の画像)と、画質調整後の画像(領域AR3の画像)とにおいて、見比べることで、その画質調整効果を容易に認識することができる。
 このように、本実施形態の画像生成装置では、複数の画像処理を実行して、画質調整する場合であっても、画質調整処理の実行前後の画像と、マスク領域を複数の画像処理ごとに明示した画像とを合成した画像を生成することができる。そして、このようにして生成された画像を表示装置で表示させた場合、画質調整処理の実行前後の画像と、マスク領域を複数の画像処理ごとに明示した画像とが、1つの画面で並べて表示されるので、一般ユーザであっても、それぞれの画像処理の処理対象領域(マスク領域)および処理強度を、容易に把握することができる。つまり、マスク領域を複数の画像処理ごとに明示した画像に基づいて、画質調整処理の実行前後の画像を見比べることで、一般ユーザであっても、それぞれの画像処理の処理対象領域(マスク領域)および処理強度を的確に把握でき、その結果、画質調整効果を容易かつ適切に認識することができる。
 なお、上記では、マスク領域決定部が3つのマスク算出部を有し、画質調整部4Dが3つの画質調整部を有する場合に説明したが、これに限定されることはなく、画像生成装置は、さらに多くのマスク算出部、画質調整部を有するものであってもよい。
 [第3実施形態]
 次に、第3実施形態について、説明する。
 <3.1:画像生成装置の構成>
 図18は、第3実施形態の画像生成装置3000の概略構成図である。
 本実施形態の画像生成装置3000は、図18に示すように、画面複製部1Aと、マスク領域決定部2Cと、合成部3Aと、画質調整部4Eとを備える。
 画面複製部1Aは、入力画像Dinから、所定の画像領域(例えば、図18に示す領域R1)を抽出し、抽出した画像領域の画像を、画像D1(画像信号D1)として、マスク領域決定部2Cと、画質調整部4Eと、合成部3Aとに出力する。
 マスク領域決定部2Cは、画面複製部1Aから出力される画像D1を入力し、入力された画像D1から、マスク領域を明示する画像(マスク画像)D2を生成する。そして、マスク領域決定部2Cは、生成したマスク画像D2を合成部3に出力する。また、マスク領域決定部2Cは、マスク領域を示すマスク領域指示信号M_ctlを生成し、生成したマスク領域指示信号M_ctlを画質調整部4Eに出力する。
 画質調整部4Eは、マスク領域決定部2Cから出力されるマスク領域指示信号M_ctlと、画面複製部1Aから出力される画像D1とを入力する。画質調整部4Eは、画像D1の、マスク領域指示信号M_ctlに示されているマスク領域に対して、所定の画像処理を実行する。そして、画質調整部4Eは、当該画像処理後の画像D4を、合成部3Aに出力する。
 合成部3Aは、画面複製部1Aから出力される画像D1と、マスク領域決定部2Cから出力されるマスク画像D2と、画質調整部4Eから出力される画像処理後の画像D4と、を入力する。そして、合成部3Aha、画像D1、D2、D3を合成し、合成した画像を画像Doutとして、出力する。
 <3.2:画像生成装置の動作>
 以上のように構成された画像生成装置3000の動作について、図19の処理フローチャートを用いて、以下、説明する。
 (S1):
 ステップS1では、初期化処理が実行される。
 具体的には、画面複製部1Aは、入力画像Dinから、例えば、図18に示す領域R1の画像を抽出し、抽出した画像を画像D1とし、画像D1の画像サイズ、あるいは、左上端点の座標および右下端点の座標を取得する。以下では、画像D1の画像サイズのx方向のサイズをX_SIZEとし、y方向のサイズをY_SIZEとし、また、画像D1の左上端点Psの座標をPs(x,y)とし、画像D1の右下端点Peの座標をPe(x,y)と表記すると、
  Ps(x,y)=(0,0)
  Pe(x,y)=(X_SIZE-1,Y_SIZE-1)
であるとして、以下、説明する。
 また、画像D1の座標(x,y)の画素値をP_in(x,y)と表記する。
 (S2):
 ステップS2では、マスク処理が実行される。
 具体的には、マスク領域決定部2Cは、画像D1の座標(x,y)の画像データP_in(x,y)に対してマスク算出処理を行う。そして、マスク領域決定部2Cは、マスク算出結果をM(x,y)として、取得する。なお、マスク領域決定部2Cは、マスク領域に該当すると判断された場合、マスク算出結果M(x,y)を「1」(値Mt)に設定し、一方、マスク領域に該当しないと判断された場合、マスク算出結果M(x,y)を「0」(値Mf)に設定する。
 (S3):
 ステップS3では、マスク画像取得処理が実行される。
 具体的には、マスク領域決定部2Cは、ステップS2で取得したマスク算出結果M(x,y)に基づいて、マスク画像の座標(x,y)の画素値の値Pm(x,y)を決定する。例えば、座標(x,y)がマスク対象領域である場合、例えば、Pm(x,y)のR成分値を「255」に、G成分値およびB成分値を「0」に設定する。これにより、当該座標(x,y)のマスク画像の画素が赤色に表示させることができる。
 (S4):
 ステップS4では、画質調整処理が実行される。
 具体的には、画質調整部4Eは、ステップS2で取得したマスク算出結果M(x,y)に基づいて、画像D1(画像データP_in(x,y))に対して、所定の画像処理を実行する。つまり、
(1)M(x,y)=1の場合、画像D1(画像データP_in(x,y))に対して、所定の画像処理を実行し、当該画像処理の結果をP_adj(x,y)とする。
(2)M(x,y)=0の場合、画像D1(画像データP_in(x,y))に対して、所定の画像処理を実行せず、画像D1の画像データP_in(x,y)を、P_adj(x,y)とする。
 (S5):
 ステップS5では、合成画像生成処理が実行される。
 具体的には、合成部3Aは、画像D1の画像データP_in(x,y)と、ステップS3で生成されたマスク画像の画像データPm(x,y)と、ステップS4で生成された画質調整後の画像の画像データP_adj(x,y)と、に合成し、合成画像(出力画像)の画像データP_out(x,y)を取得する。
 例えば、第1実施形態と同様に、画面を3分割し、左側に画像D1を、中央にマスク画像D2を、右側に画質調整後画像D4を表示させる場合、
  P_out(x,y)=P_in(x,y)
  P_out(x+X_SIZE,y)=Pm(x,y)
  P_out(x+2×X_SIZE,y)=P_adj(x,y)
として、合成画像(出力画像)の画像データP_out(x,y)を取得する。
 これにより、
(1)合成画像(出力画像)の座標(x,y)の位置に、P_in(x,y)(画像D1)が表示され、
(2)合成画像(出力画像)の座標(x+X_SIZE,y)の位置に、Pm(x,y)(マスク画像D2)が表示され、
(3)合成画像(出力画像)の座標(x+2×X_SIZE,y)の位置に、P_in(x,y)(画質調整後画像D4)が表示される。
 (S6~S9):
 ステップS6では、xの値を1だけインクリメントする。そして、ステップS7では、インクリメント後のxの値が、画像D1のx方向の画像サイズX_SIZEと比較する。xの値がX_SIZE以上である場合、処理をステップS8に進め、それ以外の場合は、処理をステップS2に戻す。
 ステップS8では、yの値を1だけインクリメントする。そして、ステップS9では、インクリメント後のyの値が、画像D1のy方向の画像サイズY_SIZEと比較する。yの値がY_SIZE以上である場合、処理を終了させ、それ以外の場合は、処理をステップS2に戻す。
 以上の処理を、画像生成装置3000で実行させることで、第1実施形態の画像生成装置1000と同様の出力画像Doutを取得することができる。
 なお、上記では、マスク算出結果M(x,y)が2値信号(「0」または「1」をとる信号)として、説明したが、これに限定されることはなく、0~1の間の中間値をとるものであってもよい。この場合、第1実施形態と同様に、内分処理等により、マスク算出結果M(x,y)に基づいて、画質調整後画像D4、出力画像Doutを取得するようにしてもよい。
 また、上記では、マスク算出され取得されるマスク算出結果M(x,y)が1つであるとして、説明したが、これに限定されることはなく、第2実施形態と同様に、マスク算出され取得されるマスク算出結果M(x,y)は、複数であってもよい。この場合、第2実施形態と同様に、例えば、処理対象の画像処理の種別ごとに、異なる色が表示されるように、マスク画像D2を生成するようにすればよい。
 また、上記では、第1実施形態と同様に、1つの画面を左右に3分割して、画質調整前の画像、マスク画像、および、画質調整後の画像を並べて表示させる場合について説明したが、これに限定されることはない。例えば、画像生成装置3000において、複数のマスク算出結果M(x,y)を取得し、それらに対応した、複数のマスク画像を生成し、例えば、図20に示すように、1つの画面を4つに分割し、左上に入力画像Dinが表示され、左下に第1のマスク画像が表示され、右上に第2のマスク画像が表示され、右下に画質調整後の画像D4が表示されるように、出力画像Doutを生成するようにしてもよい。
 [他の実施形態]
 上記実施形態(変形例を含む)において、生成される出力画像は、上記で説明したものに限定されない。上記では、1つの画面を3分割、または、4分割する場合について、説明したが、1つの画面を、さらに多くの数に分割して表示される出力画像が生成されるものであってもよい。
 また、分割領域に表示される画像の順番や位置も、上記に限定されることはなく、多種多様な変形が可能である。
 上記実施形態(変形例を含む)の一部または全部を組み合わせて、画像生成装置、画像生成方法等を実現するようにしてもよい。
 また、上記実施形態(変形例を含む)に表示部を追加し、表示装置を実現するようにしてもよい。また、上記実施形態の画像生成方法を実現する表示装置を実現するようにしてもよい。
 また、上記実施形態の画像生成装置の一部または全部は、集積回路(例えば、LSI、システムLSI等)として実現されるものであってもよい。
 上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により実行されるものであってもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、中央演算装置(CPU)が、ROM、あるいはRAMから当該プログラムを読み出し、実行されるものであってもよい。
 また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
 なお、上記実施形態に係る画像生成装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。また、タイミング調整するための制御信号(例えば、垂直同期信号、水平同期信号、各種イネーブル信号等)については図示を省略している。また、タイミング調整を行うための遅延器等についても図示を省略している。
 また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
 前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
 上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
 また、上記実施形態において、構成部材のうち、上記実施形態に必要な主要部材のみを簡略化して示している部分がある。したがって、上記実施形態において明示されなかった任意の構成部材を備えうる。また、上記実施形態および図面において、各部材の寸法は、実際の寸法および寸法比率等を忠実に表したものではない部分がある。
 なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
 [付記]
 なお、本発明は、以下のようにも表現することができる。
 第1の構成の画像生成装置は、画面複製部と、マスク領域決定部と、画質調整部と、合成部と、を備える。
 画面複製部は、入力画像の少なくとも一部の画像領域を抽出し処理対象画像として出力する。
 マスク領域決定部は、処理対象画像において、マスク領域を決定するとともに、マスク領域を明示したマスク画像を生成する。
 画質調整部は、マスク領域決定部により決定されたマスク領域において、処理対象画像に対して所定の画像処理を実行し、当該画像処理を実行した画像を画質調整後画像として出力する。
 合成部は、処理対象画像と、マスク画像と、画質調整後画像とが1つの表示画面に表示されるように、処理対象画像と、マスク画像と、画質調整後画像とを合成した合成画像を生成する。
 これにより、この画像生成装置では、(1)画質調整前の画像(画面複製部により抽出された処理対象画像)と、(2)マスク領域(画質調整処理の対象領域)を示す画像と、(3)画質調整後の画像とを、1つの画面に、並べて表示される画像(映像)として、生成することができる。つまり、この画像生成装置により生成される画像(映像)を見ることで、どの画像領域において、画質調整処理が施されているかを、専門知識を有しない一般ユーザであっても、容易に認識(確認)することができる。
 第2の構成の画像生成装置は、第1の構成において、マスク領域決定部は、第1のマスク領域および第1のマスク領域とは異なる第2のマスク領域を決定し、第1のマスク領域に対応するマスク画像上の領域に含まれる画素の画素値を、第1の画素値に設定し、第2のマスク領域に対応するマスク画像上の領域に含まれる画素の画素値を、第2の画素値に設定することで、マスク画像を生成する。
 画質調整部は、第1のマスク領域に対応する処理対象画像の画像領域に対して、第1の画像処理を実行し、第2のマスク領域に対応する処理対象画像の画像領域に対して、第1の画像処理とは異なる第2の画像処理を実行することで、画質調整後画像を生成する。
 これにより、この画像生成装置では、複数のマスク領域に対して、複数の画像処理を実行することができる。さらに、この画像生成装置では、複数のマスク領域に対応する領域に異なる画素値(第1の画素値と第2の画素値)を設定したマスク画像を取得することができるので、当該マスク画像を参照しながら、画質調整前後の画像を見ることで、どの画像領域において、どのような画質調整処理が施されているかを、専門知識を有しない一般ユーザであっても、容易に認識(確認)することができる。
 第3の構成の画像生成装置は、第1または第2の構成において、合成部は、マスク画像が、処理対象画像と、画質調整後画像とに挟まれる位置に表示されるように、処理対象画像と、マスク画像と、画質調整後画像とを合成する。
 これにより、この画像生成装置では、マスク画像が、画質調整前の画像と、画質調整後の画像とに挟まれる位置に表示されるので、マスク領域(処理対象領域)の確認を、視線を大きく動かすことなく、容易に行うことができる。
 第4の構成の画像生成装置は、第1から第3のいずれかの構成において、マスク領域決定部において、マスク領域を決定するために実行されるマスク算出処理の算出精度を調整するためのマスクパラメータと、画質調整部での画像処理の強度を調整するための処理強度パラメータとを設定する調整パラメータ入力部をさらに備える。
 マスク領域決定部は、マスクパラメータに基づいて、処理対象画像において、マスク領域を決定する。
 画質調整部は、処理強度パラメータに基づいて設定された処理強度により、画像処理を実行する。
 これにより、この画像生成装置では、マスク領域(処理対象領域)の調整と、画質調整処理の処理強度の調整を、独立のパラメータで行うことができる。その結果、この画像生成装置で生成された画像(映像)を表示画面で確認するだけで、一般ユーザであっても、画質調整効果を、マスク領域(処理対象領域)と、画質調整処理の処理強度との両方を的確に把握しながら、的確に確認することができる。
 なお、「マスク算出処理」とは、マスク領域を決定するために実行される処理であり、例えば、肌色領域をマスク領域(処理対象領域)とする場合、ある画像領域における画像特徴量を抽出し、抽出した画像特徴量により、当該画像領域の肌色成分を含む度合いを決定するための算出処理等が「マスク算出処理」に相当する。
 第5の構成の表示装置は、第1から第4のいずれかの構成である画像生成装置と、画像生成装置により生成された画像を表示する表示部と、を備える。
 これにより、第1から第4のいずれかの構成である画像生成装置を用いた表示装置を実現することができる。
 本発明は、(1)画質調整前の画像と、(2)マスク領域(画質調整処理の対象領域)を示す画像と、(3)画質調整後の画像とを、1つの画面に、並べて表示される画像(映像)として、生成することができ、生成された画像を見ることで、容易かつ適切に画質調整効果を確認することができる。したがって、本発明は、画像(映像)関連産業分野において、有用であり、当該分野において実施することができる。
1000、1000A、2000、3000 画像生成装置
1 画面複製部
2、2A、2B、2C マスク領域決定部
3、3A 合成部
4、4A、4B、4C、4D、4E 画質調整部

Claims (5)

  1.  入力画像の少なくとも一部の画像領域を抽出し処理対象画像として出力する画面複製部と、
     前記処理対象画像において、マスク領域を決定するとともに、前記マスク領域を明示したマスク画像を生成するマスク領域決定部と、
     前記マスク領域決定部により決定されたマスク領域において、前記処理対象画像に対して所定の画像処理を実行し、前記画像処理を実行した画像を画質調整後画像として出力する画質調整部と、
     前記処理対象画像と、前記マスク画像と、前記画質調整後画像とが1つの表示画面に表示されるように、前記処理対象画像と、前記マスク画像と、前記画質調整後画像とを合成した合成画像を生成する合成部と、
    を備える画像生成装置。
  2.  前記マスク領域決定部は、第1のマスク領域、および、前記第1のマスク領域とは異なる第2のマスク領域を決定し、前記第1のマスク領域に対応する前記マスク画像上の領域に含まれる画素の画素値を、第1の画素値に設定し、前記第2のマスク領域に対応する前記マスク画像上の領域に含まれる画素の画素値を、第2の画素値に設定することで、前記マスク画像を生成し、
     前記画質調整部は、前記第1のマスク領域に対応する前記処理対象画像の画像領域に対して、第1の画像処理を実行し、前記第2のマスク領域に対応する前記処理対象画像の画像領域に対して、前記第1の画像処理とは異なる第2の画像処理を実行することで、前記画質調整後画像を生成する、
     請求項1に記載の画像生成装置。
  3.  前記合成部は、前記マスク画像が、前記処理対象画像と、前記画質調整後画像とに挟まれる位置に表示されるように、前記処理対象画像と、前記マスク画像と、前記画質調整後画像とを合成する、
     請求項1又は2に記載の画像生成装置。
  4.  前記マスク領域決定部において、前記マスク領域を決定するために実行されるマスク算出処理の算出精度を調整するためのマスクパラメータと、前記画質調整部での画像処理の強度を調整するための処理強度パラメータとを設定する調整パラメータ入力部をさらに備え、
     前記マスク領域決定部は、前記マスクパラメータに基づいて、前記処理対象画像において、前記マスク領域を決定し、
     前記画質調整部は、前記処理強度パラメータに基づいて設定された処理強度により、前記画像処理を実行する、
     請求項1から3のいずれかに記載の画像生成装置。
  5.  請求項1から4のいずれかに記載の画像生成装置と、
     前記画像生成装置により生成された画像を表示する表示部と、
    を備える表示装置。
PCT/JP2014/068436 2013-08-28 2014-07-10 画像生成装置、および、表示装置 WO2015029613A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/910,768 US10109077B2 (en) 2013-08-28 2014-07-10 Image generation device and display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-176941 2013-08-28
JP2013176941 2013-08-28

Publications (1)

Publication Number Publication Date
WO2015029613A1 true WO2015029613A1 (ja) 2015-03-05

Family

ID=52586188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/068436 WO2015029613A1 (ja) 2013-08-28 2014-07-10 画像生成装置、および、表示装置

Country Status (2)

Country Link
US (1) US10109077B2 (ja)
WO (1) WO2015029613A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272457A (zh) * 2018-08-09 2019-01-25 腾讯科技(深圳)有限公司 一种图像掩膜生成方法、装置及服务器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
TWI607410B (zh) * 2016-07-06 2017-12-01 虹光精密工業股份有限公司 具有分區影像處理功能的影像處理設備及影像處理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275977A (ja) * 2004-03-25 2005-10-06 Fuji Photo Film Co Ltd 画像表示方法、画像表示装置及び画像表示プログラム
JP2007184683A (ja) * 2006-01-04 2007-07-19 Eastman Kodak Co 画像データ処理装置及び方法
JP2009044405A (ja) * 2007-08-08 2009-02-26 Canon Inc 画像処理装置
JP2011024008A (ja) * 2009-07-16 2011-02-03 Canon Inc 色補正装置及び色補正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3725368B2 (ja) * 1999-05-17 2005-12-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像の表示択方法、コンピュータ・システムおよび記録媒体
JP4491715B2 (ja) 2004-06-22 2010-06-30 ソニー株式会社 画質調整装置
JP2007328555A (ja) * 2006-06-08 2007-12-20 Hitachi Ltd 映像補正装置
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275977A (ja) * 2004-03-25 2005-10-06 Fuji Photo Film Co Ltd 画像表示方法、画像表示装置及び画像表示プログラム
JP2007184683A (ja) * 2006-01-04 2007-07-19 Eastman Kodak Co 画像データ処理装置及び方法
JP2009044405A (ja) * 2007-08-08 2009-02-26 Canon Inc 画像処理装置
JP2011024008A (ja) * 2009-07-16 2011-02-03 Canon Inc 色補正装置及び色補正方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272457A (zh) * 2018-08-09 2019-01-25 腾讯科技(深圳)有限公司 一种图像掩膜生成方法、装置及服务器
CN109272457B (zh) * 2018-08-09 2022-07-22 腾讯科技(深圳)有限公司 一种图像掩膜生成方法、装置及服务器

Also Published As

Publication number Publication date
US20160203617A1 (en) 2016-07-14
US10109077B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
JP5243833B2 (ja) 画像信号処理回路、画像表示装置、および画像信号処理方法
CN102714723B (zh) 使用胶片颗粒遮蔽压缩伪影
CN112889282A (zh) 用于对图像执行人工智能编码和人工智能解码的方法和设备
WO2015029613A1 (ja) 画像生成装置、および、表示装置
JP2006345187A (ja) 色処理方法およびその装置
JP6744723B2 (ja) 画像処理装置および画像処理方法、コンピュータプログラム
JP2008072604A (ja) 画像処理方式、装置、メディア、プログラム
CN108171648B (zh) 一种美颜肤色变换的方法和装置
JP7014158B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2009005166A (ja) 色補間装置及び画像処理システム
US9628672B2 (en) Content processing apparatus, content processing method, and storage medium
KR101339785B1 (ko) 분할 영상 처리 장치 및 방법 그리고 제어 인자 계산 장치
WO2013151163A1 (ja) 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体
KR102095518B1 (ko) 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법
JP2008245024A (ja) ルックアップテーブル作成
JP2014126774A5 (ja)
JP5669456B2 (ja) 画像表示装置及びその制御方法
JP2013005219A (ja) ノイズ除去装置、ノイズ除去方法、及びノイズ除去プログラム画像強調装置
WO2014034242A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6349355B2 (ja) 画像合成装置、情報処理装置、および画像合成方法
JPWO2008111476A1 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
KR20160025876A (ko) 영상의 대비 강화 방법 및 장치
JPWO2018092715A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2018182550A (ja) 画像処理装置
JP2023040812A (ja) 画像処理装置、画像処理システムおよびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14840219

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14910768

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14840219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP