WO2018150685A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2018150685A1 WO2018150685A1 PCT/JP2017/043311 JP2017043311W WO2018150685A1 WO 2018150685 A1 WO2018150685 A1 WO 2018150685A1 JP 2017043311 W JP2017043311 W JP 2017043311W WO 2018150685 A1 WO2018150685 A1 WO 2018150685A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- correction
- processing
- unit
- quality
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 478
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000012937 correction Methods 0.000 claims abstract description 394
- 238000000034 method Methods 0.000 claims abstract description 214
- 230000008569 process Effects 0.000 claims abstract description 209
- 238000003702 image correction Methods 0.000 claims abstract description 126
- 230000015556 catabolic process Effects 0.000 claims abstract description 57
- 238000006731 degradation reaction Methods 0.000 claims abstract description 57
- 230000006866 deterioration Effects 0.000 claims description 80
- 238000003384 imaging method Methods 0.000 claims description 55
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 58
- 238000001514 detection method Methods 0.000 description 53
- 238000004891 communication Methods 0.000 description 52
- 230000006870 function Effects 0.000 description 30
- 238000002073 fluorescence micrograph Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the present disclosure relates to an image processing apparatus, an image processing method, and a program.
- the present invention relates to an image processing apparatus, an image processing method, and a program for performing image processing for improving image quality.
- an infrared camera such as a far-infrared camera capable of capturing a person or the like can be used in combination with a visible light camera that captures an image of visible light and a nighttime where it is difficult to capture an image using visible light.
- An imaging apparatus using such two cameras is disclosed in, for example, Japanese Patent Application Laid-Open No. 2011-211387.
- an infrared image taken by an infrared camera has a problem that the resolution is lower than that of a visible light image.
- a visible light image which is a normal color image, is also used as an endoscope for capturing an in-vivo image, but recently, a fluorescent image different from the visible light image has been used.
- a fluorescence image is an image obtained by, for example, irradiating excitation light having a specific wavelength region and photographing fluorescence included in reflected light from a substance in a living body.
- the fluorescence image can express, for example, a difference in intensity according to a lesion in a living body, and by using the fluorescence image, analysis of the progress of disease can be effectively performed.
- the fluorescent image also has the disadvantage that only a low-resolution image is obtained as compared with the visible light image, and the image quality is deteriorated, like the above-described infrared image.
- an image of a blood vessel or the like at a deep position in a living body has a problem that a lot of scattered light is generated in the living body and a clear image cannot be obtained.
- the present disclosure has been made in view of, for example, the above-described problems.
- an image processing apparatus that improves the quality of an image having poor image quality such as a far-infrared image or a fluorescent image by improving the image quality by image processing.
- an image processing method and a program that improves the quality of an image having poor image quality such as a far-infrared image or a fluorescent image by improving the image quality by image processing.
- the first aspect of the present disclosure is: From the first stage processing section to the final stage processing section, it has an image correction section that repeatedly executes image correction processing by a plurality of processing sections of at least two stages,
- the image correction unit inputs a low-quality image that is a correction target image and a high-quality image that is a reference image,
- Each stage processing unit of the plurality of processing units Applying a class-corresponding correction coefficient classified by a class corresponding to a feature amount extracted from the high-quality image or the degraded image of the high-quality image, and executing the correction process of the low-quality image
- the class correspondence correction coefficient is in the image processing apparatus which is a class correspondence correction coefficient generated by a learning process.
- the second aspect of the present disclosure is: An image processing method executed in an image processing apparatus,
- the image processing apparatus includes an image correction unit that repeatedly executes image correction processing by a plurality of processing units of at least two stages from the first stage processing part to the last stage processing part, An image input step in which the image correction unit inputs a low-quality image that is a correction target image and a high-quality image that is a reference image;
- Each stage processing unit of the plurality of processing units Applying a class-corresponding correction coefficient classified by the class corresponding to the feature amount extracted from the high-quality image or the deteriorated image of the high-quality image, and executing a correction step of performing correction processing of the low-quality image
- the class correspondence correction coefficient applied in the correction step is a class correspondence correction coefficient generated by a learning process.
- the third aspect of the present disclosure is: A program for executing image processing in an image processing apparatus;
- the image processing apparatus includes an image correction unit that repeatedly executes image correction processing by a plurality of processing units of at least two stages from the first stage processing part to the last stage processing part,
- the program causes the image correction unit to input a low-quality image that is a correction target image and a high-quality image that is a reference image;
- the class correspondence correction coefficient applied in the correction step is in a program that is a class correspondence correction coefficient generated by a learning process.
- the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
- a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
- system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
- an apparatus and a method for executing high image quality processing of a low quality image such as a far infrared image are realized.
- an image correction unit that repeatedly executes image correction processing by a plurality of processing units of at least two stages or more is provided.
- the image correction unit inputs a low-quality image to be corrected and a high-quality image to be a reference image, and each stage processing unit applies a class-corresponding correction coefficient corresponding to a feature amount extracted from a deteriorated image of the high-quality image. Then, the low-quality image correction process is executed.
- the preceding processing unit executes the correction process by applying the class correspondence correction coefficient corresponding to the feature amount extracted from the image having a higher deterioration level than the subsequent processing unit.
- the correction coefficient is generated in advance by a learning process.
- the image processing apparatus performs image processing on a low-quality image having a low resolution and a low quality compared to a general visible light image such as a low-quality image, for example, a far-infrared image or a fluorescent image, Perform high quality processing to improve.
- far-infrared images are processed by combining low-quality images such as far-infrared images and fluorescent images with visible-light images that are high-quality images taken of the same subject as these low-quality images.
- High quality processing of low quality images such as images and fluorescent images is performed.
- a fluorescent image and a far-infrared image which are low-quality images to be subjected to high-quality processing, will be described.
- the fluorescence image is an image obtained by irradiating excitation light having a specific wavelength and photographing fluorescence contained in reflected light from a substance in the living body.
- the fluorescence image can express, for example, a difference in intensity according to a lesion in a living body, and by using the fluorescence image, analysis of the progress of disease can be effectively performed.
- a fluorescence image is an image that is irradiated with excitation light of a specific wavelength and captured by inputting, for example, fluorescence output from a biological tissue such as a blood vessel into an imaging device.
- FIG. 1A is a configuration example in which a blood vessel 11 in a relatively shallow portion in the living tissue 10 is imaged
- FIG. 1B is a configuration in which the blood vessel 11 in a relatively deep portion in the living tissue 10 is imaged.
- An example is shown.
- excitation light is irradiated to the blood vessel, a plurality of scattered light is generated.
- more scattered light is generated, and as a result, there arises a problem that the image quality of the fluorescent image photographed by the imaging device is deteriorated.
- the visible light image 20 is an image having a wavelength in the range of about 0.4 ⁇ m to 0.7 ⁇ m, and is a color image such as an RGB image captured by a general camera.
- the far infrared image has a wavelength of. It is an image consisting of long wavelength light of 0.7 ⁇ m or more.
- An infrared image capturing camera that captures an infrared image can capture a person who generates heat in the dark, for example, and is used as a surveillance camera.
- Near-infrared light having a wavelength of about 0.7-1 ⁇ m, Mid-infrared wavelength of about 3-5 ⁇ m, Far-infrared with a wavelength of about 8-14 ⁇ m, It is divided in this way.
- the far-infrared image 21 that mainly captures far-infrared rays having a wavelength of about 8 to 14 ⁇ m is an image based on far-infrared rays having a longer wavelength, and there is a problem that the resolution is greatly reduced.
- FIG. 3 is a diagram illustrating an example of a pixel array on the image sensor that captures the visible light image 20 and the far-infrared image 21.
- the visible light image in FIG. 3A shows an example of a Bayer array composed of RGB pixels. This Bayer array is used for image sensors of many visible light photographing cameras. Each pixel of the image sensor outputs an electrical signal corresponding to the light amount of each R, G, or B wavelength light.
- the far-infrared image of FIG. 3 (2) images far-infrared light (FIR: Far Infra Red) wavelength light at all pixel positions.
- FIR Far Infra Red
- the far-infrared image pickup device generally has a lower resolution than the visible light image pickup device. This is because infrared rays, particularly far infrared rays, have a long wavelength and it is difficult to use an image sensor having a high-density pixel array.
- the fluorescent image is similar to the far-infrared image, and there is a problem that it is difficult to obtain a high-resolution image.
- the image processing apparatus generates a high-quality image by image correction processing that improves the quality of low-quality images such as the far-infrared image and the fluorescence image. Specifically, by performing image processing that combines a low-quality image such as a far-infrared image or a fluorescence image and a visible light image that is a high-quality image obtained by photographing the same subject as these low-quality images, the far-infrared image Perform high image quality processing of low quality images such as images and fluorescent images. Note that the processing of the present disclosure is not limited to far-infrared images and fluorescent images, and can be applied to other high-quality image processing for low-quality images.
- FIG. 4 is a block diagram illustrating a configuration of an imaging apparatus that is an example of the image processing apparatus 100 of the present disclosure.
- the image processing device of the present disclosure is not limited to the imaging device, and includes, for example, an information processing device such as a PC that inputs a captured image of the imaging device and executes image processing.
- an information processing device such as a PC that inputs a captured image of the imaging device and executes image processing.
- a configuration and processing of an imaging apparatus will be described as an example of the image processing apparatus 100 of the present disclosure.
- Image processing other than the imaging processing described in the following embodiments can be executed not only in the imaging apparatus but also in an information processing apparatus such as a PC.
- An image processing apparatus 100 as an imaging apparatus illustrated in FIG. 4 includes a control unit 101, a storage unit 102, a codec 103, an input unit 104, an output unit 105, an imaging unit 106, and an image processing unit 120.
- the imaging unit 106 is a high-quality image imaging unit 107 that captures a high-resolution high-quality image such as a normal visible light image, and a low-quality image that captures a low-quality image with a low resolution such as a far-infrared image or a fluorescence image.
- a quality image capturing unit 108 is included.
- the high quality image capturing unit 107 includes a first image sensor 111 that captures an image of a high-resolution visible light image, for example.
- the first image sensor 111 is, for example, an image sensor that has RGB pixels having the Bayer array described above with reference to FIG. 2A and outputs a signal corresponding to input light of each RGB color in each pixel unit. is there.
- the low-quality image capturing unit 108 includes a second image sensor 112 that captures a low-resolution low-quality image such as a far-infrared image or a fluorescent image.
- the second image sensor 112 is an image sensor that captures, for example, a far-infrared image or a fluorescent image, and is an image sensor that can only capture lower quality images than the first image sensor 111.
- a high quality image 151 that is a captured image by the high quality image capturing unit 107 and a low quality image 152 that is a captured image by the low quality image capturing unit 108 are input to the image processing unit 200.
- the image processing unit 200 uses these two images to perform quality improvement processing of the low quality image 152, that is, image quality improvement processing.
- a quality-enhanced corrected image 172 is generated and output.
- the high-quality corrected image 172 is a high-quality far-infrared image or fluorescent image generated by correction processing of a low-quality image such as a far-infrared image or a fluorescent image that is a captured image by the low-quality image capturing unit 108. .
- the high-quality image capturing unit 107 and the low-quality image capturing unit 108 are two image capturing units set at a predetermined interval and apart from each other, and each captured image is an image from a different viewpoint.
- the corresponding subject image of two images from different viewpoints that is, the pixel at the same position, is not photographed with the same subject image, and subject displacement corresponding to the parallax occurs.
- the high-quality image capturing unit 107 and the low-quality image capturing unit 108 capture a total of two still images, one each.
- the shooting frame of each imaging unit is a continuous image frame taken by each imaging unit. Note that the control of the photographing timing is performed by the control unit 101.
- the control unit 101 controls various processes executed in the imaging apparatus 100, such as image capturing, signal processing for captured images, image recording processing, and display processing.
- the control unit 101 includes, for example, a CPU that executes processing according to various processing programs stored in the storage unit 102, and functions as a data processing unit that executes the program.
- the storage unit 102 includes a captured image storage unit, a processing program executed by the control unit 101, a storage unit for various parameters, and a RAM and a ROM that function as a work area for data processing.
- the codec 103 performs encoding and decoding processing such as compression and decompression processing of a captured image.
- the input unit 104 is a user operation unit, for example, and inputs control information such as shooting start and end, various mode settings, and the like.
- the output unit 105 includes a display unit, a speaker, and the like, and is used for displaying captured images and through images, outputting sound, and the like.
- the image processing unit 120 inputs two images input from the imaging unit 106, applies these two images, and executes an image quality enhancement process for the input image. Specifically, the high-quality processing of the low-quality image 152 such as the far-infrared image or the fluorescence image captured by the low-quality image capturing unit 108 is performed, and the high-quality correction image 172 is generated and output. As described above, the high-quality corrected image 172 is a high-quality far-infrared image generated by correction processing of a low-quality image such as a far-infrared image or a fluorescence image that is a captured image by the low-quality image capturing unit 108. Or a fluorescent image.
- the image processing unit 120 inputs the high quality image 151 captured by the high quality image capturing unit 107 and the low quality image 152 captured by the low quality image capturing unit 108, and these two types of images. These two types of images are used to generate and output a high-quality corrected image 172 obtained by performing high-quality processing of the low-quality image 152.
- the image processing unit 120 inputs the low quality image 152 captured by the low quality image capturing unit 108 to the scaler 121 and executes a scaling process for adjusting the size of the low quality image 152 to the size of the high quality image 151.
- the size of the first image sensor 111 of the low quality image capturing unit 108 is smaller than the size of the second image sensor of the high quality image capturing unit 107.
- the scaler 121 performs a scaling process that matches the size of the low quality image 152 with the size of the high quality image 151.
- the high-quality image 151 and the low-quality image 152 having the same size are input to the parallax amount detection & motion detection unit 122 and the image alignment unit 123.
- the parallax amount detection & motion detection unit 122 detects the parallax amount between the high quality image 151 and the low quality image 152 and the motion amount between the two images.
- the low-quality image capturing unit 108 and the high-quality image capturing unit 107 are two image capturing units set at a predetermined interval and separated from each other, and the captured images (the high-quality image 151 and the low-quality image 152) are different.
- the image is from the viewpoint.
- the same subject image is not photographed in the corresponding pixels of the two images from different viewpoints, that is, the pixels of the high quality image 151 and the low quality image 152, that is, the pixels at the same position, and subject displacement corresponding to the parallax occurs.
- the parallax amount detection & motion detection unit 122 detects the parallax amount between the high quality image 151 and the low quality image 152 and the motion amount between the two images, that is, the parallax information and the motion information such as motion.
- a vector (MV: Motion Vector) is input to the image alignment unit 123.
- the image alignment unit 123 performs alignment processing of the high-quality image 151 and the low-quality image 152 that have been size-adjusted using the parallax information input from the parallax amount detection & motion detection unit 122 and the motion information. . That is, alignment processing of two images is executed so that the same subject is located at the same position of each image.
- the subject position of the high quality image 151 is not moved, and the subject position of the low quality image 152 is matched with the subject position of the high quality image 151.
- which image is used as the reference image is not limited, and a configuration in which any image is used as the reference image is also possible.
- the image alignment unit 123 outputs the two images after alignment, that is, the high-quality image 161 after alignment and the low-quality image 162 after alignment to the image correction unit 127.
- the image correction unit 127 inputs the post-alignment high-quality image 161 and the post-alignment low-quality image 162, and executes image quality enhancement processing of the post-positioning low-quality image 162.
- the image correction unit 127 shown in FIG. 6 has a multistage (cascade) configuration having the following three stages of processing units.
- First stage processing unit 210 Second stage processing unit 220, Third stage processing unit 230,
- the components of these three processing units are all the same, and are configured by the following elements.
- the post-alignment high-quality image 161 is input to the deterioration simulation image generation units 211, 221, and 231.
- the deterioration simulation image generation units 211, 221, and 231 generate simulation images of different deterioration levels. For example, simulated images having different degradation levels are generated by pixel value conversion processing in which a plurality of different LPFs (low-pass filters) are applied to the high-quality image 161 after alignment.
- LPFs low-pass filters
- the class classification processing units 212, 222, and 232 perform class classification processing for each pixel area based on a feature amount in a predetermined pixel area unit (local area unit) of the deterioration level simulation image of each deterioration level.
- the class classification process is a class classification process for determining a correction coefficient (correction parameter) to be applied to the correction process executed in the image correction units 215, 225, and 235 of each stage.
- correction coefficient (correction parameter) corresponding to each class is stored in advance in the class-corresponding correction coefficient storage units 213, 223, and 233.
- correction coefficients (correction parameters) calculated by learning processing using sample images are stored in advance in the class-corresponding correction coefficient storage units 213, 223, and 233 in association with each class. This learning process will be described later.
- Correction coefficients (correction parameters) corresponding to classes determined by the class classification processing units 212, 222, and 232, that is, classes corresponding to predetermined pixel regions of the deteriorated images generated by the deteriorated image generation units 212, 222, and 232
- the class-corresponding correction coefficient storage units 213, 223, and 233 output the image correction units 215, 225, and 235 to the image correction units 215, 225, and 235. Perform value correction.
- the low-quality image 162 after alignment is first input to the tap selection units 214, 224, and 234 before being corrected by the image correction units 215, 225, and 235, and is then tapped by the tap selection units 214, 224, and 234. Perform the selection process. Specifically, a determination process of a pixel position of a reference pixel applied to determine a correction pixel value of the correction target pixel, that is, a reference pixel around the correction target pixel position is performed.
- the image correction units 215, 225, and 235 include the pixel values of the taps (reference pixels) determined by the tap selection units 214, 224, and 234, and the class correspondence correction coefficients input from the class correspondence correction coefficient storage units 213, 223, and 233. Is applied to determine the pixel value of each pixel of the post-alignment low quality image 162.
- the correction of the pixel value is executed as a multi-stage process (cascade process). This is because the correction coefficient applied in each stage processing unit is a correction coefficient classified into classes by a learning process executed in advance, and this correction coefficient can be set as an accurate correction coefficient corresponding to more classes. This is because.
- the image processing apparatus according to the present disclosure realizes the optimal correction according to the feature amount of the local region unit of the image by such processing.
- FIG. 7 is a diagram for explaining a processing example for calculating class correspondence correction coefficients (parameters) to be stored in the class correspondence correction coefficient storage units 213, 223, and 233.
- the input is a sample high quality image 301.
- the input sample high quality image 301 is preferably a large number of images instead of one.
- a large number of image data having various characteristics are input as sample images, and learning processing is performed. That is, by inputting a large number of image data having various features, learning processing is performed, and class-specific correction coefficients (parameters) corresponding to different feature amounts generated as learning results are assigned to class-specific correction coefficient storage units 213, 223, and 223. Stored in H.233.
- the first-stage deterioration simulation image generation unit 211 to the third-stage deterioration simulation image generation unit 231 shown in FIG. 7 are the first-stage deterioration simulation image generation unit 211 to the third-stage deterioration simulation image of the image correction unit 127 shown in FIG.
- An image having the same deterioration level as that of the generation unit 231 is generated. For example, a degraded image is generated by applying LPF.
- a low-quality image that is a correction target image input to the image correction unit 127 in an actual image correction process is an image having a resolution of 1/8 of a high-quality image that is also input to the image correction unit 127.
- the first stage deterioration simulation image generation unit 211 generates a 1/8 resolution deterioration simulation image 302 having 1/8 resolution of the sample high quality image 301. That is, the first-stage deterioration simulated image generation unit 211 generates a deteriorated image having a level that substantially matches the resolution level of the low-quality image that is the correction target image input to the image correction unit 127 in the actual image correction process.
- the second stage deterioration simulation image generation unit 221 generates a 1/4 resolution deterioration simulation image 303 having a 1/4 resolution of the sample high quality image 301. Further, the third-stage deterioration simulated image generation unit 231 generates a 1/2 resolution deterioration simulated image 304 having 1/2 resolution of the sample high quality image 301. In this way, images with reduced degradation levels are sequentially generated in the first to third stages.
- the learning process execution unit 320 applies these images to execute a learning process for calculating a class-corresponding correction coefficient (parameter).
- the learning process execution unit 320 executes the processes of steps S11 to S13 shown in FIG. Note that the processing in steps S11 to S13 may be executed sequentially or in parallel.
- step S11 the 1/8 resolution degradation simulated image 302 and the 1/4 resolution degradation simulated image 303 are input, image feature amounts are calculated in units of predetermined pixel regions (local regions) of each image, and image feature amounts are calculated.
- a correction coefficient (correction parameter) corresponding to is calculated by learning processing.
- the supervised learning process is executed with the 1/4 resolution degradation simulated image 303 as a teacher image (restored image) and the 1/8 resolution degradation simulated image 302 as a student image, so that the optimum corresponding to various feature amounts is executed.
- a correction coefficient (correction parameter) is acquired.
- a specific processing example will be described with reference to FIG. 8 from the 1/8 resolution degradation simulated image 302 that is a student image and the 1/4 resolution degradation simulated image 303 that is a teacher image (restored image), to the corresponding pixel position having the same coordinate position, for example, A rectangular pixel area (local areas A and B) of several pixels to several tens of pixels is extracted, and feature quantities of these pixel areas, for example, luminance distribution information are acquired. Further, the pixel value of the central pixel of the local area A of the 1/8 resolution degradation simulated image 302 that is the student image is set to the central pixel of the local area B of the 1/4 resolution degradation simulated image 303 that is the teacher image (restored image). A correction coefficient (correction parameter) for converting to a pixel value is calculated.
- This correction coefficient calculation processing is performed for the entire images of various sample image images. Thus, by performing learning processing using a large number of sample images, optimum correction coefficients corresponding to a large number of different feature amounts are calculated.
- the correction coefficient (correction parameter) is calculated in units of classes corresponding to the feature amount classification information.
- the correction coefficient for each class is stored in the first-stage class corresponding correction coefficient storage unit 213.
- FIG. 9 is an example in which pixel value (luminance) distribution in image area units (local area units) is used as the feature amount.
- FIG. 9 (1) shows an example of pixel value distribution of images before and after restoration.
- the solid line in the graph shown in FIG. 9A indicates the pixel value distribution in the local region of the restored image, that is, the 1/4 resolution deterioration simulated image 303 that is a teacher image.
- the dotted line in the graph shown in FIG. 9A indicates the pixel value distribution in the local region of the pre-restoration image, that is, the 1/8 resolution degradation simulated image 302 that is a student image.
- FIG. 9 (1) shows the following two amplitudes.
- FIG. 9B illustrates an example of class classification.
- each axis is set and a class ID (identifier) is set for each predetermined section area. For example, in this way, classification is performed based on the feature amount (luminance distribution of the local region).
- the learning processing unit 320 illustrated in FIG. 7 performs a teacher image (restored image) for each class unit correction coefficient (correction parameter), that is, for each region (local region) of the 1/8 resolution degradation simulated image 302 that is a student image. ) Is calculated as a correction coefficient (correction parameter) for conversion to a pixel value at a corresponding position of the 1/4 resolution deterioration simulated image 303, and the correction coefficient (correction parameter) corresponding to each class (class ID) is calculated. Is stored in the correction coefficient storage unit 213 corresponding to the first stage class.
- FIG. 10 is a diagram illustrating an example of correction coefficients stored in the first-stage class corresponding correction coefficient storage unit 213.
- An example of the correction coefficient stored in the first-stage class correspondence correction coefficient storage unit 213 shown in FIG. 10 is that the correction executed in the first-stage correction unit 215 of the image correction unit 127 shown in FIG. This is an example in the case of correction for calculating the corrected pixel value y according to the following (Equation 1).
- each symbol has the following meaning.
- y correction pixel value of correction target pixel x i : pixel value of reference pixel i: pixel identifier of reference pixel k i : multiplication coefficient corresponding to reference pixel i
- the correction coefficient stored in the first-stage class-corresponding correction coefficient storage unit 213 shown in FIG. 10 is a set of multiplication coefficients k i corresponding to the reference pixel i applied to the above (Equation 1).
- Set of multiplication factors k i of the reference pixel i correspond shown in (Formula 1) is a multiplying factor of the reference pixels to be set to, for example, LPF. That is, the image correction unit in each processing stage performs, for example, a correction process using an LPF that calculates the correction pixel value of the center correction target pixel value by multiplying the pixel value of the reference pixel by the multiplication coefficient k i described above. Do.
- Multiplication coefficient k i becomes different data by the feature quantity corresponding class.
- the correction coefficients (ki) corresponding to these classes are calculated by the learning process described with reference to FIGS. Note that the pixel position of the reference pixel x i in (Expression 1) is determined by the tap selection units 214, 224, and 234 of the image correction unit 127 shown in FIG.
- step S11 the learning processing unit 320 illustrated in FIG. 7 inputs the 1/8 resolution deterioration simulated image 302 and the 1/4 resolution deterioration simulated image 303, and the predetermined pixel region (local region) of each image is input. ) Detecting the feature quantity of the unit, and further calculating a correction coefficient corresponding to the class according to the optimum feature quantity for restoring the 1/4 resolution image from the 1/8 resolution image by the learning process. Stored in the stage class corresponding correction coefficient storage unit 213.
- step S12 the learning processing unit 320 illustrated in FIG. 7 inputs the 1/4 resolution degradation simulated image 303 and the 1/2 resolution degradation simulated image 304, and from the 1/4 resolution image, 1/2
- the correction coefficient corresponding to the class corresponding to the optimum feature amount for restoring the resolution image is calculated by the learning process and stored in the second-stage class correction coefficient storage unit 223.
- step S12 a learning process is executed in which the 1/4 resolution degradation simulated image 303 is set as a student image and the 1/2 resolution degradation simulated image 304 is set as a teacher image.
- the coefficient is calculated by the learning process and stored in the second-stage class correspondence correction coefficient storage unit 223.
- step S13 the learning processing unit 320 illustrated in FIG. 7 inputs the 1/2 resolution degradation simulation image 304 and the original sample high quality image 301, and from the 1/2 resolution image, the original sample height.
- the correction coefficient corresponding to the class corresponding to the optimum feature amount for restoring the quality image is calculated by the learning process and stored in the third-stage correction coefficient storage unit 233.
- this learning process a feature amount in units of a predetermined pixel area (local area) of each image is detected, and an image having the resolution (1/1 resolution) of the original sample image 301 is restored from the 1/2 resolution image.
- the optimum correction coefficient corresponding to the quantity (corresponding to the class) is calculated by the learning process and stored in the third-stage class correction coefficient storage unit 233.
- the following correction coefficients are stored in the correction coefficient storage units 213, 223, and 233 of the image correction unit 127 shown in FIG. 6 by the learning process performed by inputting the sample image in advance.
- First-stage class-corresponding correction coefficient storage unit 213 class-corresponding correction coefficient corresponding to an optimum feature amount for restoring a 1/4 resolution image from a 1/8 resolution image
- Second-stage class-corresponding correction coefficient storage unit 223 class-corresponding correction coefficient corresponding to an optimum feature amount for restoring a 1/2 resolution image from a 1/4 resolution image
- Third-stage class-corresponding correction coefficient storage unit 233 class-corresponding correction coefficient corresponding to the optimum feature amount for restoring the 1/1 resolution image from the 1/2 resolution image
- the image correction unit 127 shown in FIG. 6 has the same image as the actual correction target image, that is, the low-quality image 162 after alignment shown in FIG. A registration high-quality image 161 that is a high-quality image obtained by shooting is input, and correction processing for the low-quality image 162 after registration, that is, high-quality processing is performed.
- the class correspondence correction coefficients calculated by the learning process are stored in the storage units, that is, the first-stage class correspondence correction coefficient storage unit 213 to the third-stage class correspondence correction coefficient storage unit 233. Yes.
- the low-quality image 162 after alignment that becomes the actual correction target image shown in FIG. 6 and the position where the same subject is photographed as the low-quality image 162 after alignment.
- a high-quality image 161 after input is input.
- the post-alignment low-quality image 162 is a low-resolution image such as a fluorescent image or a far-infrared image.
- the post-positioning high quality image 161 is a high resolution image such as a visible light image.
- the image correction unit 127 illustrated in FIG. 6 has a multi-stage configuration of the first stage processing unit 210, the second stage processing unit 220, and the third stage processing unit 230.
- the processing result is input to the second stage processing unit 220
- the processing result of the second stage processing unit 220 is input to the third stage processing unit 230
- the processing result of the third stage processing unit 230 is the image correction unit 127. Is output as the result of processing.
- the processing executed in each processing stage has the following settings: Become.
- the first-stage processing unit 210 performs a high-quality process for converting the low-quality image 162 after the alignment of the 1/8 resolution into a 1/4 resolution image.
- the second stage processing unit 220 performs high quality processing for converting a 1/4 resolution image input from the first stage processing unit 210 into a 1/2 resolution image.
- the third stage processing unit 230 performs a high quality process for converting the 1/2 resolution image input from the second stage processing unit 220 into a 1/1 resolution image.
- the low-quality image 162 after alignment which is the correction target image
- the high-quality image 161 after alignment which is the reference image.
- FIG. 11 shows a first-stage degradation simulated image generation unit 211, a first-stage class classification processing unit 212, and a first-stage class correspondence correction that are components of the first-stage processing unit 210 of the image correction unit 127 shown in FIG.
- a coefficient storage unit 213, a first-stage tap selection unit 214, a first-stage image correction unit 215, and a second-stage deterioration simulated image generation unit 221 that are components of the second-stage processing unit 210 are illustrated.
- the post-alignment high-quality image 161 serving as a reference image includes a first-stage deterioration simulation image generation unit 211, a second-stage deterioration simulation image generation unit 221, and a third-stage deterioration simulation image generation unit of the image correction unit 127 illustrated in FIG. 231 and converted into low-resolution images of different levels by processing using different LPFs (low-pass filters).
- LPFs low-pass filters
- the first stage deterioration simulation image generation unit 211 generates a deterioration simulation image having a resolution of 1/8 of the high-quality image 161 after alignment, that is, the same level of resolution as the low-quality image 162 after alignment that is the correction target image. Generate.
- the second stage deterioration simulation image generation unit 221 generates a deterioration simulation image having a resolution of 1/4 that of the post-positioning high quality image 161.
- the third-stage deterioration simulation image generation unit 231 generates a deterioration simulation image having a resolution half that of the post-positioning high quality image 161.
- the first-stage degradation simulation image generation unit 211 illustrated in FIG. 11 inputs a degradation simulation image having a resolution of 1/8 of the post-alignment high-quality image 161 to the first-stage class classification processing unit 212. Also, the second-stage degradation simulated image generation unit 221 shown in FIG. 11 inputs a degradation simulation image having a resolution of 1/4 of the post-alignment high-quality image 161 to the first-stage class classification processing unit 212.
- the first-stage class classification processing unit 212 inputs these two deterioration simulation images, detects a feature amount in units of local regions, and specifies a class corresponding to the detected feature amount.
- the first-stage image correction unit 215 acquires the correction coefficient corresponding to the class specified by the first-stage class classification processing unit 212 from the first-stage class correspondence correction coefficient storage unit 213, and performs post-alignment low-quality image.
- a pixel value correction process 162 is performed.
- tap selection processing is performed in the first-stage tap selection unit 214 as processing preceding the pixel value correction processing in the first-stage image correction unit 215.
- the tap selection process is a reference pixel selection process used for calculating the pixel value of the correction target pixel. For example, as shown in (Example 1) and (Example 2) in the lower part of FIG. 11, a reference pixel is selected from pixels around one correction target pixel. Note that this tap setting may be applied in advance for all corrections, or may be changed according to the class corresponding to the feature amount detected by the first-stage class classification processing unit 212.
- the correction performed by the first-stage image correction unit 215 is pixel value correction according to (Equation 1) described above. That is, the corrected pixel value y is calculated according to the following (Equation 1).
- each symbol has the following meaning.
- y correction pixel value of correction target pixel x i : pixel value of reference pixel i: pixel identifier of reference pixel k i : multiplication coefficient corresponding to reference pixel i
- the k i (multiplication coefficient corresponding to the reference pixel i) used at this time is a correction coefficient corresponding to a specific class acquired from the first-stage class correction coefficient storage unit 213. That is, the first-stage class classification processing unit 212 specifies based on the 1/8 resolution degradation simulated image generated by the first-stage degradation simulated image generation unit 211 and the local region feature amounts of the 1/4 resolution degradation simulated image.
- the correction coefficient corresponding to the selected class is used. For example, as described above with reference to FIG. 9, a class number is set in advance by a combination of feature amounts of two deterioration simulation images, and the correction coefficient associated with this class number is the first level. Obtained from the class correspondence correction coefficient storage unit 213.
- first-stage degradation simulation image generation unit 211 that is a component of the first-stage processing unit 210 of the image correction unit 127 illustrated in FIG. Unit 212, first-stage class correspondence correction factorization storage section 213, first-stage tap selection section 214, first-stage image correction section 215, and second-stage degradation simulated image that is a component of second-stage processing section 210 A generation unit 221 is shown.
- the first-stage degradation simulated image generation unit 211 uses a 1/8 resolution degradation simulated image having the same level of resolution as the post-alignment low quality image 162 that is the correction target image as the degradation simulated image of the post-alignment high quality image 161. 331 is generated.
- the second stage deterioration simulation image generation unit 221 generates a 1/4 deterioration simulation image 332 having a resolution of 1/4 that of the post-positioning high quality image 161.
- the first-stage class classification processing unit 212 inputs these two deterioration simulation images, detects a feature amount in units of local regions, and specifies a class corresponding to the detected feature amount.
- the feature amounts of the local region A of the 1/8 resolution degradation simulated image 331 and the local region B of the 1/4 degradation simulated image 332 are extracted.
- the pixel value (luminance) distribution in the local area is extracted from the local areas A and B.
- the extracted class corresponding to the feature amount is identified according to the class classification information described with reference to FIG.
- the first-stage image correction unit 215 acquires a correction coefficient corresponding to the class specified by the first-stage class classification processing unit 212 from the first-stage class correspondence correction coefficient storage unit 213. This is the class correspondence correction coefficient 340 shown in FIG.
- the first-stage image correction unit 215 performs the pixel value correction processing of the post-positioning low quality image 162 by applying the class correspondence correction coefficient 340.
- tap selection processing is performed in the first-stage tap selection unit 214 as processing preceding the pixel value correction processing in the first-stage image correction unit 215.
- the tap selection process is a reference pixel selection process used for calculating the pixel value of the correction target pixel.
- an optimum tap reference pixel range
- the feature amount for example, the feature amount acquired from the degraded image of the post-alignment high-quality image 161 in the first stage class classification processing unit 212 can be used.
- the reference pixel range is specified by tap selection in the first-stage tap selection unit 214, the pixel value of the reference pixel in the reference pixel range is applied, and the correction coefficient acquired from the first-stage class correspondence correction coefficient storage unit 213 Is used to calculate the pixel value of the correction target pixel.
- the correction pixel value of the correction target pixel shown in the low-quality image after alignment (before the first stage correction) 162a shown in FIG. 12 is calculated according to (Equation 1) described above.
- the first-stage image correction unit 215 generates a low-quality image after alignment (after first-stage correction) 162b having corrected pixels.
- the first stage processing unit 210 performs this pixel value correction on all the constituent pixels of the low-quality image 162 after alignment.
- the local areas A and B set in the deterioration simulation images 331 and 332 generated from the registration control high quality image 161 are centered on the correction target pixels of the registration control low quality image 162 that is the correction target image. It is the same coordinate area as the pixel area. In other words, processing is performed using a shooting area of the same subject.
- the first-stage processing unit 210 executes the processing for all the constituent pixels of the low-quality image 162 after alignment, and improves the quality by converting the low-quality image 162 after alignment of the 1/8 resolution into a 1/4 resolution image. Process. This processed image is input to the second stage processing unit 220.
- the second stage processing unit 220 performs high quality processing for converting a 1/4 resolution image input from the first stage processing unit 210 into a 1/2 resolution image.
- the second stage class classification processing unit 222 of the second stage processing unit 220 performs this process.
- the second-stage image correction unit 225 acquires the correction coefficient corresponding to the class specified by the second-stage class classification processing unit 222 from the second-stage class correspondence correction coefficient storage unit 223.
- the second-stage image correction unit 225 executes the pixel value correction of the low-quality image of the 1/4 resolution level input from the first-stage processing unit 210 by applying this class correspondence correction coefficient.
- This correction process a high quality process for converting the low-quality image 162 after alignment into a 1/2 resolution image is performed. This processed image is input to the third stage processing unit 230.
- the third stage processing unit 230 performs a high quality process for converting a 1/2 resolution image input from the second stage processing unit 220 into a 1/1 resolution image. That is, processing is performed to improve the resolution level to the same level as the post-positioning high quality image 161 that is being used as a reference image.
- the third stage processing unit 230 in this process, in the third stage class classification processing unit 232 of the third stage processing unit 230, A half deterioration simulated image having a half resolution of the post-positioning high quality image 161 generated by the third stage deterioration simulated image generation unit 231; High-quality image 161 after alignment which is an input image, By inputting these two images, the feature quantity in the local area unit is detected, and the class corresponding to the detected feature quantity is specified.
- the third-stage image correction unit 235 acquires the correction coefficient corresponding to the class specified by the third-stage class classification processing unit 232 from the third-stage class correspondence correction coefficient storage unit 233.
- the third-stage image correcting unit 235 applies the class-corresponding correction coefficient, and executes pixel value correction of the low-quality image of the 1/2 resolution level input from the second-stage processing unit 220.
- a high quality process for converting the low-quality image 162 after alignment into a 1/1 resolution image is performed. That is, the image is output after being improved to a resolution level equivalent to that of the post-positioning high quality image 161 used as the reference image.
- the image correction unit of the image processing apparatus executes pixel value correction as a multi-stage process (cascade process) as described with reference to FIG. This is because the correction coefficient applied in each stage processing unit is an accurate correction coefficient corresponding to more classes.
- the correction coefficient is a correction coefficient classified into classes by a learning process executed in advance, and this correction coefficient is an optimal correction coefficient corresponding to more classes, that is, an optimal correction according to the image feature amount. This is to make the coefficient possible.
- FIG. 13 shows a configuration similar to that of the image correction unit 127 described with reference to FIG.
- tap selection in three stages from the first stage tap selection unit 214 to the third stage tap selection unit 234 is possible.
- the tap is a reference pixel range to be applied when calculating the correction pixel value.
- an optimum tap reference pixel range
- an optimum tap can be selected according to the feature amount in the vicinity of the correction pixel.
- the image processing apparatus realizes the optimal correction according to the feature amount of the local area unit of the image by such processing.
- the pixel value (luminance) distribution information of the local region is obtained from the sample image, and the correction coefficient based on the feature amount is obtained. Also, in the correction process of the low-quality image, the pixel value (luminance) distribution information of the local region is acquired from the high-quality image input in parallel as the reference image, and the class corresponding to the feature amount classified in the pre-learning process is obtained. The correction is applied by applying a correction coefficient.
- the feature quantity that can be used in the image correction process executed as the quality enhancement process in the image processing apparatus according to the present disclosure is not limited to the pixel value distribution described with reference to FIG. 9, for example, and a process that uses various feature quantities. Is possible. With reference to FIG. 14 and the following, a plurality of examples of feature amounts applied to the quality enhancement processing in the image processing apparatus of the present disclosure will be described.
- FIG. 14 is obtained from each deterioration simulation image in the first to third stage class classification processing units 212, 222, and 232 of the image correction unit 127 shown in FIG. 6, and a class associated with the correction coefficient can be set.
- An example of various image feature amounts is shown.
- “(1) Luminance distribution information” is distribution information of the luminance value of each pixel in the image.
- a graph luminance distribution graph in which the horizontal axis represents the pixel position and the vertical axis represents the luminance value is shown.
- the left side of the graph has a low luminance value
- the right side has a high luminance value.
- Such a luminance distribution is a luminance distribution corresponding to an edge region such as a boundary of a subject.
- This feature amount corresponds to the feature amount described above with reference to FIG. 9 and is an image feature amount that can be acquired from the post-positioning high-quality image 161 or its degradation simulation image.
- PSDF point spread function
- this is a function that indicates the degree of spread around the pixel value at a certain pixel position, that is, the amount of blur.
- This point spread function is also an image feature quantity that can be acquired from the post-positioning high-quality image 161 or its degradation simulation image.
- Noise information is information indicating noise included in an image.
- the image captured by the camera contains a certain amount of noise.
- a graph noise distribution graph in which the pixel position is set on the horizontal axis and the pixel value is set on the vertical axis is shown.
- the pixel value is a value obtained by adding a predetermined amount of noise to the original color and luminance of the subject.
- noise information is also an image feature quantity that can be acquired from the post-positioning high-quality image 161 or its degradation simulation image.
- These three image feature amounts shown in FIG. 14 are feature amounts that can be acquired from the sample image in the learning process described above with reference to FIG. 7, and the first to third features of the image correction unit 127 shown in FIG. In the stage class classification processing units 212, 222, and 232, the feature amount can be acquired from the post-positioning high-quality image 161 or its degradation simulation image.
- the point spread function which is a function indicating the blur amount of the image shown in FIG. 14 (2)
- the learning process executed in advance the blur amount of the local region is calculated from the sample image.
- a point spread function (PSF) that is a function shown in FIG. 5 is acquired as a feature amount, and based on the feature amount, a correction coefficient classified into classes corresponding to the blur amount is calculated as a correction factor for reducing the blur amount. And stored in the storage unit (class-corresponding correction coefficient storage unit).
- a point spread function which is a function indicating the amount of blur
- the image correction unit at each processing stage performs correction processing using, for example, LPF.
- the correction coefficient of the class corresponding to the feature quantity corresponding to the class is, for example, a multiplication coefficient of the reference pixel set in the LPF.
- the noise amount of the image shown in FIG. 14 (3) is used as the feature amount
- the noise amount of the local region is acquired as a feature amount from the sample image, and this feature is obtained.
- a correction coefficient for reducing the noise amount a correction coefficient classified into classes according to the noise amount and type (low frequency / high frequency) is calculated and stored (class-corresponding correction coefficient storage unit) To store.
- the noise amount and type are acquired as local region feature amounts from the high-quality images input in parallel as reference images, and the feature-value corresponding classes classified in the pre-learning processing are corrected. Correct by applying the coefficient.
- the image correction unit in each processing stage performs, for example, correction processing that reduces noise.
- a configuration may be adopted in which a plurality of different feature amounts are acquired, a correction coefficient for improving the image quality is obtained according to the acquired plurality of feature amounts, and the correction process is performed by applying the correction coefficient.
- various feature amounts can be applied.
- the image correction unit 127 has three-stage configuration of the first-stage processing section 210 to the third-stage processing section 230 and performs three times of image processing. An example of a repeated configuration has been described.
- FIG. 15 shows a configuration example of the image correction unit 127.
- the image correction unit 127 shown in ⁇ 15 has a configuration in which image processing is repeated n times as the n-stage configuration of the first-stage processing unit 410-1 to the n-th processing unit 410-n.
- the components of the processing units at each stage are the same, and are configured by the following elements.
- Deterioration simulation image generation units 411-1 to 41-n Class classification processing units 412-1 to 412-1, Class corresponding correction coefficient storage units 413-1 to 413-1, Tap selection units 414-1 to 41-n, Image correction units 415-1 to 41-n,
- tap selection process By increasing the number of stages in this way, correction applying an accurate correction coefficient according to image features classified more finely is realized.
- tap selection with various settings can be performed at each stage, and optimal tap selection according to characteristics can be performed.
- the image processing apparatus executes a learning process to which a sample image is applied before the actual correction target image correction process, and performs feature amount correspondence based on the learning process.
- a correction coefficient that is, a class correspondence correction coefficient is calculated and stored in a class correspondence correction coefficient storage section which is a storage section.
- the flowchart shown in FIG. 16 is a flowchart for explaining the sequence of this learning process.
- the flowchart shown in FIG. 17 is a flowchart for explaining a sequence of image correction processing executed after the learning processing is completed.
- a learning process sequence that is, a learning process using a sample image is executed to calculate a correction coefficient corresponding to a feature amount based on the learning process, that is, a class-corresponding correction coefficient.
- the sequence of processing stored in the class-corresponding correction coefficient storage unit that is a storage unit will be described.
- the processing according to the flow shown in FIG. 16 is executed under the control of a control unit having a program execution function, for example, according to a program stored in the storage unit of the image processing apparatus.
- a control unit having a program execution function for example, according to a program stored in the storage unit of the image processing apparatus.
- Step S101 the image processing apparatus inputs a sample image. That is, a sample image for performing feature amount extraction processing is input.
- the sample image is a high-quality image with high resolution such as a visible light image.
- the input sample high-quality image is not a single image but a large number of image data having various characteristics. That is, correction coefficients (parameters) for different classes corresponding to different feature amounts generated as learning results by inputting a large number of image data having various features, as shown in FIG. Stored in the coefficient storage units 213, 223, and 233.
- Step S102 the image processing apparatus performs a deteriorated image generation process in step S102.
- This process is a process executed by the deterioration simulation image generation units 211, 221, and 231 described above with reference to FIG.
- deteriorated images with different deterioration levels are generated by applying different LPFs (low pass filters).
- the maximum deterioration level is preferably set to a level that substantially matches the deterioration level of the correction target image.
- Step S103 the image processing apparatus performs a feature amount extraction process from the input sample image or its degraded image.
- This process is a process executed by the learning process execution unit 320 described above with reference to FIG.
- step S11 described with reference to FIG. 7 corresponds to a part of the processing of steps S11 to S13 described above with reference to FIG.
- step S11 described with reference to FIG. 7 the 1/8 resolution degradation simulated image 302 and the 1/4 resolution degradation simulated image 303 are input, and image features are obtained in units of a predetermined pixel area (local area) of each image. Calculate the amount.
- Step S104 the image processing apparatus calculates a correction coefficient (correction parameter) corresponding to the image feature amount extracted in step S103 by learning processing.
- This processing also corresponds to part of the processing of steps S11 to S13 described with reference to FIG.
- step S11 described with reference to FIG. 7 a supervised learning process is performed in which the 1/4 resolution degradation simulated image 303 is a teacher image (restored image) and the 1/8 resolution degradation simulated image 302 is a student image.
- the optimum correction coefficient (correction parameter) corresponding to various feature amounts is acquired.
- This correction coefficient calculation processing is performed for the entire images of various sample image images.
- step S105 the image processing apparatus stores the correction coefficient (correction parameter) calculated in step S104 as a class-unit correction coefficient corresponding to the feature quantity classification information, that is, for example, the first shown in FIG. It is stored in the correction coefficient storage unit 213 corresponding to the one-stage class.
- step S106 Next, in step S ⁇ b> 106, the image processing apparatus determines whether or not the feature amount extraction to which all scheduled degraded images are applied has been completed. If there is an unprocessed deteriorated image, the processing from step S102 onward is repeated for this unprocessed image. This corresponds to a process of sequentially executing the processes of steps S11 to S13 shown in FIG.
- step S106 If it is determined in step S106 that feature amount extraction using all scheduled degraded images has been completed, the process proceeds to step S107.
- step S107 the image processing apparatus determines whether or not the processing of all scheduled sample images has been completed. If there is an unprocessed sample image, the process returns to step S101, and the process from step S101 is repeated on the unprocessed sample image.
- the sample image from which the feature amount is extracted is preferably a large number of image data having various features. That is, learning processing is performed by inputting a large number of image data having various features, and the class-specific correction coefficients (parameters) corresponding to the different feature amounts generated as the learning results are shown in FIG. Store in the storage units 213, 223, 233.
- step S107 If it is determined in step S107 that the processing of all scheduled sample images has been completed, the processing ends.
- various feature amounts can be applied to the feature amount acquired from the sample image in the learning process, and various feature amounts described above with reference to FIGS. 9 and 14 can be extracted. It is.
- the processing according to the flow shown in FIG. 17 is executed under the control of a control unit having a program execution function, for example, according to a program stored in the storage unit of the image processing apparatus.
- a control unit having a program execution function for example, according to a program stored in the storage unit of the image processing apparatus.
- Step S201 First, in step S201, the image processing apparatus inputs a low-quality image that is a correction target image and a high-quality image that is a reference image. Note that these correspond to the post-positioning high quality image 161 and the post-positioning low quality image 162 shown in FIG. 6 and are two images obtained by photographing the same subject that has been aligned.
- Step S202 the image processing apparatus generates a deteriorated image of a high quality image that is a reference image.
- This process is a process executed by the first-stage deterioration simulation image generation unit 211, the second-stage deterioration simulation image generation unit 221, and the third-stage deterioration simulation image generation unit 231 of the image correction unit 127 shown in FIG.
- the high-quality image that is the reference image is input to the first-stage deterioration simulation image generation unit 211, the second-stage deterioration simulation image generation unit 221, and the third-stage deterioration simulation image generation unit 231, and uses different LPFs (low pass filters). Depending on the applied processing, it is converted into a low-resolution image of a different level.
- LPFs low pass filters
- the first-stage degradation simulation image generation unit 211 has a degradation simulation image having the same level of resolution as the low-quality image that is the correction target image (for example, a degradation simulation having 1/8 resolution of the resolution of the high-quality image). Image).
- the second-stage deterioration simulated image generation unit 221 is a deterioration simulation image having a lower deterioration level than the deterioration image generated by the first-stage deterioration simulation image generation unit 211 (for example, a deterioration simulation image having 1/4 resolution of the resolution of a high-quality image). ) Is generated.
- the third-stage deterioration simulation image generation unit 231 has a deterioration simulation image having a lower deterioration level than the deterioration image generated by the second-stage deterioration simulation image generation unit 221 (for example, a deterioration having 1/2 resolution of the resolution of a high-quality image). A simulated image).
- step S203 the image processing apparatus selects a correction pixel region of a low quality image that is a correction target image.
- the image processing apparatus sequentially selects correction target pixels from the low-quality image that is the correction target image. This corresponds to, for example, the correction target pixel selection process shown in the low-quality image after alignment (before the first-stage correction) 162a shown in FIG.
- step S204 the image processing apparatus selects a corresponding area of the correction pixel area from a high-quality image that is a reference image or a deteriorated image thereof, extracts a feature amount of the selected area, and performs class classification processing. Do.
- This process is, for example, a process executed by the first-stage class classification processing unit 212 illustrated in FIGS. 6, 11, and 12.
- the first-stage class classification processing unit 212 inputs a 1/8 resolution degradation simulated image 331, a 1/4 degradation simulated image 332, and these two degradation simulated images, Are detected, and a class corresponding to the detected feature is identified.
- the feature amounts of the local region A of the 1/8 resolution degradation simulated image 331 and the local region B of the 1/4 degradation simulated image 332 are extracted.
- This process is, for example, a process of extracting the pixel value (luminance) distribution in the local area from the local areas A and B as described above with reference to FIG.
- the extracted class corresponding to the feature amount is identified according to the class classification information described with reference to FIG.
- Step S205 the image processing apparatus performs tap selection (reference pixel area setting) processing based on the feature amount.
- This process is, for example, a process executed by the first stage tap selection unit 214 illustrated in FIGS. 6, 11, and 12.
- the tap selection process is performed in the first stage tap selection unit 214 as the previous stage of the pixel value correction process in the first stage image correction unit 215.
- the tap selection process is a reference pixel selection process used for calculating the pixel value of the correction target pixel.
- This tap selection can be determined based on the feature quantity extracted from the high-quality image or its degraded image in step S204. For example, when the pixel value amplitude of the local region acquired as a feature amount is small, a wide reference region (tap range) is set, and when the pixel value amplitude of the local region acquired as a feature amount is large, a narrow reference region (tap) Range) and the like.
- Step S206 the image processing apparatus acquires, from the storage unit, a correction coefficient associated with the class corresponding to the feature amount extracted from the high-quality image or the degraded image in step S204.
- This process is, for example, a process executed by the first stage image correction unit 215 described with reference to FIGS. 6, 11, and 12.
- the first-stage image correction unit 215 acquires a correction coefficient corresponding to the class specified by the first-stage class classification processing unit 212 from the first-stage class correspondence correction coefficient storage unit 213. This is the class correspondence correction coefficient 340 shown in FIG.
- the first-stage image correction unit 215 performs the pixel value correction processing of the low quality image by applying the class correspondence correction coefficient 340.
- step S207 the image processing apparatus applies the correction coefficient corresponding to the feature amount acquired from the storage unit in step S206 and the tap selected in step S205, that is, the correction coefficient corresponding to the class, to the low-quality image. Execute image correction processing.
- the process of calculating the corrected pixel value y is performed by applying the previously described (Expression 1), that is, the expression shown in FIG.
- step S208 the image processing apparatus determines whether or not the pixel value correction of the entire image area of the low quality image that is the correction target image has been completed. If there is an unprocessed pixel, the process from step S203 is executed on the unprocessed pixel. If it is determined in step S208 that pixel value correction has been completed for the entire area of the low-quality image that is the correction target image, the process proceeds to step S209.
- step S209 the image processing apparatus determines whether there is a next-stage processing unit.
- the image correction unit 1237 of the image processing apparatus has a multi-stage configuration (cascade configuration). That is, the correction process result, which is the result of the quality improvement process in the first stage processing unit, is input to the second stage processing unit, and the correction process as the quality improvement process is performed in the second stage processing unit. Further, the correction process result that is the result of the quality improvement process in the second stage processing unit is input to the third stage processing unit, and the third stage processing unit performs the correction process as the quality improvement process.
- step S209 it is determined whether there is a subsequent processing stage. If there is a subsequent processing stage, the process proceeds to step S210. In step S210, the corrected image is output to the processing unit at the next stage, and the processing at the next stage correction unit is started. That is, the processing in step S203 and subsequent steps is executed in the processing unit at the next stage. If it is determined in step S209 that there is no subsequent processing stage, the process ends.
- the image processing apparatus executes correction of pixel values as a multi-stage process (cascade process).
- the correction coefficient applied in each stage processing unit can be an accurate correction coefficient corresponding to more classes.
- the correction coefficient is a correction coefficient classified into classes by a learning process executed in advance, and this correction coefficient is an optimal correction coefficient corresponding to more classes, that is, an optimal correction according to the image feature amount. It becomes possible to use a coefficient.
- tap selection process tap selection in three stages from the first stage tap selection unit 214 to the third stage tap selection unit 234 is possible.
- the tap is a reference pixel range to be applied when calculating the correction pixel value.
- an optimum tap reference pixel range
- the image processing apparatus realizes the optimum correction according to the feature amount of the local region unit of the image by such processing.
- FIG. 18 is a diagram illustrating a hardware configuration example of an image processing apparatus that executes the processing of the present disclosure.
- a CPU (Central Processing Unit) 501 functions as a control unit or a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a storage unit 508. For example, processing according to the sequence described in the above-described embodiment is executed.
- a RAM (Random Access Memory) 503 stores programs executed by the CPU 501 and data.
- the CPU 501, ROM 502, and RAM 503 are connected to each other by a bus 504.
- the CPU 501 is connected to an input / output interface 505 via a bus 504.
- the input / output interface 505 inputs an image captured by the imaging unit 521, and includes various switches that can be input by a user, a keyboard, a mouse, a microphone, and the like.
- An output unit 507 that outputs data to the unit 506, the display unit 522, a speaker, and the like is connected.
- the CPU 501 executes various processes in response to a command input from the input unit 506 and outputs a processing result to the output unit 507, for example.
- the storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk and stores programs executed by the CPU 501 and various data.
- a communication unit 509 functions as a transmission / reception unit for Wi-Fi communication, Bluetooth (BT) communication, and other data communication via a network such as the Internet or a local area network, and communicates with an external device.
- BT Bluetooth
- the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
- a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). You may implement
- FIG. 19 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
- the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
- the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
- the communication network 7010 connecting the plurality of control units is compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
- CAN Controller Area Network
- LIN Local Interconnect Network
- LAN Local Area Network
- FlexRay registered trademark
- Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
- Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
- a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
- other control units include a microcomputer, a communication I / F, a storage unit, and the like.
- the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
- the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
- the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
- a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
- the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
- the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
- the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
- the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
- the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
- the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
- the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
- the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
- the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
- the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
- the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
- the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
- the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
- FIG. 20 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
- the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
- An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
- Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
- An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
- the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
- FIG. 20 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
- the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
- the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
- the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
- the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
- the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
- These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
- the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
- the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
- the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
- the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
- the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
- the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
- the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
- the vehicle interior information detection unit 7500 detects vehicle interior information.
- a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
- Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
- the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
- the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
- the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
- the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
- An input unit 7800 is connected to the integrated control unit 7600.
- the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
- the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
- the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
- the input unit 7800 may be, for example, a camera.
- the passenger can input information using a gesture.
- data obtained by detecting the movement of the wearable device worn by the passenger may be input.
- the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
- a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
- the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
- the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
- General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
- General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi). (Also referred to as (registered trademark)) and other wireless communication protocols such as Bluetooth (registered trademark) may be implemented.
- the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be.
- a device for example, an application server or a control server
- an external network for example, the Internet, a cloud network, or an operator-specific network
- the general-purpose communication I / F 7620 uses a P2P (Peer To Peer) technology, for example, a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal). You may connect with.
- P2P Peer To Peer
- a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal. You may connect with.
- the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
- the dedicated communication I / F 7630 is, for example, WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communication Protocol) or DSRC (Dedicated Short Range Communication Protocol), which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
- the dedicated communication I / F 7630 typically includes a vehicle-to-vehicle communication, a road-to-vehicle communication, a vehicle-to-home communication, and a vehicle-to-pedestal (Vehicle to Pestrest). ) Perform V2X communication, which is a concept that includes one or more of the communications.
- the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a Global Positioning System (GPS) satellite), performs positioning, and performs the latitude, longitude, and altitude of the vehicle.
- the position information including is generated.
- the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
- the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
- the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
- the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
- the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile) via a connection terminal (and a cable if necessary).
- a wired connection such as High-definition Link may be established.
- the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
- In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
- In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
- the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
- the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
- the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
- the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
- the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, tracking based on inter-vehicle distance, vehicle speed maintenance, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
- ADAS Advanced Driver Assistance System
- the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
- the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
- the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
- the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
- the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
- an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
- Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
- the display portion 7720 may have an AR (Augmented Reality) display function.
- the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
- the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
- At least two control units connected via the communication network 7010 may be integrated as one control unit.
- each control unit may be configured by a plurality of control units.
- the vehicle control system 7000 may include another control unit not shown.
- some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
- a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
- a computer program for realizing each function of the image processing apparatus according to the present embodiment described above can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
- the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
- the image processing apparatus can be applied to the integrated control unit 7600 of the application example shown in FIG.
- the CPU 801 of the image processing apparatus shown in FIG. 20 is the microcomputer 7610 of the integrated control unit 7600 shown in FIG. 19, and the ROM 802, RAM 803, and the storage unit 808 of the image processing apparatus shown in FIG. 20 are the integrated control unit shown in FIG.
- a storage unit 7690 of 7600 and a communication unit 809 of the image processing apparatus illustrated in FIG. 20 correspond to the in-vehicle network I / F 7680 of the integrated control unit 7600 illustrated in FIG.
- the components of the image processing apparatus described above may be realized in a module (for example, an integrated circuit module configured by one die) for the integrated control unit 7600 illustrated in FIG. Good.
- the image processing apparatus demonstrated previously may be implement
- the technology disclosed in this specification can take the following configurations. (1) having an image correction unit that repeatedly executes image correction processing by a plurality of processing units of at least two stages from the first stage processing part to the last stage processing part; The image correction unit inputs a low-quality image that is a correction target image and a high-quality image that is a reference image, Each stage processing unit of the plurality of processing units, Applying a class-corresponding correction coefficient classified by a class corresponding to a feature amount extracted from the high-quality image or the degraded image of the high-quality image, and executing the correction process of the low-quality image,
- the image processing apparatus wherein the class correspondence correction coefficient is a class correspondence correction coefficient generated by a learning process.
- the preceding processing unit applies the class-corresponding correction coefficient associated with the feature amount extracted from the deteriorated image of the high quality image having a higher deterioration level than the subsequent processing unit, and executes the correction process of the low quality image ( The image processing apparatus according to 1).
- the first stage processing unit includes: Class correspondence that is a degraded image of the high-quality image, and whose degradation level is associated with a feature amount extracted from the degraded image of the high-quality image having a degradation level substantially equal to that of the low-quality image that is the correction target image.
- the class correspondence correction coefficient is a class correspondence correction coefficient generated by a learning process based on a sample image in advance.
- the class correspondence correction coefficient is a class correspondence correction coefficient associated with a feature amount extracted from the sample image or a degraded image of the sample image,
- the image processing apparatus according to (4) wherein the preceding processing unit executes a correction process using a class correspondence correction coefficient associated with a feature amount extracted from an image having a higher deterioration level than the subsequent processing unit.
- the preceding processing unit applies the class-corresponding correction coefficient associated with the feature amount extracted from the lower resolution image than the subsequent processing unit, and executes the correction process for the low quality image (1) to (5)
- An image processing apparatus according to claim 1.
- the class correspondence correction coefficient is The image processing apparatus according to any one of (1) to (6), wherein the correction coefficient is associated with a setting class based on a combination of a feature amount of an image with a high deterioration level and a feature amount of an image with a low deterioration level.
- the class correspondence correction coefficient is The image processing apparatus according to any one of (1) to (7), configured by a multiplication coefficient corresponding to a reference pixel applied to a filter that calculates a pixel value of a correction target pixel.
- Each stage processing unit of the plurality of processing units is The image processing apparatus according to any one of (1) to (8), further including a tap selection unit for setting a reference pixel range to be referred to when calculating a correction pixel value of a correction target pixel of a low quality image that is a correction target image.
- the tap selection unit The image processing apparatus according to (9), wherein a reference pixel range is set according to a feature amount of a pixel region including the correction target pixel.
- the feature amount is (A) Luminance distribution information (b) Blur mode information (c) Noise information
- the image processing apparatus according to any one of (1) to (10), which is a feature amount of any of (a) to (c) above.
- the low-quality image that is the correction target image is The image processing apparatus according to any one of (1) to (11), which is either a far-infrared image or a fluorescent image.
- the image processing apparatus further includes: A high-quality image capturing unit that performs a visible light image capturing process; It has a low-quality image imaging unit that performs imaging processing of far-infrared images or fluorescent images,
- the image correction unit Any one of (1) to (13), wherein the high-quality image image capturing unit and the high-quality image and the low-quality image captured by the low-quality image image capturing unit are input, and the correction process for the low-quality image is executed.
- the image processing apparatus includes an image correction unit that repeatedly executes image correction processing by a plurality of processing units of at least two stages from the first stage processing part to the last stage processing part, An image input step in which the image correction unit inputs a low-quality image that is a correction target image and a high-quality image that is a reference image; Each stage processing unit of the plurality of processing units, Applying a class-corresponding correction coefficient classified by the class corresponding to the feature amount extracted from the high-quality image or the deteriorated image of the high-quality image, and executing a correction step of performing correction processing of the low-quality image,
- the image processing method wherein the class correspondence correction coefficient applied in the correction step is a class correspondence correction coefficient generated by a learning process.
- a program for executing image processing in an image processing apparatus includes an image correction unit that repeatedly executes image correction processing by a plurality of processing units of at least two stages from the first stage processing part to the last stage processing part,
- the program causes the image correction unit to input a low-quality image that is a correction target image and a high-quality image that is a reference image;
- Applying a class-corresponding correction coefficient classified by the class corresponding to the feature amount extracted from the high-quality image or the degraded image of the high-quality image and executing a correction step for executing the correction process of the low-quality image
- the program corresponding to the class correspondence correction coefficient applied in the correction step is a class correspondence correction coefficient generated by a learning process.
- the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
- the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
- the program can be recorded in advance on a recording medium.
- the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
- the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
- the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
- an apparatus and a method for performing high image quality processing of a low quality image such as a far infrared image are realized.
- an image correction unit that repeatedly executes image correction processing by a plurality of processing units of at least two stages or more is provided.
- the image correction unit inputs a low-quality image to be corrected and a high-quality image to be a reference image, and each stage processing unit applies a class-corresponding correction coefficient corresponding to a feature amount extracted from a deteriorated image of the high-quality image. Then, the low-quality image correction process is executed.
- the preceding processing unit executes the correction process by applying the class correspondence correction coefficient corresponding to the feature amount extracted from the image having a higher deterioration level than the subsequent processing unit.
- the correction coefficient is generated in advance by a learning process.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法を提供する。少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有する。画像補正部は、補正対象となる低品質画像と、参照画像となる高品質画像を入力し、各段処理部は、高品質画像の劣化画像から抽出した特徴量対応のクラス対応補正係数を適用して、低品質画像の補正処理を実行する。先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量対応のクラス対応補正係数を適用して補正処理を実行する。補正係数は、学習処理によって事前に生成する。
Description
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像品質を向上させる画像処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。
昨今、可視光の画像撮影を行う可視光カメラとともに、可視光による画像撮影が困難な夜間等においても人物等を撮影可能な遠赤外線カメラ等の赤外線カメラを組み合わせたシステムが多く利用されている。
このような2つのカメラを用いた撮像装置について、例えば特許文献1(特開2011-211387号公報)に開示されている。
このような2つのカメラを用いた撮像装置について、例えば特許文献1(特開2011-211387号公報)に開示されている。
しかし、一般的に赤外線カメラによって撮影される赤外線画像は、可視光画像に比較して解像度が低下してしまうという問題がある。
また、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像も利用されるが、昨今、可視光画像とは異なる蛍光画像の利用が進んでいる。
蛍光画像は、例えば、特定の波長領域からなる励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影することで得られる画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。
蛍光画像は、例えば、特定の波長領域からなる励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影することで得られる画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。
なお、可視光画像と蛍光画像を用いた内視鏡装置については、例えば特許文献2(特開2013-248319号公報)等に記載がある。
しかし、蛍光画像もまた、上述の赤外線画像と同様、可視光画像に比較して低解像度の画像しか得られず画像品質が低下するという欠点がある。特に生体内の深い位置にある血管等の画像は、生体内で多くの散乱光が発生し、鮮明な画像が得られないという問題がある。
本開示は、例えば、上記の問題点に鑑みてなされたものであり、例えば遠赤外線画像や蛍光画像等の画像品質の悪い画像を、画像処理によって画質を向上させて高品質化する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部は、補正対象画像である低品質画像と、参照画像である高品質画像を入力し、
前記複数処理部の各段処理部は、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する構成であり、
前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理装置にある。
第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部は、補正対象画像である低品質画像と、参照画像である高品質画像を入力し、
前記複数処理部の各段処理部は、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する構成であり、
前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理装置にある。
さらに、本開示の第2の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部が、補正対象画像である低品質画像と、参照画像である高品質画像を入力する画像入力ステップと、
前記複数処理部の各段処理部が、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する補正ステップを実行し、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理方法にある。
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部が、補正対象画像である低品質画像と、参照画像である高品質画像を入力する画像入力ステップと、
前記複数処理部の各段処理部が、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する補正ステップを実行し、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理方法にある。
さらに、本開示の第3の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記プログラムは、前記画像補正部に、補正対象画像である低品質画像と、参照画像である高品質画像を入力させる画像入力ステップと、
前記複数処理部の各段処理部に、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行させる補正ステップを実行させ、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数であるプログラムにある。
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記プログラムは、前記画像補正部に、補正対象画像である低品質画像と、参照画像である高品質画像を入力させる画像入力ステップと、
前記複数処理部の各段処理部に、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行させる補正ステップを実行させ、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数であるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
具体的には、例えば、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有する。画像補正部は、補正対象となる低品質画像と、参照画像となる高品質画像を入力し、各段処理部は、高品質画像の劣化画像から抽出した特徴量対応のクラス対応補正係数を適用して、低品質画像の補正処理を実行する。先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量対応のクラス対応補正係数を適用して補正処理を実行する。補正係数は、学習処理によって事前に生成する。
これらの処理により、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有する。画像補正部は、補正対象となる低品質画像と、参照画像となる高品質画像を入力し、各段処理部は、高品質画像の劣化画像から抽出した特徴量対応のクラス対応補正係数を適用して、低品質画像の補正処理を実行する。先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量対応のクラス対応補正係数を適用して補正処理を実行する。補正係数は、学習処理によって事前に生成する。
これらの処理により、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.本開示の画像処理装置の構成と処理について
2.低品質画像の高画質化処理を実行する画像処理装置の構成例について
3.画像補正部の構成例と処理について
4.学習処理によるクラス対応補正係数の算出と記憶部に対する格納処理について
5.学習処理によって算出したクラス対応補正係数を適用した画像補正処理について
6.その他の実施例について
6-1.画像補正処理に利用可能な特徴量の例について
6-2.画像補正部の多段構成のその他の例について
7.画像処理装置の実行する処理のシーケンスについて
8.画像処理装置のハードウェア構成例について
9.本開示の画像処理装置を適用した応用例について
10.本開示の構成のまとめ
1.本開示の画像処理装置の構成と処理について
2.低品質画像の高画質化処理を実行する画像処理装置の構成例について
3.画像補正部の構成例と処理について
4.学習処理によるクラス対応補正係数の算出と記憶部に対する格納処理について
5.学習処理によって算出したクラス対応補正係数を適用した画像補正処理について
6.その他の実施例について
6-1.画像補正処理に利用可能な特徴量の例について
6-2.画像補正部の多段構成のその他の例について
7.画像処理装置の実行する処理のシーケンスについて
8.画像処理装置のハードウェア構成例について
9.本開示の画像処理装置を適用した応用例について
10.本開示の構成のまとめ
[1.本開示の画像処理装置の構成と処理について]
図1以下を参照して本開示の画像処理装置の構成と処理について説明する。
まず、図1以下を参照して本開示の画像処理装置が処理対象とする画像について説明する。
図1以下を参照して本開示の画像処理装置の構成と処理について説明する。
まず、図1以下を参照して本開示の画像処理装置が処理対象とする画像について説明する。
本開示の画像処理装置は、低品質の画像、例えば遠赤外線画像や、蛍光画像等、一般的な可視光画像に比較して解像度が低く品質の悪い低品質画像に対する画像処理を行い、画質を向上させる高品質化処理を行う。
具体的には、遠赤外線画像や蛍光画像等の低品質画像と、これらの低品質画像と同一の被写体を撮影した高品質画像である可視光画像を組み合わせて画像処理を行うことで、遠赤外線画像や蛍光画像等の低品質画像の高品質化処理を行う。
以下、高品質化処理の対象となる低品質画像である蛍光画像と遠赤外線画像について説明する。
以下、高品質化処理の対象となる低品質画像である蛍光画像と遠赤外線画像について説明する。
まず、蛍光画像について説明する。
前述したように、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像の他、可視光画像と異なる蛍光画像の利用が増加している。
蛍光画像は、特定波長の励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影した画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。
前述したように、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像の他、可視光画像と異なる蛍光画像の利用が増加している。
蛍光画像は、特定波長の励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影した画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。
図1を参照して、蛍光画像の撮影構成例について説明する。
蛍光画像は、特定波長の励起光を照射し、例えば血管等の生体組織から出力される蛍光を撮像素子に入力して撮影する画像である。
蛍光画像は、特定波長の励起光を照射し、例えば血管等の生体組織から出力される蛍光を撮像素子に入力して撮影する画像である。
図1(1)は、生体組織10内の比較的浅い部分にある血管11を撮影する構成例であり、(2)は、生体組織10内の比較的深い部分にある血管11を撮影する構成例を示している。
励起光が血管に照射されると、複数の散乱光が発生する。特に生体組織10の深い部分では、より多くの散乱光が発生し、その結果、撮像素子に撮影される蛍光画像の画質が低下するという問題が発生する。
励起光が血管に照射されると、複数の散乱光が発生する。特に生体組織10の深い部分では、より多くの散乱光が発生し、その結果、撮像素子に撮影される蛍光画像の画質が低下するという問題が発生する。
次に、図2を参照して、遠赤外線画像について説明する。
図2に示すように、可視光画像20は、波長が約0.4μm~0.7μmの範囲の画像であり、一般的なカメラで撮影されるRGB画像等のカラー画像である。
図2に示すように、可視光画像20は、波長が約0.4μm~0.7μmの範囲の画像であり、一般的なカメラで撮影されるRGB画像等のカラー画像である。
一方、遠赤外線画像は、波長が.0.7μm以上の長波長光からなる画像である。赤外線画像を撮影する赤外線画像撮影カメラは、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
なお、赤外線は、図2に示すように、
波長が約0.7~1μmの近赤外線、
波長が約3~5μmの中赤外線、
波長が約8~14μmの遠赤外線、
このように区分される。
なお、赤外線は、図2に示すように、
波長が約0.7~1μmの近赤外線、
波長が約3~5μmの中赤外線、
波長が約8~14μmの遠赤外線、
このように区分される。
これらの画像の中でも、主に波長が約8~14μmの遠赤外線を撮影する遠赤外線画像21は、より波長の長い遠赤外線に基づく画像となり、解像度が大きく低下してしまうという問題がある。
図3は、可視光画像20、および遠赤外線画像21を撮影する撮像素子上の画素配列の例を示す図である。
図3(1)の可視光画像は、RGB各画素からなるベイヤ配列の例を示している。このベイヤ配列は、多くの可視光撮影カメラの撮像素子に利用されている。
撮像素子の各画素は、RまたはGまたはB各波長光の光量に応じた電気信号を出力する。
図3(1)の可視光画像は、RGB各画素からなるベイヤ配列の例を示している。このベイヤ配列は、多くの可視光撮影カメラの撮像素子に利用されている。
撮像素子の各画素は、RまたはGまたはB各波長光の光量に応じた電気信号を出力する。
一方、図3(2)の遠赤外線画像は、全ての画素位置において遠赤外光(FIR:Far Infra Red)の波長光を撮影する。
ただし、図3(1),(2)に示すように、一般的に遠赤外線画像撮像素子は、可視光画像撮像素子に比較して、解像度が低くなる。これは赤外線、特に遠赤外線は波長が長く、高密度の画素配列を持つ撮像素子が利用しにくい等の理由である。
蛍光画像も遠赤外線画像と同様であり、高解像度画像の取得が困難であるという問題がある。
ただし、図3(1),(2)に示すように、一般的に遠赤外線画像撮像素子は、可視光画像撮像素子に比較して、解像度が低くなる。これは赤外線、特に遠赤外線は波長が長く、高密度の画素配列を持つ撮像素子が利用しにくい等の理由である。
蛍光画像も遠赤外線画像と同様であり、高解像度画像の取得が困難であるという問題がある。
本開示の画像処理装置は、これらの遠赤外線画像や蛍光画像等の低品質画像の品質を向上させる画像補正処理によって、高品質画像を生成する。
具体的には、遠赤外線画像や蛍光画像等の低品質画像と、これらの低品質画像と同一の被写体を撮影した高品質画像である可視光画像を組み合わせた画像処理を行うことにより、遠赤外線画像や蛍光画像等の低品質画像の高画質化処理を行う。
なお、本開示の処理は、遠赤外線画像や蛍光画像に限らず、その他の低品質画像の高画質化処理にも適用可能である。
具体的には、遠赤外線画像や蛍光画像等の低品質画像と、これらの低品質画像と同一の被写体を撮影した高品質画像である可視光画像を組み合わせた画像処理を行うことにより、遠赤外線画像や蛍光画像等の低品質画像の高画質化処理を行う。
なお、本開示の処理は、遠赤外線画像や蛍光画像に限らず、その他の低品質画像の高画質化処理にも適用可能である。
[2.低品質画像の高画質化処理を実行する画像処理装置の構成例について]
図4は、本開示の画像処理装置100の一例である撮像装置の構成を示すブロック図である。
なお、本開示の画像処理装置には、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するPC等の情報処理装置も含まれる。
以下では、本開示の画像処理装置100の一例として、撮像装置の構成と処理について説明する。
以下の実施例において説明する撮影処理以外の画像処理は、撮像装置に限らず、PC等の情報処理装置において実行可能である。
図4は、本開示の画像処理装置100の一例である撮像装置の構成を示すブロック図である。
なお、本開示の画像処理装置には、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するPC等の情報処理装置も含まれる。
以下では、本開示の画像処理装置100の一例として、撮像装置の構成と処理について説明する。
以下の実施例において説明する撮影処理以外の画像処理は、撮像装置に限らず、PC等の情報処理装置において実行可能である。
図4に示す撮像装置としての画像処理装置100は、制御部101、記憶部102、コーデック103、入力部104、出力部105、撮像部106、画像処理部120を有する。
撮像部106は、通常の可視光画像等、高解像度の高品質画像の撮影を行う高品質画像撮像部107と、遠赤外線画像や蛍光画像等、例えば解像度の低い低品質画像の撮影を行う低品質画像撮像部108を有する。
撮像部106は、通常の可視光画像等、高解像度の高品質画像の撮影を行う高品質画像撮像部107と、遠赤外線画像や蛍光画像等、例えば解像度の低い低品質画像の撮影を行う低品質画像撮像部108を有する。
高品質画像撮像部107は、例えば高解像度の可視光画像の画像撮影を行う第1撮像素子111を有する。第1撮像素子111は、例えば、先に図2(1)を参照して説明したベイヤ配列からなるRGB画素を有し、各画素単位でRGB各色の入力光対応の信号を出力する撮像素子である。
一方、低品質画像撮像部108は、例えば遠赤外線画像や蛍光画像等、低解像度の低品質画像を撮影する第2撮像素子112を有する。第2撮像素子112は、例えば遠赤外線画像、あるいは蛍光画像を撮影する撮像素子であり、第1撮像素子111よりも低品質の画像の撮影しかできない撮像素子である。
高品質画像撮像部107による撮影画像である高品質画像151と、低品質画像撮像部108による撮影画像である低品質画像152は、画像処理部200に入力される。
画像処理部200は、これら2つの画像を用いて、低品質画像152の品質向上処理、すなわち、高画質化処理を行う。
この処理結果として、高品質化補正画像172を生成して出力する。
高品質化補正画像172は、低品質画像撮像部108による撮影画像である遠赤外線画像や蛍光画像等の低品質画像の補正処理によって生成される高品質化された遠赤外線画像や蛍光画像である。
画像処理部200は、これら2つの画像を用いて、低品質画像152の品質向上処理、すなわち、高画質化処理を行う。
この処理結果として、高品質化補正画像172を生成して出力する。
高品質化補正画像172は、低品質画像撮像部108による撮影画像である遠赤外線画像や蛍光画像等の低品質画像の補正処理によって生成される高品質化された遠赤外線画像や蛍光画像である。
高品質画像撮像部107と、低品質画像撮像部108は、所定間隔、離れた位置に設定される2つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。
異なる視点からの2つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
異なる視点からの2つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
高品質画像撮像部107と、低品質画像撮像部108は、撮影画像が静止画である場合は、各々が1枚ずつ、計2枚の静止画を撮影する。動画を撮影する場合は、各撮像部の撮影フレームは、各撮像部が連続した画像フレームを撮影する。
なお、これらの撮影タイミングの制御は制御部101によって行われる。
なお、これらの撮影タイミングの制御は制御部101によって行われる。
制御部101は、画像の撮影、撮影画像に対する信号処理、画像の記録処理、表示処理等、撮像装置100において実行する各種の処理を制御する。制御部101は、例えば記憶部102に格納された様々な処理プログラムに従った処理を実行するCPU等を備え、プログラムを実行するデータ処理部として機能する。
記憶部102は、撮影画像の格納部、さらに、制御部101において実行する処理プログラムや、各種パラメータの記憶部、さらにデータ処理時のワークエリアとして機能するRAM、ROM等によって構成される。
コーデック103は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
入力部104は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
出力部105は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。
コーデック103は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
入力部104は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
出力部105は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。
画像処理部120は、撮像部106から入力する2枚の画像を入力し、これら2枚の画像を適用して、入力画像の高画質化処理を実行する。
具体的には、低品質画像撮像部108の撮影する遠赤外線画像や蛍光画像等の低品質画像152の高画質化処理を行い、高品質化補正画像172を生成して出力する。
前述したように、高品質化補正画像172は、低品質画像撮像部108による撮影画像である遠赤外線画像や蛍光画像等の低品質画像の補正処理によって生成される高品質化された遠赤外線画像や蛍光画像である。
具体的には、低品質画像撮像部108の撮影する遠赤外線画像や蛍光画像等の低品質画像152の高画質化処理を行い、高品質化補正画像172を生成して出力する。
前述したように、高品質化補正画像172は、低品質画像撮像部108による撮影画像である遠赤外線画像や蛍光画像等の低品質画像の補正処理によって生成される高品質化された遠赤外線画像や蛍光画像である。
図5以下を参照して画像処理部120の構成と処理について説明する。
本実施例において、画像処理部120は、高品質画像撮像部107において撮影された高品質画像151と、低品質画像撮像部108において撮影された低品質画像152、これら2種類の画像を入力し、これら2種類の画像を利用して、低品質画像152の高画質化処理を施した高品質化補正画像172を生成して出力する。
本実施例において、画像処理部120は、高品質画像撮像部107において撮影された高品質画像151と、低品質画像撮像部108において撮影された低品質画像152、これら2種類の画像を入力し、これら2種類の画像を利用して、低品質画像152の高画質化処理を施した高品質化補正画像172を生成して出力する。
画像処理部120の実行する処理について説明する。
画像処理部120は、低品質画像撮像部108において撮影された低品質画像152をスケーラ121に入力し、低品質画像152のサイズを高品質画像151のサイズに合わせるスケーリング処理を実行する。
画像処理部120は、低品質画像撮像部108において撮影された低品質画像152をスケーラ121に入力し、低品質画像152のサイズを高品質画像151のサイズに合わせるスケーリング処理を実行する。
これは、低品質画像撮像部108の第1撮像素子111のサイズと、高品質画像撮像部107の第2撮像素子の大きさの差異を解消するための画像サイズの調整処理である。
多くの場合、低品質画像撮像部108の第1撮像素子111のサイズは、高品質画像撮像部107の第2撮像素子のサイズより小さい。
スケーラ121は、低品質画像152のサイズを高品質画像151のサイズに合わせるスケーリング処理を実行する。
多くの場合、低品質画像撮像部108の第1撮像素子111のサイズは、高品質画像撮像部107の第2撮像素子のサイズより小さい。
スケーラ121は、低品質画像152のサイズを高品質画像151のサイズに合わせるスケーリング処理を実行する。
サイズが一致した高品質画像151と、低品質画像152は、視差量検出&動き検出部122、および画像位置合わせ部123に入力される。
視差量検出&動き検出部122は、高品質画像151と、低品質画像152の視差量と、2つの画像間の動き量を検出する。
視差量検出&動き検出部122は、高品質画像151と、低品質画像152の視差量と、2つの画像間の動き量を検出する。
低品質画像撮像部108と、高品質画像撮像部107は、所定間隔、離れた位置に設定される2つの撮像部であり、それぞれの撮影画像(高品質画像151、低品質画像152)は異なる視点からの画像となる。
異なる視点からの2つの画像、すなわち高品質画像151と低品質画像152との対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
異なる視点からの2つの画像、すなわち高品質画像151と低品質画像152との対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。
また、これらの2つの画像が完全に同一タイミングで撮影された画像でなく、被写体に動く被写体が含まれる場合には、それぞれの画像に撮影される同一被写体の位置が異なる。すなわち被写体の動き量が存在する。
視差量検出&動き検出部122は、高品質画像151と、低品質画像152の視差量と、2つの画像間の動き量を検出し、これらの情報、すなわち視差情報と、動き情報、例えば動きベクトル(MV:Motion Vector)を画像位置合わせ部123に入力する。
視差量検出&動き検出部122は、高品質画像151と、低品質画像152の視差量と、2つの画像間の動き量を検出し、これらの情報、すなわち視差情報と、動き情報、例えば動きベクトル(MV:Motion Vector)を画像位置合わせ部123に入力する。
画像位置合わせ部123は、視差量検出&動き検出部122から入力する視差情報と、動き情報を利用し、サイズ調整を行った高品質画像151と、低品質画像152の位置合わせ処理を実行する。
すなわち、各画像の同一位置に同一の被写体が位置するように2枚の画像の位置合わせ処理を実行する。
すなわち、各画像の同一位置に同一の被写体が位置するように2枚の画像の位置合わせ処理を実行する。
なお、具体的には、例えば高品質画像151を基準位置として、高品質画像151の被写体位置は移動せず、低品質画像152の被写体位置を高品質画像151の被写体位置に合わせる処理を行なう。
ただし、どちらの画像を基準画像として用いるかは限定されるものではなく、いずれの画像を基準画像とする構成も可能である。
ただし、どちらの画像を基準画像として用いるかは限定されるものではなく、いずれの画像を基準画像とする構成も可能である。
画像位置合わせ部123は、位置合わせ後の2つの画像、すなわち、図5に示す位置合わせ後高品質画像161と、位置合わせ後低品質画像162を画像補正部127に出力する。
画像補正部127は、位置合わせ後高品質画像161と、位置合わせ後低品質画像162を入力し、位置合わせ後低品質画像162の高画質化処理を実行する。
画像補正部127は、位置合わせ後高品質画像161と、位置合わせ後低品質画像162を入力し、位置合わせ後低品質画像162の高画質化処理を実行する。
[3.画像補正部の構成例と処理について]
次に、図6以下を参照して、図5に示す画像処理部120内の画像補正部127の具体的構成例と実行する処理について説明する。
次に、図6以下を参照して、図5に示す画像処理部120内の画像補正部127の具体的構成例と実行する処理について説明する。
図6に示す画像補正部127は、以下の3段の処理部を持つ多段(カスケード)構成を有する。
第1段処理部210、
第2段処理部220、
第3段処理部230、
第1段処理部210、
第2段処理部220、
第3段処理部230、
これら3つの処理部の構成要素は、いずれも同様であり、以下の要素によって構成される。
劣化模擬画像生成部211,221,231、
クラス分類処理部212,222,232、
クラス対応補正係数格納部213,223,233、
タップ選択部214,224,234、
画像補正部215,225,235、
まず、これらの各構成部の概要について説明し、各構成部の具体的な処理について、後段で詳細に説明する。
劣化模擬画像生成部211,221,231、
クラス分類処理部212,222,232、
クラス対応補正係数格納部213,223,233、
タップ選択部214,224,234、
画像補正部215,225,235、
まず、これらの各構成部の概要について説明し、各構成部の具体的な処理について、後段で詳細に説明する。
位置合わせ後高品質画像161は、劣化模擬画像生成部211,221,231に入力され、それぞれの劣化模擬画像生成部211,221,231において、異なる劣化レベルの模擬画像を生成する。
例えば、位置合わせ後高品質画像161に対して、異なる複数のLPF(ローパスフィルタ)を適用した画素値変換処理によって、異なる劣化レベルの模擬画像を生成する。
例えば、位置合わせ後高品質画像161に対して、異なる複数のLPF(ローパスフィルタ)を適用した画素値変換処理によって、異なる劣化レベルの模擬画像を生成する。
クラス分類処理部212,222,232は、各劣化レベルの劣化レベル模擬画像の所定画素領域単位(局所領域単位)の特徴量に基づいて、各画素領域のクラス分類処理を行う。
クラス分類処理は、各段の画像補正部215,225,235において実行する補正処理に適用する補正係数(補正パラメータ)を決定するためのクラスの分類処理である。
クラス分類処理は、各段の画像補正部215,225,235において実行する補正処理に適用する補正係数(補正パラメータ)を決定するためのクラスの分類処理である。
なお、各クラス対応の補正係数(補正パラメータ)は、クラス対応補正係数格納部213,223,233に予め格納されている。
例えばサンプル画像を利用した学習処理によって算出した補正係数(補正パラメータ)が、各クラスに対応付けてクラス対応補正係数格納部213,223,233に予め格納されている。この学習処理については後述する。
例えばサンプル画像を利用した学習処理によって算出した補正係数(補正パラメータ)が、各クラスに対応付けてクラス対応補正係数格納部213,223,233に予め格納されている。この学習処理については後述する。
クラス分類処理部212,222,232において決定されたクラス、すなわち、劣化画像生成部212,222,232において生成された劣化画像の所定画素領域対応のクラスに対応する補正係数(補正パラメータ)が、クラス対応補正係数格納部213,223,233から画像補正部215,225,235に出力され、画像補正部215,225,235はこのクラス対応補正係数を用いて位置合わせ後低品質画像162の画素値補正を行う。
なお、位置合わせ後低品質画像162は、画像補正部215,225,235における補正処理の前に、まず、タップ選択部214,224,234に入力され、タップ選択部214,224,234においてタップ選択処理を行う。具体的には、補正対象画素の補正画素値を決定するために適用する参照画素、すなわち、補正対象画素位置周辺の参照画素の画素位置の決定処理を行う。
画像補正部215,225,235は、タップ選択部214,224,234において決定されたタップ(参照画素)の画素値と、クラス対応補正係数格納部213,223,233から入力したクラス対応補正係数を適用して、位置合わせ後低品質画像162の各画素の画素値を決定する。
図6に示すように、本開示の構成では、この画素値の補正を多段階の処理(カスケード処理)として実行する。
これは、各段処理部において適用する補正係数が、予め実行した学習処理によってクラス分類された補正係数であり、この補正係数を、より多くのクラス対応の的確な補正係数として設定することを可能とするためである。
これは、各段処理部において適用する補正係数が、予め実行した学習処理によってクラス分類された補正係数であり、この補正係数を、より多くのクラス対応の的確な補正係数として設定することを可能とするためである。
例えば、図6に示す例では、第1段~第3段の3段の補正処理部を有するが、各段において異なる補正係数を対応付けたクラスの数を1000クラスとすれば、第1段~第3段の3段の補正処理において、
1000×1000×1000=1000000000
すなわち1K×1K×1K=1Gのクラスに応じた異なる補正係数を適用した補正が可能となり、より細かく分類した画像特徴に応じた的確な補正が実現される。
本開示の画像処理装置は、このような処理により、画像の局所領域単位の特徴量に応じた最適な補正を実現するものである。
1000×1000×1000=1000000000
すなわち1K×1K×1K=1Gのクラスに応じた異なる補正係数を適用した補正が可能となり、より細かく分類した画像特徴に応じた的確な補正が実現される。
本開示の画像処理装置は、このような処理により、画像の局所領域単位の特徴量に応じた最適な補正を実現するものである。
[4.学習処理によるクラス対応補正係数の算出と記憶部に対する格納処理について]
次に、学習処理によるクラス対応補正係数の算出と記憶部に対する格納処理について説明する。
実際の画像補正処理の事前処理として実行する学習処理によって、クラス対応補正係数の算出処理と、算出された補正係数のクラス対応補正係数格納部213,223,233に対する格納処理が行われる。この処理について、図7以下を参照して説明する。
図7は、クラス対応補正係数格納部213,223,233に格納するためのクラス対応補正係数(パラメータ)を算出する処理例について説明する図である。
次に、学習処理によるクラス対応補正係数の算出と記憶部に対する格納処理について説明する。
実際の画像補正処理の事前処理として実行する学習処理によって、クラス対応補正係数の算出処理と、算出された補正係数のクラス対応補正係数格納部213,223,233に対する格納処理が行われる。この処理について、図7以下を参照して説明する。
図7は、クラス対応補正係数格納部213,223,233に格納するためのクラス対応補正係数(パラメータ)を算出する処理例について説明する図である。
入力は、サンプル高品質画像301である。
なお、入力するサンプル高品質画像301は、1枚ではなく多数の画像とすることが好ましい。
様々な特徴を持つ多数の画像データをサンプル画像として入力し、学習処理を行う。
すなわち、様々な特徴を持つ多数の画像データを入力して、学習処理を行い学習結果として生成した異なる特徴量に対応したクラス別の補正係数(パラメータ)をクラス対応補正係数格納部213,223,233に格納する。
なお、入力するサンプル高品質画像301は、1枚ではなく多数の画像とすることが好ましい。
様々な特徴を持つ多数の画像データをサンプル画像として入力し、学習処理を行う。
すなわち、様々な特徴を持つ多数の画像データを入力して、学習処理を行い学習結果として生成した異なる特徴量に対応したクラス別の補正係数(パラメータ)をクラス対応補正係数格納部213,223,233に格納する。
図7に示す第1段劣化模擬画像生成部211~第3段劣化模擬画像生成部231は、図6に示す画像補正部127の第1段劣化模擬画像生成部211~第3段劣化模擬画像生成部231と同じ劣化レベルの画像を生成する。
例えばLPFを適用して劣化画像を生成する。
例えばLPFを適用して劣化画像を生成する。
ここでは、一例として、実際の画像補正処理において画像補正部127に入力される補正対象画像である低品質画像が、同じく画像補正部127に入力される高品質画像の1/8の解像度の画像である場合の処理例について説明する。
このとき、第1段劣化模擬画像生成部211は、サンプル高品質画像301の1/8解像度を有する1/8解像度劣化模擬画像302を生成する。
すなわち、第1段劣化模擬画像生成部211は、実際の画像補正処理において画像補正部127に入力される補正対象画像である低品質画像の解像度レベルにほぼ一致するレベルの劣化画像を生成する。
すなわち、第1段劣化模擬画像生成部211は、実際の画像補正処理において画像補正部127に入力される補正対象画像である低品質画像の解像度レベルにほぼ一致するレベルの劣化画像を生成する。
第2段劣化模擬画像生成部221は、サンプル高品質画像301の1/4解像度を有する1/4解像度劣化模擬画像303を生成する。
さらに、第3段劣化模擬画像生成部231は、サンプル高品質画像301の1/2解像度を有する1/2解像度劣化模擬画像304を生成する。
このように、第1段~第3段と、順次、劣化レベルを少なくした画像を生成する。
さらに、第3段劣化模擬画像生成部231は、サンプル高品質画像301の1/2解像度を有する1/2解像度劣化模擬画像304を生成する。
このように、第1段~第3段と、順次、劣化レベルを少なくした画像を生成する。
学習処理実行部320は、これらの画像を適用して、クラス対応補正係数(パラメータ)を算出する学習処理を実行する。
学習処理実行部320は、図7に示すステップS11~S13の処理を実行する。
なお、ステップS11~S13の処理は、シーケンシャルに実行してもパラレルに実行してもどちらでもよい。
学習処理実行部320は、図7に示すステップS11~S13の処理を実行する。
なお、ステップS11~S13の処理は、シーケンシャルに実行してもパラレルに実行してもどちらでもよい。
ステップS11では、1/8解像度劣化模擬画像302と、1/4解像度劣化模擬画像303を入力し、各画像の所定の画素領域(局所領域)単位で、画像特徴量を算出し、画像特徴量に対応する補正係数(補正パラメータ)を学習処理により算出する。
すなわち、1/4解像度劣化模擬画像303を教師画像(復元画像)とし、1/8解像度劣化模擬画像302を生徒画像とした教師あり学習処理を実行して、様々な特徴量に対応する最適な補正係数(補正パラメータ)を取得する。
すなわち、1/4解像度劣化模擬画像303を教師画像(復元画像)とし、1/8解像度劣化模擬画像302を生徒画像とした教師あり学習処理を実行して、様々な特徴量に対応する最適な補正係数(補正パラメータ)を取得する。
具体的な処理例について、図8を参照して説明する。
図8に示すように、生徒画像である1/8解像度劣化模擬画像302と、教師画像(復元画像)である1/4解像度劣化模擬画像303から、同じ座標位置となる対応画素位置に、例えば、数画素~数十画素の矩形画素領域(局所領域A,B)を抽出し、これらの画素領域の特徴量、例えば輝度分布情報を取得する。
さらに、生徒画像である1/8解像度劣化模擬画像302の局所領域Aの中心画素の画素値を、教師画像(復元画像)である1/4解像度劣化模擬画像303の局所領域Bの中心画素の画素値に変換するための補正係数(補正パラメータ)を算出する。
図8に示すように、生徒画像である1/8解像度劣化模擬画像302と、教師画像(復元画像)である1/4解像度劣化模擬画像303から、同じ座標位置となる対応画素位置に、例えば、数画素~数十画素の矩形画素領域(局所領域A,B)を抽出し、これらの画素領域の特徴量、例えば輝度分布情報を取得する。
さらに、生徒画像である1/8解像度劣化模擬画像302の局所領域Aの中心画素の画素値を、教師画像(復元画像)である1/4解像度劣化模擬画像303の局所領域Bの中心画素の画素値に変換するための補正係数(補正パラメータ)を算出する。
この補正係数算出処理を、様々なサンプル画像画像の画像全体について行う。
より、多くのサンプル画像を用いた学習処理を行うことで、多数の異なる特徴量対応の最適な補正係数が算出されることになる。
なお、補正係数(補正パラメータ)は、特徴量の分類情報に相当するクラス単位で算出する。
このクラス単位の補正係数が、第1段クラス対応補正係数格納部213に格納される。
より、多くのサンプル画像を用いた学習処理を行うことで、多数の異なる特徴量対応の最適な補正係数が算出されることになる。
なお、補正係数(補正パラメータ)は、特徴量の分類情報に相当するクラス単位で算出する。
このクラス単位の補正係数が、第1段クラス対応補正係数格納部213に格納される。
なお、画像の領域単位の特徴量としては、様々な特徴量が適用可能である。
一例について、図9を参照して説明する。図9に示す例は、特徴量として、画像の領域単位(局所領域単位)の画素値(輝度)分布を用いた例である。
図9(1)には、復元前後画像の画素値分布例を示している。
図9(1)に示すグラフの実線が復元後画像、すなわち、教師画像である1/4解像度劣化模擬画像303の局所領域の画素値分布を示している。
一方、図9(1)に示すグラフの点線が復元前画像、すなわち、生徒画像である1/8解像度劣化模擬画像302の局所領域の画素値分布を示している。
一例について、図9を参照して説明する。図9に示す例は、特徴量として、画像の領域単位(局所領域単位)の画素値(輝度)分布を用いた例である。
図9(1)には、復元前後画像の画素値分布例を示している。
図9(1)に示すグラフの実線が復元後画像、すなわち、教師画像である1/4解像度劣化模擬画像303の局所領域の画素値分布を示している。
一方、図9(1)に示すグラフの点線が復元前画像、すなわち、生徒画像である1/8解像度劣化模擬画像302の局所領域の画素値分布を示している。
生徒画像である1/8解像度劣化模擬画像302の局所領域の画素値分布は、教師画像である1/4解像度劣化模擬画像303の局所領域の画素値分布に比較して、なだらかである。すなわち不鮮明な画素値分布を示している。
図9(1)に示すように、各画像の振幅は明らかに異なっている。
図9(1)には、以下の2つの振幅が示されている。
(a)復元前画像の画素値振幅(=生徒画像の振幅)
(b)復元後画像の画素値振幅(=教師画像の振幅)
図9(1)に示すように、各画像の振幅は明らかに異なっている。
図9(1)には、以下の2つの振幅が示されている。
(a)復元前画像の画素値振幅(=生徒画像の振幅)
(b)復元後画像の画素値振幅(=教師画像の振幅)
例えば、この(a),(b)の各データの組み合わせに基づいてクラス分類を行う。
図9(2)はクラス分類の例を説明する図である。
図9(2)に示す図は、
横軸に、(b)復元後画像の画素値振幅(=教師画像の振幅)、
縦軸に、(a)復元前画像の画素値振幅(=生徒画像の振幅)、
これらの各軸を設定して、所定区分領域ごとにクラスID(識別子)を設定した例である。
例えば、このように、特徴量(局所領域の輝度分布)に基づいてクラス分類がなされる。
図9(2)はクラス分類の例を説明する図である。
図9(2)に示す図は、
横軸に、(b)復元後画像の画素値振幅(=教師画像の振幅)、
縦軸に、(a)復元前画像の画素値振幅(=生徒画像の振幅)、
これらの各軸を設定して、所定区分領域ごとにクラスID(識別子)を設定した例である。
例えば、このように、特徴量(局所領域の輝度分布)に基づいてクラス分類がなされる。
図7に示す学習処理部320は、各クラス単位の補正係数(補正パラメータ)、すなわち、生徒画像である1/8解像度劣化模擬画像302の各領域(局所領域)単位で、教師画像(復元画像)である1/4解像度劣化模擬画像303の対応位置の画素値に変換するための補正係数(補正パラメータ)を算出し、この補正係数を各クラス(クラスID)対応の補正係数(補正パラメータ)として第1段クラス対応補正係数格納部213に格納する。
図10は、第1段クラス対応補正係数格納部213に格納される補正係数の例を示す図である。
図10に示す第1段クラス対応補正係数格納部213に格納される補正係数の例は、図6に示す画像補正部127の第1段補正部215において実行する補正が、図10に示すように、以下の(式1)に従って、補正画素値yを算出する補正である場合の例である。
図10に示す第1段クラス対応補正係数格納部213に格納される補正係数の例は、図6に示す画像補正部127の第1段補正部215において実行する補正が、図10に示すように、以下の(式1)に従って、補正画素値yを算出する補正である場合の例である。
なお、上記(式1)において、各記号は以下の意味を持つ。
y:補正対象画素の補正画素値
xi:参照画素の画素値
i:参照画素の画素識別子
ki:参照画素i対応の乗算係数
y:補正対象画素の補正画素値
xi:参照画素の画素値
i:参照画素の画素識別子
ki:参照画素i対応の乗算係数
図10に示す第1段クラス対応補正係数格納部213に格納される補正係数は、上記(式1)に適用される参照画素i対応の乗算係数kiのセットとなる。
(式1)に示す参照画素i対応の乗算係数kiのセットは、例えばLPFに設定する参照画素の乗算係数に相当する。
すなわち、各処理段の画像補正部では、例えば、上記の乗算係数kiを参照画素の画素値に乗算して、中心の補正対象画素値の補正画素値を算出するLPFを適用した補正処理を行う。
(式1)に示す参照画素i対応の乗算係数kiのセットは、例えばLPFに設定する参照画素の乗算係数に相当する。
すなわち、各処理段の画像補正部では、例えば、上記の乗算係数kiを参照画素の画素値に乗算して、中心の補正対象画素値の補正画素値を算出するLPFを適用した補正処理を行う。
乗算係数kiは、特徴量対応のクラスによって異なるデータとなる。
これらのクラス対応の補正係数(ki)は、図7~図9を参照して説明した学習処理によって算出される。
なお、上記(式1)における参照画素xiの画素位置は、図6に示す画像補正部127のタップ選択部214,224,234において決定される。
これらのクラス対応の補正係数(ki)は、図7~図9を参照して説明した学習処理によって算出される。
なお、上記(式1)における参照画素xiの画素位置は、図6に示す画像補正部127のタップ選択部214,224,234において決定される。
このように、図7に示す学習処理部320は、ステップS11において、1/8解像度劣化模擬画像302と、1/4解像度劣化模擬画像303を入力し、各画像の所定の画素領域(局所領域)単位の特徴量を検出し、さらに、1/8解像度画像から、1/4解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数を学習処理により算出して、第1段クラス対応補正係数格納部213に格納する。
同様に、図7に示す学習処理部320は、ステップS12において、1/4解像度劣化模擬画像303と、1/2解像度劣化模擬画像304を入力して、1/4解像度画像から、1/2解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数を学習処理により算出して、第2段クラス対応補正係数格納部223に格納する。
すなわち、ステップS12では、1/4解像度劣化模擬画像303を生徒画像とし、1/2解像度劣化模擬画像304を教師画像として設定した学習処理を実行する。
この学習処理において、各画像の所定の画素領域(局所領域)単位の特徴量を検出し、1/4解像度画像から1/2解像度画像を復元する特徴量対応(=クラス対応)の最適な補正係数を学習処理により算出して、第2段クラス対応補正係数格納部223に格納する。
この学習処理において、各画像の所定の画素領域(局所領域)単位の特徴量を検出し、1/4解像度画像から1/2解像度画像を復元する特徴量対応(=クラス対応)の最適な補正係数を学習処理により算出して、第2段クラス対応補正係数格納部223に格納する。
同様に、図7に示す学習処理部320は、ステップS13において、1/2解像度劣化模擬画像304と、元のサンプル高品質画像301を入力して、1/2解像度画像から、元のサンプル高品質画像を復元するための最適な特徴量に応じたクラス対応の補正係数を学習処理により算出して、第3段クラス対応補正係数格納部233に格納する。
すなわち、ステップS13では、1/2解像度劣化模擬画像304を生徒画像とし、元のサンプル高品質画像301(=1/1解像度)を教師画像として設定した学習処理を実行する。
この学習処理において、各画像の所定の画素領域(局所領域)単位の特徴量を検出し、1/2解像度画像から元のサンプル画像301の解像度(1/1解像度)を持つ画像を復元する特徴量対応(クラス対応)の最適な補正係数を学習処理により算出して、第3段クラス対応補正係数格納部233に格納する。
この学習処理において、各画像の所定の画素領域(局所領域)単位の特徴量を検出し、1/2解像度画像から元のサンプル画像301の解像度(1/1解像度)を持つ画像を復元する特徴量対応(クラス対応)の最適な補正係数を学習処理により算出して、第3段クラス対応補正係数格納部233に格納する。
このようにして、事前にサンプル画像を入力して行われる学習処理により、図6に示す画像補正部127の各補正係数格納部213,223,233には以下の補正係数が格納されることになる。
(1)第1段クラス対応補正係数格納部213=1/8解像度画像から1/4解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、
(2)第2段クラス対応補正係数格納部223=1/4解像度画像から1/2解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、
(3)第3段クラス対応補正係数格納部233=1/2解像度画像から1/1解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、
(1)第1段クラス対応補正係数格納部213=1/8解像度画像から1/4解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、
(2)第2段クラス対応補正係数格納部223=1/4解像度画像から1/2解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、
(3)第3段クラス対応補正係数格納部233=1/2解像度画像から1/1解像度画像を復元するための最適な特徴量に応じたクラス対応の補正係数、
これらのクラス対応補正係数が、事前学習処理によって格納された後に、図6に示す画像補正部127に、実際の補正対象画像、すなわち、図6に示す位置合わせ後低品質画像162と、同一画像を撮影した高品質画像である位置合わせ高品質画像161を入力して、位置合わせ後低品質画像162に対する補正処理、すなわち高品質化処理が行われる。
[5.学習処理によって算出したクラス対応補正係数を適用した画像補正処理について]
次に、学習処理によって算出したクラス対応補正係数を適用した画像補正処理について説明する。
次に、学習処理によって算出したクラス対応補正係数を適用した画像補正処理について説明する。
図6に示す画像補正部127において、学習処理によって算出したクラス対応補正係数は、記憶部、すなわち第1段クラス対応補正係数格納部213~第3段クラス対応補正係数格納部233に格納されている。
このように補正係数が各記憶部に格納された後、図6に示す実際の補正対象画像となる位置合わせ後低品質画像162と、この位置合わせ後低品質画像162と同一被写体を撮影した位置合わせ後高品質画像161が入力される。
なお、前述したように、位置合わせ後低品質画像162は、例えば蛍光画像や遠赤外線画像等の低解像度画像である。
一方、位置合わせ後高品質画像161は可視光画像等の高解像度画像である。
なお、前述したように、位置合わせ後低品質画像162は、例えば蛍光画像や遠赤外線画像等の低解像度画像である。
一方、位置合わせ後高品質画像161は可視光画像等の高解像度画像である。
図6に示す画像補正部127は、先に説明したように、第1段処理部210、第2段処理部220、第3段処理部230の多段構成であり、第1段処理部210の処理結果が、第2段処理部220に入力され、第2段処理部220の処理結果が、第3段処理部230に入力され、第3段処理部230の処理結果が、画像補正部127の処理結果として出力される。
例えば、補正対象画像である位置合わせ後低品質画像162が、参照画像となる位置合わせ後高品質画像161の1/8の解像度である場合、各処理段において実行する処理は、以下の設定となる。
第1段処理部210では、1/8解像度の位置合わせ後低品質画像162を1/4解像度画像に変換する高品質化処理を行う。
第2段処理部220では、第1段処理部210から入力する1/4解像度画像を1/2解像度画像に変換する高品質化処理を行う。
第3段処理部230では、第2段処理部220から入力する1/2解像度画像を1/1解像度画像に変換する高品質化処理を行う。
第1段処理部210では、1/8解像度の位置合わせ後低品質画像162を1/4解像度画像に変換する高品質化処理を行う。
第2段処理部220では、第1段処理部210から入力する1/4解像度画像を1/2解像度画像に変換する高品質化処理を行う。
第3段処理部230では、第2段処理部220から入力する1/2解像度画像を1/1解像度画像に変換する高品質化処理を行う。
このような3段階の処理によって、補正対象画像である1/8解像度の位置合わせ後低品質画像162は、参照画像である位置合わせ後高品質画像161と同等の解像度を持つ高品質化された画像として出力される。
図6に示す画像補正部127の第1段処理部210において実行される具体的な処理例について、図11、図12を参照して説明する。
図11には、図6に示す画像補正部127の第1段処理部210の構成要素である第1段劣化模擬画像生成部211、第1段クラス分類処理部212、第1段クラス対応補正係数化格納部213、第1段タップ選択部214、第1段画像補正部215、さらに、第2段処理部210の構成要素である第2段劣化模擬画像生成部221を示している。
参照画像となる位置合わせ後高品質画像161は、図6に示す画像補正部127の第1段劣化模擬画像生成部211、第2段劣化模擬画像生成部221、第3段劣化模擬画像生成部231に入力され、それぞれ異なるLPF(ローパスフィルタ)を適用した処理によって、異なるレベルの低解像度画像に変換される。
第1段劣化模擬画像生成部211は、位置合わせ後高品質画像161の1/8の解像度、すなわち、補正対象画像である位置合わせ後低品質画像162と同じレベルの解像度を持つ劣化模擬画像を生成する。
第2段劣化模擬画像生成部221は、位置合わせ後高品質画像161の1/4の解像度を持つ劣化模擬画像を生成する。
第3段劣化模擬画像生成部231は、位置合わせ後高品質画像161の1/2の解像度を持つ劣化模擬画像を生成する。
第2段劣化模擬画像生成部221は、位置合わせ後高品質画像161の1/4の解像度を持つ劣化模擬画像を生成する。
第3段劣化模擬画像生成部231は、位置合わせ後高品質画像161の1/2の解像度を持つ劣化模擬画像を生成する。
図11に示す第1段劣化模擬画像生成部211は、位置合わせ後高品質画像161の1/8の解像度を持つ劣化模擬画像を第1段クラス分類処理部212に入力する。
また、図11に示す第2段劣化模擬画像生成部221は、位置合わせ後高品質画像161の1/4の解像度を持つ劣化模擬画像を第1段クラス分類処理部212に入力する。
また、図11に示す第2段劣化模擬画像生成部221は、位置合わせ後高品質画像161の1/4の解像度を持つ劣化模擬画像を第1段クラス分類処理部212に入力する。
第1段クラス分類処理部212は、これらの2つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
第1段画像補正部215は、第1段クラス分類処理部212において特定されたクラスに対応する補正係数を、第1段クラス対応補正係数格納部213から取得して、位置合わせ後低品質画像162の画素値補正処理を行う。
第1段画像補正部215は、第1段クラス分類処理部212において特定されたクラスに対応する補正係数を、第1段クラス対応補正係数格納部213から取得して、位置合わせ後低品質画像162の画素値補正処理を行う。
なお、第1段画像補正部215における画素値補正処理の前段の処理として、第1段タップ選択部214においてタップ選択処理が行われる。タップ選択処理は、補正対象画素の画素値算出のために利用される参照画素の選択処理である。
例えば、図11の下段の(例1)、(例2)に示すように、1つの補正対象画素の周囲の画素から、参照画素が選択される。
なお、このタップ設定は、予め統一した設定を全ての補正に適用してもよいし、第1段クラス分類処理部212において検出された特徴量対応のクラスに応じて変更する設定としてもよい。
例えば、図11の下段の(例1)、(例2)に示すように、1つの補正対象画素の周囲の画素から、参照画素が選択される。
なお、このタップ設定は、予め統一した設定を全ての補正に適用してもよいし、第1段クラス分類処理部212において検出された特徴量対応のクラスに応じて変更する設定としてもよい。
図11に示す例において、第1段画像補正部215の実行する補正は、先に説明した(式1)に従った画素値補正である。すなわち、以下の(式1)に従って、補正画素値yを算出する。
なお、上記(式1)において、各記号は以下の意味を持つ。
y:補正対象画素の補正画素値
xi:参照画素の画素値
i:参照画素の画素識別子
ki:参照画素i対応の乗算係数
y:補正対象画素の補正画素値
xi:参照画素の画素値
i:参照画素の画素識別子
ki:参照画素i対応の乗算係数
この時に利用するki(参照画素i対応の乗算係数)が、第1段クラス対応補正係数格納部213から取得される特定のクラス対応の補正係数である。
すなわち、第1段クラス分類処理部212が、第1段劣化模擬画像生成部211の生成した1/8解像度劣化模擬画像と、1/4解像度劣化模擬画像の局所領域の特徴量に基づいて特定したクラス対応の補正係数が利用される。
なお、例えば先に図9を参照して説明したように、2つの劣化模擬画像の特徴量の組み合わせによって予めクラス番号が設定されており、このクラス番号に対応付けられた補正係数が第1段クラス対応補正係数格納部213から取得される。
すなわち、第1段クラス分類処理部212が、第1段劣化模擬画像生成部211の生成した1/8解像度劣化模擬画像と、1/4解像度劣化模擬画像の局所領域の特徴量に基づいて特定したクラス対応の補正係数が利用される。
なお、例えば先に図9を参照して説明したように、2つの劣化模擬画像の特徴量の組み合わせによって予めクラス番号が設定されており、このクラス番号に対応付けられた補正係数が第1段クラス対応補正係数格納部213から取得される。
さらに、図12を参照して、この第1段処理部210の実行する画素値補正処理の具体例について説明する。
図12には、先に説明した図11と同様、図6に示す画像補正部127の第1段処理部210の構成要素である第1段劣化模擬画像生成部211、第1段クラス分類処理部212、第1段クラス対応補正係数化格納部213、第1段タップ選択部214、第1段画像補正部215、さらに、第2段処理部210の構成要素である第2段劣化模擬画像生成部221を示している。
図12には、先に説明した図11と同様、図6に示す画像補正部127の第1段処理部210の構成要素である第1段劣化模擬画像生成部211、第1段クラス分類処理部212、第1段クラス対応補正係数化格納部213、第1段タップ選択部214、第1段画像補正部215、さらに、第2段処理部210の構成要素である第2段劣化模擬画像生成部221を示している。
第1段劣化模擬画像生成部211は、位置合わせ後高品質画像161の劣化模擬画像として、補正対象画像である位置合わせ後低品質画像162の同じレベルの解像度を持つ1/8解像度劣化模擬画像331を生成する。
第2段劣化模擬画像生成部221は、位置合わせ後高品質画像161の1/4の解像度を持つ1/4劣化模擬画像332を生成する。
第2段劣化模擬画像生成部221は、位置合わせ後高品質画像161の1/4の解像度を持つ1/4劣化模擬画像332を生成する。
第1段クラス分類処理部212は、これらの2つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
図に示す例では、1/8解像度劣化模擬画像331の局所領域Aと、1/4劣化模擬画像332の局所領域Bの特徴量を抽出する。
例えば、図9を参照して説明したように、局所領域内の画素値(輝度)分布を局所領域A,Bから抽出する。
さらに、図9(2)を参照して説明したクラス分類情報に従って、抽出した特徴量対応のクラスを識別する。
図に示す例では、1/8解像度劣化模擬画像331の局所領域Aと、1/4劣化模擬画像332の局所領域Bの特徴量を抽出する。
例えば、図9を参照して説明したように、局所領域内の画素値(輝度)分布を局所領域A,Bから抽出する。
さらに、図9(2)を参照して説明したクラス分類情報に従って、抽出した特徴量対応のクラスを識別する。
第1段画像補正部215は、第1段クラス分類処理部212において特定されたクラスに対応する補正係数を、第1段クラス対応補正係数格納部213から取得する。
図12に示すクラス対応補正係数340である。
第1段画像補正部215は、このクラス対応補正係数340を適用して、位置合わせ後低品質画像162の画素値補正処理を行う。
図12に示すクラス対応補正係数340である。
第1段画像補正部215は、このクラス対応補正係数340を適用して、位置合わせ後低品質画像162の画素値補正処理を行う。
なお、第1段画像補正部215における画素値補正処理の前段の処理として、第1段タップ選択部214においてタップ選択処理が行われる。タップ選択処理は、前述したように、補正対象画素の画素値算出のために利用される参照画素の選択処理である。
例えば補正画素近傍の特徴量に応じて最適なタップ(参照画素範囲)を選択する設定とすることができる。
なお、特徴量については、例えば、第1段クラス分類処理部212において位置合わせ後高画質画像161の劣化画像から取得した特徴量を利用可能である。
例えば補正画素近傍の特徴量に応じて最適なタップ(参照画素範囲)を選択する設定とすることができる。
なお、特徴量については、例えば、第1段クラス分類処理部212において位置合わせ後高画質画像161の劣化画像から取得した特徴量を利用可能である。
第1段タップ選択部214におけるタップ選択により、参照画素範囲が特定され、その参照画素範囲の参照画素の画素値を適用し、さらに、第1段クラス対応補正係数格納部213から取得した補正係数を利用して、補正対象画素の画素値が算出される。
例えば、図12に示す位置合わせ後低品質画像(第1段補正前)162aに示す補正対象画素の補正画素値が、先に説明した(式1)に従って算出される。
第1段画像補正部215は、補正後画素を持つ位置合わせ後低品質画像(第1段補正後)162b生成する。
第1段画像補正部215は、補正後画素を持つ位置合わせ後低品質画像(第1段補正後)162b生成する。
第1段処理部210は、この画素値補正を位置合わせ後低品質画像162のすべての構成画素に対して実行する。
なお、この処理において、位置合わせ御高品質画像161から生成した劣化模擬画像331,332に設定する局所領域A,Bは、補正対象画像である位置合わせ御低品質画像162の補正対象画素を中心とした画素領域と同じ座標領域である。
すなわち、同じ被写体の撮影領域を利用して処理が行われる。
なお、この処理において、位置合わせ御高品質画像161から生成した劣化模擬画像331,332に設定する局所領域A,Bは、補正対象画像である位置合わせ御低品質画像162の補正対象画素を中心とした画素領域と同じ座標領域である。
すなわち、同じ被写体の撮影領域を利用して処理が行われる。
第1段処理部210では、位置合わせ後低品質画像162のすべての構成画素に対して実行し、1/8解像度の位置合わせ後低品質画像162を1/4解像度画像に変換する高品質化処理を行う。
この処理画像が、第2段処理部220に入力される。
この処理画像が、第2段処理部220に入力される。
第2段処理部220では、第1段処理部210から入力する1/4解像度画像を1/2解像度画像に変換する高品質化処理を行う。
第2段処理部220では、この処理に際して、第2段処理部220の第2段クラス分類処理部222において、
第2段劣化模擬画像生成部221の生成した位置合わせ後高品質画像161の1/4の解像度を持つ1/4劣化模擬画像と、
第3段劣化模擬画像生成部231の生成した位置合わせ後高品質画像161の1/2の解像度を持つ1/2劣化模擬画像、
これらの2つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
第2段処理部220では、この処理に際して、第2段処理部220の第2段クラス分類処理部222において、
第2段劣化模擬画像生成部221の生成した位置合わせ後高品質画像161の1/4の解像度を持つ1/4劣化模擬画像と、
第3段劣化模擬画像生成部231の生成した位置合わせ後高品質画像161の1/2の解像度を持つ1/2劣化模擬画像、
これらの2つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
第2段画像補正部225は、第2段クラス分類処理部222において特定されたクラスに対応する補正係数を、第2段クラス対応補正係数格納部223から取得する。
第2段画像補正部225は、このクラス対応補正係数を適用して、第1段処理部210から入力した1/4解像度レベルの低品質画像の画素値補正を実行する。
この補正処理によって、位置合わせ後低品質画像162を1/2解像度画像に変換する高品質化処理を行う。
この処理画像が、第3段処理部230に入力される。
第2段画像補正部225は、このクラス対応補正係数を適用して、第1段処理部210から入力した1/4解像度レベルの低品質画像の画素値補正を実行する。
この補正処理によって、位置合わせ後低品質画像162を1/2解像度画像に変換する高品質化処理を行う。
この処理画像が、第3段処理部230に入力される。
第3段処理部230では、第2段処理部220から入力する1/2解像度画像を1/1解像度画像に変換する高品質化処理を行う。すなわち、参照画像として利用中の位置合わせ後高品質画像161と同等の解像度レベルまで向上させる処理を行う。
第3段処理部230では、この処理に際して、第3段処理部230の第3段クラス分類処理部232において、
第3段劣化模擬画像生成部231の生成した位置合わせ後高品質画像161の1/2の解像度を持つ1/2劣化模擬画像と、
入力画像である位置合わせ後高品質画像161、
これらの2つの画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
第3段劣化模擬画像生成部231の生成した位置合わせ後高品質画像161の1/2の解像度を持つ1/2劣化模擬画像と、
入力画像である位置合わせ後高品質画像161、
これらの2つの画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
第3段画像補正部235は、第3段クラス分類処理部232において特定されたクラスに対応する補正係数を、第3段クラス対応補正係数格納部233から取得する。
第3段画像補正部235は、このクラス対応補正係数を適用して、第2段処理部220から入力した1/2解像度レベルの低品質画像の画素値補正を実行する。
この補正処理によって、位置合わせ後低品質画像162を1/1解像度画像に変換する高品質化処理を行う。
すなわち、参照画像として利用した位置合わせ後高品質画像161と同等の解像度レベルまで向上させて出力する。
第3段画像補正部235は、このクラス対応補正係数を適用して、第2段処理部220から入力した1/2解像度レベルの低品質画像の画素値補正を実行する。
この補正処理によって、位置合わせ後低品質画像162を1/1解像度画像に変換する高品質化処理を行う。
すなわち、参照画像として利用した位置合わせ後高品質画像161と同等の解像度レベルまで向上させて出力する。
このように、本開示の画像処理装置の画像補正部は、図6他を参照して説明したように、画素値の補正を多段階の処理(カスケード処理)として実行する。
これは、各段処理部において適用する補正係数を、より多くのクラス対応の的確な補正係数とするためである。
これは、各段処理部において適用する補正係数を、より多くのクラス対応の的確な補正係数とするためである。
補正係数は、前述したように、予め実行する学習処理によってクラス分類された補正係数であり、この補正係数を、より多くのクラス対応の的確な補正係数、すなわち画像特徴量に応じた最適な補正係数とすることを可能とするためである。
図13を参照して、本構成の画像補正部127において利用可能なクラス数について説明する。
図13には、図6を参照して説明した画像補正部127と同様の構成を示している。
図13の画像補正部127は、第1段~第3段の3段の補正処理部を有するが、各段において異なる補正係数を対応付けたクラスの数を1000クラスとすると、第1段~第3段の3段の補正処理において、
1000×1000×1000=1000000000
すなわち1K×1K×1K=1Gのクラスに応じた異なる補正係数を適用した補正が可能となる。
すなわち、より細かく分類した画像特徴に応じた的確な補正係数を適用した補正が実現される。
図13には、図6を参照して説明した画像補正部127と同様の構成を示している。
図13の画像補正部127は、第1段~第3段の3段の補正処理部を有するが、各段において異なる補正係数を対応付けたクラスの数を1000クラスとすると、第1段~第3段の3段の補正処理において、
1000×1000×1000=1000000000
すなわち1K×1K×1K=1Gのクラスに応じた異なる補正係数を適用した補正が可能となる。
すなわち、より細かく分類した画像特徴に応じた的確な補正係数を適用した補正が実現される。
また、タップ選択処理についても、第1段タップ選択部214~第3段タップ選択部234の3段階でのタップ選択が可能となる。
タップは補正画素値を算出する際に適用する参照画素範囲である。前述したように、例えば補正画素近傍の特徴量に応じて最適なタップ(参照画素範囲)を選択する設定とすることができる。
このタップ選択を3回に分けて実行することで、各段において検出された特徴量に応じた最適なタップ選択が可能となる。
タップは補正画素値を算出する際に適用する参照画素範囲である。前述したように、例えば補正画素近傍の特徴量に応じて最適なタップ(参照画素範囲)を選択する設定とすることができる。
このタップ選択を3回に分けて実行することで、各段において検出された特徴量に応じた最適なタップ選択が可能となる。
本開示の画像処理装置は、このような処理により、画像の局所領域単位の特徴量に応じた最適な補正を実現するものである。
[6.その他の実施例について]
次に、上述した実施例と異なる実施例について説明する。
以下の2つの項目について、順次、説明する。
(1)画像補正処理に利用する特徴量のバリエーションについて
(2)多段構成の変更例について
次に、上述した実施例と異なる実施例について説明する。
以下の2つの項目について、順次、説明する。
(1)画像補正処理に利用する特徴量のバリエーションについて
(2)多段構成の変更例について
[6-1.画像補正処理に利用可能な特徴量の例について]
まず、画像補正処理に利用可能な特徴量の例について説明する。
上述した実施例では、図6に示す画像補正部127の第1~第3段クラス分類処理部212,222,232において各劣化模擬画像から取得する特徴量を、図9を参照して説明したように局所領域の画素値(輝度)分布情報を利用した。
まず、画像補正処理に利用可能な特徴量の例について説明する。
上述した実施例では、図6に示す画像補正部127の第1~第3段クラス分類処理部212,222,232において各劣化模擬画像から取得する特徴量を、図9を参照して説明したように局所領域の画素値(輝度)分布情報を利用した。
学習処理においては、サンプル画像から局所領域の画素値(輝度)分布情報を取得して、その特徴量に基づく補正係数を求める構成としていた。
また、低品質画像の補正処理においても、参照画像として並列入力する高品質画像から局所領域の画素値(輝度)分布情報を取得して、事前学習処理においてクラス分類された特徴量対応のクラスの補正係数を適用して補正を行う構成としていた。
また、低品質画像の補正処理においても、参照画像として並列入力する高品質画像から局所領域の画素値(輝度)分布情報を取得して、事前学習処理においてクラス分類された特徴量対応のクラスの補正係数を適用して補正を行う構成としていた。
本開示の画像処理装置における高品質化処理として実行する画像補正処理において利用可能な特徴量は、例えば、図9を参照して説明した画素値分布に限らず、様々な特徴量を利用した処理が可能である。
図14以下を参照して、本開示の画像処理装置における高品質化処理に適用する特徴量の複数の例について説明する。
図14以下を参照して、本開示の画像処理装置における高品質化処理に適用する特徴量の複数の例について説明する。
図14は、図6に示す画像補正部127の第1~第3段クラス分類処理部212,222,232において各劣化模擬画像から取得し、補正係数に対応付けたクラスを設定することが可能な画像特徴量の例を示している。
図14には以下の3種類の画像特徴量を示している。
(1)輝度分布情報
(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)
(3)ノイズ情報
図14には以下の3種類の画像特徴量を示している。
(1)輝度分布情報
(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)
(3)ノイズ情報
「(1)輝度分布情報」は、画像中の各画素の輝度値の分布情報である。図14(1)(b)の具体例には、横軸に画素位置、縦軸に輝度値を設定したグラフ(輝度分布グラフ)を示している。
図に示す例は、グラフの左側が低輝度値であり、右側が高輝度値となっている。このような輝度分布は、例えば被写体の境界等のエッジ領域に相当する輝度分布である。
なお、この特徴量は、先に図9を参照して説明した特徴量に相当し、位置合わせ後高品質画像161、またはその劣化模擬画から取得可能な画像特徴量である。
図に示す例は、グラフの左側が低輝度値であり、右側が高輝度値となっている。このような輝度分布は、例えば被写体の境界等のエッジ領域に相当する輝度分布である。
なお、この特徴量は、先に図9を参照して説明した特徴量に相当し、位置合わせ後高品質画像161、またはその劣化模擬画から取得可能な画像特徴量である。
「(2)点広がり関数(PSF:Point Spread Function)(=ぼけ態様を示す関数)」は、画像のぼけ量を示す関数である点広がり関数(PSF)である。
図14(2)(b)の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
なお、この点広がり関数も、位置合わせ後高品質画像161、またはその劣化模擬画から取得可能な画像特徴量である。
図14(2)(b)の具体例に示すように、ある画素位置の画素値の周囲に対するひろがり度合い、すなわちぼけ量を示す関数である。
なお、この点広がり関数も、位置合わせ後高品質画像161、またはその劣化模擬画から取得可能な画像特徴量である。
「(3)ノイズ情報」は、画像に含まれるノイズを示す情報である。カメラによる撮影画像には、ある程度のノイズが含まれている。
図14(3)(b)の具体例には、横軸に画素位置、縦軸に画素値を設定したグラフ(ノイズ分布グラフ)を示している。
このグラフに示すように、画素値は、本来の被写体の色や輝度に所定量のノイズを加算した値となる。なお、ノイズには高周波ノイズ、低周波ノイズ等、様々なタイプのノイズがある。
なお、このノイズ情報も、位置合わせ後高品質画像161、またはその劣化模擬画から取得可能な画像特徴量である。
図14(3)(b)の具体例には、横軸に画素位置、縦軸に画素値を設定したグラフ(ノイズ分布グラフ)を示している。
このグラフに示すように、画素値は、本来の被写体の色や輝度に所定量のノイズを加算した値となる。なお、ノイズには高周波ノイズ、低周波ノイズ等、様々なタイプのノイズがある。
なお、このノイズ情報も、位置合わせ後高品質画像161、またはその劣化模擬画から取得可能な画像特徴量である。
図14に示すこれら3つの画像特徴量は、先に図7を参照して説明した学習処理においてサンプル画像から取得可能な特徴量であり、図6に示す画像補正部127の第1~第3段クラス分類処理部212,222,232において、位置合わせ後高品質画像161、またはその劣化模擬画からも取得可能な特徴量である。
図14(1)~(3)に示す特徴量を用いた処理を行う場合、サンプル画像に基づく学習処理、および、実際の低品質画像の高品質化処理に際して、同様の特徴量を適用する処理を実行する。
例えば、図14(2)に示す画像のぼけ量を示す関数である点広がり関数(PSF)を特徴量として利用する場合、事前に実行する学習処理においては、サンプル画像から局所領域のぼけ量を示す関数である点広がり関数(PSF)を特徴量として取得して、この特徴量に基づいて、ぼけ量を減少させるための補正係数として、ぼけ量に応じたクラス分類された補正係数を算出して記憶部(クラス対応補正係数格納部)に格納する。
さらに、低品質画像の補正処理においては、参照画像として並列入力する高品質画像から局所領域の特徴量として、ぼけ量を示す関数である点広がり関数(PSF)を取得し、事前学習処理においてクラス分類された特徴量対応クラスの補正係数を適用して補正を行う。
各処理段の画像補正部では、例えば、LPFを適用した補正処理を行う。
クラス分類された特徴量対応クラスの補正係数は、例えばLPFに設定する参照画素の乗算係数となる。
各処理段の画像補正部では、例えば、LPFを適用した補正処理を行う。
クラス分類された特徴量対応クラスの補正係数は、例えばLPFに設定する参照画素の乗算係数となる。
また、例えば、図14(3)に示す画像のノイズ量を特徴量として利用する場合、事前に実行する学習処理においては、サンプル画像から局所領域のノイズ量を特徴量として取得して、この特徴量に基づいて、ノイズ量を減少させるための補正係数として、ノイズ量や種類(低域/高域)に応じたクラス分類された補正係数を算出して記憶部(クラス対応補正係数格納部)に格納する。
さらに、低品質画像の補正処理においては、参照画像として並列入力する高品質画像から局所領域の特徴量として、ノイズ量や種類を取得し、事前学習処理においてクラス分類された特徴量対応クラスの補正係数を適用して補正を行う。
各処理段の画像補正部では、例えば、ノイズを低減させる補正処理を行う。
各処理段の画像補正部では、例えば、ノイズを低減させる補正処理を行う。
また、複数の異なる特徴量を取得して、取得した複数の特徴量に応じて画質を向上させるための補正係数を求めて、その補正係数を適用して補正処理を行う構成としてもよい。
このように、本開示の画像処理装置では、様々な特徴量の適用が可能である。
このように、本開示の画像処理装置では、様々な特徴量の適用が可能である。
[6-2.画像補正部の多段構成のその他の例について]
上述した実施例では、例えば、図6を参照して説明したように、画像補正部127は、第1段処理部210~第3段処理部230の3段構成として、3回の画像処理を繰り返す構成とした例について説明した。
上述した実施例では、例えば、図6を参照して説明したように、画像補正部127は、第1段処理部210~第3段処理部230の3段構成として、3回の画像処理を繰り返す構成とした例について説明した。
この画像補正部127に設定する段数については様々な設定が可能である。
2段構成や、4段以上の構成等、様々な構成が可能である。
図15に画像補正部127の構成例を示す。
菅15に示す画像補正部127は、第1段処理部410-1~第n段処理部410-nのn段構成として、n回の画像処理を繰り返す構成を有する。
2段構成や、4段以上の構成等、様々な構成が可能である。
図15に画像補正部127の構成例を示す。
菅15に示す画像補正部127は、第1段処理部410-1~第n段処理部410-nのn段構成として、n回の画像処理を繰り返す構成を有する。
各段の処理部の構成要素は、いずれも同様であり、以下の要素によって構成される。
劣化模擬画像生成部411-1~n、
クラス分類処理部412-1~n、
クラス対応補正係数格納部413-1~n、
タップ選択部414-1~n、
画像補正部415-1~n、
劣化模擬画像生成部411-1~n、
クラス分類処理部412-1~n、
クラス対応補正係数格納部413-1~n、
タップ選択部414-1~n、
画像補正部415-1~n、
このように段数を増加させることで、より細かく分類した画像特徴に応じた的確な補正係数を適用した補正が実現される。
また、タップ選択処理についても、各段において、様々な設定でのタップ選択が可能となり、より特徴に応じた最適なタップ選択が可能となる。
また、タップ選択処理についても、各段において、様々な設定でのタップ選択が可能となり、より特徴に応じた最適なタップ選択が可能となる。
[7.画像処理装置の実行する処理のシーケンスについて]
次に、本開示の画像処理装置の実行する処理のシーケンスについて、図16以下のフローチャートを参照して説明する。
上述した実施例において説明したように、本開示の画像処理装置は、実際の補正対象画像の補正処理の前に、サンプル画像を適用した学習処理を実行して、学習処理に基づく特徴量対応の補正係数、すなわちクラス対応補正係数を算出して記憶部であるクラス対応補正係数格納部に格納する処理を行う。
次に、本開示の画像処理装置の実行する処理のシーケンスについて、図16以下のフローチャートを参照して説明する。
上述した実施例において説明したように、本開示の画像処理装置は、実際の補正対象画像の補正処理の前に、サンプル画像を適用した学習処理を実行して、学習処理に基づく特徴量対応の補正係数、すなわちクラス対応補正係数を算出して記憶部であるクラス対応補正係数格納部に格納する処理を行う。
図16に示すフローチャートはこの学習処理のシーケンスを説明するフローチャートである。
図17に示すフローチャートは学習処理の終了後に実行する画像補正処理のシーケンスを説明するフローチャートである。
図17に示すフローチャートは学習処理の終了後に実行する画像補正処理のシーケンスを説明するフローチャートである。
まず、図16に示すフローチャートを参照して、学習処理のシーケンス、すなわち、サンプル画像を適用した学習処理を実行して、学習処理に基づく特徴量対応の補正係数、すなわちクラス対応補正係数を算出して記憶部であるクラス対応補正係数格納部に格納する処理のシーケンスについて説明する。
図16に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
以下、図16に示すフローの各ステップの処理について、順次、説明する。
以下、図16に示すフローの各ステップの処理について、順次、説明する。
(ステップS101)
まず、画像処理装置は、ステップS101において、サンプル画像を入力する。
すなわち、特徴量抽出処理を行うためのサンプル画像の入力を行う。このサンプル画像は、例えば可視光画像等の高解像度の高品質画像とする。
まず、画像処理装置は、ステップS101において、サンプル画像を入力する。
すなわち、特徴量抽出処理を行うためのサンプル画像の入力を行う。このサンプル画像は、例えば可視光画像等の高解像度の高品質画像とする。
なお、先に図7を参照して説明したように、入力するサンプル高品質画像は、1枚ではなく、様々な特徴を持つ多数の画像データとすることが好ましい。すなわち、様々な特徴を持つ多数の画像データを入力して学習処理を行い学習結果として生成した異なる特徴量に対応するクラス別の補正係数(パラメータ)を、図7に示すように、クラス対応補正係数格納部213,223,233に格納する。
(ステップS102)
次に、画像処理装置は、ステップS102において劣化画像の生成処理を行う。
この処理は、先に図7を参照して説明した劣化模擬画像生成部211,221,231の実行する処理である。
例えば、それぞれ異なるLPF(ローパスフィルタ)を適用して異なる劣化レベルの劣化画像を生成する。
なお、最大の劣化レベルは、補正対象画像の劣化レベルにほぼ一致するレベルとすることが好ましい。
次に、画像処理装置は、ステップS102において劣化画像の生成処理を行う。
この処理は、先に図7を参照して説明した劣化模擬画像生成部211,221,231の実行する処理である。
例えば、それぞれ異なるLPF(ローパスフィルタ)を適用して異なる劣化レベルの劣化画像を生成する。
なお、最大の劣化レベルは、補正対象画像の劣化レベルにほぼ一致するレベルとすることが好ましい。
(ステップS103)
次に、画像処理装置は、ステップS103において、入力サンプル画像、またはその劣化画像からの特徴量抽出処理を行う。
この処理は、先に図7を参照して説明した学習処理実行部320の実行する処理である。
次に、画像処理装置は、ステップS103において、入力サンプル画像、またはその劣化画像からの特徴量抽出処理を行う。
この処理は、先に図7を参照して説明した学習処理実行部320の実行する処理である。
例えば、先に図7を参照して説明したステップS11~S13の処理の一部に対応する。
図7を参照して説明したステップS11では、1/8解像度劣化模擬画像302と、1/4解像度劣化模擬画像303を入力し、各画像の所定の画素領域(局所領域)単位で、画像特徴量を算出する。
図7を参照して説明したステップS11では、1/8解像度劣化模擬画像302と、1/4解像度劣化模擬画像303を入力し、各画像の所定の画素領域(局所領域)単位で、画像特徴量を算出する。
(ステップS104)
次に、画像処理装置は、ステップS104において、ステップS103で抽出した画像特徴量に対応する補正係数(補正パラメータ)を学習処理により算出する。
次に、画像処理装置は、ステップS104において、ステップS103で抽出した画像特徴量に対応する補正係数(補正パラメータ)を学習処理により算出する。
この処理も、図7を参照して説明したステップS11~S13の処理の一部に対応する。
図7を参照して説明したステップS11では、1/4解像度劣化模擬画像303を教師画像(復元画像)とし、1/8解像度劣化模擬画像302を生徒画像とした教師あり学習処理を実行して、様々な特徴量に対応する最適な補正係数(補正パラメータ)を取得する。
この補正係数算出処理を、様々なサンプル画像画像の画像全体について行う。
図7を参照して説明したステップS11では、1/4解像度劣化模擬画像303を教師画像(復元画像)とし、1/8解像度劣化模擬画像302を生徒画像とした教師あり学習処理を実行して、様々な特徴量に対応する最適な補正係数(補正パラメータ)を取得する。
この補正係数算出処理を、様々なサンプル画像画像の画像全体について行う。
なお、より、多くのサンプル画像を用いた学習処理を行うことで、多数の異なる特徴量対応の最適な補正係数が算出されることになる。
(ステップS105)
次に、画像処理装置は、ステップS105において、ステップS104で算出した補正係数(補正パラメータ)を、特徴量の分類情報に相当するクラス単位の補正係数として記憶部、すなわち、例えば図7に示す第1段クラス対応補正係数格納部213に格納する。
次に、画像処理装置は、ステップS105において、ステップS104で算出した補正係数(補正パラメータ)を、特徴量の分類情報に相当するクラス単位の補正係数として記憶部、すなわち、例えば図7に示す第1段クラス対応補正係数格納部213に格納する。
(ステップS106)
次に、画像処理装置は、ステップS106において、予定した全レベルの劣化画像を適用した特徴量抽出が完了したか否かを判定する。
未処理の劣化画像がある場合は、この未処理画像について、ステップS102以下の処理を繰り返す。
これは、図7に示すステップS11~S13の処理を順次、実行する処理に相当する。
次に、画像処理装置は、ステップS106において、予定した全レベルの劣化画像を適用した特徴量抽出が完了したか否かを判定する。
未処理の劣化画像がある場合は、この未処理画像について、ステップS102以下の処理を繰り返す。
これは、図7に示すステップS11~S13の処理を順次、実行する処理に相当する。
ステップS106において、予定した全レベルの劣化画像を適用した特徴量抽出が完了したと判定した場合、ステップS107に進む。
(ステップS107)
次に、画像処理装置は、ステップS107において、予定の全サンプル画像の処理が終了したか否かを判定する。
未処理のサンプル画像がある場合は、ステップS101に戻り、未処理のサンプル画像について、ステップS101以下の処理を繰り返す。
次に、画像処理装置は、ステップS107において、予定の全サンプル画像の処理が終了したか否かを判定する。
未処理のサンプル画像がある場合は、ステップS101に戻り、未処理のサンプル画像について、ステップS101以下の処理を繰り返す。
前述したように、特徴量を抽出するサンプル画像は、様々な特徴を持つ多数の画像データとすることが好ましい。すなわち、様々な特徴を持つ多数の画像データを入力して学習処理を行い、その学習結果として生成した異なる特徴量に対応するクラス別の補正係数(パラメータ)を、図7に示すクラス対応補正係数格納部213,223,233に格納する。
ステップS107において、予定の全サンプル画像の処理が終了したと判定すると処理を終了する。
なお、前述したように、学習処理においてサンプル画像から取得する特徴量は、様々な特徴量が適用可能であり、先に図9や図14を参照して説明した様々な特徴量の抽出が可能である。
次に、図17に示すフローチャートを参照して、学習処理の終了後に実行する画像補正処理のシーケンスについて説明する。
図17に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
以下、図17に示すフローの各ステップの処理について、順次、説明する。
以下、図17に示すフローの各ステップの処理について、順次、説明する。
(ステップS201)
まず、画像処理装置は、ステップS201において、補正対象画像である低品質画像と、参照画像である高品質画像を入力する。
なお、これらは、図6に示す位置合わせ後高品質画像161と、位置合わせ後低品質画像162に相当し、位置合わせ済みの同一被写体を撮影した2つの画像である。
まず、画像処理装置は、ステップS201において、補正対象画像である低品質画像と、参照画像である高品質画像を入力する。
なお、これらは、図6に示す位置合わせ後高品質画像161と、位置合わせ後低品質画像162に相当し、位置合わせ済みの同一被写体を撮影した2つの画像である。
(ステップS202)
次に、画像処理装置は、ステップS202において、参照画像である高品質画像の劣化画像を生成する。
この処理は、図6に示す画像補正部127の第1段劣化模擬画像生成部211、第2段劣化模擬画像生成部221、第3段劣化模擬画像生成部231の実行する処理である。
参照画像である高品質画像は、第1段劣化模擬画像生成部211、第2段劣化模擬画像生成部221、第3段劣化模擬画像生成部231に入力され、それぞれ異なるLPF(ローパスフィルタ)を適用した処理によって、異なるレベルの低解像度画像に変換される。
次に、画像処理装置は、ステップS202において、参照画像である高品質画像の劣化画像を生成する。
この処理は、図6に示す画像補正部127の第1段劣化模擬画像生成部211、第2段劣化模擬画像生成部221、第3段劣化模擬画像生成部231の実行する処理である。
参照画像である高品質画像は、第1段劣化模擬画像生成部211、第2段劣化模擬画像生成部221、第3段劣化模擬画像生成部231に入力され、それぞれ異なるLPF(ローパスフィルタ)を適用した処理によって、異なるレベルの低解像度画像に変換される。
具体的には、第1段劣化模擬画像生成部211は、補正対象画像である低品質画像と同じレベルの解像度を持つ劣化模擬画像(例えば高品質画像の解像度の1/8解像度を持つ劣化模擬画像)を生成する。
第2段劣化模擬画像生成部221は、第1段劣化模擬画像生成部211の生成する劣化画像より劣化レベルの小さい劣化模擬画像(例えば高品質画像の解像度の1/4解像度を持つ劣化模擬画像)を生成する。
さらに、第3段劣化模擬画像生成部231は、第2段劣化模擬画像生成部221の生成する劣化画像より劣化レベルの小さい劣化模擬画像(例えば高品質画像の解像度の1/2解像度を持つ劣化模擬画像)を生成する。
第2段劣化模擬画像生成部221は、第1段劣化模擬画像生成部211の生成する劣化画像より劣化レベルの小さい劣化模擬画像(例えば高品質画像の解像度の1/4解像度を持つ劣化模擬画像)を生成する。
さらに、第3段劣化模擬画像生成部231は、第2段劣化模擬画像生成部221の生成する劣化画像より劣化レベルの小さい劣化模擬画像(例えば高品質画像の解像度の1/2解像度を持つ劣化模擬画像)を生成する。
(ステップS203)
次に、画像処理装置は、ステップS203において、補正対象画像である低品質画像の補正画素領域を選択する。
画像処理装置は、ステップS203において、補正対象画像である低品質画像から、順次、補正対象画素を選択する。
これは、例えば図12に示す位置合わせ後低品質画像(第1段補正前)162aに示す補正対象画素の選択処理に相当する。
次に、画像処理装置は、ステップS203において、補正対象画像である低品質画像の補正画素領域を選択する。
画像処理装置は、ステップS203において、補正対象画像である低品質画像から、順次、補正対象画素を選択する。
これは、例えば図12に示す位置合わせ後低品質画像(第1段補正前)162aに示す補正対象画素の選択処理に相当する。
(ステップS204)
次に、画像処理装置は、ステップS204において、参照画像である高品質画像、またはその劣化画像から、補正画素領域の対応領域を選択して、選択領域の特徴量を抽出してクラス分類処理を行う。
次に、画像処理装置は、ステップS204において、参照画像である高品質画像、またはその劣化画像から、補正画素領域の対応領域を選択して、選択領域の特徴量を抽出してクラス分類処理を行う。
この処理は、例えば、図6、図11、図12に示す第1段クラス分類処理部212の実行する処理である。
図12に示すように、第1段クラス分類処理部212は、1/8解像度劣化模擬画像331と、1/4劣化模擬画像332、これらの2つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
図12に示す例では、1/8解像度劣化模擬画像331の局所領域Aと、1/4劣化模擬画像332の局所領域Bの特徴量を抽出する。
この処理は、例えば、先に図9を参照して説明したように、局所領域内の画素値(輝度)分布を局所領域A,Bから抽出する処理である。
さらに、図9(2)を参照して説明したクラス分類情報に従って、抽出した特徴量対応のクラスを識別する。
図12に示すように、第1段クラス分類処理部212は、1/8解像度劣化模擬画像331と、1/4劣化模擬画像332、これらの2つの劣化模擬画像を入力して、局所領域単位の特徴量を検出し、検出した特徴量対応のクラスを特定する。
図12に示す例では、1/8解像度劣化模擬画像331の局所領域Aと、1/4劣化模擬画像332の局所領域Bの特徴量を抽出する。
この処理は、例えば、先に図9を参照して説明したように、局所領域内の画素値(輝度)分布を局所領域A,Bから抽出する処理である。
さらに、図9(2)を参照して説明したクラス分類情報に従って、抽出した特徴量対応のクラスを識別する。
(ステップS205)
次に、画像処理装置は、ステップS205において、特徴量に基づくタップ選択(参照画素領域の設定)処理を行う。
この処理は、例えば、図6、図11、図12に示す第1段タップ選択部214の実行する処理である。
次に、画像処理装置は、ステップS205において、特徴量に基づくタップ選択(参照画素領域の設定)処理を行う。
この処理は、例えば、図6、図11、図12に示す第1段タップ選択部214の実行する処理である。
先に図11、図12を参照して説明したように、第1段画像補正部215における画素値補正処理の前段の処理として、第1段タップ選択部214においてタップ選択処理が行われる。タップ選択処理は、補正対象画素の画素値算出のために利用される参照画素の選択処理である。
このタップ選択は、ステップS204において高品質画像、またはその劣化画像から抽出した特徴量に基づいて決定することが可能である。
例えば、特徴量として取得した局所領域の画素値振幅が小さい場合は、広い参照領域(タップ範囲)を設定し、特徴量として取得した局所領域の画素値振幅が大きい場合は、狭い参照領域(タップ範囲)を設定する等の処理である。
例えば、特徴量として取得した局所領域の画素値振幅が小さい場合は、広い参照領域(タップ範囲)を設定し、特徴量として取得した局所領域の画素値振幅が大きい場合は、狭い参照領域(タップ範囲)を設定する等の処理である。
(ステップS206)
次に、画像処理装置は、ステップS206において、ステップS204で、高画質画像、またはその劣化画像から抽出した特徴量対応のクラスに対応づけられた補正係数を記憶部から取得する。
次に、画像処理装置は、ステップS206において、ステップS204で、高画質画像、またはその劣化画像から抽出した特徴量対応のクラスに対応づけられた補正係数を記憶部から取得する。
この処理は、例えば、図6、図11、図12を参照して説明した第1段画像補正部215の実行する処理である。
第1段画像補正部215は、第1段クラス分類処理部212において特定されたクラスに対応する補正係数を、第1段クラス対応補正係数格納部213から取得する。
図12に示すクラス対応補正係数340である。
第1段画像補正部215は、このクラス対応補正係数340を適用して低品質画像の画素値補正処理を行う。
第1段画像補正部215は、第1段クラス分類処理部212において特定されたクラスに対応する補正係数を、第1段クラス対応補正係数格納部213から取得する。
図12に示すクラス対応補正係数340である。
第1段画像補正部215は、このクラス対応補正係数340を適用して低品質画像の画素値補正処理を行う。
(ステップS207)
次に、画像処理装置は、ステップS207において、ステップS205で選択したタップと、ステップS206で記憶部から取得した特徴量に対応した補正係数、すなわちクラス対応の補正係数を適用して低品質画像の画像補正処理を実行する。
次に、画像処理装置は、ステップS207において、ステップS205で選択したタップと、ステップS206で記憶部から取得した特徴量に対応した補正係数、すなわちクラス対応の補正係数を適用して低品質画像の画像補正処理を実行する。
例えば、先に説明した(式1)、すなわち図11に示す式を適用して、補正後の画素値yを算出する処理を行う。
(ステップS208)
次に、画像処理装置は、ステップS208において、補正対象画像である低品質画像の画像全領域の画素値補正が完了したか否かを判定する。
未処理画素がある場合は、未処理画素について、ステップS203以下の処理を実行する。
ステップS208において、補正対象画像である低品質画像の画像全領域の画素値補正が完了したと判定すると、ステップS209に進む。
次に、画像処理装置は、ステップS208において、補正対象画像である低品質画像の画像全領域の画素値補正が完了したか否かを判定する。
未処理画素がある場合は、未処理画素について、ステップS203以下の処理を実行する。
ステップS208において、補正対象画像である低品質画像の画像全領域の画素値補正が完了したと判定すると、ステップS209に進む。
(ステップS209~S210)
次に、画像処理装置は、ステップS209において、次段の処理部が存在するか否かを判定する。
先に、図6他を参照して説明したように、本開示の画像処理装置の画像補正部1237は、複数段の多段構成(カスケード構成)を有している。
すなわち、第1段処理部における高品質化処理結果である補正処理結果が、第2段処理部に入力され、第2段処理部において高品質化処理としての補正処理がなされる。さらに、第2段処理部における高品質化処理結果である補正処理結果が、第3段処理部に入力され、第3段処理部において高品質化処理としての補正処理がなされる。
次に、画像処理装置は、ステップS209において、次段の処理部が存在するか否かを判定する。
先に、図6他を参照して説明したように、本開示の画像処理装置の画像補正部1237は、複数段の多段構成(カスケード構成)を有している。
すなわち、第1段処理部における高品質化処理結果である補正処理結果が、第2段処理部に入力され、第2段処理部において高品質化処理としての補正処理がなされる。さらに、第2段処理部における高品質化処理結果である補正処理結果が、第3段処理部に入力され、第3段処理部において高品質化処理としての補正処理がなされる。
ステップS209では、後続の処理段があるか否かを判定する。
後続の処理段がある場合は、ステップS210に進む。
ステップS210では、次段の処理部に補正画像を出力して、次段補正部での処理を開始する。
すなわち、次段の処理部において、ステップS203以下の処理を実行する。
ステップS209で、後続の処理段がないと判定すると、処理を終了する。
後続の処理段がある場合は、ステップS210に進む。
ステップS210では、次段の処理部に補正画像を出力して、次段補正部での処理を開始する。
すなわち、次段の処理部において、ステップS203以下の処理を実行する。
ステップS209で、後続の処理段がないと判定すると、処理を終了する。
このように、本開示の画像処理装置では、図6他を参照して説明したように、画素値の補正を多段階の処理(カスケード処理)として実行する。
この構成により、各段処理部において適用する補正係数が、より多くのクラス対応の的確な補正係数とすることができる。
補正係数は、前述したように、予め実行する学習処理によってクラス分類された補正係数であり、この補正係数を、より多くのクラス対応の的確な補正係数、すなわち画像特徴量に応じた最適な補正係数とすることが可能となる。
この構成により、各段処理部において適用する補正係数が、より多くのクラス対応の的確な補正係数とすることができる。
補正係数は、前述したように、予め実行する学習処理によってクラス分類された補正係数であり、この補正係数を、より多くのクラス対応の的確な補正係数、すなわち画像特徴量に応じた最適な補正係数とすることが可能となる。
先に図13を参照して説明したように、例えば、図13に示す第1段~第3段の3段の補正処理部において利用可能な補正係数を対応付けたクラスの数を1000クラスとすると、第1段~第3段の3段の補正処理において、
1000×1000×1000=1000000000
すなわち1K×1K×1K=1Gのクラスに応じた異なる補正係数を適用した補正が可能となる。
1000×1000×1000=1000000000
すなわち1K×1K×1K=1Gのクラスに応じた異なる補正係数を適用した補正が可能となる。
この構成により、より細かく分類した画像特徴に応じた的確な補正係数を適用した補正が実現される。
また、タップ選択処理についても、第1段タップ選択部214~第3段タップ選択部234の3段階でのタップ選択が可能となる。
タップは補正画素値を算出する際に適用する参照画素範囲である。前述したように、例えば補正画素近傍の特徴量に応じて最適なタップ(参照画素範囲)を選択する設定とすることができる。
タップ選択を3回に分けて実行することで、各段において検出された特徴量に応じた最適なタップ選択が可能となる。
本開示の画像処理装置は、このような処理により、画像の局所領域単位の特徴量に応じた最適な補正が実現される。
また、タップ選択処理についても、第1段タップ選択部214~第3段タップ選択部234の3段階でのタップ選択が可能となる。
タップは補正画素値を算出する際に適用する参照画素範囲である。前述したように、例えば補正画素近傍の特徴量に応じて最適なタップ(参照画素範囲)を選択する設定とすることができる。
タップ選択を3回に分けて実行することで、各段において検出された特徴量に応じた最適なタップ選択が可能となる。
本開示の画像処理装置は、このような処理により、画像の局所領域単位の特徴量に応じた最適な補正が実現される。
[8.画像処理装置のハードウェア構成例について]
次に、図18を参照して画像処理装置のハードウェア構成例について説明する。
図18は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
次に、図18を参照して画像処理装置のハードウェア構成例について説明する。
図18は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、撮像部521の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部506、表示部522やスピーカなどに対するデータ出力を実行する出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
[9.本開示の画像処理装置を適用した応用例について]
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図19に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図19では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図20は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図20には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図19に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図19の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図19に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、先に説明した本実施形態に係る画像処理装置の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、先に説明した本実施形態に係る画像処理装置は、図19に示した応用例の統合制御ユニット7600に適用することができる。例えば、図20に示す画像処理装置のCPU801は、図19に示す統合制御ユニット7600のマイクロコンピュータ7610、図20に示す画像処理装置のROM802,RAM803,記憶部808は、図19に示す統合制御ユニット7600の記憶部7690、図20に示す画像処理装置の通信部809は、図19に示す統合制御ユニット7600の車載ネットワークI/F7680に相当する。
また、先に説明した画像処理装置の少なくとも一部の構成要素は、図19に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、先に説明した画像処理装置が、図19に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
[10.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部は、補正対象画像である低品質画像と、参照画像である高品質画像を入力し、
前記複数処理部の各段処理部は、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する構成であり、
前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理装置。
(1) 第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部は、補正対象画像である低品質画像と、参照画像である高品質画像を入力し、
前記複数処理部の各段処理部は、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する構成であり、
前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理装置。
(2) 前記複数処理部の各段処理部において、
先行処理部は、後続処理部より劣化レベルの大きい前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する(1)に記載の画像処理装置。
先行処理部は、後続処理部より劣化レベルの大きい前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する(1)に記載の画像処理装置。
(3) 前記第1段処理部は、
前記高品質画像の劣化画像であり、劣化レベルが前記補正対象画像である前記低品質画像とほぼ同等の劣化レベルを持つ前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する(1)または(2)に記載の画像処理装置。
前記高品質画像の劣化画像であり、劣化レベルが前記補正対象画像である前記低品質画像とほぼ同等の劣化レベルを持つ前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する(1)または(2)に記載の画像処理装置。
(4) 前記クラス対応補正係数は、事前のサンプル画像に基づく学習処理によって生成したクラス対応補正係数である(1)~(3)いすがれかに記載の画像処理装置。
(5) 前記クラス対応補正係数は、前記サンプル画像、または前記サンプル画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数であり、
前記複数処理部の各段処理部において、
先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用した補正処理を実行する(4)に記載の画像処理装置。
前記複数処理部の各段処理部において、
先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用した補正処理を実行する(4)に記載の画像処理装置。
(6) 前記複数処理部の各段処理部において、
先行処理部は、後続処理部より低い解像度の画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する(1)~(5)いずれかにに記載の画像処理装置。
先行処理部は、後続処理部より低い解像度の画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する(1)~(5)いずれかにに記載の画像処理装置。
(7) 前記クラス対応補正係数は、
劣化レベルの大きい画像の特徴量と、劣化レベルの小さい画像の特徴量の組み合わせに基づく設定クラスに対応付けられた補正係数である(1)~(6)いずれかに記載の画像処理装置。
劣化レベルの大きい画像の特徴量と、劣化レベルの小さい画像の特徴量の組み合わせに基づく設定クラスに対応付けられた補正係数である(1)~(6)いずれかに記載の画像処理装置。
(8) 前記クラス対応補正係数は、
補正対象画素の画素値を算出するフィルタに適用する参照画素対応の乗算係数によって構成される(1)~(7)いずれかに記載の画像処理装置。
補正対象画素の画素値を算出するフィルタに適用する参照画素対応の乗算係数によって構成される(1)~(7)いずれかに記載の画像処理装置。
(9) 前記複数処理部の各段処理部は、
補正対象画像である低品質画像の補正対象画素の補正画素値算出時に参照する参照画素範囲を設定するためのタップ選択部を有する(1)~(8)いずれかに記載の画像処理装置。
補正対象画像である低品質画像の補正対象画素の補正画素値算出時に参照する参照画素範囲を設定するためのタップ選択部を有する(1)~(8)いずれかに記載の画像処理装置。
(10) 前記タップ選択部は、
前記補正対象画素を含む画素領域の特徴量に応じて参照画素範囲の設定を行う(9)に記載の画像処理装置。
前記補正対象画素を含む画素領域の特徴量に応じて参照画素範囲の設定を行う(9)に記載の画像処理装置。
(11) 前記特徴量は、
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)~(c)のいずれかの特徴量である(1)~(10)いずれかに記載の画像処理装置。
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)~(c)のいずれかの特徴量である(1)~(10)いずれかに記載の画像処理装置。
(12) 前記補正対象画像である低品質画像は、
遠赤外線画像、または蛍光画像のいずれかである(1)~(11)いずれかに記載の画像処理装置。
遠赤外線画像、または蛍光画像のいずれかである(1)~(11)いずれかに記載の画像処理装置。
(13) 前記参照画像である高品質画像は可視光画像である(1)~(12)いずれかに記載の画像処理装置。
(14) 前記画像処理装置は、さらに、
可視光画像の撮像処理を行う高品質画像像撮像部と、
遠赤外線画像、または蛍光画像の撮像処理を行なう低品質画像撮像部を有し、
前記画像補正部は、
前記高品質画像像撮像部と、低品質画像像撮像部において撮影された高品質画像と低品質画像を入力して、前記低品質画像の補正処理を実行する(1)~(13)いずれかに記載の画像処理装置。
可視光画像の撮像処理を行う高品質画像像撮像部と、
遠赤外線画像、または蛍光画像の撮像処理を行なう低品質画像撮像部を有し、
前記画像補正部は、
前記高品質画像像撮像部と、低品質画像像撮像部において撮影された高品質画像と低品質画像を入力して、前記低品質画像の補正処理を実行する(1)~(13)いずれかに記載の画像処理装置。
(15) 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部が、補正対象画像である低品質画像と、参照画像である高品質画像を入力する画像入力ステップと、
前記複数処理部の各段処理部が、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する補正ステップを実行し、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理方法。
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部が、補正対象画像である低品質画像と、参照画像である高品質画像を入力する画像入力ステップと、
前記複数処理部の各段処理部が、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する補正ステップを実行し、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理方法。
(16) 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記プログラムは、前記画像補正部に、補正対象画像である低品質画像と、参照画像である高品質画像を入力させる画像入力ステップと、
前記複数処理部の各段処理部に、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行させる補正ステップを実行させ、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数であるプログラム。
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記プログラムは、前記画像補正部に、補正対象画像である低品質画像と、参照画像である高品質画像を入力させる画像入力ステップと、
前記複数処理部の各段処理部に、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行させる補正ステップを実行させ、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数であるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
具体的には、例えば、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有する。画像補正部は、補正対象となる低品質画像と、参照画像となる高品質画像を入力し、各段処理部は、高品質画像の劣化画像から抽出した特徴量対応のクラス対応補正係数を適用して、低品質画像の補正処理を実行する。先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量対応のクラス対応補正係数を適用して補正処理を実行する。補正係数は、学習処理によって事前に生成する。
これらの処理により、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
具体的には、例えば、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有する。画像補正部は、補正対象となる低品質画像と、参照画像となる高品質画像を入力し、各段処理部は、高品質画像の劣化画像から抽出した特徴量対応のクラス対応補正係数を適用して、低品質画像の補正処理を実行する。先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量対応のクラス対応補正係数を適用して補正処理を実行する。補正係数は、学習処理によって事前に生成する。
これらの処理により、遠赤外線画像等の低品質画像の高画質化処理を実行する装置、方法が実現される。
10 生体組織
11 血管
20 可視光画像
21 赤外線画像
100 画像処理装置
101 制御部
102 記憶部
103 コーデック
104 入力部
105 出力部
106 撮像部
107 高品質画像撮像部
108 低品質画像撮像部
111 第1撮像素子
112 第2撮像素子
120 画像処理部
121 スケーラ
122 視差量検出&動き量検出部
123 画像位置合わせ部
127 画像補正部
151 高品質画像
152 低品質画像
161 位置合わせ後高品質画像
162 位置合わせ後低品質画像
172 高品質化補正画像
211,221,231,411 劣化模擬画像生成部
212,222,232,412 クラス分類処理部
213,223,233,413 クラス対応補正係数格納部
214,224,234,414 タップ選択部
215,225,235,415 画像補正部
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
521 撮像部
522 表示部
11 血管
20 可視光画像
21 赤外線画像
100 画像処理装置
101 制御部
102 記憶部
103 コーデック
104 入力部
105 出力部
106 撮像部
107 高品質画像撮像部
108 低品質画像撮像部
111 第1撮像素子
112 第2撮像素子
120 画像処理部
121 スケーラ
122 視差量検出&動き量検出部
123 画像位置合わせ部
127 画像補正部
151 高品質画像
152 低品質画像
161 位置合わせ後高品質画像
162 位置合わせ後低品質画像
172 高品質化補正画像
211,221,231,411 劣化模擬画像生成部
212,222,232,412 クラス分類処理部
213,223,233,413 クラス対応補正係数格納部
214,224,234,414 タップ選択部
215,225,235,415 画像補正部
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
521 撮像部
522 表示部
Claims (16)
- 第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部は、補正対象画像である低品質画像と、参照画像である高品質画像を入力し、
前記複数処理部の各段処理部は、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する構成であり、
前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理装置。 - 前記複数処理部の各段処理部において、
先行処理部は、後続処理部より劣化レベルの大きい前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する請求項1に記載の画像処理装置。 - 前記第1段処理部は、
前記高品質画像の劣化画像であり、劣化レベルが前記補正対象画像である前記低品質画像とほぼ同等の劣化レベルを持つ前記高品質画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する請求項1に記載の画像処理装置。 - 前記クラス対応補正係数は、事前のサンプル画像に基づく学習処理によって生成したクラス対応補正係数である請求項1に記載の画像処理装置。
- 前記クラス対応補正係数は、前記サンプル画像、または前記サンプル画像の劣化画像から抽出した特徴量に対応づけられたクラス対応補正係数であり、
前記複数処理部の各段処理部において、
先行処理部は、後続処理部より劣化レベルの大きい画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用した補正処理を実行する請求項4に記載の画像処理装置。 - 前記複数処理部の各段処理部において、
先行処理部は、後続処理部より低い解像度の画像から抽出した特徴量に対応づけられたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する請求項1に記載の画像処理装置。 - 前記クラス対応補正係数は、
劣化レベルの大きい画像の特徴量と、劣化レベルの小さい画像の特徴量の組み合わせに基づく設定クラスに対応付けられた補正係数である請求項1に記載の画像処理装置。 - 前記クラス対応補正係数は、
補正対象画素の画素値を算出するフィルタに適用する参照画素対応の乗算係数によって構成される請求項1に記載の画像処理装置。 - 前記複数処理部の各段処理部は、
補正対象画像である低品質画像の補正対象画素の補正画素値算出時に参照する参照画素範囲を設定するためのタップ選択部を有する請求項1に記載の画像処理装置。 - 前記タップ選択部は、
前記補正対象画素を含む画素領域の特徴量に応じて参照画素範囲の設定を行う請求項9に記載の画像処理装置。 - 前記特徴量は、
(a)輝度分布情報
(b)ぼけ態様情報
(c)ノイズ情報
上記(a)~(c)のいずれかの特徴量である請求項1に記載の画像処理装置。 - 前記補正対象画像である低品質画像は、
遠赤外線画像、または蛍光画像のいずれかである請求項1に記載の画像処理装置。 - 前記参照画像である高品質画像は可視光画像である請求項1に記載の画像処理装置。
- 前記画像処理装置は、さらに、
可視光画像の撮像処理を行う高品質画像像撮像部と、
遠赤外線画像、または蛍光画像の撮像処理を行なう低品質画像撮像部を有し、
前記画像補正部は、
前記高品質画像像撮像部と、低品質画像像撮像部において撮影された高品質画像と低品質画像を入力して、前記低品質画像の補正処理を実行する請求項1に記載の画像処理装置。 - 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記画像補正部が、補正対象画像である低品質画像と、参照画像である高品質画像を入力する画像入力ステップと、
前記複数処理部の各段処理部が、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行する補正ステップを実行し、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数である画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、第1段処理部から最終段処理部まで、少なくとも2段以上の複数処理部による画像補正処理を繰り返して実行する画像補正部を有し、
前記プログラムは、前記画像補正部に、補正対象画像である低品質画像と、参照画像である高品質画像を入力させる画像入力ステップと、
前記複数処理部の各段処理部に、
前記高品質画像、または前記高品質画像の劣化画像から抽出した特徴量対応のクラスによって分類されたクラス対応補正係数を適用して、前記低品質画像の補正処理を実行させる補正ステップを実行させ、
前記補正ステップにおいて適用する前記クラス対応補正係数は学習処理によって生成したクラス対応補正係数であるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/475,800 US11030723B2 (en) | 2017-02-20 | 2017-12-01 | Image processing apparatus, image processing method, and program |
CN201780080573.1A CN110115024B (zh) | 2017-02-20 | 2017-12-01 | 图像处理装置、图像处理方法和程序 |
JP2018568005A JP7020434B2 (ja) | 2017-02-20 | 2017-12-01 | 画像処理装置、および画像処理方法、並びにプログラム |
EP17896603.2A EP3585044A4 (en) | 2017-02-20 | 2017-12-01 | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017029353 | 2017-02-20 | ||
JP2017-029353 | 2017-02-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018150685A1 true WO2018150685A1 (ja) | 2018-08-23 |
Family
ID=63170169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/043311 WO2018150685A1 (ja) | 2017-02-20 | 2017-12-01 | 画像処理装置、および画像処理方法、並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11030723B2 (ja) |
EP (1) | EP3585044A4 (ja) |
JP (1) | JP7020434B2 (ja) |
CN (1) | CN110115024B (ja) |
WO (1) | WO2018150685A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021186961A1 (ja) * | 2020-03-16 | 2021-09-23 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法 |
WO2022249934A1 (ja) * | 2021-05-26 | 2022-12-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム |
WO2022259323A1 (ja) * | 2021-06-07 | 2022-12-15 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396558B (zh) * | 2019-08-15 | 2024-07-23 | 株式会社理光 | 图像处理方法、装置及计算机可读存储介质 |
KR20220060113A (ko) * | 2020-11-04 | 2022-05-11 | 엘지디스플레이 주식회사 | 표시장치 및 그 구동방법 |
CN116912148B (zh) * | 2023-09-12 | 2024-01-05 | 深圳思谋信息科技有限公司 | 图像增强方法、装置、计算机设备及计算机可读存储介质 |
CN118646895A (zh) * | 2024-08-15 | 2024-09-13 | 浙江大华技术股份有限公司 | 视频重建方法、视频压缩方法、电子设备及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09237345A (ja) * | 1996-02-29 | 1997-09-09 | Sony Corp | クラス分類適応処理における学習方法 |
JP2004246591A (ja) * | 2003-02-13 | 2004-09-02 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2011034344A (ja) * | 2009-07-31 | 2011-02-17 | Fujifilm Corp | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
JP2011170456A (ja) * | 2010-02-16 | 2011-09-01 | Fujifilm Corp | 画像処理方法及び装置並びにプログラム |
JP2011211387A (ja) | 2010-03-29 | 2011-10-20 | Hitachi Computer Peripherals Co Ltd | 撮像装置および監視装置 |
JP2013248319A (ja) | 2012-06-04 | 2013-12-12 | Olympus Corp | 蛍光内視鏡装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4093621B2 (ja) * | 1997-12-25 | 2008-06-04 | ソニー株式会社 | 画像変換装置および画像変換方法、並びに学習装置および学習方法 |
JP5076755B2 (ja) * | 2007-09-07 | 2012-11-21 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
CN101271196B (zh) * | 2008-04-24 | 2010-12-08 | 北京中星微电子有限公司 | 镜头阴影校正系数确定方法、镜头阴影校正方法及装置 |
JP2011101338A (ja) * | 2009-10-09 | 2011-05-19 | Sharp Corp | 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体 |
CN104935802B (zh) * | 2014-03-17 | 2018-02-27 | 联想(北京)有限公司 | 图像处理方法、电子设备和系统 |
EP3229468B1 (en) * | 2015-01-13 | 2020-03-18 | Sony Corporation | Image processing device, image processing method, program, and system |
-
2017
- 2017-12-01 US US16/475,800 patent/US11030723B2/en active Active
- 2017-12-01 CN CN201780080573.1A patent/CN110115024B/zh active Active
- 2017-12-01 WO PCT/JP2017/043311 patent/WO2018150685A1/ja active Application Filing
- 2017-12-01 EP EP17896603.2A patent/EP3585044A4/en active Pending
- 2017-12-01 JP JP2018568005A patent/JP7020434B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09237345A (ja) * | 1996-02-29 | 1997-09-09 | Sony Corp | クラス分類適応処理における学習方法 |
JP2004246591A (ja) * | 2003-02-13 | 2004-09-02 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2011034344A (ja) * | 2009-07-31 | 2011-02-17 | Fujifilm Corp | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
JP2011170456A (ja) * | 2010-02-16 | 2011-09-01 | Fujifilm Corp | 画像処理方法及び装置並びにプログラム |
JP2011211387A (ja) | 2010-03-29 | 2011-10-20 | Hitachi Computer Peripherals Co Ltd | 撮像装置および監視装置 |
JP2013248319A (ja) | 2012-06-04 | 2013-12-12 | Olympus Corp | 蛍光内視鏡装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3585044A4 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021186961A1 (ja) * | 2020-03-16 | 2021-09-23 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法 |
US11985424B2 (en) | 2020-03-16 | 2024-05-14 | Sony Semiconductor Solutions Corporation | Signal processing device and signal processing method for correcting input signal from sensor |
WO2022249934A1 (ja) * | 2021-05-26 | 2022-12-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム |
JP7558890B2 (ja) | 2021-05-26 | 2024-10-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム |
WO2022259323A1 (ja) * | 2021-06-07 | 2022-12-15 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP7496935B2 (ja) | 2021-06-07 | 2024-06-07 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3585044A4 (en) | 2020-01-15 |
JP7020434B2 (ja) | 2022-02-16 |
US11030723B2 (en) | 2021-06-08 |
CN110115024B (zh) | 2021-12-07 |
EP3585044A1 (en) | 2019-12-25 |
CN110115024A (zh) | 2019-08-09 |
US20190355097A1 (en) | 2019-11-21 |
JPWO2018150685A1 (ja) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7014218B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US10957029B2 (en) | Image processing device and image processing method | |
WO2018150685A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP7024782B2 (ja) | 画像処理装置と画像処理方法および撮像装置 | |
JP6743889B2 (ja) | 画像処理装置と画像処理方法および学習装置と学習方法 | |
JP6977722B2 (ja) | 撮像装置、および画像処理システム | |
JP7024737B2 (ja) | 情報処理装置と情報処理方法とプログラムおよび撮像装置 | |
JP7500798B2 (ja) | 固体撮像装置、補正方法、および電子装置 | |
WO2017188017A1 (ja) | 検出装置、検出方法、およびプログラム | |
WO2017122396A1 (ja) | 制御装置、制御方法及びプログラム | |
WO2019116746A1 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
WO2017043331A1 (ja) | 画像処理装置、及び、画像処理方法 | |
CN110012215A (zh) | 图像处理装置和图像处理方法 | |
CN111868778A (zh) | 图像处理装置、图像处理方法、以及程序 | |
JP7059185B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
WO2021229983A1 (ja) | 撮像装置及びプログラム | |
JP7173056B2 (ja) | 認識装置と認識方法およびプログラム | |
WO2024150690A1 (ja) | 固体撮像装置 | |
US10791287B2 (en) | Imaging control apparatus and method, and vehicle | |
WO2019111651A1 (ja) | 撮像システム、画像処理装置、及び、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17896603 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018568005 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2017896603 Country of ref document: EP |