WO2020241337A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020241337A1
WO2020241337A1 PCT/JP2020/019589 JP2020019589W WO2020241337A1 WO 2020241337 A1 WO2020241337 A1 WO 2020241337A1 JP 2020019589 W JP2020019589 W JP 2020019589W WO 2020241337 A1 WO2020241337 A1 WO 2020241337A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
block
processing
input
processed
Prior art date
Application number
PCT/JP2020/019589
Other languages
English (en)
French (fr)
Inventor
順一 田口
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2020241337A1 publication Critical patent/WO2020241337A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level

Definitions

  • the present invention relates to an image processing device.
  • the original image is directly processed, or the original image is transformed by Fourier transform or wavelet transform. Is produced, the converted image is processed, and then the reverse conversion is performed to obtain the processed image.
  • the edge image can be used as a material for extracting and recognizing features, or as a processing material for adding to the original image to sharpen the image.
  • CLAHE Contrast limited adaptive Histogram equalization
  • Prior Art Document 2 a process such as CLAHE (Contrast limited adaptive Histogram equalization) described in Prior Art Document 2 is used.
  • CLAHE Contrast limited adaptive Histogram equalization
  • an image is divided into small areas of 8 ⁇ 8 pixels, and adaptive processing is performed using flattening of a histogram in which contrast is limited for each small area.
  • bilinear interpolation is performed to eliminate the pseudo contour that appears at the boundary of adjacent small regions.
  • smoothing is performed from a local deviation in consideration of the direction as described in Prior Art Document 3.
  • Adaptive processing such as determining the direction and degree and changing parameters such as smoothing according to the edge portion or the flat portion is performed.
  • Prior Art Documents 1 to 3 do not disclose a technique for changing the contrast of an image from global to low resolution with almost no change in the local high-resolution contrast of the image.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is image processing capable of changing the contrast of an image from global to low resolution with almost no change in the local high-resolution contrast of the image. To provide the equipment.
  • the image processing apparatus processes the input image or the input image based on the pixel value of the reference image associated with a part of the region of the input image.
  • the reference image includes an offset adjusting unit that adjusts the offset of the part of the image, and the reference image is an image created based on a low-resolution image in which the part of the input image is reduced in resolution. ..
  • FIG. 1 is a block diagram showing a configuration of an image processing system according to the first embodiment.
  • FIG. 2 is a block diagram showing a processing flow of the image processing apparatus of FIG.
  • FIG. 3 (a) is a diagram showing an example of blocks used in the process of FIG. 2
  • FIG. 3 (b) is a diagram in which the blocks of FIG. 3 (a) are shifted by half a block and stacked
  • FIG. 3 (c) Is a diagram showing an example of the evaluation area of the blocks used in the process of FIG. 2
  • FIG. 3 (d) is a diagram in which the blocks of FIG. 3 (c) are shifted by half a block and overlapped.
  • FIG. 4A is a block diagram showing an example of the block level reference image creation process of FIG. FIG.
  • FIG. 4B is a block diagram showing another example of the block level reference image production process of FIG.
  • FIG. 5A is a block diagram showing still another example of the block level reference image creation process of FIG.
  • FIG. 5B is a block diagram showing still another example of the block level reference image creation process of FIG.
  • FIG. 6 is a block diagram showing still another example of the block level reference image production process of FIG.
  • FIG. 7 is a block diagram showing a processing flow of the image processing apparatus according to the second embodiment.
  • FIG. 8 is a block diagram showing a processing flow of the image processing apparatus according to the third embodiment.
  • FIG. 9 is a block diagram showing a processing flow of the image processing apparatus according to the fourth embodiment.
  • FIG. 10A is a block diagram showing an example of image processing.
  • FIG. 10A is a block diagram showing an example of image processing.
  • FIG. 10B is a block diagram showing another example of image processing.
  • FIG. 11 is a block diagram showing a learning method of the neural network of FIG. 10B.
  • FIG. 12 is a block diagram showing still another example of image processing.
  • FIG. 13 is a block diagram showing still another example of image processing.
  • FIG. 14 is a block diagram showing still another example of image processing.
  • FIG. 15 is a block diagram showing a hardware configuration example of the image processing device of FIG. 16 (a) is a diagram showing an example of the input image of FIG. 2, and
  • FIGS. 16 (b) and 16 (c) are diagrams showing an example of the differential image of FIG. 17 (a) to 17 (d) are diagrams showing an example of a processed differential image obtained by processing the differential image of FIG. 2.
  • FIGS. 18 (a) and 18 (b) are diagrams showing an example of the input image of FIG. 2
  • FIGS. 18 (c) and 18 (d) are diagrams showing an example of an integrated image obtained by integrating the entire image.
  • is there. 19 (a) to 19 (d) are diagrams showing other examples of the integrated image obtained by integrating the entire image.
  • 20 (a) is a diagram showing an example of an input image
  • FIG. 20 (b) is a diagram showing an example of a block obtained by dividing an input image
  • FIG. 21 (b) is a diagram showing an example of a block obtained by dividing an input image and an evaluation region
  • FIG. 21 (c) is a block level reference of FIG.
  • FIG. 21 (d) a diagram showing other examples of the image
  • FIG. 22 (a) to 22 (d) are diagrams showing an example of four division methods for dividing an input image into blocks.
  • 23 (a) to 23 (d) are diagrams showing examples of the four offset adjustment block integral images of FIG.
  • FIG. 24 is a diagram showing an example of an output image in which the four offset adjustment block integral images of FIG. 2 are weighted and averaged.
  • FIGS. 25 (a) to 25 (d) are diagrams showing four division methods when the evaluation region has a length half the block size of FIG. 22.
  • FIG. 26 is a diagram showing all the evaluation regions of half the block size of FIG. 22 shown in FIGS. 25 (a) to 25 (d).
  • 27 (a) is a diagram showing still another example of one block-level reference image of FIG. 2
  • FIG. 27 (b) is a diagram showing still another example of the output image of FIG. 28 (a) is a diagram showing an example of an input image
  • FIGS. 28 (b) to 28 (d) are diagrams showing still another example of the output image of FIG. 29 (a) is a diagram showing an example of an input image
  • 29 (b) to 29 (d) are diagrams showing still another example of the output image of FIG.
  • FIG. 30 (a) is a diagram showing still another example of the block level reference image of FIG. 2
  • FIG. 30 (c) is an example of a block level reference processed image obtained by processing the block level reference image of FIG. 30 (a).
  • FIG. 31 (b) is an example of the output image of FIG. 2 shown in FIG. 27 (b).
  • 31 (c) is a diagram showing an example of a block-level reference processed image obtained by processing the block-level reference image of FIG.
  • FIG. 31 (a), and FIG. 31 (b) is a diagram further obtained from the output image of FIG. It is a figure which shows the example of. 32 (a) is a diagram showing another example of the block level reference processed image obtained by processing the block level reference image of FIG. 2, and FIG. 32 (b) is a diagram showing still another example of the output image of FIG. Is.
  • FIG. 1 is a block diagram showing a configuration of an image processing system according to the first embodiment.
  • the image processing system includes a photographing device 100, an image processing device 111, 121, 131, display devices 112, 122, 132, input devices 113, 123, 133, and storage devices 114, 124, 134.
  • the image processing devices 111, 121, and 131 are connected to each other via a communication network 140 such as the Internet.
  • the image processing device 111 is connected to the photographing device 100, the display device 112, the input device 113, and the storage device 114.
  • the image processing device 121 is connected to the display device 122, the input device 123, and the storage device 124.
  • the image processing device 131 is connected to the display device 132, the input device 133, and the storage device 134.
  • the photographing device 100 photographs a subject and generates image data.
  • the photographing device 100 includes, for example, a digital camera, a camera attached to a smartphone or a mobile phone, a scanner, an X-ray photographing device used in a medical field, a surveillance camera used in a surveillance site such as an MRI (Magnetic Resonance Imaging), and the like. These are various imaging devices that capture images that capture ultrasonic waves, infrared rays, visible light, ultraviolet rays, X-rays, ⁇ -rays, electron beams, etc., which are used at various inspection sites.
  • the image processing device 111 can receive image data from the photographing device 100 and perform various image processing based on the input information from the input device 113. Further, the image processing device 111 can display the processing result including the processed image data on the display device 112, store it in the storage device 114, or transmit it to the communication network 140. Further, the image processing device 111 can receive request information from the outside and transmit various information such as image data stored in the storage device 114 to the outside.
  • the image processing device 111 may be, for example, a workstation which is a general-purpose computer, a desktop personal computer, a notebook personal computer, a tablet terminal, a smartphone, or the like, or may be hardware dedicated to image processing.
  • the display device 112 can use a display, a television, or the like.
  • a keyboard, a mouse, or the like can be used.
  • the storage device 114 a magnetic disk device, an optical disk device, an SSD (Solid State Drive), a USB (Universal Serial Bus) memory, or the like can be used.
  • an image processing device 111 a display device 112
  • an input device 113 a storage device 114 are integrated.
  • the communication network 140 is a line capable of transmitting and receiving various information data including image data, and can be connected to the world.
  • the communication network 140 for example, the Internet can be used.
  • the communication network 140 may be provided with its own dedicated line in a local area.
  • the image processing device 121 can receive image data from the storage device 114 connected to the image processing device 111 and perform various image processing based on the input information from the input device 123. Further, the image processing device 121 can display the processing result including the processed image data on the display device 122, store it in the storage device 124, or transmit it to the communication network 140. Further, the image processing device 121 can receive request information from the outside and transmit various information such as image data stored in the storage device 124 to the outside.
  • the image processing device 131 can receive image data from the storage device 124 connected to the image processing device 121 and perform various image processing based on the input information from the input device 133. Further, the image processing device 131 can display the processing result including the processed image data on the display device 132, store it in the storage device 134, and transmit it to the communication network 140.
  • the image processing functions of the image processing devices 111, 121, and 131 can be implemented by installing software (program) that realizes image processing. Further, when the photographing device 100 has a built-in image processing device, the built-in image processing device can also perform image processing, and the image processing dedicated hardware is mounted to perform the image processing. You can also.
  • an individual can use a digital camera as the photographing device 100 and a notebook personal computer having a built-in storage device 114 as the image processing device 111. Then, the image data taken by the individual with the digital camera is stored in the storage device 114, and the storage device 124 is connected to the image processing device 121 of the information service company of the external SNS (social networking service) via the communication network 140. You can upload an image to and make it widely accessible to the general public. At this time, the user can see the uploaded image on the display device 132 connected to the image processing device 131 owned by the user.
  • SNS social networking service
  • image data in various image capturing devices such as an X-ray photographing device or MRI is connected to these image capturing devices, or an image processing device having these image capturing devices built-in. It can be sent from 111 to the image processing device 121 which is a data server in the hospital. Then, the doctor can refer to the image on the display device 132 connected to the image processing device 131.
  • the image processing described below can be realized by installing software (program) that realizes the image processing in any of the image processing devices 111, 121, 131.
  • the image processing described below may be realized by any of the image processing devices 111, 121, 131 by installing the image processing dedicated hardware that realizes the image processing.
  • FIG. 2 is a block diagram showing a processing flow of the image processing apparatus of FIG.
  • the image processing apparatus processes the input image 200 in two streams and integrates the images processed in the two streams by the integral contrast integration process 270 to produce an output image 234.
  • the input image 200 is differentiated and integrated by the integrated contrast integration procedure 270 to form block integrated images 214 to 217.
  • the block integrated images 214 to 217 are contrast-changed images whose low-resolution contrast is subsequently changed from global.
  • Another flow of the input image 200 is a process of creating a contrast reference image that is referred to when the contrast of the contrast-changed image is changed.
  • a contrast reference image in which a reference value for changing the average brightness value of each block of the contrast-changed image is stored for each block is referred to as a block-level reference image here. Since one block corresponds to a part of the image, this one block and the evaluation area used for the calculation in the block are expressed as a part of the image.
  • a difference in the average brightness value occurs between the two. This difference in average brightness provides a low-resolution contrast at that location, about the size of a block. Therefore, changing the average brightness value of two adjacent blocks can change the low-resolution contrast at that location. Also, if this is done over a large (global) range of the image, the global contrast of the image can also be changed.
  • the image processing apparatus performs the differential processing 240 on the input image 200 to produce the X-direction differential image 210 and the Y-direction differential image 211.
  • the image processing apparatus performs processing 241 on the X-direction differential image 210 and the Y-direction differential image 211 to produce the X-direction processed differential image 212 and the Y-direction processed differential image 213.
  • the image processing apparatus performs integration processing 242 to 245 on the X-direction processed differential image 212 and the Y-direction processed differential image 213 to produce block integrated images 214 to 217.
  • the image processing apparatus divides the X-direction processed differential image 212 and the Y-direction processed differential image 213 into predetermined blocks, and refers to the X-direction processed differential image 212 and the Y-direction processed differential image 213 for each block. , Perform line integral along the path sequentially from the center of each block. At that time, in the line integral in the diagonal direction, there are two integral paths, and the integral values of these two integral paths are generally different. Therefore, the average value or the weighted average value can be used as the integral value.
  • the same integration is performed for the integration processes 243 to 245.
  • the method of dividing the blocks is different, and the blocks are divided into blocks shifted by half a block and integrated for each block.
  • the image processing apparatus performs the block level reference image creation process 250 on the input image 200 to produce the block level reference images 220 to 223.
  • the image processing apparatus divides the input image 200 into blocks similar to the blocks used for producing the block integrated images 214 to 217, and the image of each block has a low resolution. Create an image.
  • the method of dividing the block is different, and each block is divided into blocks shifted by half a block to reduce the resolution for each block.
  • This low-resolution image can be created based on the average value or the weighted average value of the pixel values of each block or a predetermined evaluation region in each block.
  • the weighted average can be, for example, Gaussian weighted according to the distance from the center in the block, or adaptive weighted to remove values that deviate from the block's pixel value distribution as noise. ..
  • the low-resolution image may be produced as an adaptive weight based on the median or mode of the pixel values of each block or a predetermined evaluation region within each block.
  • the process of simply describing the average can be replaced with the process of making the weighted average.
  • the block level reference processed image processed from the block level reference images 220 to 223 is used as the input of the low resolution contrast exchange integration process 271. May be good.
  • the block-level reference processed image is, for example, an image in which the local contrast of the low-resolution image is changed, an image in which the global contrast of the low-resolution image is changed, or a local and global contrast of the low-resolution image is changed. It is an image that was made.
  • the image processing apparatus replaces the low-resolution contrast of each block integrated image 214 to 217 with the contrast of the block-level reference images 220 to 223, which are low-resolution images, by the low-resolution contrast replacement integrated processing 271.
  • the integrated images 230 to 233 are produced, and the output image 234 obtained by taking these weighted averages is produced.
  • the image processing apparatus performs the offset adjustment process 260 so that the average value of each block of the block integrated image 214 matches the value of the low resolution block level reference image 220 corresponding to the block. Adjust the offset of. That is, in the offset adjustment process 260, the image processing device subtracts the average value of the pixel values in the evaluation area of the block from the pixel values of each point in each block of the block integral image 214, and the block corresponding to the block.
  • the offset adjustment block integrated image 230 is produced by adding the values of the level reference image 220.
  • the image processing apparatus produces offset adjustment block integral images 230 to 233 by these offset adjustment processes 260 to 263, and produces output images 234 by weighted average processing 264.
  • the image processing device refers to the position in the block of each offset adjustment block integrated image 230 to 233 including the point of interest of the output image 234, and the farther from the block end point, the smaller the weight, and the center of the block. It is possible to perform a bilinear weighted average in which the closer the weight is, the larger the weight is.
  • the output image 234 whose low resolution contrast is changed from the global is produced with almost no change in the local high resolution contrast of each block integrated image 214 to 217. Can be done.
  • weighted averaging process 264 of each block integral image 214 to 217 can reduce the block distortion generated by the integral for each block.
  • FIG. 3A is a diagram showing an example of blocks used in the process of FIG. 2
  • FIG. 3B is a diagram in which the blocks of FIG. 3A are shifted by half a block and stacked
  • FIG. 3C is a diagram showing an example of the evaluation area of the blocks used in the process of FIG. 2
  • FIG. 3 (d) is a diagram in which the blocks of FIG. 3 (c) are shifted by half a block and overlapped.
  • FIGS. 3 (a) to 3 (d) show the positional relationship between the blocks of the block integral images 214 to 217 of FIG. 2 and the evaluation region referred to in the production of the block level reference images 220 to 223.
  • the evaluation area coincides with the block 300 of interest.
  • the block 301 is half-block-shifted in the X direction with respect to the block 300 of interest
  • the block 302 is half-block-shifted in the Y direction with respect to the block 300 of interest
  • the block 303 is focused.
  • the block 300 is shifted by half a block in the X direction and the Y direction.
  • the method of dividing the input image 200 of FIG. 2 into blocks 300 is referred to as shift 0
  • the method of dividing into blocks 301 is referred to as shift 1
  • the method of dividing the input image 200 into blocks 302 is referred to as shift 2
  • the method of dividing into blocks 303 is referred to as shift 3.
  • the block 310 of interest and the evaluation area 320 are different, and the evaluation area 320 of half the length is set at the center of the block 310 of interest.
  • the block 311 is half-block-shifted in the X direction with respect to the block 310 of interest
  • the block 312 is half-block-shifted in the Y direction with respect to the block 310 of interest
  • the block 313 is of interest.
  • the block 310 is shifted by half a block in the X direction and the Y direction.
  • the evaluation areas 320 to 323 of the blocks 310 to 313 are in contact with each other.
  • FIG. 4A is a block diagram showing an example of the block level reference image creation process of FIG.
  • the image processing apparatus performs reduction processing 450 to 453 in which the average value of the evaluation area of each block is set to the value of each block of the input image 200, and the block level reference is made. Images 220A to 223A are produced.
  • the reduction processing 450 to 453 for example, when the block size is 8 ⁇ 8 pixels, a 1/8 reduced image of the input image 200 can be obtained.
  • the method of dividing the block is different, and each block is divided into blocks shifted by half a block, and reduction processing 450 to 453 is performed for each block. This process is described in Patent Document 1 below.
  • FIG. 4B is a block diagram showing another example of the block level reference image production process of FIG.
  • the image processing apparatus uses one reduced image in which the average value of each evaluation area of the blocks displaced by half a block by the reduction process 454 is set as the value of each block.
  • a block level reference image 424 is created.
  • the image processing device is a reduced image obtained by referring to the discrete values of the block level reference image 424, which is one reduced image, by the division process 455, and averaging the values of the four evaluation regions shifted by half a block.
  • the block level reference image is divided into 220B to 223B. Although the configuration of this process is not described in Patent Document 1, it is mathematically the same as the process of FIG. 4A.
  • FIG. 5A is a block diagram showing still another example of the block level reference image creation process of FIG.
  • the image processing apparatus performs reduction processing 450 to 453 in which the average value of the evaluation areas of each block is set as the value of each block, and the block level reference images 520 to 523. To make.
  • Patent Document 1 describes that the block-level reference images 520 to 523 can be processed, but there is no description of specific processing contents of the processing processes 550 to 553.
  • FIG. 5B is a block diagram showing still another example of the block level reference image creation process of FIG.
  • the image processing apparatus uses one reduced image in which the average value of each evaluation area of the blocks displaced by half a block by the reduction process 454 is set as the value of each block.
  • a block level reference image 424 is created.
  • the image processing apparatus performs processing processing 554 on the block level reference processed image 424 to produce a block level reference processed image 524.
  • the image processing apparatus refers to the discrete values of the block level reference processed image 524, which is one processed image, by the division processing 455, and uses a reduced image obtained by averaging the values of the four evaluation regions shifted by half a block. It is divided into a certain block level reference processed image 220D to 223D. The configuration of this process is not described in Patent Document 1.
  • the processing process 554 is a process of one block level reference image 424, and the contrast conversion process can be facilitated.
  • An example of processing for a block-level reference image is edge enhancement processing.
  • edge enhancement process for example, there is a process called unsharp masking.
  • unsharp masking for example, there is a process called unsharp masking.
  • the unsharp masking process in the case of FIG. 5A can be given by the following equation (1).
  • B0 Bm0 + k ⁇ (Bm0-H (Bm0)) ⁇ ⁇ ⁇ (1)
  • B0 is the block level reference processed image 220C
  • Bm0 is the block level reference image 520.
  • H () is an operation that takes an average value in a predetermined range
  • k is a parameter that indicates the degree of emphasis.
  • Bm0-H Bm0
  • Bm0 the average value in a predetermined range around the point of interest of Bm0 is obtained, and this average value is subtracted from the value of the point of interest of Bm0 for each point.
  • Bm0-H Bm0
  • Bm0 the size for which the average is obtained is a wide range such as 15 ⁇ 15 pixels
  • Bm0-H (Bm0) is an image in which unevenness is emphasized.
  • block level reference processed images 221C to 223C are calculated in the same manner as the processing of Eq. (1), and four processings are required.
  • Bm is one block level reference processed image 524
  • Bt is one block level reference image 424.
  • the processing process 554 of the block level reference image 424 can be completed only once. In the above processing, an example is shown in which the input image 200 is reduced by performing the reduction processing 454 and the processing processing 554 is performed. However, the reduction processing 454 can also be performed after the input image 200 is processed.
  • FIG. 6 is a block diagram showing still another example of the block level reference image production process of FIG.
  • the image processing apparatus performs the processing process 554E in which the processing of FIG. 2 is nested as the processing process 554 of FIG. 5B.
  • the processing process 641 after the differential processing 640 in the processing process 554E can be a differential image enhancement process.
  • the differential process 640 since the differential process 640 is also performed on the block level reference image 424 produced by the reduction process 454, the differential process has multiple resolutions.
  • the block level reference image 424 of FIG. 6 is an image corresponding to the input image 200 of FIG. 2, and the block level reference processed image 524 of FIG. 6 is an image corresponding to the output image 234 of FIG.
  • the block-level reference image 424 which is one reduced image, can be compared with the input image 200, and the differential processing 640 can be compared with the differential processing 240.
  • the processing process 641 can be compared with the differential image processing process 241
  • the block level reference image production process 650 can be compared with the block level reference image production process 250
  • the integral contrast integrated process 670 can be compared with the integrated contrast integrated process 270. ..
  • the differential processes 240 and 640 and the integral contrast integrated processes 270 and 670 are the same process except that the image size to be processed is different.
  • the differential image processing processes 241 and 641 and the block level reference image creation processes 250 and 650 may be processes using different processes or parameters.
  • the differential image processing 641 when the differential image is multiplied by a predetermined value (for example, k2 times), the obtained one block-level reference processed image 524 has a predetermined time (k2 times) local unevenness. ) Is the emphasized image.
  • Another example of the processing of the block level reference image 424 is the processing of performing global level conversion.
  • the process of performing global level conversion can be given by the following equation (3).
  • c0 and c1 are parameters that are the maximum and minimum values of the image Bm produced by this process
  • Btmax is the maximum value of the image Bt
  • Btmin is the minimum value of the image Bt.
  • the block level reference processed image 524 will be a value that fits within the maximum range of the display level, but the offset adjustment block integration.
  • the portion where the average value is offset adjusted to 0 or 255 or a value close to it has a value exceeding the display level of the image, and there is a possibility that a portion causing saturation at the time of display may appear.
  • the equation (3) is applied to the processing process 554 of the block level reference image 424 of FIG. 5B, but in the case of FIG. 5A, it can be converted by the same four equations as the equation (3).
  • the process of performing global level conversion may be CLAHE, which performs histogram smoothing or histogram smoothing with restrictions on conversion for each block of an image, or a process of performing non-linear luminance conversion called tone mapping. ..
  • a uniform value can be set regardless of the value of the input image 200.
  • Such a method of performing global luminance conversion or contrast conversion can be used for the processing process 554 of the block level reference image 424.
  • the processing process 554 of the block level reference image 424 may be performed by both the above-mentioned processing for performing edge enhancement and the above-mentioned processing processing for performing global luminance conversion.
  • the block integration image 214 is an image obtained by integrating the input image 200 for each block divided by a desired block size.
  • the block 300 of interest may be set with an evaluation area that matches the block 300.
  • the evaluation region 320 having a half length located at the center of the block 310 of interest may be set.
  • the offset adjustment process 260 will be described by taking the case where the evaluation area 320 is set in the block 310 of interest as an example.
  • an evaluation area 320 is set for each block 310 of interest.
  • h1 be the average value of the pixel values of the evaluation region 320 in the integrated block.
  • the point corresponding to the evaluation area 320 of the block level reference image 220 has the average value of the pixel values of the evaluation area 320 in the block of the input image 200, or the value obtained by performing the processing process 550 on this average value.
  • Let h0 be the value of the point corresponding to the evaluation area 320 of the block level reference image 220.
  • the offset adjustment process 260 sets the value obtained by adding h0-h1 to the value of each point of the block 310 of interest in the block integration image 214 as the value of the corresponding point of the offset adjustment block integration image 230. Is performed for each divided block.
  • the average value of the evaluation area 320 of the block 310 of interest in the offset adjustment block integration image 230 becomes h0, and the average value of the block 310 of interest in the block integration image 214 is replaced with the value of the corresponding point of the block level reference image 220. ..
  • the image processing apparatus performs the replacement processing of the average value for each block of the block integral image 214 in all the blocks of the block integral image 214 to obtain the offset adjustment block integral image 230.
  • the average value of the evaluation area of each block of the offset adjustment block integrated image 230 is replaced with the value of the block level reference image 220 corresponding to the block.
  • the image processing device also performs the same processing as the offset adjustment processing 260 for the offset adjustment processes 261 to 263. At this time, the average value of each evaluation region of the offset adjustment block integrated images 231 to 233 is replaced with the value of the block level reference images 221 to 223 corresponding to the block.
  • the block level produced by the processing processing 550 to 553 of FIG. 5A is the block level produced by the processing processing 554 and the division processing 455 of the reference processed images 220C to 223C or FIG. 5B.
  • the reference processed images 220D to 223D can give an average value in the corresponding evaluation region of the offset adjustment block integrated images 230 to 233 of FIG.
  • the processing processes 550 to 553 in FIG. 5A or the processing processes 554 in FIG. 5B can change the average value in the corresponding evaluation region of the offset adjustment block integrated images 230 to 233.
  • the processing processes 550 to 553 of FIG. 5A or the processing processing 554 of FIG. 5B is an edge enhancement process
  • the edge contrast of the corresponding evaluation region of the offset adjustment block integrated images 230 to 233 can be enhanced. That is, when the processing processes 550 to 553 of FIG. 5A or the processing process 554 of FIG. 5B is an edge enhancement process, it is a process of enhancing the contrast with a low resolution of about the evaluation region.
  • the processing processes 550 to 553 of FIG. 5A or the processing processes 554 of FIG. 5B emphasize the global contrast
  • the global contrast of the corresponding evaluation region of the offset adjustment block integrated images 230 to 233 may be emphasized. it can.
  • the output image 234 has a low-resolution contrast of the offset adjustment block integrated images 230 to 233 or a contrast close to the global contrast. That is, the processing processes 550 to 553 in FIG. 5A or the processing processes 554 in FIG. 5B are processes for adjusting the contrast of the output image 234 from the global to the low resolution.
  • the contrast adjustment process from global to low resolution performed on the output image 234 has almost no effect on the local high resolution contrast of the output image 234. Therefore, by performing edge enhancement processing in the differential image processing processing 241 to improve the local high-resolution contrast, it is almost independent of the global to low-resolution contrast adjustment processing performed on the output image 234. Therefore, the local high-resolution contrast of the output image 234 can be improved.
  • the image processing apparatus changes the local high-resolution contrast of the input image 200 in the processing process 241 and is substantially independent of the local high-resolution contrast changing process.
  • the contrast of the input image 200 from global to low resolution can be changed by the processing processes 550 to 553 of FIG. 5A or the processing process 554 of FIG. 5B.
  • the image processing apparatus maximizes the display level by improving the local high-resolution contrast while improving the low-resolution contrast, suppressing saturation to some extent in low or high brightness areas, and maximizing the display level. It can improve the global contrast.
  • the image processing apparatus when the image processing apparatus performs a process of enhancing the local contrast such as edge enhancement in the processing processes 550 to 553 of FIG. 5A or the processing process 554 of FIG. 5B, the low resolution contrast of the output image 234 is improved. Can be done. Further, when the image processing apparatus changes the global contrast according to the preference in the processing processes 550 to 553 of FIG. 5A or the processing process 554 of FIG. 5B, the image processing apparatus changes the global contrast of the output image 234 according to the preference. can do.
  • the processing processes 550 to 553 of FIG. 5A or the processing process 554 of FIG. 5B the minimum value or the maximum value of the value of the block level reference processed images 220C to 223C of FIG. 5A or the block level reference processed image 524 of FIG. 5B.
  • a value lower than a predetermined value can be made higher, or a value higher than a predetermined value can be made lower, improving the expressiveness of unevenness in dark and bright areas of the output image 234, and locally. Contrast can be improved.
  • the basic processing capable of improving the contrast from low resolution to high resolution independently of the local high resolution contrast change of the input image 200 is the offset adjustment processing 260 to 263 in FIG. ..
  • the image processing apparatus can replace the contrast of the block integral images 214 to 217 from the global to the low resolution with the corresponding pixel values of the block level reference images 220 to 223 by the offset adjustment processing 260 to 263.
  • the offset adjustment processes 260 to 263 the block integrated images 214 to 217 are input as the contrast-changed images whose contrast is changed, and the block-level reference image 220 is used as the contrast reference image to be referred to for changing the contrast.
  • ⁇ 223 is the input.
  • the offset adjustment processes 260 to 263 change the average value of the evaluation area of the contrast-changed image to the value of the corresponding position of the contrast reference image, and independently from the local high-resolution contrast change, the global to low.
  • the contrast up to the resolution can be changed.
  • the offset adjustment processing 260 to 263 by the offset adjustment processing 260 to 263, the contrast-changed image and the contrast reference image are input, and the average value of the desired region of the contrast-changed image is contrast-referenced. It can be changed to the value of the corresponding position of the image.
  • the image processing apparatus creates a low-resolution image in which the average value of a desired region of the input image is used as a value, and changes the local contrast of the low-resolution image, or a global process of the low-resolution image.
  • a contrast reference processed image that has undergone image processing including physical or both processing may be used instead of the contrast reference image when the contrast is changed.
  • the image processing apparatus can produce an output image 234 in which the local high-resolution contrast is preserved and the contrast is changed from global to low-resolution. Further, even when the image processing apparatus performs the contrast changing process for improving the local contrast of the input image 200, the image processing device has almost no effect on the local contrast after the change, and the image processing device can be used from global to low resolution. An output image 234 with a modified contrast can be produced.
  • the image processing device performs the processing process 241 on the X-direction differential image 210 and the Y-direction differential image 211, so that the block integral images 214 to 217 obtained by the integration processes 242 to 245 have high local resolution. It is possible to produce an output image 234 in which the contrast is changed and the local high-resolution contrast is changed.
  • the image processing apparatus produces an X-direction differential image 210 and a Y-direction differential image 211 from the input image 200 based on the following equations (4) to (7), and the X-direction processing differential is produced by the processing 241.
  • Image 212 and Y-direction processed differential image 213 are produced.
  • I (x, y) is the pixel value of the point (x, y) of the input image 200
  • Dx (x, y) is the pixel value of the point (x, y) of the X-direction differential image 210
  • Dy ( x, y) is the pixel value of the point (x, y) of the Y-direction differential image 211
  • Ex (x, y) is the pixel value of the point (x, y) of the X-direction processed differential image 212
  • Y) are pixel values of points (x, y) of the Y-direction processed differential image 213.
  • k and c are predetermined parameter values for performing local processing.
  • is the absolute value of Dx (x, y).
  • a threshold value process that sets the absolute value to 0 when the absolute value is c2 or less
  • various filter processes or a process using a neural network may be used.
  • this processing 241 on the output image 234 is effective only for local high-resolution contrast. Since the contrast from the global to the low resolution is replaced by the offset adjustments 260 to 263, the processing 241 has almost no effect on the output image 234.
  • each point of the input image 200 has three values.
  • the image processing apparatus can perform the above processing in each of the three colors of RGB, and the parameters of the above processing can be changed in each color.
  • the image processing apparatus can also perform a process of emphasizing the G color and suppressing the emphasizing of other RB colors.
  • it is also possible to perform a process of converting an RGB signal into a YUV signal perform the above process only on the Y image, and perform an inverse conversion to return each UV image to RGB as it is.
  • Each UV image can also be enhanced with different parameters. The same can be done not only for the conversion of the YUV signal but also for the process of converting to the YCbCr signal.
  • the output image 234 has an unwillingly reconstructed part, for example, an unnecessarily dirty part, which is different from the ideally desired one by the above processing, the output image 234 is ideal. It is also possible to perform processing to change the appearance to the desired shape, and to prevent such an undesired part from occurring in the output image 234, the processing 241 may set restrictions on the processing method of the differential image. You can also add some ingenuity.
  • the block integrated images 214 to 217 are taken as examples of the target images of the offset adjustments 260 to 263 in FIG. 2, but the target images of the offset adjustments 260 to 263 are not necessarily the block integrated images 214 to 217.
  • the image may be other than the above.
  • the input image 200 may be simply a processed image without performing the differential processing 240 and the integration processing 242 to 254 of FIG.
  • FIG. 7 is a block diagram showing a processing flow of the image processing apparatus according to the second embodiment.
  • the image processing apparatus processes the input image 200 in two streams and integrates the images processed in the two streams by the low-resolution contrast exchange integration process 271 to produce an output image 234F.
  • the image processing apparatus performs processing processes 742 to 745 on the input image 200 to produce processed images 714 to 717.
  • the input image 200 is divided into the same blocks as the blocks used in the block level reference image creation processing 250, and each divided block is processed. Similar to the block integrated images 214 to 217 in FIG. 2, the blocks of the processed images 714 to 717 are offset by half a block from each other.
  • processing processes 742 to 745 various processes can be performed for each block.
  • the processing processes 742 to 745 are processes for multiplying the image by a predetermined constant.
  • the method described in Japanese Patent Application No. 2018-145435 can be used for the process of multiplying the image by a predetermined constant.
  • the unsharp masking treatment represented by the above formula (2), the treatments described in the above non-patent documents 1, 2 and 3, and other super-resolution, denosing, smoothing or enhancing treatments can be performed.
  • the processing processes 742 to 745 are not performed for each block, but the entire image can be performed, and the four processed images 714 to 717 can be made the same image.
  • the four processed images 714 to 717 are made into the same image, it is necessary to save the trouble of separating the four processed images into four different processes for each half block, and to perform a mathematically equivalent simplified process as shown in FIG. 8 below. You can also.
  • the block level reference image creation process 250 which is the other process, is the same as the process of FIG.
  • the image processing apparatus receives the processed images 714 to 717 and the block level reference images 220 to 223 as inputs, and performs offset adjustment processing 260 to 263 on the processed images 714 to 717.
  • the offset adjustment processes 260 to 263 replace the average value of the evaluation region of the processed images 714 to 717 with the corresponding pixel value of the block level reference images 220 to 223.
  • the image processing apparatus produces an output image 234F in which the contrast from the global to the low resolution is replaced with the contrast of the block level reference images 220 to 223 while having the local high resolution contrast of the processed images 714 to 717. can do.
  • the contrast of the input image 200 from the global to the low resolution is the block level reference image 220.
  • An output image 234F replaced with a contrast of ⁇ 223 can be obtained.
  • FIG. 8 is a block diagram showing a processing flow of the image processing apparatus according to the third embodiment.
  • the image processing apparatus processes the input image 200 in two streams and integrates the images processed in the two streams by the low-resolution contrast replacement process 871 to produce an output image 834.
  • One processing flow is a high-resolution image processing flow
  • the other processing flow is a low-resolution image processing flow.
  • the processed image 810 is a contrast-changed image that receives a low-resolution contrast change from the global
  • the block-level reference image 524 is a contrast reference image that is referred to when the contrast of the contrast-changed image is changed.
  • the image processing apparatus processes the input image 200 by the processing process 840 to produce the processed image 810.
  • the image processing apparatus reduces the input image 200 by the reduction process 454 to produce one block level reference image 424.
  • the block level reference image 424 is a reduced image in which the average value of a predetermined evaluation area for each block of the input image 200 is used as the pixel value. Then, the image processing apparatus processes the block level reference image 424 by the processing process 554 to produce the block level reference processed image 524.
  • the image processing apparatus reduces the processed image 810 by the reduction process 860 to produce the reduced image 830.
  • the reduced image 830 is a reduced image in which the average value of a predetermined evaluation region for each block of the processed image 810 is used as a pixel value.
  • the image processing apparatus subtracts the reduced processed image 830 from the block level reference processed image 524 by the subtraction process 861 to produce the difference image 831.
  • the subtraction process 861 is a process of subtracting the other value from one value at each corresponding point of the block level reference processed image 524 and the reduced processed image 830 to obtain the value of the corresponding point of the difference image 831.
  • the image processing apparatus interpolates and enlarges the difference image 831 by the enlargement processing 862 to produce an enlarged difference image 832 having the same size as the image size of the processed image 810.
  • the enlargement processing 862 can use bilinear interpolation, cubic interpolation, or the like.
  • the image processing apparatus adds the processed image 810 and the enlargement difference image 832 by the addition process 863 to produce an output image 834.
  • the addition process 863 is a process in which the value obtained by adding the values of both at the corresponding points of the processed image 810 and the enlargement difference image 832 is set as the value of the corresponding points of the output image 834.
  • the processing process 840 can perform the same processing as the processing processes 742 to 745 of FIG. 7. Further, the processing process 840 is not performed on the input image 200, and the input image 200 can be directly used as the input for the low resolution contrast replacement process 871 instead of the processed image 810. In addition, various processes such as denoising (noise removal), super resolution, enhancement, contrast enhancement, histogram conversion, and tone mapping can be used as the processing process 840.
  • denoising noise removal
  • super resolution enhancement
  • enhancement contrast enhancement
  • histogram conversion histogram conversion
  • tone mapping can be used as the processing process 840.
  • the average brightness of the predetermined evaluation range is replaced with the brightness obtained through the interpolation of the block level reference processed image 524 for each point.
  • the average brightness within the evaluation range of the output image 834 is close to the brightness of the corresponding points of the block level reference processed image 524. Therefore, the image processing apparatus changes the contrast from the global to the low resolution of the processed image 810 to a contrast close to the contrast of the block level reference image 524 based on the processing 554 for producing the block level reference processed image 524. 834 can be made.
  • the interpolation method associated with the enlargement processing 862 is bilinear interpolation, and the processing processes 742 to 745 in FIG. 7 are the same processing processing 840, both processes are mathematically the same processing.
  • the output image 834 of FIG. 8 is the same as the output image 234F of FIG.
  • another interpolation method such as cubic convolution or super-resolution, which is more accurate than bilinear interpolation, may be used.
  • the image processing apparatus adjusts the contrast from the global to the low resolution without changing the local resolution of the processed image 810, and the block level reference processed image 524.
  • An output image 834 can be produced in which the contrast is replaced with. If the four processing processes 742 to 745 of FIG. 7 are made the same and the processing processing 840 of FIG. 8 is used, when the enlargement processing 862 of FIG. 8 is bilinear interpolation, the low resolution contrast replacement processing 871 of FIG. 8 is performed. The operation is mathematically equivalent to that of the low-resolution contrast interpolation integrated process 271 shown in FIG. 7. Therefore, in this case, the obtained output image 834 of FIG. 8 is the same as the output image 234F of FIG. 7.
  • a process excluding a part of the processes in FIG. 2, that is, a process of differentiating the input image, processing the differential image, and producing four images obtained by integrating the processed differential images is performed, and the offset is obtained.
  • the process of performing the weighted average process 264 without performing the adjustment processes 260 to 263 can be changed to the process process 840.
  • the output image 834 of FIG. 8 is the same as the output image 234 of FIG. 2 obtained when the block level reference image creation process 250 of FIG. 2 is set to FIG. 5B.
  • FIG. 9 is a block diagram showing a processing flow of the image processing apparatus according to the fourth embodiment.
  • the low-resolution contrast replacement process 971 is provided instead of the low-resolution contrast replacement process 871 of FIG.
  • the low-resolution contrast replacement process 971 is provided with an average subtraction process 963 instead of the reduction process 860 and the subtraction process 861 in FIG.
  • the image processing apparatus processes the input image 200 by the processing process 840 to produce the processed image 810. Then, the image processing apparatus produces an average pulling processed image 910 by the average pulling process 963 in the low resolution contrast replacement process 971. ..
  • the image processing apparatus reduces the input image 200 by the reduction process 454 to produce one block level reference image 424. Then, the image processing apparatus processes the block level reference image 424 by the processing process 554 to produce the block level reference processed image 524. Further, the image processing apparatus produces a block level enlarged reference image 930 by the enlargement process 862 in the low resolution contrast replacement process 971.
  • the image processing apparatus adds the average subtraction processed image 910 and the block level enlarged reference image 930 by the addition process 863 to produce an output image 934.
  • the average pulling process 963 obtains the average value of a predetermined evaluation area centered on the point of interest of the processed image 810, which is the input thereof, and subtracts the average value from the value of the point of interest to draw the attention of the average pulling processed image 910. This is a process that uses a point value. This process is performed at all points of interest in the processed image 810.
  • the predetermined evaluation area has the same size as the evaluation area when the block level reference image 424 is prepared. However, as shown in FIG. 3D, the evaluation area of the block level reference image 424 had a discrete evaluation area when viewed from the image value, but the evaluation area of the average pulling processed image 910 has a point of interest. If one pixel changes, it has an evaluation area that shifts by one pixel accordingly, and the evaluation area continuously moves in pixel units.
  • a reduced image 830 having the same mean value in the evaluation region as the block level reference image 424 is created, and the reduced image 830 is enlarged and processed 862.
  • the image enlarged by interpolation in was subtracted from the processed image 810.
  • the difference is only the difference due to the interpolation accuracy. Therefore, the difference between the output images 834 and 934 is only the difference due to the interpolation accuracy.
  • the image processing apparatus obtains the contrast from the global to the low resolution without changing the local resolution of the processed image 810, and the block level reference processed image 524.
  • An output image 834 can be produced in which the contrast is replaced with.
  • the process of FIG. 9 can be simplified from the process of FIG. 8, and the load on the image processing device can be reduced.
  • a neural network may be used for the above-mentioned processing processes 241 and 641, 742 to 745, 840, 550 to 553, and 554.
  • a neural network can be used for the denoising of Non-Patent Document 4 or the super-resolution of Non-Patent Document 5 below.
  • the evaluation range for offset adjustment of the offset adjustment processing 260 to 263 is the evaluation range of the corresponding processed image 810 as the resolution is improved. It becomes.
  • Non-Patent Document 6 that emphasizes a characteristic part with recognition can also be used in the same manner.
  • FIG. 10A is a block diagram showing an example of image processing. Note that FIG. 10A shows an example in which a two-layer neural network is used for the processing 840A.
  • the neural network includes a first layer 1001 and a second layer 1002.
  • the image processing apparatus uses the input image 200 as the input data X0 of the first layer 1001, the output data X1 of the first layer 1001 as the input data of the second layer 1002, and the output data X2 of the second layer 1002. Is the processed image 810B.
  • the first layer 1001 and the second layer 1002 each have a plurality of neurons, and each neuron multiplies the input data by the weights W1 and W2 and adds them, and further adds the biases B1 and B2 via the activation function.
  • the output value is determined.
  • the activation function use a rectified linear function or the like.
  • the weights W1 and W2 and the biases B1 and B2 of each neuron may be different.
  • the weights are in the form of a convolution centered on the point of interest in the image, each point has a neuron with the same convolution weight, and has a different convolution weight.
  • the first layer 1001 has one nx ⁇ nx ⁇ ch neuron that convolves s1 ⁇ s1. Use what you have. However, ch1 indicates the number of types of convolution. If the neuron responsible for the edge of the image cannot refer to the edge of the image, it refers to the value of the image closest to that point.
  • the second layer uses nx ⁇ ny neurons that perform s2 ⁇ s2 ⁇ ch1 convolution. Appropriate values such as 7 or 15 are selected for s1 and s2.
  • FIG. 10B is a block diagram showing another example of image processing.
  • the image processing apparatus inputs the input image 200 to the preprocessing 1011 and uses the output data X10 of the preprocessing 1011 as the input data of the first layer 1001 and the output data X11 of the first layer 1001. Is the input data of the second layer 1002, the output data X12 of the second layer 1002 is the input data of the post-processing 1012, and the output data of the post-processing 1012 is the processed image 810B.
  • the preprocessing 1011 is, for example, a process of subtracting an average value or a process of normalizing.
  • the post-processing 1012 is an inverse operation of the operation performed in the pre-processing 1011.
  • the input image 200 is a color image
  • YUV conversion is performed, the Y image is output, only the Y image is processed by the neural net, and in the post-processing 1012, the processed data is newly converted into the Y image and before. It is also possible to produce a color processed image 810B by performing an inverse calculation from YUV to RGV using the UV image obtained in the process 1011.
  • the preprocessing 1011 did not perform YUV conversion, and the first layer 1001 was made into a neuron corresponding to the input of s1 ⁇ s1 ⁇ 3 channels, and the second layer 1002 was made to correspond to the output of 3 channels by corresponding to the color image. It can also be a 3-channel neuron layer.
  • FIG. 11 is a block diagram showing a learning method of the neural network of FIG. 10B.
  • a large number of noise-free image data are prepared as training data, and a large number of images in which random noise is added to the image data are prepared.
  • the image to which the random noise is added is input to the preprocessing 1011 and proceeds to the first layer 1001, the second layer 1002, and the post-processing 1012.
  • the update amount calculation process 1110 uses a backpropagation method to update the update amounts of the weights W1 and W2 and the biases B1 and B2 so that the image before the random noise is added and the output image of the post-process 1012 are as close to each other as possible. Calculate and update the weights W1 and W2 and the biases B1 and B2. In order to reduce the calculation load of backpropagation, the image before adding random noise is input to the preprocessing 1011 so that the output data of the preprocessing 1011 is as close as possible to the output data of the second layer 1002, respectively. And the update calculation of the biases B1 and B2 may be performed.
  • the low-resolution image is input to the pre-processing 1011 and proceeds to the first layer 1001, the second layer 1002, and the post-processing 1012.
  • the update amount calculation process 1110 calculates the update amount of each of the weights W1 and W2 and the biases B1 and B2 so that the output of the post-processing 1012 is as close as possible to the high-resolution image before the reduction process.
  • the output of the second layer 1002 is a highly resolved image. Therefore, the input image 200 of the processing 840B is a low resolution image, and the processed image 810B is a high resolution image.
  • the reduction process 860 in FIG. 8 is a size reduction process that reflects the high resolution and the reduction process 454.
  • FIG. 12 is a block diagram showing still another example of image processing. Note that FIG. 12 shows an example in which a multi-layer neural network is used for the processing 840.
  • the neural network includes a first layer 1201 to a second n (n is an integer of 2 or more) -1 layer 1204.
  • the image processing apparatus inputs the input image 200 to the preprocessing 1011 and uses the output of the preprocessing 1011 as the input data of the first layer 1201 and the output data of the second n-1 layer 1204 to the postprocessing 1012. Input and set the output data of the post-processing 1012 as the processed image 810C.
  • the first layer 1201 to the second n-1 layer 1204 each have a plurality of neurons, and each neuron multiplies the input data by the weights W1, Wn, Wn + 1, W2n-1 and adds them, and further biases B1, Bn, Bn + 1. , B2n-1 are added to determine the output value via the activation function.
  • the first layer 1201 uses the first layer 1001 of the second layer neural network of FIG. 11B.
  • an image to which noise is added is sent to the second layer 1202, and the output of the second layer 1202 is connected to the dummy layer to create output data of the dummy layer.
  • the image before adding noise is flowed to the second layer 1202, and the weights and biases of the second layer 1202 and the dummy layer are updated so that the output data thereof is as close as possible to the output data of the previous dummy layer.
  • the dummy layer is discarded and the second layer 1002 is left. In this way, the nth layer 1202 is sequentially trained.
  • n + 1 layer 1203 In the learning of the n + 1 layer 1203, a dummy layer is added, but the input data to the n-1 layer of the image before the noise is added, that is, the output data of the n-2 layer and the dummy of the image to which the noise is added. Update the weights and biases so that they are as close as possible to the output data of the layer. In this way, learning is sequentially advanced so that the output data of the n + m layer + dummy layer of the image to which noise is added and the input data of the nm layer of the image before adding noise are as close as possible to each other, and the second n -Learning up to layer 1204.
  • FIG. 13 is a block diagram showing still another example of image processing.
  • the image processing apparatus utilizes up to the nth layer 1202 of FIG. 12 as a convolution layer, and further includes a recognition neural network 1300 and a neural network 1302 for data reconstruction corresponding to the nth layer output.
  • the recognition neural network 1300 and the nth layer output equivalent data reconstruction neural network 1302 each consist of a two-layer neural network, and each layer is fully connected.
  • the image processing apparatus inputs the input image 200 to the preprocessing 1011 and uses the output of the preprocessing 1011 as the input data of the first layer 1201 and inputs the output data of the nth layer 1202 to the recognition neural net 1300 for recognition.
  • the output data of the neural net 1300 is input to the data reconstruction neural net 1302 corresponding to the nth layer output, and the recognition process 1301 is performed.
  • the recognition process 1301 is a process of finding the position of the neuron having the largest value from the output of the recognition neural network 1300, and this position corresponds to the recognition result.
  • the recognition neural network layer 1300 In the learning of the recognition neural network layer 1300, a large number of learning images with recognition result flags are prepared as learning data.
  • the learning image is set as the input image 200, and the weight and bias of each neuron of the recognition neural network layer 1300 are updated so that the recognition result of the recognition process 1301 matches the flag of the image.
  • the data equivalent to the nth layer output is reconstructed so that the output of the neural network 1302 for data reconstruction corresponding to the nth layer output becomes as close as possible to the output data of the nth layer 1202.
  • Update the weights and biases of the neural network 1302. In this way, recognition 1301 is performed, and a neural network is produced in which output data close to the output data of the nth layer 1202 can be obtained.
  • FIG. 14 is a block diagram showing still another example of image processing.
  • the image processing apparatus added the recognition enhancement process 1401 and the neural network after the n + 1 layer 1203 in FIG. 12 to the neural network after learning in FIG. 13 as the processing process 840 in FIG.
  • the processing process 840D is performed.
  • the recognition enhancement process 1401 is a process of creating data that emphasizes the value of the position corresponding to the object recognized by the recognition process 1301 from the output data of the recognition neural network 1300.
  • emphasis can be performed by multiplying by a predetermined number or adding.
  • the recognition enhancement process 1401 can also emphasize the output values of the plurality of neurons when the feature recognized by the recognition process 1301 appears over the plurality of neurons.
  • the image processing apparatus can recognize the image by the processing process 840D of FIG. 14, and can use the image that emphasizes the recognized object as the processed image 810D.
  • the processing process 840D using the neural network of FIG. 14 may be applied to the processing process 554 of FIG. 5B.
  • the input at this time is the block level reference image 424 which is one reduced image, the image size to be handled is reduced and reduced, and the size of each neural network is also reduced.
  • the learning can be performed in the same manner as the learning of the neural network shown in FIG. With this neural network, the block level reference processed image 524 becomes an image in which the characteristic portion is emphasized with recognition.
  • the output images 234, 834, and 934 are images in which the object recognized by the recognition process 1301 is emphasized with low resolution.
  • each neuron in the first layer 1201 has an input corresponding to two channels, and the number of neurons in the second n-1 layer has an output doubled corresponding to two channels.
  • the number of neurons in the other layers can be set to an appropriate number as needed.
  • the learning can be performed in the same manner as the learning of the neural network shown in FIG.
  • the X-direction processed differential image 212 and the Y-direction processed differential image 213 become images in which the contours and edges of the objects recognized by the recognition process 1301 are emphasized.
  • the output image 234 becomes an image in which the local high-resolution contrast of the object recognized by the recognition process 1301 and the feature portion important for the recognition is improved.
  • the recognition evaluation value of the recognized object is raised, for example, the difference between the value of the neuron corresponding to the recognized object and the value of another neuron is widened, and the differential image 212 emphasizing the edge important for recognition.
  • the differential image 212 emphasizing the edge important for recognition.
  • FIG. 15 is a block diagram showing a hardware configuration example of the image processing device of FIG.
  • the image processing device 111 includes a processor 11, a communication control device 12, a communication interface 13, a main storage device 14, and a built-in storage device 15.
  • the processor 11, the communication control device 12, the communication interface 13, the main storage device 14, and the built-in storage device 15 are connected to each other via the internal bus 16.
  • the main storage device 14 and the internal storage device 15 are accessible from the processor 11.
  • a display device 112 an input device 113, a storage device 114, and an output device 18 are provided outside the image processing device 111.
  • the display device 112, the input device 113, the storage device 114, and the output device 18 are connected to the internal bus 16 via the input / output interface 17.
  • the display device 112 is, for example, a PC monitor, a liquid crystal monitor, an organic EL (Electro Luminescence) display, or the like.
  • the input device 113 is, for example, a keyboard, a mouse, a touch panel, a card reader, a voice input device, or the like.
  • the storage device 114 is, for example, a hard disk device, SSD, USB, CD, DVD, or the like.
  • the output device 18 is, for example, an audio output device such as a speaker, a printing device such as a printer, or a printing device.
  • the processor 11 is hardware that controls the operation of the entire image processing device 111.
  • the processor 11 may be a general-purpose processor or a dedicated processor specialized in image processing.
  • the processor 11 may be a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the processor 11 may be a single-core processor or a multi-core processor.
  • the processor 11 may include a hardware circuit (for example, FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit)) that performs a part or all of the processing.
  • the processor 11 may include a neural network.
  • the main storage device 14 can be composed of, for example, a semiconductor memory such as SRAM or DRAM.
  • the main storage device 14 can store a program being executed by the processor 11 or provide a work area for the processor 11 to execute the program.
  • the built-in storage device 15 is a storage device having a storage capacity larger than that of the main storage device 14, and is, for example, a hard disk device or an SSD.
  • the built-in storage device 15 can hold an executable file of various programs and data used for executing the program.
  • the image processing program 15A can be stored in the built-in storage device 15.
  • the image processing program 15A may be software that can be installed in the image processing device 111, or may be incorporated in the image processing device 111 as firmware.
  • the communication control device 12 is hardware having a function of controlling communication with the outside.
  • the communication control device 12 is connected to the network 140 via the communication interface 13.
  • the network 140 may be a WAN (Wide Area Network) such as the Internet, a LAN (Local Area Network) such as WiFi, or a mixture of WAN and LAN.
  • the input / output interface 17 converts the data input from the input device 113 into a data format that can be processed by the processor 11, or converts the data output from the processor 11 into a data format that can be displayed by the display device 112 and outputs the data. Or, it is converted into a data format that can be output by the output device 18 and output.
  • the processor 11 reads the image processing program 15A into the main storage device 14, and executes the image processing program 15A based on the pixel value of a part of the reference image associated with the part of the input image. , The offset of a part of the input image or the processed image obtained by processing the input image can be adjusted.
  • the reference image can be an image created based on a low-resolution image in which a part of the input image is reduced in resolution.
  • the processor 11 executes the image processing program 15A
  • the differential processing 240 the processing processing 241 and the integration processing 242 to 245 in FIG. 2
  • the block level reference image production processing 250 the offset adjustment processing 260 to 263, and the weighted average are performed.
  • the function of the process 264 can be realized.
  • the execution of the image processing program 15A may be shared by a plurality of processors and computers.
  • the processor 11 may instruct a cloud computer or the like to execute all or a part of the image processing program 15A via the network 140, and may receive the execution result.
  • a graphic card is connected to the internal bus 16, the calculation for display and some simple calculations are performed by the GPU of the graphic card instead of the processor 11, and the display device 112 is connected to the display interface of the graphic card. You can also do it.
  • a part of the image processing program 15A enters the storage device of the graphic card, the dedicated processing program built in the graphic card is called as necessary, and the GPU performs some calculation processing. Can be done.
  • the above configuration of the image processing device 111 is the same for the image processing devices 121 and 131 of FIG.
  • FIG. 16 (a) is a diagram showing an example of the input image of FIG. 2
  • FIGS. 16 (b) and 16 (c) are diagrams showing an example of the differential image of FIG.
  • the input image 200a is an image having a size of 256 ⁇ 256, represented by 8 bits (0 to 255), and has a minimum value of 3 and a maximum value of 244.
  • the input image 200a is displayed at a display level of 0 to 255.
  • the x-direction differential image 210a is an image obtained by subjecting the input image 200a to the x-direction differential processing of the equation (4).
  • the y-direction differential image 211a is an image obtained by subjecting the input image 200a to the y-direction differential processing of the equation (5).
  • the display level was set from -100 to 100. Those exceeding this range were set to -100 or 100.
  • 17 (a) to 17 (d) are diagrams showing an example of a processed differential image obtained by processing the differential image of FIG. 2.
  • the x-direction differential processed image 212a is an image obtained by processing the x-direction differential image 210a of FIG. 16B based on the equation (6).
  • the y-direction differential processed image 213a is an image obtained by processing the y-direction differential image 211a of FIG. 16 (c) based on the equation (7).
  • the display level of the x-direction differentially processed image 212a and the y-direction differentially processed image 213a was changed from -100 to 100.
  • the values of the x-direction differential processed image 212a and the y-direction differential processed image 213a are doubled as compared with the x-direction differential image 210a and the y-direction differential image 211a, and fine fluctuations are emphasized.
  • the x-direction differential processed image 212b is an image obtained by processing the x-direction differential image 210a of FIG. 16 (b) based on the equation (6).
  • the y-direction differential processed image 213b is an image obtained by processing the y-direction differential image 211a of FIG. 16 (c) based on the equation (7).
  • the display level of the x-direction differentially processed image 212b and the y-direction differentially processed image 213b was changed from -100 to 100.
  • the x-direction differential processed image 212b and the y-direction differential processed image 213b have smaller fluctuations than the x-direction differential image 210a and the y-direction differential image 211a.
  • the integration is a line integral along the path sequentially from the center of the image.
  • the line integral there are two paths in the diagonal direction, and the integrated values of the two paths are generally different, so the average value is used as the integrated value.
  • FIGS. 18 (a) and 18 (b) are views showing an example of the input image of FIG. 2, and FIGS. 18 (c), 18 (d) and 19 (a) to 19 (d) are images. It is a figure which shows the example of the integral image which integrated the whole.
  • the display level of the input image 201a is set from 0 to 255.
  • the input image 201b is the same image as the input image 201a, but the display level is set from the minimum (3) to the maximum (244) of the image. When the display level is set from the minimum to the maximum of the image, the contrast appears to be slightly higher.
  • the total integral images 2000, 2001 and 2100 are the x-direction differential processed images 212a and y-direction of FIGS. 17 (a) and 17 (b). It is an image obtained by integrating the differentially processed image 213a from the center over the entire image.
  • the overall integrated image 2000 is an image in which the display level is changed from the minimum (-98) to the maximum (384) of the image, and is the same as the input image 200b.
  • the total integral image 2001 is an image in which the display level is changed from 0 to 255.
  • the image area in this range has doubled the variation and is clearly visible, while the image area not in this range is represented by 0 or 255, and the variation cannot be read at all.
  • saturation occurs in which the region exceeding 255 becomes white, and occupies a large region of the total integrated image 2001.
  • the total integral image 2100 is an image in which the display level is changed from 128 to 383.
  • the change of the white saturated portion in the total integral image 2001 can be read.
  • the clouds of the total integral image 2100 it looks clearer than the input image 200a. From these facts, it can be seen that each part of the image can be clearly seen if it can be displayed at a display level suitable for the local area of each image. However, other image areas can cause saturation.
  • the overall integral images 2101, 2102 and 2103 are images of the x-direction differentially processed image 212b and the y-direction differentially processed image 213b of FIGS. 17 (c) and 17 (d). It is an image integrated from the center over the whole.
  • the total integral image 2101 is an image in which the display level is changed from the minimum (-81.78) to the maximum (352.51) of the image.
  • the total integrated image 2101 has poor local contrast.
  • the total integral image 2101 has an error due to integration from the center to the edge. Since the central part of the image where the integration is started looks good, it can be seen that the integration range should be limited to a small area.
  • the total integral image 2102 is an image in which the display level is changed from 0 to 255. Image areas within this display level range are clearly visible.
  • the image is divided into small blocks and integrated, and the offset is adjusted so that the average value of the integrated images for each block becomes the average value for each block of the original input image 200a.
  • FIG. 20 (a) is a diagram showing an example of an input image
  • FIG. 20 (b) is a diagram showing an example of a block obtained by dividing an input image
  • the input image 200a has a size of 256 ⁇ 256 pixels
  • the vertical length 2220 of the image is 256 pixels
  • the horizontal length is also 256 pixels.
  • the image processing device for example, divides the input image 200a into blocks of 16 ⁇ 16 pixels. At this time, the vertical length 2230 of each block is 16 pixels, and the horizontal length is also 16 pixels.
  • the method of dividing the input image 200a into blocks differs depending on how the left / right / up / down shift is performed.
  • the image division 2210 with shift 0 is shown.
  • the input image 200a is divided so as to fill the block from the upper left point of the image.
  • the entire block is set as the evaluation area.
  • the image processing apparatus obtains the input image 200a by taking the average of the pixel values in each block obtained by dividing the input image 200a by the image division 2210 of shift 0 for each block.
  • a low-resolution block-level reference image 220a is produced.
  • the block level reference image 220a was enlarged 16 times and displayed in the same size as the input image 220a.
  • the image processing apparatus integrates the x-direction differentially processed image 212a of FIG. 17A and the y-direction differentially processed image 213a of FIG. 17B for each block divided by the image division 2210 of shift 0.
  • a block-level integrated image in which the input image 200a has a high resolution is produced.
  • the image processing apparatus subtracts the average value in the block from the integrated value of each point in the block of the block level integrated image, and subtracts the average value in the block, and the block of the block level reference image 220a.
  • the offset adjustment block integrated image 230a of shift 0 is produced.
  • the offset adjustment block integration image 230a is an example of the offset adjustment block integration image 230 in FIG.
  • the average value of each block of 16 ⁇ 16 pixels shown in the image division 2210 of shift 0 is the value of the block level reference image 220a.
  • the contrast in the middle region of the block length of the input image 200a is replaced with the contrast of the block level reference image 220a.
  • the offset adjustment block integrated image 230a has block distortion BH and has local unevenness with high resolution.
  • the average value reflects the unevenness of the image, and the bilinear or cubic corresponding to that point of the block level reference image 220a. This is because the value is different from the interpolated value. Therefore, when the entire image of the offset adjustment block integrated image 230a is viewed, the contrast in the mid range of the block size of about 16 ⁇ 16 pixels is replaced with the contrast of the block level reference image 220a while reflecting the local unevenness. It becomes an image.
  • FIG. 21 (a) is a diagram showing an example of an input image
  • FIG. 21 (b) is a diagram showing an example of a block obtained by dividing an input image and an evaluation region
  • FIG. 21 (c) is a block level reference of FIG.
  • FIG. 21 (d) is a diagram showing other examples of the image
  • FIG. 21 (b) the method of dividing the blocks is the same as in FIG. 20 (b), but each block has an evaluation region 320 b having a half length in the center as shown in FIG. 3 (c). .. In this case, the block has 16 ⁇ 16 pixels, and the evaluation area 320b has 8 ⁇ 8 pixels.
  • FIG. 21B shift 0 image division 2310 having an evaluation area 320b for each block is shown.
  • the image processing apparatus takes the average of the pixel values of the evaluation region 320b in each block obtained by dividing the input image 200a by the image division 2310 of shift 0 for each block.
  • a block-level reference image 220b in which the input image 200a has a reduced resolution is produced.
  • the block level reference image 220b was enlarged 16 times and displayed in the same size as the input image 220a.
  • the block-level reference image 220b may have a larger local shading change as the area of the evaluation region is smaller than that of the block-level reference image 220a of FIG. 20 (c).
  • the image processing apparatus integrates the x-direction differentially processed image 212a of FIG. 17A and the y-direction differentially processed image 213a of FIG. 17B for each block divided by the image division 2310 of shift 0.
  • a block-level integrated image in which the input image 200a has a high resolution is produced.
  • the image processing apparatus subtracts the average value in the block from the integrated value of each point in the block of the block level integrated image, and subtracts the average value in the block, and the block of the block level reference image 220b.
  • the offset adjustment block integral image 230b of shift 0 is produced.
  • the contrast in the mid range of about the block size is replaced with the contrast of the block level reference image 220b.
  • the offset adjustment block integrated image 230b has a portion in which the contrast in the mid range is slightly improved as compared with the offset adjustment block integrated image 230a.
  • S (16,16) indicates that the block size is 16 ⁇ 16 pixels and the evaluation size is also 16 ⁇ 16 pixels
  • S (16,8) indicates that the block size is 16 ⁇ 16 pixels. It shows that the evaluation size is 8 ⁇ 8 pixels.
  • the offset adjustment block integration images 230a and 230b have block distortion BH.
  • the image is divided by four division methods shifted by half a block, an offset adjustment block integral image is created according to each division method, and a weighted average is taken according to the position in the block. , Block strain BH can be reduced.
  • FIGS. 22 (a) to 22 (d) are diagrams showing four methods of dividing the input image into blocks.
  • the image divisions 2210, 2411, 2412, and 2413 correspond to shifts 0 to 3, respectively, and are divided by half blocks, respectively.
  • FIG. 22A shows a method of dividing shift 0, which is the same as that shown in FIG. 20B.
  • FIGS. 23 (a) to 23 (d) are diagrams showing examples of the four offset adjustment block integral images of FIG.
  • the image processing apparatus prepares offset adjustment block integrated images 230a, 231a, 232a, and 233a that are divided and processed by the image divisions 2210, 2411, 2412, and 2413, respectively. ..
  • FIG. 23 (a) is an offset adjustment block integrated image 230a of shift 0, which is the same as FIG. 20 (d).
  • an image division that has been half-shifted to a half block at the end can be processed as a half block for each block.
  • the half-block portion of the offset adjustment block integration image 231a is a copy of the offset adjustment block integration image 230a
  • the half-block portion of the offset adjustment block integration image 232a is an offset adjustment block integration image 230a.
  • the left and right half blocks of the offset adjustment block integration image 233a may be copied from the offset adjustment block integration image 232a
  • the upper and lower half blocks may be copied from the offset adjustment block integration image 231a.
  • the blocks divided into four at the four corners can be the average value of the offset adjustment block integrated images 231a and 232a.
  • FIG. 24 is a diagram showing an example of an output image in which the four offset adjustment block integral images of FIG. 2 are weighted and averaged.
  • the image processing apparatus prepares the integrated image 234a by the weighted averaging processing 264 of the four offset adjustment block integrated images 230a, 231a, 232a, and 233a.
  • the integrated image 234a is an image in which the contrast in the mid range of about the block size is close to the contrast of the block level reference image 220b or the block level reference images 221, 222, and 223 corresponding to the respective shifts.
  • FIGS. 25 (a) to 25 (d) are diagrams showing four division methods when the evaluation region has a length half the block size of FIG. 22.
  • the image divisions 2310, 2711, 2712, and 2713 are the same as the image divisions 22310, 2411, 2412, and 2413 in FIGS. 22 (a) to 22 (d). ..
  • the image divisions 2310, 2711, 2712, and 2713 correspond to shifts 0 to 3, respectively, and are divided by half blocks in different positions.
  • Each block of each image division 2310, 2711, 2712, 2713 has evaluation regions 320b, 321b, 322b, and 323b. As the image division shifts, the evaluation regions 320b, 321b, 322b, and 323b are also shifted by half a block. As shown in FIG. 3D, these evaluation regions 320b, 321b, 322b, and 323b are collectively connected without overlapping portions and gap portions.
  • FIG. 26 is a diagram showing all the evaluation regions of half the block size of FIG. 22 shown in FIGS. 25 (a) to 25 (d).
  • the area division 2810 is divided into an evaluation area of 8 ⁇ 8 pixels.
  • the vertical length 2830 of each evaluation region is 8 pixels, and the horizontal length is also 8 pixels.
  • numbers 0 to 3 were assigned to each evaluation area of the area division 2810, including the area around the circle 2810.
  • the numbers 0 to 3 correspond to shifts 0 to 3, respectively.
  • FIG. 27 (a) is a diagram showing still another example of one block-level reference image of FIG. 2, and FIG. 27 (b) is a diagram showing still another example of the output image of FIG.
  • the image processing apparatus divides the input image 200a into each evaluation region based on the region division 2810 of FIG. 26, and refers to a block level in which the average value in each evaluation region is used as the pixel value.
  • Image 424b is made.
  • the image size of the block level reference image 424b is 63 ⁇ 63 pixels.
  • the block-level reference image 424b was magnified eight times, displayed in black because the edges were not evaluated, and displayed in the same size as the input image 220a and the output image 234b.
  • the block level reference image 424b of FIG. 27 (a) has an average value of four block level reference images corresponding to shifts 0 to 3 of FIGS. 25 (a) to 25 (d) for each block. ..
  • the input image 200a is obtained by integrating the x-direction differentially processed image 212a of FIG. 17A and the y-direction differentially processed image 213a of FIG. 17B for each block divided by the image division of shifts 0 to 3. Creates four block-level integrated images with high resolution. Further, the image processing device subtracts the average value in the block from the integrated value of each point in each block of the four block level integrated images, and the image corresponding to the evaluation region of the block of the block level reference image 424b. By adding the values of, four offset adjustment block integral images with shifts 0 to 3 are created. Further, the image processing apparatus produces the output image 234b of FIG. 27 (b) by taking the weighted average of the four offset adjustment block integrated images of shifts 0 to 3.
  • the contrast in the mid range of about 8 to 16 pixels which is the size of the evaluation area from the block size of the output image 234b, is replaced with the contrast of about 1 to 2 pixels of the block level reference image 424b.
  • the block distortion BH is reduced as compared with the offset adjustment block integration image 230b in FIG. 21 (d).
  • FIGS. 28 (b) to 28 (d) are diagrams showing still another example of the output image of FIG.
  • the contrast in the mid range from the block size to the evaluation area size is replaced by the contrast in the mid range of the evaluation area size from the corresponding block size of the input image 210a while the size gradually decreases.
  • FIGS. 29 (b) to 29 (d) are diagrams showing still another example of the output image of FIG.
  • the output images 234e, 234f, and 234g approach the input image 200a as the block size and the evaluation area size decrease. Compared to the output image 234b, the output image 234e is flattened by suppressing minute changes such as clouds. The output image 234e and the output image 234b do not change much in places where there is a strong change such as the contour of an airplane.
  • FIG. 30 (a) is a diagram showing still another example of the block level reference image of FIG. 2, and FIG. 30 (c) is an example of a block level reference processed image obtained by processing the block level reference image of FIG. 30 (a).
  • 30 (b) and 30 (d) are diagrams showing still other examples of the output image of FIG.
  • the block level reference image 424c is enlarged and displayed four times.
  • the block level reference processed image 524i is one reduced image obtained by processing the block level reference image 424c by the processing process 554 of FIG. 5B.
  • the processing process 554 the brightness of the image is lowered as the distance from the center of the image increases. Specifically, assuming that the ratio of the distance from the center of the image to the point of interest divided by the size of the half image is r, the process of multiplying each point of the image by 1-r ⁇ r was performed.
  • the brightness decreases as the distance from the center of the image increases.
  • the contrast from the block size to the evaluation area size can be obtained.
  • the contrast of the block level reference image 524i can be replaced.
  • the local contrast of the output image 234i has the local contrast of the output image 234h, and the processing process 554 does not affect the local contrast of the output image 234i.
  • 31 (a) is a diagram showing an example of the block level reference image of FIG. 2 shown in FIG. 27 (a), and FIG. 31 (b) is an example of the output image of FIG. 2 shown in FIG. 27 (b).
  • 31 (c) is a diagram showing an example of a block-level reference processed image obtained by processing the block-level reference image of FIG. 31 (a), and FIG. 31 (b) is a diagram further obtained from the output image of FIG. It is a figure which shows the example of.
  • the block level reference processed image 524j is one reduced image obtained by processing the block level reference image 424b of FIG. 31 (a) by the processing process 554E of FIG.
  • FIGS. 31 (a) and 31 (b) For comparison, the block level reference image 424b and the output image 234b when not processed by the processing process 554E are shown in FIGS. 31 (a) and 31 (b).
  • the block-level reference processed image 524j has a higher contrast in the mid range, which is about the size of the evaluation region, than the block-level reference image 424b.
  • the contrast in the mid range from the block size of the output image 234j to the evaluation area size is improved as compared with the output image 234b.
  • FIG. 32 (a) is a diagram showing another example of the block level reference processed image obtained by processing the block level reference image of FIG. 2, and FIG. 32 (b) is a diagram showing still another example of the output image of FIG. Is.
  • the block level reference processed image 524k values the higher brightness of the block level reference processed image 424b of FIG. 31 (a) and the block level reference processed image 524j of FIG. 31 (c). This is one reduced image obtained by performing the processing of
  • the output image 234k there is a portion where the dark portion in the mid range (about 8 pixels in the evaluation region) is slightly brighter than the output image 234j in FIG. 31 (d).
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit.
  • the offset of the part of the input image or the first processed image obtained by processing the input image is adjusted based on the pixel value of the reference image associated with the part of the input image. Equipped with an offset adjustment unit
  • the reference image is an image processing apparatus that is an input image or a second processed image obtained by processing the input image.
  • Supplementary Note 2 The image processing apparatus according to Supplementary Note 1, wherein the first processed image or the second processed image is an image that has been subjected to image processing for changing the local contrast of the input image.
  • the offset adjusting unit associates an average value or a weighted average value of pixel values of a part of the input image or the first processed image with a part of the input image.
  • the image processing apparatus according to Appendix 1 which replaces the pixel value of the reference image or the value calculated from the pixel value.
  • the process of producing the second processed image is an average value or weighted evaluation area of the reference image corresponding to a half-length evaluation area located at the center of a part of the input image.
  • the block level reference image creation process 250 of FIGS. 2 and 7 the image obtained by averaging or weighting the evaluation areas of each block of the input image 200 to reduce the resolution is designated as the block level reference images 220 to 223.
  • the image obtained by further processing the low-resolution image by the processing processes 550 to 553 is used as the block level reference image 220 to 223.
  • the input image 200 may be processed and then averaged or weighted to produce a low-resolution image.
  • Block-level reference images 220-223 of similar low-resolution images may be obtained, and similar output images 234, 234F may be obtained.
  • the input image 200 or the input image 200 was processed instead of referring to the pixel values of the low resolution block level reference images 220 to 223.
  • the image is used as the actual size reference image, and the evaluation area of each block of the actual size reference image is averaged or weighted one by one, and the reference value for offset adjustment is the same as or similar to the processing of FIGS. 2 and 7.
  • Output images 234 and 234F can be obtained.
  • the reference image referred to in the offset adjustment process is not limited to the low resolution image, but can be the input image itself which has not been reduced in resolution or the second processed image obtained by processing the input image.
  • the second processed image is not limited to the actual size processed image obtained by processing the input image. Since the processing to reduce the resolution is also processing, there are also images with low resolution of the input image, images with reduced resolution by processing the input image, and images with further processing of the image with reduced resolution by processing the input image. It can be a second processed image.
  • the reference image is a low-resolution image (block-level reference image)
  • the value of the corresponding pixel of the low-resolution image obtained or the processed low-resolution image is referred to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

画像の局所的な高分解能のコントラストをほとんど変更することなく、その画像のグローバルから低分解能までのコントラストを変更する。入力画像２００に対し、ブロックレベル参照画像作製処理２５０を行い、ブロックレベル参照画像２２０～２２３を作製し、ブロックレベル参照画像作製処理２５０では、ブロック積分画像２１４～２１７の作製に用いたブロックと同様のブロックに入力画像２００を分割し、各ブロックの画像が低分解能化された低分解能画像を作製し、低分解能コントラスト入れ換え統合処理２７１により、各ブロック積分画像２１４～２１７の低分解能のコントラストをブロックレベル参照画像２２０～２２３のブロックレベルの値にブロックごとに入れ替え、各ブロック積分画像２１４～２１７のコントラストをブロックごと変更し、重み付平均をとった出力画像２３４を作製する。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　画像処理技術の分野においては、大きく枠組みを見ると、例えば、非特許文献１に記載されているように、原画像を直接加工したり、原画像をフーリエ変換やウエーブレット変換等して変換画像を作製し、変換画像を処理した後に逆変換をして処理画像を得たりしている。原画像からエッジ画像を作した場合は、エッジ画像は、特徴を抽出して認識するための材料になったり、原画像に加算して画像を鮮鋭化するための加工材料になったりする。
　目的や対象画像の特徴により、様々な画像処理が用いられている。例えば、画像の局所的なコントラストを向上させる場合は、先行技術文献２に記載されたＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ　ｌｉｍｉｔｅｄ　ａｄａｐｔｉｖｅ　ｈｉｓｔｏｇｒａｍ　ｅｑｕａｌｉｚａｔｉｏｎ）などの処理が用いられる。ＣＬＡＨＥでは、画像を８×８画素の小領域に分け、小領域ごとにコントラストの制限を加えたヒストグラムの平坦化を用いた適応型処理を行う。また、隣り合う小領域の境界に現れる擬似輪郭を消すため、バイリニアの内挿（補間）をする。
　また、例えば、画像のエッジを保存してノイズを低減するエッジ保存型の平滑化を行う場合は、先行技術文献３に記載されているように、方向を考慮した局所的な偏差から平滑化の方向と度合いを決め、エッジ部か平坦部かに応じて平滑化等のパラメータを変えるなどの適応型処理が行われている。
酒井幸市、「デジタル画像処理の基礎と応用」、ＣＱ出版社 「ヒストグラム　その２：ヒストグラム平坦化　ＯｐｅｎＣＶ－Ｐｙｔｈｏｎ　Ｔｕｔｏｒｉａｌｓ　１」　ｈｔｔｐ：／／ｌａｂｓ．ｅｅｃｓ．ｔｏｔｔｏｒｉ－．ａｃ．ｊｐ／ｓｄ／Ｍｅｍｂｅｒ／ｏｙａｍａｄａ／ＯｐｅｎＣＶ／ｈｔｍｌ／ｐｙ＿ｔｕｔｏｒｉａｌｓ／ｐｙ＿ｉｍｇｐｒｏｃ／ｐｙ＿ｈｉｓｔｏｇｒａｍｓ／ｐｙ＿ｈｉｓｔｏｇｒａｍ＿ｅｑｕａｌｉｚａｔｉｏｎ／ｐｙ＿ｈｉｓｔｏｇｒａｍ＿ｅｑｕａｌｉｚａｔｉｏｎ．ｈｔｍｌ 田口順一、他、「エッジ部と平たん部の切分けを行った方向依存型画像フィルタ」、電子情報通信学会論文誌、Ｄ－II、Ｖｏｌ．Ｊ８０－Ｄ－II、Ｎｏ．９、ｐｐ．２３４５－２３５０（１９９７）
　しかしながら、先行技術文献１～３には、画像の局所的な高分解能のコントラストをほとんど変更することなく、その画像のグローバルから低分解能までのコントラストを変更させる技術は開示されていない。
　本発明は、上記事情に鑑みなされたものであり、その目的は、画像の局所的な高分解能のコントラストをほとんど変更することなく、その画像のグローバルから低分解能までのコントラストを変更可能な画像処理装置を提供することにある。
　上記目的を達成するため、第１の観点に係る画像処理装置は、入力画像の一部の領域と対応付けられた参照画像の画素値に基づいて、前記入力画像または前記入力画像を加工した加工画像の前記一部の領域のオフセットを調整するオフセット調整部を備え、前記参照画像は、前記入力画像の前記一部の領域が低分解能化された低分解能画像に基づいて作製された画像である。
　本発明によれば、画像の局所的な高分解能のコントラストをほとんど変更することなく、その画像のグローバルから低分解能までのコントラストを変更することができる。
図１は、第１実施形態に係る画像処理システムの構成を示すブロック図である。 図２は、図１の画像処理装置の処理の流れを示すブロック図である。 図３（ａ）は、図２の処理で用いられるブロックの例を示す図、図３（ｂ）は、図３（ａ）のブロックを半ブロックずつずらして重ねた図、図３（ｃ）は、図２の処理で用いられるブロックの評価領域の例を示す図、図３（ｄ）は、図３（ｃ）のブロックを半ブロックずつずらして重ねた図である。 図４Ａは、図２のブロックレベル参照画像作製処理の例を示すブロック図である。 図４Ｂは、図２のブロックレベル参照画像作製処理のその他の例を示すブロック図である。 図５Ａは、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。 図５Ｂは、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。 図６は、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。 図７は、第２実施形態に係る画像処理装置の処理の流れを示すブロック図である。 図８は、第３実施形態に係る画像処理装置の処理の流れを示すブロック図である。 図９は、第４実施形態に係る画像処理装置の処理の流れを示すブロック図である。 図１０Ａは、画像の加工処理の一例を示すブロック図である。 図１０Ｂは、画像の加工処理のその他の例を示すブロック図である。 図１１は、図１０Ｂのニューラルネットの学習方法を示すブロック図である。 図１２は、画像の加工処理のさらにその他の例を示すブロック図である。 図１３は、画像の加工処理のさらにその他の例を示すブロック図である。 図１４は、画像の加工処理のさらにその他の例を示すブロック図である。 図１５は、図１の画像処理装置のハードウェア構成例を示すブロック図である。 図１６（ａ）は、図２の入力画像の一例を示す図、図１６（ｂ）および図１６（ｃ）は、図２の微分画像の例を示す図である。 図１７（ａ）～図１７（ｄ）は、図２の微分画像を加工した加工微分画像の例を示す図である。 図１８（ａ）および図１８（ｂ）は、図２の入力画像の一例を示す図、図１８（ｃ）および図１８（ｄ）は、画像全体を積分した積分画像の例を示す図である。 図１９（ａ）～図１９（ｄ）は、画像全体を積分した積分画像のその他の例を示す図である。 図２０（ａ）は、入力画像の一例を示す図、図２０（ｂ）は、入力画像を分割したブロックの例を示す図、図２０（ｃ）は、図２のブロックレベル参照画像の例を示す図、図２０（ｄ）は、図２のオフセット調整ブロック積分画像の例を示す図である。 図２１（ａ）は、入力画像の一例を示す図、図２１（ｂ）は、入力画像を分割したブロックおよび評価領域の一例を示す図、図２１（ｃ）は、図２のブロックレベル参照画像のその他の例を示す図、図２１（ｄ）は、図２のオフセット調整ブロック積分画像のその他の例を示す図である。 図２２（ａ）～図２２（ｄ）は、入力画像をブロックに分割する４つの分割の仕方の例を示す図である。 図２３（ａ）～図２３（ｄ）は、図２の４つのオフセット調整ブロック積分画像の例を示す図である。 図２４は、図２の４つのオフセット調整ブロック積分画像が重み付平均された出力画像の例を示す図である。 図２５（ａ）～図２５（ｄ）は、図２２のブロックサイズの半分の長さの評価領域を持つ場合の４つの分割の仕方を示す図である。 図２６は、図２５（ａ）～図２５（ｄ）で示した図２２のブロックサイズの半分の評価領域を全てまとめた図である。 図２７（ａ）は、図２の１つのブロックレベル参照画像のさらにその他の例を示す図、図２７（ｂ）は、図２の出力画像のさらにその他の例を示す図である。 図２８（ａ）は、入力画像の一例を示す図、図２８（ｂ）～図２８（ｄ）は、図２の出力画像のさらにその他の例を示す図である。 図２９（ａ）は、入力画像の一例を示す図、図２９（ｂ）～図２９（ｄ）は、図２の出力画像のさらにその他の例を示す図である。 図３０（ａ）は、図２のブロックレベル参照画像のさらにその他の例を示す図、図３０（ｃ）は、図３０（ａ）のブロックレベル参照画像を加工したブロックレベル参照加工画像の例を示す図、図３０（ｂ）および図３０（ｄ）は、図２の出力画像のさらにその他の例を示す図である。 図３１（ａ）は、図２７（ａ）で示した図２のブロックレベル参照画像の例を示す図、図３１（ｂ）は、図２７（ｂ）で示した図２の出力画像の例を示す図、図３１（ｃ）は、図３１（ａ）のブロックレベル参照画像を加工したブロックレベル参照加工画像の例を示す図、図３１（ｂ）は、図２の出力画像のさらにその他の例を示す図である。 図３２（ａ）は、図２のブロックレベル参照画像を加工したブロックレベル参照加工画像のその他の例を示す図、図３２（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
　実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、第１実施形態に係る画像処理システムの構成を示すブロック図である。
　図１において、画像処理システムは、撮影装置１００、画像処理装置１１１、１２１、１３１、表示装置１１２、１２２、１３２、入力装置１１３、１２３、１３３および記憶装置１１４、１２４、１３４を備える。
　画像処理装置１１１、１２１、１３１は、インターネットなどの通信ネットワーク１４０を介して互いに接続されている。画像処理装置１１１は、撮影装置１００、表示装置１１２、入力装置１１３および記憶装置１１４に接続されている。画像処理装置１２１は、表示装置１２２、入力装置１２３および記憶装置１２４に接続されている。画像処理装置１３１は、表示装置１３２、入力装置１３３および記憶装置１３４に接続されている。
　撮影装置１００は、被写体を撮影し、画像データを生成する。撮影装置１００は、例えば、デジタルカメラ、スマートフォンまたは携帯電話に付属したカメラ、スキャナ、医療現場で用いられるＸ線写真撮影装置またはＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）など、監視現場で用いられる監視カメラ、その他に各種検査現場で用いられる超音波、赤外線、可視光、紫外線、Ｘ線、γ線または電子線などを捉えた画像を撮影する各種撮影装置などである。
　画像処理装置１１１は、入力装置１１３からの入力情報に基づいて、撮影装置１００から画像データを受け取ったり、各種画像処理を行ったりすることができる。また、画像処理装置１１１は、処理画像データを含む処理結果を表示装置１１２に表示したり、記憶装置１１４に記憶したり、通信ネットワーク１４０に送信したりできる。さらに、画像処理装置１１１は、外部からのリクエスト情報を受け取り、記憶装置１１４に記憶した画像データなどの各種情報を外部に送信することができる。画像処理装置１１１は、例えば、汎用計算機であるワークステーション、デスクトップ型パーソナルコンピュータ、ノート型パーソナルコンピュータ、タブレット端末またはスマートフォン等であってもよいし、画像処理専用ハードウェアであってもよい。
　表示装置１１２は、ディスプレイまたはテレビなどを用いることができる。入力装置１１３は、キーボードまたはマウスなどを用いることができる。記憶装置１１４は、磁気ディスク装置、光ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリなどを用いることができる。
　なお、ノート型パーソナルコンピュータ、パブレット端末およびスマートフォンなどは、画像処理装置１１１、表示装置１１２、入力装置１１３および記憶装置１１４が一体となっている。
　通信ネットワーク１４０は、画像データを含む各種情報データを送受信可能な回線で、世界中に繋がることができる。通信ネットワーク１４０は、例えば、インターネットを用いることができる。通信ネットワーク１４０には、ローカルなエリアに独自の専用の回線を設けることもできる。
　画像処理装置１２１は、入力装置１２３からの入力情報に基づき、画像処理装置１１１に接続された記憶装置１１４から画像データを受け取ったり、各種画像処理を行うことができる。また、画像処理装置１２１は、処理画像データを含む処理結果を表示装置１２２に表示したり、記憶装置１２４に記憶したり、通信ネットワーク１４０に送信したりできる。さらに、画像処理装置１２１は、外部からのリクエスト情報を受け取り、記憶装置１２４に記憶した画像データなどの各種情報を外部に送信することができる。
　画像処理装置１３１は、入力装置１３３からの入力情報に基づき、画像処理装置１２１に接続された記憶装置１２４から画像データを受け取ったり、各種画像処理を行うことができる。また、画像処理装置１３１は、処理画像データを含む処理結果を表示装置１３２に表示したり、記憶装置１３４に記憶したり、通信ネットワーク１４０に送信したりできる。
　各画像処理装置１１１、１２１、１３１の画像処理機能は、画像処理を実現するソフトウェア（プログラム）をインストールすることで実装することができる。また、撮影装置１００が画像処理装置を内蔵している場合は、この内蔵された画像処理装置も画像処理を実施することができるし、画像処理専用ハードウェアを搭載して画像処理を実施することもできる。
　この画像処理システムは、例えば、個人が撮影装置１００としてデジタルカメラを用い、画像処理装置１１１として記憶装置１１４を内蔵したノート型パーソナルコンピュータを用いることができる。そして、個人がデジタルカメラで撮影した画像データを記憶装置１１４に記憶し、通信ネットワーク１４０を介して、外部のＳＮＳ（ｓｏｃｉａｌ　ｎｅｔｗｏｒｋｉｎｇ　ｓｅｒｖｉｃｅ）の情報サービス会社の画像処理装置１２１に接続された記憶装置１２４に画像をアップロードし、広く一般に画像にアクセスできるようにすることができる。この時、ユーザは、自分が所有する画像処理装置１３１に接続された表示装置１３２上でアップロードされた画像を見ることができる。
　その他、医療現場では、撮影装置１００としてＸ線写真撮影装置またはＭＲＩなどの各種画像撮影装置にある画像データを、これらの画像撮影装置と繋がった、あるいはこれらの画像撮影装置を内蔵した画像処理装置１１１から病院内のデータサーバである画像処理装置１２１に送ることができる。そして、医師は、画像処理装置１３１に接続された表示装置１３２上で画像を参照することができる。
　なお、以下に記載する画像処理は、いずれの画像処理装置１１１、１２１、１３１でも、その画像処理を実現するソフトウェア（プログラム）をインストールすることで実現することができる。あるいは、以下に記載する画像処理は、いずれの画像処理装置１１１、１２１、１３１でも、その画像処理を実現する画像処理専用ハードウェアを搭載することで実現するようにしてもよい。
　図２は、図１の画像処理装置の処理の流れを示すブロック図である。
　図２において、画像処理装置は、入力画像２００を２つの流れで処理し、２つの流れで処理された画像を積分コントラスト統合処理２７０で統合し、出力画像２３４を作製する。入力画像２００の１つの流れは、入力画像２００が微分され、積分コントラスト統合処置２７０で積分されて、ブロック積分画像２１４～２１７ができる。ブロック積分画像２１４～２１７は、その後、グローバルから低分解能のコントラストが変更される被コントラスト変更画像である。入力画像２００のもう１つの流れは、被コントラスト変更画像のコントラストの変更時に参照されるコントラスト参照画像を作製する処理である。
　以下の説明では、コントラスト参照画像のブロックごとに設定される参照値に基づいて、被コントラスト変更画像のブロックごとの平均的な輝度値をブロックごとに変更する場合を例にとる。被コントラスト変更画像のブロックごとの平均的な輝度値を変更する参照値をブロックごとに格納したコントラスト参照画像を、ここではブロックレベル参照画像と言う。１つのブロックは、画像の一部の領域にあたるため、この１つのブロックや、ブロック内で計算に用いた評価域などを画像の一部の領域と表現する。１つのブロックの平均的な輝度値を変更し、更に隣のブロックの平均的な輝度値を変更すると、両者の間に平均的な輝度値の差が生じる。この平均的な輝度の差が、その場所の、ブロックの大きさ程度の低分解能のコントラストとなる。従って、隣り合う２つのブロックの平均的な輝度値を変更すると、その場所の低分解能のコントラストを変更することができる。また、これを画像の大きな（グローバルな）範囲に渡り行なうと、画像のグローバルなコントラストも変更することができる。
　以下、図２の流れを具体的に説明する。画像処理装置は、入力画像２００に対して微分処理２４０を行い、Ｘ方向微分画像２１０とＹ方向微分画像２１１を作製する。次に、画像処理装置は、Ｘ方向微分画像２１０とＹ方向微分画像２１１に対して加工処理２４１を行い、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３を作製する。
　次に、画像処理装置は、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３に対して積分処理２４２～２４５を行い、ブロック積分画像２１４～２１７を作製する。積分処理２４２では、画像処理装置は、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３を所定のブロックに分割し、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３をブロックごとに参照し、各ブロック中心から順次径路に沿った線積分を行う。その際、斜め方向の線積分では、２つの積分径路が存在し、これら２つの積分径路の積分値は一般に異なるため、その平均値、または重み付き平均値を積分値とすることができる。
　積分処理２４３～２４５についても同様の積分を行う。ただし、各積分処理２４３～２４５では、ブロックの分割の仕方が異なり、それぞれ半ブロックずつずれたブロックに分割してブロックごとに積分する。
　また、画像処理装置は、入力画像２００に対し、ブロックレベル参照画像作製処理２５０を行い、ブロックレベル参照画像２２０～２２３を作製する。ブロックレベル参照画像作製処理２５０では、画像処理装置は、ブロック積分画像２１４～２１７の作製に用いたブロックと同様のブロックに入力画像２００を分割し、各ブロックの画像が低分解能化された低分解能画像を作製する。各ブロックレベル参照画像２２０～２２３では、ブロックの分割の仕方が異なり、それぞれ半ブロックずつずれたブロックに分割してブロックごとに低分解能化する。
　この低分解能画像は、各ブロックまたは各ブロック内の所定の評価領域の画素値の平均値または重み付き平均値に基づいて作製することができる。重み付き平均では、例えば、ブロック内の中心からの距離に応じてガウス型の重みを付けたり、ブロックの画素値の分布から外れている値をノイズとして除去する適応型の重みを付けることができる。その他、この低分解能画像は、適応型の重みとして、各ブロックまたは各ブロック内の所定の評価領域の画素値の中央値または最頻値に基づいて作製するようにしてもよい。ここでは、この他の処理で、単に平均と記載する処理も、重み付平均にする処理に入れ替えることができる。その他、ブロックレベル参照画像２２０～２２３を低分解能コントラスト入れ換え統合処理２７１の入力とする代わりに、ブロックレベル参照画像２２０～２２３を加工したブロックレベル参照加工画像を低分解能コントラスト入れ換え統合処理２７１の入力としてもよい。
　ブロックレベル参照加工画像は、例えば、低分解能画像の局所的なコントラストが変更された画像、低分解能画像のグローバルなコントラストが変更された画像または低分解能画像の局所的およびグローバルの双方のコントラストが変更された画像である。
　次に、画像処理装置は、低分解能コントラスト入れ換え統合処理２７１により、各ブロック積分画像２１４～２１７の低分解能のコントラストを低分解能画像であるブロックレベル参照画像２２０～２２３のコントラストに入れ替えたオフセット調整ブロック積分画像２３０～２３３を作製し、これらの重み付平均をとった出力画像２３４を作製する。
　例えば、画像処理装置は、オフセット調整処理２６０により、ブロック積分画像２１４の各ブロックの平均値が、そのブロックに対応する低分解能のブロックレベル参照画像２２０の値に一致するように、ブロック積分画像２１４のオフセット調整を行う。すなわち、画像処理装置は、オフセット調整処理２６０において、ブロック積分画像２１４の各ブロック内の各点の画素値から、そのブロックの評価領域内の画素値の平均値を引き、そのブロックに対応するブロックレベル参照画像２２０の値を足す処理を行うことで、オフセット調整ブロック積分画像２３０を作製する。
　画像処理装置は、これらのオフセット調整処理２６０～２６３により、オフセット調整ブロック積分画像２３０～２３３を作製し、重み付平均処理２６４により出力画像２３４を作製する。重み付平均処理２６４では、画像処理装置は、出力画像２３４の着目点を含む各オフセット調整ブロック積分画像２３０～２３３のブロック内の位置を参照し、ブロック端点から遠いほど重みが小さく、ブロック中心に近いほど重みが大きくなる双線形の重み付け平均を行うことができる。
　これらのオフセット調整処理２６０～２６３により、各ブロック積分画像２１４～２１７の局所的な高分解能のコントラストがほとんど変更されることなく、グローバルから低分解能のコントラストが変更された出力画像２３４を作製することができる。
　また、各ブロック積分画像２１４～２１７の重み付平均処理２６４により、ブロックごとに積分により発生したブロック歪を低減することができる。
　図３（ａ）は、図２の処理で用いられるブロックの例を示す図、図３（ｂ）は、図３（ａ）のブロックを半ブロックずつずらして重ねた図、図３（ｃ）は、図２の処理で用いられるブロックの評価領域の例を示す図、図３（ｄ）は、図３（ｃ）のブロックを半ブロックずつずらして重ねた図である。なお、図３（ａ）～図３（ｄ）では、図２のブロック積分画像２１４～２１７のブロックと、ブロックレベル参照画像２２０～２２３の作製に参照される評価領域の位置関係を示す。
　図３（ａ）の例では、着目するブロック３００と評価領域が一致する。図３（ｂ）において、ブロック３０１は、着目するブロック３００に対してＸ方向に半ブロックずらされ、ブロック３０２は、着目するブロック３００に対してＹ方向に半ブロックずらされ、ブロック３０３は、着目するブロック３００に対してＸ方向およびＹ方向に半ブロックずつずらされている。以下、図２の入力画像２００をブロック３００に分割する方法をシフト０、ブロック３０１に分割する方法をシフト１、ブロック３０２に分割する方法をシフト２、ブロック３０３に分割する方法をシフト３と言うことがある。
　図３（ｃ）の例では、着目するブロック３１０と評価領域３２０が異なり、着目するブロック３１０の中心に長さが半分の評価領域３２０を設定した。図３（ｄ）において、ブロック３１１は、着目するブロック３１０に対してＸ方向に半ブロックずらされ、ブロック３１２は、着目するブロック３１０に対してＹ方向に半ブロックずらされ、ブロック３１３は、着目するブロック３１０に対してＸ方向およびＹ方向に半ブロックずつずらされている。このとき、各ブロック３１０～３１３の評価領域３２０～３２３は、それぞれ接する。
　図４Ａは、図２のブロックレベル参照画像作製処理の例を示すブロック図である。
　図４Ａにおいて、ブロックレベル参照画像作製処理２５０Ａでは、画像処理装置は、それぞれのブロックの評価領域の平均値を、入力画像２００の各ブロックの値とする縮小処理４５０～４５３を行い、ブロックレベル参照画像２２０Ａ～２２３Ａを作製する。この縮小処理４５０～４５３では、例えば、ブロックサイズが８×８画素である場合、入力画像２００の１／８縮小画像が得られる。各ブロックレベル参照画像２２０Ａ～２２３Ａでは、ブロックの分割の仕方が異なり、それぞれ半ブロックずつずれたブロックに分割してブロックごとに縮小処理４５０～４５３を行う。この処理については、以下の特許文献１に述べられている。
特願２０１８－１４５４３５１号明細書
　図４Ｂは、図２のブロックレベル参照画像作製処理のその他の例を示すブロック図である。
　図４Ｂにおいて、ブロックレベル参照画像作製処理２５０Ｂでは、画像処理装置は、縮小処理４５４により、半ブロックずつずれたブロックのそれぞれの評価領域の平均値を、各ブロックの値とする１つの縮小画像であるブロックレベル参照画像４２４を作製する。
　次に、画像処理装置は、分割処理４５５により、１つの縮小画像であるブロックレベル参照画像４２４の飛び飛びの値を参照し、半ブロックずつずれた４つの評価領域の値を平均した縮小画像であるブロックレベル参照画像２２０Ｂ～２２３Ｂに分割する。この処理の構成は、上記特許文献１に述べられていないが、数学的には図４Ａの処理と同じである。
　図５Ａは、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
　図５Ａにおいて、ブロックレベル参照画像作製処理２５０Ｃでは、画像処理装置は、それぞれのブロックの評価領域の平均値を、各ブロックの値とする縮小処理４５０～４５３を行い、ブロックレベル参照画像５２０～５２３を作製する。
　次に、画像処理装置は、各ブロックレベル参照画像５２０～５２３に対し加工処理５５０～５５３を行い、ブロックレベル参照加工画像２２０Ｃ～２２３Ｃを作製する。なお、上記特許文献１には、ブロックレベル参照画像５２０～５２３を処理することもできることが記載されているが、加工処理５５０～５５３の具体的な処理内容の記載がない。
　図５Ｂは、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
　図５Ｂにおいて、ブロックレベル参照画像作製処理２５０Ｄでは、画像処理装置は、縮小処理４５４により、半ブロックずつずれたブロックのそれぞれの評価領域の平均値を、各ブロックの値とする１つの縮小画像であるブロックレベル参照画像４２４を作製する。
　次に、画像処理装置は、ブロックレベル参照画像４２４に対し加工処理５５４を行い、ブロックレベル参照加工画像５２４を作製する。
　次に、画像処理装置は、分割処理４５５により、１つの加工画像であるブロックレベル参照加工画像５２４の飛び飛びの値を参照し、半ブロックずつずれた４つの評価領域の値を平均した縮小画像であるブロックレベル参照加工画像２２０Ｄ～２２３Ｄに分割する。なお、この処理の構成については上記特許文献１には記載されていない。
　このブロックレベル参照画像作製処理２５０Ｄでは、加工処理５５４は、１つのブロックレベル参照画像４２４の処理となり、コントラスト変換処理を容易化することができる。
　以下、ブロックレベル参照画像の加工処理について具体的に記載する。
　ブロックレベル参照画像の加工処理の一例は、エッジ強調処理である。エッジ強調処理として、例えば、アンシャープマスキングと呼ばれる処理がある。図５Ａの場合のアンシャープマスキング処理は、下記の（１）式で与えることができる。
　Ｂ０＝Ｂｍ０＋ｋ・（Ｂｍ０－Ｈ（Ｂｍ０））　　　・・・（１）
ここで、Ｂ０は、ブロックレベル参照加工画像２２０Ｃ、Ｂｍ０は、ブロックレベル参照画像５２０である。Ｈ（）は、所定の範囲の平均値を取る演算、ｋは強調の程度を示すパラメータである。
　また、画像どうしの加算の演算は、着目する点ごとに加算する。Ｂｍ０－Ｈ（Ｂｍ０）は、Ｂｍ０の着目点の周囲の所定の範囲の平均値を求め、Ｂｍ０の着目点の値から、この平均値を引くことを各点ごとに行う。平均を求めるサイズは、着目点を中心とする３×３の領域の場合、Ｂｍ０－Ｈ（Ｂｍ０）は、ラプラシアンフィルタをかけた画像となる。平均を求めるサイズが、例えば、１５×１５画素のような広い範囲の場合、Ｂｍ０－Ｈ（Ｂｍ０）は、凹凸を強調した画像となる。
　また、ブロックレベル参照加工画像２２１Ｃ～２２３Ｃについても（１）式の処理と同様に計算し、４回の処理が必要になる。
　図５Ｂの場合のアンシャープマスキング処理は、下記の（２）式で与えることができる。
　Ｂｍ＝Ｂｔ＋ｋ・（Ｂｔ－Ｈ（Ｂｔ））　　　・・・（２）
　ここで、Ｂｍは、１つのブロックレベル参照加工画像５２４、Ｂｔは、１つのブロックレベル参照画像４２４である。ブロックレベル参照画像４２４の加工処理５５４は、１回で済ませることができる。なお、以上の処理では、入力画像２００を縮小処理４５４を行い縮小し、加工処理５５４を行う例を示したが、入力画像２００を加工処理してから縮小処理４５４を行なうこともできる。
　図６は、図２のブロックレベル参照画像作製処理のさらにその他の例を示すブロック図である。
　図６において、画像処理装置は、図５Ｂの加工処理５５４として、図２の処理を入れ子構造にした加工処理５５４Ｅを行う。加工処理５５４Ｅ内の微分処理６４０後の加工処理６４１は、微分画像の強調処理とすることができる。この場合、縮小処理４５４により作製されたブロックレベル参照画像４２４にも微分処理６４０が行われるため、多重分解能の微分処理となる。
　すなわち、図６のブロックレベル参照画像４２４は、図２の入力画像２００に対応する画像となり、図６のブロックレベル参照加工画像５２４は、図２の出力画像２３４に対応した画像となる。また、低分解能の処理と高分解能の処理を対比すると、１つの縮小画像であるブロックレベル参照画像４２４は、入力画像２００に対比でき、微分処理６４０は、微分処理２４０に対比でき、微分画像の加工処理６４１は、微分画像の加工処理２４１に対比でき、ブロックレベル参照画像作製処理６５０は、ブロックレベル参照画像作製処理２５０に対比でき、積分コントラス統合処理６７０は、積分コントラス統合処理２７０に対比できる。
　微分処理２４０、６４０および積分コントラス統合処理２７０、６７０は、処理する画像サイズが異なるだけで、同一の処理である。微分画像の加工処理２４１、６４１およびブロックレベル参照画像作製処理２５０、６５０は、それぞれ異なる処理またはパラメータを用いた処理であってもよい。ここで、微分画像の加工処理６４１において、微分画像を所定倍（例えば、ｋ２倍）する処理を行うと、得られる１つのブロックレベル参照加工画像５２４は、局所的な凹凸が所定倍（ｋ２倍）された強調画像となる。
　なお、図６の微分画像の加工処理６４１で微分画像をｋ２倍する処理と同様の処理したブロックレベル参照加工画像５２４を得る処理は、図５Ｂの加工処理５５４で（２）式を用い、パラメータを所定の値に設定することでも行うこともできる。すなわち、図６の微分画像をブロックに分けるブロックサイズと、図５Ｂの加工処理５５４で（２）式の平均を求めるサイズがほぼ同じであれば、図６の強調処理と似たような強調をした加工を行うことができる。例えば、ブロックサイズが１６×１６の場合、（１）式または（２）式の平均値を求めるサイズが１５×１５または１７×１７で、（１）式または（２）式のＫを、Ｋ＝Ｋ２－１（ただし、Ｋ２は所定倍）とすると、得られるブロックレベル参照加工画像５２４として似たような強調画像が得られる。
　ブロックレベル参照画像４２４の加工処理のその他の例は、グローバルなレベル変換を行う処理である。例えば、図５Ｂの加工処理５５４において、グローバルなレベル変換を行う処理は、以下の（３）式で与えることができる。
　Ｂｍ（ｉｊ）＝（ｃ１－ｃ０）×Ｂｔ（ｉ，ｊ）／（Ｂｔｍａｘ－Ｂｔｍｉｎ）＋ｃ０
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、ｃ０、ｃ１は、この処理で作製される画像Ｂｍの最大値と最小値となるパラメータで、Ｂｔｍａｘは画像Ｂｔの最大値、Ｂｔｍｉｎは画像Ｂｔの最小値である。例えば、画像の表示レベルが０から２５５の場合、ｃ０＝０、ｃ１＝２５５に選ぶと、ブロックレベル参照加工画像５２４は、表示レベルの最大のレンジ内で収まる値になるが、オフセット調整ブロック積分画像２３０～２３３は、平均値を０または２５５またはそれに近い値にオフセット調整した箇所などは、画像の表示レベルを超える値を持ち、表示時にサチレーションを起こす箇所が出る可能性がある。
　サチレーションを避けるために、例えば、ｃ０＝２０、ｃ１＝２３５とし、与えられた平均値からの０のレベル変動は表示できることを保証するなど、所定の範囲のレベル変動の表示ができることを保証するレベル変換を行うこともできる。また、最大値Ｂｔｍａｘが２５５より大幅に低い値または最小値Ｂｔｍｉｎが０より大幅に大きい画像の場合は、（３）式の処理は、サチレーションを抑えた表示ができる範囲を増やし、グローバルなコントラストを向上させることができる。
　なお、（３）式は、図５Ｂのブロックレベル参照画像４２４の加工処理５５４に適用されるが、図５Ａの場合も、（３）式と同様な４つの式で変換することができる。
　グローバルなレベル変換を行う処理は、この他にも、ヒストグラム平滑化または画像のブロックごとに変換に制限を設けたヒストグラム平滑化を行うＣＬＡＨＥや、トーンマッピングと呼ばれる非線形の輝度変換を行う処理でもよい。
　その他、入力画像２００の値に無関係に均一値とすることもできる。このようなグローバルな輝度変換またはコントラスト変換を行う方法をブロックレベル参照画像４２４の加工処理５５４に用いることができる。ブロックレベル参照画像４２４の加工処理５５４は、上記のエッジ強調を行う処理と、上記のグローバルな輝度変換を行う加工処理の双方とも行ってもよい。
　以下、図２のオフセット調整処理２６０～２６３について、オフセット調整処理２６０を例に詳細を述べる。
　ブロック積分画像２１４は、入力画像２００を所望のブロックサイズで分割したブロックごとに積分した画像である。このとき、図３（ａ）に示すように、例えば、着目するブロック３００には、それと一致した評価領域を設定してもよい。あるいは、図３（ｃ）に示すように、例えば、着目するブロック３１０には、その中心に位置する半分の長さを持つ評価領域３２０を設定してもよい。
　以下、着目するブロック３１０に評価領域３２０が設定された場合を例にとってオフセット調整処理２６０を説明する。
　ブロック積分画像２１４を着目するブロック３１０ごとに積分する場合、着目するブロック３１０ごとに評価領域３２０が設定される。この積分されるブロック内での評価領域３２０の画素値の平均値をｈ１とする。
　また、ブロックレベル参照画像２２０の評価領域３２０に対応した点は、入力画像２００のブロック内での評価領域３２０の画素値の平均値、またはこの平均値に加工処理５５０を行った値を持つ。ブロックレベル参照画像２２０の評価領域３２０に対応した点の値をｈ０とする。
　オフセット調整処理２６０は、ブロック積分画像２１４の着目するブロック３１０の各点の値にそれぞれｈ０－ｈ１を足した値を、オフセット調整ブロック積分画像２３０の対応点の値とする処理を、入力画像２００を分割したブロックごとに行う。
　これにより、オフセット調整ブロック積分画像２３０の着目するブロック３１０の評価領域３２０の平均値はｈ０となり、ブロック積分画像２１４の着目するブロック３１０の平均値がブロックレベル参照画像２２０の対応点の値に置き換わる。画像処理装置は、このブロック積分画像２１４のブロックごとの平均値の置き換え処理をブロック積分画像２１４の全てのブロックで行い、オフセット調整ブロック積分画像２３０を得る。このとき、オフセット調整ブロック積分画像２３０の各ブロックの評価領域の平均値は、そのブロックに対応したブロックレベル参照画像２２０の値に置き換わる。
　画像処理装置は、オフセット調整処理２６１～２６３についても、オフセット調整処理２６０と同様の処理を行う。このとき、オフセット調整ブロック積分画像２３１～２３３のそれぞれの評価領域の平均値は、そのブロックに対応したブロックレベル参照画像２２１～２２３の値に置き換わる。
　オフセット調整処理２６０～２６３を行うことにより、図５Ａの加工処理５５０～５５３にて作製されたブロックレベル参照加工画像２２０Ｃ～２２３Ｃまたは図５Ｂの加工処理５５４および分割処理４５５にて作製されたブロックレベル参照加工画像２２０Ｄ～２２３Ｄは、図２のオフセット調整ブロック積分画像２３０～２３３の対応する評価領域内の平均値を与えることができる。
　従って、図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４は、オフセット調整ブロック積分画像２３０～２３３の対応する評価領域内の平均値を変化させることができる。図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４がエッジ強調処理の場合、オフセット調整ブロック積分画像２３０～２３３の対応する評価領域のエッジのコントラストを強調することができる。すなわち、図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４がエッジ強調処理の場合、評価領域程度の低分解能のコントラストを強調する処理になる。
　また、図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４がグローバルなコントラストを強調する処理の場合、オフセット調整ブロック積分画像２３０～２３３の対応する評価領域のグローバルなコントラストを強調することができる。これらのオフセット調整ブロック積分画像２３０～２３３に対して図２の重み付平均処理２６４を行うことにより、オフセット調整ブロック積分画像２３０～２３３のブロック歪が低減された出力画像２３４が作製される。
　このとき、出力画像２３４は、オフセット調整ブロック積分画像２３０～２３３の低分解能のコントラストまたはグローバルなコントラストと近いコントラストを持つ。すなわち、図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４は、出力画像２３４のグローバルから低分解能までのコントラストを調整する処理となる。
　出力画像２３４に実施されたグローバルから低分解能までのコントラストの調整処理は、出力画像２３４の局所的な高分解能のコントラストにはほとんど影響しない。従って、微分画像の加工処理２４１においてエッジ強調の処理を行い、局所的な高分解能のコントラストを向上させることにより、出力画像２３４に実施されたグローバルから低分解能までのコントラストの調整処理とほぼ独立して、出力画像２３４の局所的な高分解能のコントラストを向上させることができる。
　このように、上述した実施形態では、画像処理装置は、加工処理２４１にて入力画像２００の局所的な高分解能のコントラストを変更し、局所的な高分解能のコントラストの変更処理とほぼ独立して、図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４にて入力画像２００のグローバルから低分解能までのコントラストを変更することができる。このため、画像処理装置は、局所的な高分解能のコントラストを向上させつつ、低分解能のコントラストを向上させたり、輝度の低い箇所または高い箇所でサチレーションをある程度抑えたり、表示レベルを最大限活用するグローバルなコントラストを向上させたりすることができる。
　例えば、画像処理装置は、図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４にてエッジ強調などローカルなコントラストを強調する処理を行う場合、出力画像２３４の低分解能のコントラストを向上させることができる。また、画像処理装置は、図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４にてグローバルなコントラストを好みに応じて変更する場合は、出力画像２３４のグローバルなコントラストを好みに応じて変更することができる。
　特に、入力画像２００の画素値が低い箇所および高い箇所では、入力画像２００の凹凸が表現し難い部分がある。ここで、図５Ａの加工処理５５０～５５３または図５Ｂの加工処理５５４により、図５Ａのブロックレベル参照加工画像２２０Ｃ～２２３Ｃまたは図５Ｂのブロックレベル参照加工画像５２４の持つ値の最小値または最大値に制限を設けたり、所定の値より低い値を高くしたり、所定の値より高い値を低くすることができ、出力画像２３４の暗い箇所および明るい箇所の凹凸の表現性を向上させ、局所的なコントラストを向上させることができる。
　入力画像２００の局所的な高分解能のコントラストの変更と独立して、低分解能から高分解能までのコントラストを向上させることが可能な基本的な処理は、図２のオフセット調整処理２６０～２６３である。画像処理装置は、このオフセット調整処理２６０～２６３により、ブロック積分画像２１４～２１７のグローバルから低分解能までのコントラストをブロックレベル参照画像２２０～２２３の対応する画素値に置き換えることができる。
　このとき、オフセット調整処理２６０～２６３では、コントラストが変更される被コントラスト変更画像としてブロック積分画像２１４～２１７が入力となり、そのコントラストを変更するために参照されるコントラスト参照画像としてブロックレベル参照画像２２０～２２３が入力となる。そして、オフセット調整処理２６０～２６３は、被コントラスト変更画像の評価領域の平均値をコントラスト参照画像の対応位置の値に変更し、局所的な高分解能のコントラストの変更と独立して、グローバルから低分解能までのコントラストを変更することができる。
　以上説明したように、上述した第１実施形態によれば、オフセット調整処理２６０～２６３により、被コントラスト変更画像とコントラスト参照画像を入力として、被コントラスト変更画像の所望の領域の平均値をコントラスト参照画像の対応位置の値に変更することができる。
　このとき、画像処理装置は、入力画像の所望の領域の平均値を値とする低分解能画像を作製し、この低分解能画像の局所的なコントラストを変更する処理、またはこの低分解能画像のグローバルなコントラストを変更する処、理またはこれら双方の処理を含む画像処理を行ったコントラスト参照加工画像をコントラスト参照画像の代わりに用いてもよい。
　これにより、画像処理装置は、局所的な高分解能なコントラストは保存されるとともに、グローバルから低分解能までのコントラストが変更された出力画像２３４を作製することができる。また、画像処理装置は、入力画像２００の局所的なコントラストを向上させるコントラスト変更処理を行った場合においても、その変更後の局所的なコントラストにほとんど影響を及ぼすことなく、グローバルから低分解能までのコントラストが変更された出力画像２３４を作製することができる。
　例えば、画像処理装置は、Ｘ方向微分画像２１０とＹ方向微分画像２１１に対し、加工処理２４１を施すことにより、積分処理２４２～２４５によって得られるブロック積分画像２１４～２１７の局所的な高分解能なコントラストを変更し、局所的な高分解能なコントラストが変更された出力画像２３４を作製することができる。
　一例として、画像処理装置は、以下の（４）式から（７）式に基づいて、入力画像２００からＸ方向微分画像２１０とＹ方向微分画像２１１を作製し、加工処理２４１によりＸ方向加工微分画像２１２とＹ方向加工微分画像２１３を作製する。
　Ｄｘ（ｘ，ｙ）＝Ｉ（ｘ＋１，ｙ）－Ｉ（ｘ，ｙ）　　　・・・（４）
　Ｄｙ（ｘ，ｙ）＝Ｉ（ｘ，ｙ＋１）－Ｉ（ｘ，ｙ）　　　・・・（５）
Ｅｘ（ｘ，ｙ）＝ｋ＊（Ｄｘ（ｘ，ｙ）－ｃ）＋ｃ（Ｄｘ（ｘ，ｙ）≧ｃの場合）
＝Ｄｘ（ｘ，ｙ）＊｜Ｄｘ（ｘ，ｙ）｜／ｃ（｜Ｄｘ（ｘ，ｙ）｜＜ｃの場合）
＝ｋ＊（Ｄｘ（ｘ，ｙ）＋ｃ）－ｃ（Ｄｘ（ｘ，ｙ）≦－ｃの場合）　　　・・・（６）
Ｅｙ（ｘ，ｙ）＝ｋ＊（Ｄｙ（ｘ，ｙ）－ｃ）＋ｃ（Ｄｙ（ｘ，ｙ）≧ｃの場合）
＝Ｄｙ（ｘ，ｙ）＊｜Ｄｙ（ｘ，ｙ）｜／ｃ（｜Ｄｙ（ｘ，ｙ）｜＜ｃの場合）
＝ｋ＊（Ｄｙ（ｘ，ｙ）＋ｃ）－ｃ（Ｄｙ（ｘ，ｙ）≦－ｃの場合）　　　・・・（７）
　ただし、Ｉ（ｘ，ｙ）は、入力画像２００の点（ｘ，ｙ）の画素値、Ｄｘ（ｘ，ｙ）は、Ｘ方向微分画像２１０の点（ｘ，ｙ）の画素値、Ｄｙ（ｘ，ｙ）は、Ｙ方向微分画像２１１の点（ｘ，ｙ）の画素値、Ｅｘ（ｘ，ｙ）は、Ｘ方向加工微分画像２１２の点（ｘ，ｙ）の画素値、Ｅｙ（ｘ，ｙ）は、Ｙ方向加工微分画像２１３の点（ｘ，ｙ）の画素値である。ｋとｃは、局所的な加工を行う所定のパラメータ値である。｜Ｄｘ（ｘ，ｙ）｜は、Ｄｘ（ｘ，ｙ）の絶対値である。
　（６）式の処理により、Ｘ方向微分画像２１０のＤｘ（ｘ，ｙ）は、絶対値がｃより小さい場合は、２乗の式に従って絶対値がより小さくなり、絶対値がｃより大きい場合は、値がｋ倍される。
　この他にも、加工処理２４１を行う方法は各種あり、例えば、絶対値がｃ２以下の場合は０にする閾値処理、各種フィルタ処理またはニューラルネットを用いた処理などでもよい。
　なお、この加工処理２４１が出力画像２３４に与える影響は、局所的な高分解能のコントラストにのみ有効である。グローバルから低分解能のコントラストは、オフセット調整２６０～２６３によって入れ替えられるので、加工処理２４１が出力画像２３４に与える影響はほとんどない。
　入力画像２００がカラー画像の場合、入力画像２００の各点は、３つの値を持つ。このとき、画像処理装置は、ＲＧＢの３色でそれぞれ上記の処理を行うことができ、各色で上記の処理のパラメータを変更することができる。例えば、画像処理装置は、Ｇ色を強調し、他のＲＢ色の強調を抑えるという処理も行うことができる。また、ＲＧＢ信号をＹＵＶ信号に変換する処理などを行い、Ｙ画像のみに上記の処理を行い、各ＵＶ画像はそのままにしてＲＧＢに戻す逆変換を行うこともできるし、Ｙ画像のみでなく、各ＵＶ画像も別のパラメータで強調処理することもできる。なお、ＹＵＶ信号の変換に限らず、ＹＣｂＣｒ信号に変換する処理などでも同様のことができる。
　その他、以上のような処理で、出力画像２３４に理想的に望まれるものと異なる不本意な再構成をした部分、例えば、不必要に汚れた部分などがある場合は、出力画像２３４を理想的に望まれる姿に変更する加工処理を行うこともできるし、出力画像２３４がそのような不本意な部分が生じないように、加工処理２４１で、微分画像の加工の仕方に制限を設けたり、工夫を加えたりすることもできる。
　なお、第１実施形態では、図２のオフセット調整２６０～２６３の対象画像としてブロック積分画像２１４～２１７を例にとったが、オフセット調整２６０～２６３の対象画像は、必ずしもブロック積分画像２１４～２１７に限定されることなく、それ以外の画像であってもよい。例えば、図２の微分処理２４０および積分処理２４２～２５４を行わず、入力画像２００を単に加工した画像であってもよい。
　図７は、第２実施形態に係る画像処理装置の処理の流れを示すブロック図である。
　図７において、画像処理装置は、入力画像２００を２つの流れで処理し、２つの流れで処理された画像を低分解能コントラスト入れ換え統合処理２７１で統合し、出力画像２３４Ｆを作製する。
　具体的には、画像処理装置は、入力画像２００に対して加工処理７４２～７４５を行い、加工画像７１４～７１７を作製する。加工処理７４２～７４５は、ブロックレベル参照画像作製処理２５０で用いたブロックと同じブロックに入力画像２００を分割し、各分割したブロックごとに処理する。図２のブロック積分画像２１４～２１７と同様に、加工画像７１４～７１７の各ブロックは互いに半ブロックずつずれている。
　加工処理７４２～７４５は、様々な処理をブロックごとに行うことができる。例えば、加工処理７４２～７４５は、画像を所定の定数倍する処理である。画像を所定の定数倍する処理は、特願２０１８－１４５４３５明細書に記載された方法を用いることができる。また、上記（２）式で示すアンシャープマスキング処理、上記非特許文献１、２、３に記載された処理、その他のスーパーレゾリューション、デノイジング、平滑化または強調処理などを行うことができる。
　この場合、加工処理７４２～７４５をブロックごとに行わず、画像全体で行い、４つの加工画像７１４～７１７を同一画像にすることができる。４つの加工画像７１４～７１７を同一画像にする場合、半ブロックごとに異なる４つの処理に分離する手間を省き、以下の図８に示すように、数学的に等価な簡略化した処理にすることもできる。
　なお、もう一方の処理であるブロックレベル参照画像作製処理２５０は、図２の処理と同様である。画像処理装置は、加工画像７１４～７１７およびブロックレベル参照画像２２０～２２３を入力として、加工画像７１４～７１７に対してオフセット調整処理２６０～２６３を行う。オフセット調整処理２６０～２６３は、加工画像７１４～７１７の評価領域の平均値をブロックレベル参照画像２２０～２２３の対応する画素値に置き換える。
　これにより、画像処理装置は、加工画像７１４～７１７の局所的な高分解能のコントラストを持ちながら、グローバルから低分解能までのコントラストがブロックレベル参照画像２２０～２２３のコントラストに置き換わった出力画像２３４Fを作製することができる。なお、加工処理７４２～７４５を何も処理をせずに、加工画像７１４～７１７を入力画像２００と同じ画像にした場合は、入力画像２００のグローバルから低分解能までのコントラストがブッロクレベル参照画像２２０～２２３のコントラストに置き換わった出力画像２３４Ｆが得られる。
　図８は、第３実施形態に係る画像処理装置の処理の流れを示すブロック図である。
　図８において、画像処理装置は、入力画像２００を２つの流れで処理し、２つの流れで処理された画像を低分解能コントラスト入れ替え処理８７１で統合し、出力画像８３４を作製する。１つの処理の流れは、高分解能の画像の処理の流れ、もう一つの処理の流れは、低分解能の画像の処理の流れである。ここで、加工画像８１０は、グローバルから低分解能のコントラストの変更を受ける被コントラスト変更画像、ブロックレベル参照画像５２４は、被コントラスト変更画像のコントラストを変更する際に参照されるコントラスト参照画像である。
　具体的には、画像処理装置は、加工処理８４０により、入力画像２００を加工し、加工画像８１０を作製する。
　また、画像処理装置は、縮小処理４５４により、入力画像２００を縮小し、１つのブロックレベル参照画像４２４を作製する。ブロックレベル参照画像４２４は、入力画像２００のブロックごとの所定の評価領域の平均値を画素値とする縮小画像である。そして、画像処理装置は、加工処理５５４により、ブロックレベル参照画像４２４を加工し、ブロックレベル参照加工画像５２４を作製する。
　次に、低分解能コントラスト入れ替え処理８７１において、画像処理装置は、縮小処理８６０により、加工画像８１０を縮小し、縮小加工画像８３０を作製する。縮小加工画像８３０は、加工画像８１０のブロックごとの所定の評価領域の平均値を画素値とする縮小画像である。
　次に、画像処理装置は、減算処理８６１により、ブロックレベル参照加工画像５２４から縮小加工画像８３０を引き、差画像８３１を作製する。減算処理８６１は、ブロックレベル参照加工画像５２４および縮小加工画像８３０の対応した各点で一方の値から他方の値を引き、差画像８３１の対応した点の値とする処理である。
　次に、画像処理装置は、拡大処理８６２により、差画像８３１を補間拡大し、加工画像８１０の画像サイズと同じサイズの拡大差画像８３２を作製する。拡大処理８６２は、バイリニア補間またはキュービック補間などを用いることができる。
　次に、画像処理装置は、加算処理８６３により、加工画像８１０と拡大差画像８３２を加算し、出力画像８３４を作製する。加算処理８６３は、加工画像８１０および拡大差画像８３２の対応した各点で双方の値を加算した値を出力画像８３４の対応した点の値とする処理である。
　加工処理８４０は、図７の加工処理７４２～７４５と同様の処理を行うことができる。また、入力画像２００に対して加工処理８４０も何も行わず、加工画像８１０の代わりに入力画像２００をそのまま低分解能コントラスト入れ替え処理８７１の入力とすることもできる。その他、デノイジング（ノイズ除去）、スーパーレゾリューション、強調、コントラスト強調、ヒストグラム変換またはトーンマッピングなど様々な処理を加工処理８４０として用いることができる。
　図８の処理では、加工画像８１０について、各点ごとに、所定の評価範囲の平均輝度を、ブロックレベル参照加工画像５２４の補間を通した輝度に置き換える。このとき、出力画像８３４の評価範囲内の平均輝度は、ブロックレベル参照加工画像５２４の対応した点の輝度と近い値になる。従って、画像処理装置は、ブロックレベル参照加工画像５２４を作製する加工処理５５４に基づいて、加工画像８１０のグローバルから低分解能のコントラストまでをブロックレベル参照画像５２４のコントラストと近いコントラストに変更した出力画像８３４を作製することができる。
　なお、このグローバルから低分解能のコントラストを変更する処理は、加工画像８１０の局所的な高分解能のコントラストにほとんど影響しない。従って、加工処理８４０で局所的な高分解能のコントラストを向上させる処理をした場合は、その局所的な高分解のコントラストを出力画像８３４に持たせることができる。
　ここで、拡大処理８６２に伴う補間方法をバイリニア補間にした場合において、図７の加工処理７４２～７４５を同一の加工処理８４０のとした場合は、数学的には両者の処理は同一の処理となり、図８の出力画像８３４は、図７の出力画像２３４Ｆと同一である。なお、拡大処理８６２に伴う補間方法は、バイリニア補間より精度の良いキュービックコンボリューションまたは超解像など、その他の補間方法を用いるようにしてもよい。
　以上説明したように、上述した第３実施形態によれば、画像処理装置は、加工画像８１０の局所的な分解能を変更することなく、グローバルから低分解能までのコントラストを、ブロックレベル参照加工画像５２４のコントラストに置き換えた出力画像８３４を作製することができる。なお、上記図７の４つの加工処理７４２～７４５を同一にして、図８の加工処理８４０にすると、図８の拡大処理８６２がバイリニア補間の場合、図８の低分解能コントラスト入れ替え処理８７１は、図７の低分解能コントラスト入れ換え統合処理２７１と数学的に等価な演算の入れ換えを行なったものとなっている。従って、この場合、図８の得られる出力画像８３４は、図７の出力画像２３４Fと同じものになる。
　また、図２の処理の中の一部の処理を除いた処理、すなわち、入力画像を微分し、微分画像を加工し、加工した微分画像を積分した画像を４つ作製する処理を行い、オフセット調整処理２６０～２６３は行わずに、重み付平均処理２６４を行う処理を、加工処理８４０にすることもできる。この場合、図８の出力画像８３４は、図２のブロックレベル参照画像作製処理２５０を図５Ｂにした場合に得られる図２の出力画像２３４と同じものになる。
　図９は、第４実施形態に係る画像処理装置の処理の流れを示すブロック図である。
　図９の処理では、図８の低分解能コントラスト入れ替え処理８７１の代わりに、低分解能コントラスト入れ替え処理９７１が設けられている。低分解能コントラスト入れ替え処理９７１は、図８の縮小処理８６０および減算処理８６１の代わりに、平均引き処理９６３が設けられている。
　具体的には、画像処理装置は、加工処理８４０により、入力画像２００を加工し、加工画像８１０を作製する。そして、画像処理装置は、低分解能コントラスト入れ替え処理９７１において、平均引き処理９６３により、平均引き加工画像９１０を作製する。。
　また、画像処理装置は、縮小処理４５４により、入力画像２００を縮小し、１つのブロックレベル参照画像４２４を作製する。そして、画像処理装置は、加工処理５５４により、ブロックレベル参照画像４２４を加工し、ブロックレベル参照加工画像５２４を作製する。さらに、画像処理装置は、低分解能コントラスト入れ替え処理９７１において、拡大処理８６２により、ブロックレベル拡大参照画像９３０を作製する。
　次に、画像処理装置は、加算処理８６３により、平均引き加工画像９１０とブロックレベル拡大参照画像９３０を加算し、出力画像９３４を作製する。
　平均引き処理９６３は、その入力である加工画像８１０の着目点を中心とする所定の評価領域の平均値を求め、着目点の値からその平均値を引いた値を平均引き加工画像９１０の着目点の値とする処理である。この処理を加工画像８１０の全ての着目点で行う。所定の評価領域は、ブロックレベル参照画像４２４を作製した際の評価領域と同一の大きさとする。ただし、ブロックレベル参照画像４２４の評価領域は、図３（ｄ）に示すように、画像値から見ると飛び飛びの評価領域を持っていたが、平均引き加工画像９１０の評価領域は、着目点が１画素変れば、それに伴い１画素ずれる評価領域を持ち、評価領域が画素単位で連続的に移動する。
　数学的には、図８の例では、加工画像８１０について、ブロックレベル参照画像４２４と同じ飛び飛びの評価領域内の平均値を値とする縮小画像８３０を作製し、この縮小画像８３０を拡大処理８６２で補間拡大した画像を加工画像８１０から引いていた。図９の例では、各点ごとに評価領域内の平均値を求め、加工画像８１０から引いているので、その違いは、補間精度による差のみとなる。従って、出力画像８３４、９３４の違いは、この補間精度による差のみとなる。
　以上説明したように、上述した第４実施形態によれば、画像処理装置は、加工画像８１０の局所的な分解能を変更することなく、グローバルから低分解能までのコントラストを、ブロックレベル参照加工画像５２４のコントラストに置き換えた出力画像８３４を作製することができる。このとき、図９の処理は、図８の処理より簡易化することができ、画像処理装置の負荷を軽減することができる。
　なお、上述した加工処理２４１、６４１、７４２～７４５、８４０、５５０～５５３、５５４にニューラルネットを用いるようにしてもよい。例えば、下記の非特許文献４のデノイジングまたは非特許文献５のスーパーレゾリューションにニューラルネットを用いることができる。ただし、非特許文献５に記載された方法は、分解能が上がるため、オフセット調整処理２６０～２６３のオフセット調整をする評価範囲は、分解能が向上したことに伴い、それぞれ対応した加工画像８１０の評価範囲となる。
Ｋａｉ　Ｚｈａｎｇ，　Ｗａｎｇｍｅｎｇ　Ｚｕｏ，　Ｙｕｎｊｉｎ　Ｃｈｅｎ，　Ｄｅｙｕ　Ｍｅｎｇ，　ａｎｄ　Ｌｅｉ　Ｚｈａｎｇ，"Ｂｅｙｏｎｄ　ａ　Ｇａｕｓｓｉａｎ　Ｄｅｎｏｉｓｅｒ：　Ｒｅｓｉｄｕａｌ　Ｌｅａｒｎｉｎｇ　ｏｆ　Ｄｅｅｐ　ＣＮＮ　ｆｏｒ　Ｉｍａｇｅ　Ｄｅｎｏｉｓｉｎｇ，"ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＩＭＡＧＥ　ＰＲＯＣＥＳＳＩＮＧ，　ＶＯＬ．　２６，　ＮＯ．　７，　ＪＵＬＹ　２０１７．
Ｃｈａｏ　Ｄｏｎｇ，　Ｃｈｅｎ　Ｃｈａｎｇｅ　Ｌｏｙ，　Ｋａｉｍｉｎｇ　Ｈｅ，　ａｎｄ　Ｘｉａｏｏｕ　Ｔａｎｇ，　"Ｉｍａｇｅ　Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ　Ｕｓｉｎｇ　Ｄｅｅｐ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋｓ，"　ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＰＡＴＴＥＲＮ　ＡＮＡＬＹＳＩＳ　ＡＮＤ　ＭＡＣＨＩＮＥ　ＩＮＴＥＬＬＩＧＥＮＣＥ，　ＶＯＬ．　３８，　ＮＯ．　２，　ＦＥＢＲＵＡＲＹ　２０１６．
　その他、認識を伴い、特徴となる部位を強調する下記の非特許文献６のニューラルネットの処理も同様に用いることができる。ニューラルネットを用いた処理については、他にも様々な処理があり、それらの処理を用いるようにしてもよい。
Ｒ．　Ｒ．　Ｓｅｌｖａｒａｊｕ，　Ｍ．　Ｃｏｇｓｗｅｌｌ，　Ａ．　Ｄａｓ，　Ｒ．　Ｖｅｄａｎｔａｍ，　Ｄ．　Ｐａｒｉｋｈ，　ａｎｄ　Ｄ．　Ｂａｔｒａ，　"Ｇｒａｄ－ｃａｍ：　Ｖｉｓｕａｌ　ｅｘｐｌａｎａｔｉｏｎｓ　ｆｒｏｍ　ｄｅｅｐ　ｎｅｔｗｏｒｋｓ　ｖｉａ　ｇｒａｄｉｅｎｔ－ｂａｓｅｄ　ｌｏｃａｌｉｚａｔｉｏｎ，"　Ｉｎ　Ｔｈｅ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（ＩＣＣＶ），　２０１７．
　図１０Ａは、画像の加工処理の一例を示すブロック図である。なお、図１０Ａは、加工処理８４０Ａに２層のニューラルネットを用いた例を示す。
　図１０Ａにおいて、ニューラルネットは、第１層１００１および第２層１００２を備える。画像処理装置は、加工処理８４０Ａにおいて、入力画像２００を第１層１００１の入力データＸ０とし、第１層１００１の出力データＸ１を第２層１００２の入力データとし、第２層１００２の出力データＸ２を加工画像８１０Ｂとする。
　第１層１００１および第２層１００２は、それぞれニューロンを複数持ち、それぞれのニューロンは、入力データに重みＷ１、Ｗ２を掛けて加算し、さらにバイアスＢ１、Ｂ２を加算して活性化関数を介して出力値が決まる。活性化関数には、正規化線形関数などを使う。それぞれのニューロンの重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２は異なっていてもよい。例えば、コンボリューショナルネットワークは、重みは、画像の着目点を中心としてコンボリューションの形をしており、同じコンボリューションの重みを持つニューロンが各点ごとにあり、別のコンボリューションの重みを持つニューロンが各点ごとにある複数のコンボリューションのチャネルを持ったニューラルネットワークである。
　このコンボリューショナルネットワークを採用した場合、例えば、入力画像２００がｎｘ×ｎｙのサイズで、１チェネルの場合、第１層１００１は、ｓ１×ｓ１のコンボリューションを行うニューロンをｎｘ×ｎｘ×ｃｈ１個持つものを用いる。ただし、ｃｈ１はコンボリューションの種類の数を示す。画像の端を担当するニューロンは、画像の端の参照できない場合は、その点に最も近い画像の値を参照する。第２層は、ｓ２×ｓ２×ｃｈ１のコンボリューションを行うニューロンをｎｘ×ｎｙ個持つものを用いる。ｓ１およびｓ２は、７または１５など、適切な値が選ばれる。
　図１０Ｂは、画像の加工処理のその他の例を示すブロック図である。
　図１０Ｂにおいて、画像処理装置は、加工処理８４０Ｂにおいて、入力画像２００を前処理１０１１に入力し、前処理１０１１の出力データＸ１０を第１層１００１の入力データとし、第１層１００１の出力データＸ１１を第２層１００２の入力データとし、第２層１００２の出力データＸ１２を後処理１０１２の入力データとし、後処理１０１２の出力データを加工画像８１０Ｂとする。
　前処理１０１１は、例えば、平均値を引く処理または正規化する処理などである。後処理１０１２は、前処理１０１１で行った演算の逆演算である。また、入力画像２００がカラー画像の場合は、ＹＵＶ変換をして、Ｙ画像を出力とし、Ｙ画像のみをニューラルネットで処理し、後処理１０１２では、処理したデータを新たにＹ画像とし、前処理１０１１で得られたＵＶ画像を使い、ＹＵＶからＲＧＶにする逆演算をしてカラーの加工画像８１０Ｂを作製することもできる。ただし、前処理１０１１でＹＵＶ変換せず、カラー画像に対応させて、第１層１００１をｓ１×ｓ１×３チャネルの入力に対応するニューロンにしたり、第２層１００２を３チャネル出力に対応させた３チャネルのニューロン層にすることもできる。
　図１１は、図１０Ｂのニューラルネットの学習方法を示すブロック図である。
　図１１において、例えば、デノイジングを行うニューラルネットの場合は、学習データとして、ノイズのない画像データを多数用意し、この画像データにランダムノイズを加えた画像を多数用意する。ランダムノイズを加えた画像を前処理１０１１に入力し、第１層１００１、第２層１００２および後処理１０１２に進む。
　更新量計算処理１１１０は、ランダムノイズを加える前の画像と、後処理１０１２の出力画像がなるべく近い値に近づくように、各重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２の更新量をバックプロパゲーション法で計算し、各重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２を更新する。バックプロパゲーションの計算負荷を減らすため、ランダムノイズを加える前の画像を前処理１０１１に入力し、前処理１０１１の出力データが第２層１００２の出力データとなるべく近くなるように各重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２の更新計算をしてもよい。
　スーパーレゾリューションを行うニューラルネットの場合は、学習データとして、分解能の高い画像を多数用意し、平均などを行って縮小処理した低分解能画像を用意する。そして、低分解能画像を前処理１０１１に入力し、第１層１００１、第２層１００２および後処理１０１２に進む。
　更新量計算処理１１１０は、後処理１０１２の出力が縮小処理を行う前の高分解能画像になるべく近づくように各重みＷ１、Ｗ２およびバイアスＢ１、Ｂ２の更新量を計算する。この場合、第２層１００２の出力は、高分解画像である。このため、加工処理８４０Ｂの入力画像２００は低分解能画像、加工画像８１０Ｂは高分解能画像となる。このとき、図８の縮小処理８６０は、この高分解能化と縮小処理４５４が反映されたサイズの縮小処理となる。
　図１２は、画像の加工処理のさらにその他の例を示すブロック図である。なお、図１２は、加工処理８４０に多層のニューラルネットを用いた例を示す。
　図１２において、ニューラルネットは、第１層１２０１～第２ｎ（ｎは２以上の整数）－１層１２０４を備える。
　画像処理装置は、加工処理８４０Ｃにおいて、入力画像２００を前処理１０１１に入力し、前処理１０１１の出力を第１層１２０１の入力データとし、第２ｎ－１層１２０４の出力データを後処理１０１２に入力し、後処理１０１２の出力データを加工画像８１０Ｃとする。
　第１層１２０１～第２ｎ－１層１２０４は、それぞれニューロンを複数持ち、それぞれのニューロンは、入力データに重みＷ１、Ｗｎ、Ｗｎ＋１、Ｗ２ｎ－１を掛けて加算し、さらにバイアスＢ１、Ｂｎ、Ｂｎ＋１、Ｂ２ｎ－１を加算して活性化関数を介して出力値が決まる。
　多層のニューラルネットの学習では、第１層１２０１は、図１１Ｂの第２層のニューラルネットの第１層１００１を用いる。例えば、デノイズのニューラルネットの場合は、ノイズを加えた画像を第２層１２０２まで流し、第２層１２０２の出力をダミー層に繋ぎ、ダミー層の出力データを作る。また、ノイズを加える前の画像を第２層１２０２まで流し、その出力データが、先のダミー層の出力データとなるべく近くなるように第２層１２０２と、ダミー層の重みおよびバイアスを更新する。多くの学習データで学習した後、ダミー層は捨て、第２層１００２は残す。このようにして、第ｎ層１２０２まで順次学習させる。
　第ｎ＋１層１２０３の学習では、ダミー層を加えるが、ノイズを加える前の画像の第ｎ－１層への入力データ、すなわち、第ｎ－２層の出力データと、ノイズを加えた画像のダミー層の出力データとがなるべく近くなるように重みおよびバイアスを更新する。このようにして、ノイズを加えた画像の第ｎ＋ｍ層＋ダミー層の出力データと、ノイズを加える前の画像の第ｎ－ｍ層の入力データがなるべく近くなるように順次学習を進め、第２ｎ－１層１２０４まで学習させる。
　図１３は、画像の加工処理のさらにその他の例を示すブロック図である。
　図１３において、画像処理装置は、図１２の第ｎ層１２０２までをコンボリューション層として活用し、さらに認識用ニューラルネット１３００と、第ｎ層出力相当データ再構成用ニューラルネット１３０２を備える。
　認識用ニューラルネット１３００および第ｎ層出力相当データ再構成用ニューラルネット１３０２は、各々２層のニューラルネットワークからなり、各層は全結合をする。
　画像処理装置は、入力画像２００を前処理１０１１に入力し、前処理１０１１の出力を第１層１２０１の入力データとし、第ｎ層１２０２の出力データを認識用ニューラルネット１３００に入力し、認識用ニューラルネット１３００の出力データを第ｎ層出力相当データ再構成用ニューラルネット１３０２に入力するとともに、認識処理１３０１を行う。認識処理１３０１は、認識用ニューラルネット１３００の出力の中から一番大きな値を持つニューロンの位置を求める処理で、この位置が認識結果と対応する。
　認識用ニューラルネット層１３００の学習では、学習データとして、認識結果のフラグの付いた学習用画像を多数用意する。学習用画像を入力画像２００とし、認識処理１３０１の認識結果がその画像のフラグと一致するように、認識用ニューラルネット層１３００の各ニューロンの重みとバイアスを更新する。多くの学習データで認識結果の学習をした後、第ｎ層出力相当データ再構成用ニューラルネット１３０２の出力が、第ｎ層１２０２の出力データとなるべく近くなるように第ｎ層出力相当データ再構成用ニューラルネット１３０２の重みとバイアスを更新する。このようにして、認識１３０１が行われ、第ｎ層１２０２の出力データに近い出力データが得られるニューラルネットが作製される。
　図１４は、画像の加工処理のさらにその他の例を示すブロック図である。
　図１４において、画像処理装置は、図８または図９の加工処理８４０として、図１３の学習後のニューラルネットに、認識強調処理１４０１と、図１２の第ｎ＋１層１２０３以降のニューラルネットを加えた加工処理８４０Ｄを行う。
　認識強調処理１４０１は、認識用ニューラルネット１３００の出力データの中から、認識処理１３０１で認識された物に対応する位置の値を強調したデータを作製する処理である。認識強調処理１４０１では、所定倍かけたり、加算したりすることで強調を行うことができる。また、認識強調処理１４０１は、認識処理１３０１で認識された特徴が、複数のニューロンに渡って表れる場合は、複数のニューロンの出力値を強調することもできる。画像処理装置は、図１４の加工処理８４０Ｄにより、画像の認識を行うとともに、認識した物を強調した画像を加工画像８１０Ｄとすることができる。
　なお、図５Ｂの加工処理５５４に、図１４のニューラルネットを用いた加工処理８４０Ｄを適用してもよい。ただし、このときの入力は、一つの縮小画像であるブロックレベル参照画像４２４となり、扱う画像サイズは縮小されて小さくなり、各ニューラルネットのサイズも小さくなる。学習は、図１４のニューラルネットの学習と同様に行うことができる。このニューラルネットにより、認識を伴い、ブロックレベル参照加工画像５２４は、特徴となる部分を強調した画像となる。この結果、出力画像２３４、８３４、９３４は、認識処理１３０１で認識された物が低分解能で強調された画像となる。
　また、図２の加工処理２４１に、図１４のニューラルネットを用いた加工処理８４０Ｄを適用してもよい。ただし、このときの入力は、Ｘ方向微分画像２１０とＹ方向微分画像２１１、出力は、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３になる。このため、第１層１２０１の各ニューロンは、入力が２チャンネルに対応したものになり、第２ｎ－１層のニューロン数は、出力が２チャンネルに対応して２倍になる。その他の層のニューロン数は、必要に応じて適切な数に設定することができる。学習は、図１４のニューラルネットの学習と同様に行うことができる。このニューラルネットにより、Ｘ方向加工微分画像２１２とＹ方向加工微分画像２１３は、認識処理１３０１で認識された物の輪郭やエッジが強調された画像になる。この結果、出力画像２３４は、認識処理１３０１で認識された物やその認識に重要な特徴部分の局所的な高分解能のコントラストが向上した画像となる。なお、微分画像２１０、２１１の中から認識物の認識評価値を上げる、例えば認識物に対応したニューロンの値と他のニューロンの値の差を広げる、認識に重要なエッジを強調した微分画像２１２、２１３を作製すると、認識に重要な部分が強調された出力画像２３４を得ることができる。
　図１５は、図１の画像処理装置のハードウェア構成例を示すブロック図である。
　図１５において、画像処理装置１１１は、プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および内蔵記憶デバイス１５を備える。プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および内蔵記憶デバイス１５は、内部バス１６を介して相互に接続されている。主記憶デバイス１４および内蔵記憶デバイス１５は、プロセッサ１１からアクセス可能である。
　また、画像処理装置１１１の外部には、表示装置１１２、入力装置１１３、記憶装置１１４および出力装置１８が設けられている。表示装置１１２、入力装置１１３、記憶装置１１４および出力装置１８は、入出力インターフェース１７を介して内部バス１６に接続されている。
　表示装置１１２は、例えば、ＰＣモニタ、液晶モニタ、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力装置１１３は、例えば、キーボード、マウス、タッチパネル、カードリーダまたは音声入力装置などである。記憶装置１１４は、例えば、ハードディスク装置、ＳＳＤ、ＵＳＢ、ＣＤまたはＤＶＤなどである。、出力装置１８は、例えば、スピーカー等の音声出力装置、プリンターなどの印字、印刷装置などである。
　プロセッサ１１は、画像処理装置１１１全体の動作制御を司るハードウェアである。プロセッサ１１は、汎用プロセッサであってもよいし、画像処理に特化した専用プロセッサであってもよい。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよいし、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。プロセッサ１１は、シングルコアロセッサであってもよいし、マルチコアロセッサであってもよい。プロセッサ１１は、処理の一部または全部を行うハードウェア回路（例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ））を備えていてもよい。プロセッサ１１は、ニューラルネットワークを備えていてもよい。
　主記憶デバイス１４は、例えば、ＳＲＡＭまたはＤＲＡＭなどの半導体メモリから構成することができる。主記憶デバイス１４には、プロセッサ１１が実行中のプログラムを格納したり、プロセッサ１１がプログラムを実行するためのワークエリアを設けたりすることができる。
　内蔵記憶デバイス１５は、主記憶デバイス１４よりも大容量の記憶容量を有する記憶デバイスであり、例えば、ハードディスク装置やＳＳＤである。内蔵記憶デバイス１５は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。内蔵記憶デバイス１５には、画像処理プログラム１５Ａを格納することができる。画像処理プログラム１５Ａは、画像処理装置１１１にインストール可能なソフトウェアであってもよいし、画像処理装置１１１にファームウェアとして組み込まれていてもよい。
　通信制御デバイス１２は、外部との通信を制御する機能を有するハードウェアである。通信制御デバイス１２は、通信インターフェース１３を介してネットワーク１４０に接続される。ネットワーク１４０は、インターネットなどのＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）であってもよいし、ＷｉＦｉなどのＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）であってもよいし、ＷＡＮとＬＡＮが混在していてもよい。
　入出力インターフェース１７は、入力装置１１３から入力されるデータをプロセッサ１１が処理可能なデータ形式に変換したり、プロセッサ１１から出力されるデータを表示装置１１２で表示可能なデータ形式に変換して出力したり、出力装置１８で出力可能なデータ形式に変換して出力したりする。
　プロセッサ１１が画像処理プログラム１５Ａを主記憶デバイス１４に読み出し、画像処理プログラム１５Ａを実行することにより、入力画像の一部の領域と対応付けられた参照画像の一部の領域の画素値に基づいて、入力画像または入力画像を加工した加工画像の一部の領域のオフセットを調整することができる。このとき、参照画像は、入力画像の一部の領域が低分解能化された低分解能画像に基づいて作製された画像とすることができる。
　例えば、プロセッサ１１が画像処理プログラム１５Ａを実行することにより、図２の微分処理２４０、加工処理２４１、積分処理２４２～２４５、ブロックレベル参照画像作製処理２５０、オフセット調整処理２６０～２６３および重み付平均処理２６４の機能を実現することができる。
　なお、画像処理プログラム１５Ａの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ１１は、ネットワーク１４０を介してクラウドコンピュータなどに画像処理プログラム１５Ａの全部または一部の実行を指示し、その実行結果を受け取るようにしてもよい。
　その他にも、内部バス１６にグラフィックカードを接続し、表示のための計算や一部の単純計算をプロセッサ１１ではなく、グラフィックカードのＧＰＵにさせ、グラフィックカードの表示用インターフェースに表示装置１１２を接続することもできる。この場合、画像処理プログラム１５Ａの一部のプログラムは、グラフィックカードの記憶デバイスに入り、必要に応じてグラフィックカードに内蔵された専用処理プログラムが呼び出されて、ＧＰＵが一部の計算処理をすることができる。
　なお、以上の画像処理装置１１１の構成は、図１の画像処理装置１２１、１３１についても同様である。
　以下、コントラスト参照画像のブロックごとに設定される参照値に基づいて、被コントラスト変更画像のコントラストをブロックごとに変更する方法について、具体的な画像を例にとって説明する。
　図１６（ａ）は、図２の入力画像の一例を示す図、図１６（ｂ）および図１６（ｃ）は、図２の微分画像の例を示す図である。
　図１６（ａ）において、入力画像２００ａは、サイズが２５６×２５６の画像で、８ビット（０～２５５）で表現され、最小値が３、最大値が２４４である。図１６（ａ）では、入力画像２００ａを０から２５５の表示レベルで表示した。
　図１６（ｂ）において、入力画像２００ａについて（４）式のｘ方向の微分処理を施した画像がｘ方向微分画像２１０ａである。図１６（ｃ）において、入力画像２００ａについて（５）式のｙ方向の微分処理を施した画像が、ｙ方向微分画像２１１ａである。どちらの画像も、表示レベルを－１００から１００までとした。この範囲を超えるものは、－１００あるいは１００とした。
　図１７（ａ）～図１７（ｄ）は、図２の微分画像を加工した加工微分画像の例を示す図である。
　図１７（ａ）において、ｘ方向微分加工画像２１２ａは、（６）式に基づいて図１６（ｂ）のｘ方向微分画像２１０ａを加工処理した画像である。図１７（ｂ）において、ｙ方向微分加工画像２１３ａは、（７）式に基づいて図１６（ｃ）のｙ方向微分画像２１１ａを加工処理した画像である。このとき、（６）式および（７）式にあるパラメータｋ、ｃについて、ｋ＝２、ｃ＝０とした。ｘ方向微分加工画像２１２ａおよびｙ方向微分加工画像２１３ａの表示レベルは、－１００から１００にした。ｘ方向微分加工画像２１２ａおよびｙ方向微分加工画像２１３ａは、ｘ方向微分画像２１０ａおよびｙ方向微分画像２１１ａと比べ、値が２倍になり、細かい変動も強調されている。
　図１７（ｃ）において、ｘ方向微分加工画像２１２ｂは、（６）式に基づいて図１６（ｂ）のｘ方向微分画像２１０ａを加工処理した画像である。図１７（ｄ）において、ｙ方向微分加工画像２１３ｂは、（７）式に基づいて図１６（ｃ）のｙ方向微分画像２１１ａを加工処理した画像である。このとき、（６）式および（７）式にあるパラメータｋ、ｃについて、ｋ＝２、ｃ＝３０とした。ｘ方向微分加工画像２１２ｂおよびｙ方向微分加工画像２１３ｂの表示レベルは、－１００から１００にした。ｘ方向微分加工画像２１２ｂおよびｙ方向微分加工画像２１３ｂは、ｘ方向微分画像２１０ａおよびｙ方向微分画像２１１ａと比べ、細かい変動が小さくなっている。
　ここで、画像全体を積分するものとする。積分は、画像中心から順次径路に沿った線積分を行う。ただし、線積分は、斜め方向では、２径路存在し、両径路の積分値は一般に異なるため、その平均値を積分値とする。
　図１８（ａ）および図１８（ｂ）は、図２の入力画像の一例を示す図、図１８（ｃ）、図１８（ｄ）および図１９（ａ）～図１９（ｄ）は、画像全体を積分した積分画像の例を示す図である。
　図１８（ａ）において、入力画像２０１ａは、表示レベルが０から２５５に設定されている。図１８（ｂ）において、入力画像２０１ｂは、入力画像２０１ａと同一の画像であるが、表示レベルが画像の最小（３）から最大（２４４）に設定されている。表示レベルを画像の最小から最大にした方が、若干コントラストが上がって見える。
　図１８（ｃ）、図１８（ｄ）および図１９（ａ）において、全体積分画像２０００、２００１、２１００は、図１７（ａ）および図１７（ｂ）のｘ方向微分加工画像２１２ａおよびｙ方向微分加工画像２１３ａを画像全体に渡り中心から積分した画像である。
　全体積分画像２０００は、表示レベルを画像の最小（―９８）から最大（３８４）にした画像で、入力画像２００ｂと同一になる。その理由は、ｋ＝２、ｃ＝０では、ローカルな画像の変動が２倍になるが、画像の表現されるレンジも単純に２倍になっただけで、表示レベルをそれぞれの画像の最小から最大とすれば、同じになることによる。
　全体積分画像２００１は、表示レベルを０から２５５にした画像である。この範囲にある画像領域は、変動が２倍になって明瞭に見える反面、この範囲にない画像領域は、０または２５５に表現され、変動が全く読み取れない。この全体積分画像２００１の場合は、特に、２５５を超えた領域が白くなるサチレーションが発生し、全体積分画像２００１の大きな領域を占める。
　全体積分画像２１００は、表示レベルを１２８から３８３にした画像である。全体積分画像２１００では、全体積分画像２００１で白くサチレーションを起こしていた部分の変化が読み取れる。全体積分画像２１００の雲などを見ると、入力画像２００ａに比べてより明瞭に見える。これらのことから、それぞれの画像の局所領域に合った表示レベルで表示できれば、画像のそれぞれの部分が明瞭に見えることが分る。ただし、その他の画像領域は、サチレーションを起こす可能性がある。
　図１９（ｂ）～図１９（ｄ）において、全体積分画像２１０１、２１０２、２１０３は、図１７（ｃ）および図１７（ｄ）のｘ方向微分加工画像２１２ｂおよびｙ方向微分加工画像２１３ｂを画像全体に渡り中心から積分した画像である。
　全体積分画像２１０１は、表示レベルを画像の最小（－８１．７８）から最大（３５２．５１）にした画像である。全体積分画像２１０１は、局所的なコントラストが悪い。それに加え、全体積分画像２１０１は、中心から端に向かい、積分による誤差が生じている。積分を開始した画像の中心部分は良好に見えるため、積分範囲は小さな領域に限った方がよいことが分る。
　全体積分画像２１０２は、表示レベルを０から２５５にした画像である。この表示レベルの範囲にある画像領域は、明瞭に見える。
　全体積分画像２１０３は、表示レベルを１２８から３８３にした画像である。全体積分画像２１０３の雲などは、微小な変化が見えなくなり、比較的平坦になっている。ｃ＝３０とすることで、微分画像の微小な変化が抑えられたためである。
　以上から、画像の表示レベルを変えれば、画像のレベル変動を読み取ることはできるが、サチレーションが発生する部分もあり、画像全体に渡ってレベル変動を読み取り可能とするには、表示レベルを変えた画像を何個も作製する必要がある。そこで、画像を小さいブロックに分割して積分し、それぞれのブロックごとに積分した画像の平均値が元の入力画像２００ａのブロックごとの平均値になるようにオフセット調整する。
　図２０（ａ）は、入力画像の一例を示す図、図２０（ｂ）は、入力画像を分割したブロックの例を示す図、図２０（ｃ）は、図２のブロックレベル参照画像の例を示す図、図２０（ｄ）は、図２のオフセット調整ブロック積分画像の例を示す図である。
　図２０（ａ）において、入力画像２００ａは、サイズが２５６×２５６画素であり、画像の縦の長さ２２２０は２５６画素、横の長さも２５６画素である。画像処理装置は、例えば、入力画像２００ａを１６×１６画素のブロックに分割する。このとき、各ブロックの縦の長さ２２３０は１６画素、横の長さも１６画素である。入力画像２００ａをブロックごとに分割する仕方は、左右上下のシフトをどのようにするかで異なる。
　図２０（ｂ）では、一例として、シフト０の画像分割２２１０を示した。この画像分割２２１０では、画像の左上の点からブロックを埋めるように入力画像２００ａを分割する。このとき、図３（ａ）に示すように、ブロック全体を評価領域とする。
　画像処理装置は、例えば、図２０（ｃ）に示すように、入力画像２００ａをシフト０の画像分割２２１０で分割した各ブロック内の画素値の平均をブロックごとに取ることで、入力画像２００ａが低分解能化されたブロックレベル参照画像２２０ａを作製する。このとき、ブロックレベル参照画像２２０ａは、入力画像２００ａが１／１６に縮小されるので、画像サイズは、２５６／１６＝１６になり、１６×１６画素の縮小画像となる。なお、図２０（ｃ）では、ブロックレベル参照画像２２０ａを１６倍に拡大し、入力画像２２０ａと同じサイズで表示した。
　また、画像処理装置は、図１７（ａ）のｘ方向微分加工画像２１２ａおよび図１７（ｂ）のｙ方向微分加工画像２１３ａをシフト０の画像分割２２１０で分割したブロックごとに積分することで、入力画像２００ａが高分解能化されたブロックレベル積分画像を作製する。さらに、画像処理装置は、例えば、図２０（ｄ）に示すように、ブロックレベル積分画像のブロック内の各点の積分値からそのブロック内の平均値を引き、ブロックレベル参照画像２２０ａのそのブロックに対応した画像の値を足すことにより、シフト０のオフセット調整ブロック積分画像２３０ａを作製する。
　オフセット調整ブロック積分画像２３０ａは、図２のオフセット調整ブロック積分画像２３０の一例である。オフセット調整ブロック積分画像２３０ａは、シフト０の画像分割２２１０で示した各１６×１６画素の各ブロックについて、その平均値が、ブロックレベル参照画像２２０ａの値になっている。このとき、画像分割２２１０と一致したブロックでは、入力画像２００ａのブロック長の中域のコントラストが、ブロックレベル参照画像２２０ａのコントラストと入れ替わる。
　ただし、オフセット調整ブロック積分画像２３０ａは、ブロック歪ＢＨが発生し、高分解能の局所的な凹凸がある。画像分割２２１０と異なるシフト位置については、ブロックと同じサイズの領域を平均しても、その平均値は、画像の凹凸を反映した分、ブロックレベル参照画像２２０ａのその点に対応する双線形またはキュービック補間をした補間値と異なる値になるためである。従って、オフセット調整ブロック積分画像２３０ａは、画像全体を見た場合、局所的な凹凸を反映しつつ、ブロックサイズの１６×１６画素程度の中域のコントラストがブロックレベル参照画像２２０ａのコントラストに入れ替わった画像となる。
　なお、オフセット調整ブロック積分画像２３０ａは、ｃ＝０なので、径路に沿った積分時の２経路の積分値は同じ値で平均する必要はなく、どこを基点に積分してもオフセットのみ異なる画像となる。このことから、各全体積分画像２０００、２００１、２１００の各ブロックの平均値がブロックレベル参照画像２２０ａの平均値となるように、オフセット調整しても、オフセット調整ブロック積分画像２３０ａと同じ画像が得られる。
　図２１（ａ）は、入力画像の一例を示す図、図２１（ｂ）は、入力画像を分割したブロックおよび評価領域の一例を示す図、図２１（ｃ）は、図２のブロックレベル参照画像のその他の例を示す図、図２１（ｄ）は、図２のオフセット調整ブロック積分画像のその他の例を示す図である。
　図２１（ｂ）において、ブロックの分割の仕方は図２０（ｂ）と同じであるが、各ブロックは、図３（ｃ）に示すように、中心に長さが半分の評価領域３２０ｂを持つ。この場合、ブロックは１６×１６画素で、評価領域３２０ｂは８×８画素である。図２１（ｂ）では、ブロックごとに評価領域３２０ｂを持つシフト０の画像分割２３１０に示した。
　画像処理装置は、例えば、図２１（ｃ）に示すように、入力画像２００ａをシフト０の画像分割２３１０で分割した各ブロック内の評価領域３２０ｂの画素値の平均をブロックごとに取ることで、入力画像２００ａが低分解能化されたブロックレベル参照画像２２０ｂを作製する。このとき、ブロックレベル参照画像２２０ｂは、入力画像２００ａが１／１６に縮小されるので、画像サイズは、２５６／１６＝１６になり、１６×１６画素の縮小画像となる。なお、図２０（ｃ）では、ブロックレベル参照画像２２０ｂを１６倍に拡大し、入力画像２２０ａと同じサイズで表示した。ブロックレベル参照画像２２０ｂは、図２０（ｃ）のブロックレベル参照画像２２０ａと比べ、評価領域の面積が小さくなった分、局所的な濃淡変化が大きくなる場合がある。
　また、画像処理装置は、図１７（ａ）のｘ方向微分加工画像２１２ａおよび図１７（ｂ）のｙ方向微分加工画像２１３ａをシフト０の画像分割２３１０で分割したブロックごとに積分することで、入力画像２００ａが高分解能化されたブロックレベル積分画像を作製する。さらに、画像処理装置は、例えば、図２１（ｄ）に示すように、ブロックレベル積分画像のブロック内の各点の積分値からそのブロック内の平均値を引き、ブロックレベル参照画像２２０ｂのそのブロックに対応した画像の値を足すことにより、シフト０のオフセット調整ブロック積分画像２３０ｂを作製する。
　オフセット調整ブロック積分画像２３０ｂは、ブロックサイズ程度の中域のコントラストが、ブロックレベル参照画像２２０ｂのコントラストに置き換わっている。ただし、オフセット調整ブロック積分画像２３０ｂは、オフセット調整ブロック積分画像２３０ａより、中域のコントラストが若干向上している部分がある。
　なお、以下の説明では、ブロックと評価領域は、正方形とし、ブロックサイズと評価領域のサイズは、Ｓ＝（ブロックサイズ，評価サイズ）で表現する。例えば、Ｓ＝（１６，１６）は、ブロックサイズが１６×１６画素で評価サイズも１６×１６画素であることを示し、Ｓ＝（１６，８）は、ブロックサイズが１６×１６画素で、評価サイズが８×８画素であることを示す。
　上記のオフセット調整ブロック積分画像２３０ａ、２３０ｂは、ブロック歪ＢＨがある。このとき、半ブロックずつずれた４つの分割の仕方で画像を分割し、それぞれの分割の仕方に応じたオフセット調整ブロック積分画像を作製し、ブロック内の位置に応じて重み付平均を取ることで、ブロック歪ＢＨを低減することができる。
　図２２（ａ）～図２２（ｄ）は、入力画像をブロックに分割する４つの分割の仕方を示す図である。
　図２２（ａ）～図２２（ｄ）において、画像分割２２１０、２４１１、２４１２、２４１３は、それぞれシフト０～３に対応し、半ブロックずつ各々位置がずれた分割である。なお、図２２（ａ）は、シフト０の分割の仕方のもので、図２０（ｂ）と同じものである。
　図２３（ａ）～図２３（ｄ）は、図２の４つのオフセット調整ブロック積分画像の例を示す図である。
　図２３（ａ）～図２３（ｄ）において、画像処理装置は、画像分割２２１０、２４１１、２４１２、２４１３のそれぞれで分割して処理したオフセット調整ブロック積分画像２３０ａ、２３１ａ、２３２ａ、２３３ａを作製する。同様に、図２３（ａ）は、シフト０のオフセット調整ブロック積分画像２３０ａで、これは、図２０（ｄ）と同じものである。
　なお、半シフトして端が半分のブロックになった画像分割は、そのブロックごとに半分のブロックとして処理することができる。あるいは、簡易に処理するため、オフセット調整ブロック積分画像２３１ａの半ブロックの部分はオフセット調整ブロック積分画像２３０ａをコピーし、オフセット調整ブロック積分画像２３２ａの半ブロックの部分は、オフセット調整ブロック積分画像２３０ａをコピーし、オフセット調整ブロック積分画像２３３ａの左右の半ブロックの部分は、オフセット調整ブロック積分画像２３２ａをコピーし、上下半ブロックの部分はオフセット調整ブロック積分画像２３１ａをコピーしてもよい。ただし、四隅の四分割したブロックは、オフセット調整ブロック積分画像２３１ａ、２３２ａの平均値とすることができる。この処理により、同じブロックサイズを持つ部分のみで各種処理ができる。
　図２４は、図２の４つのオフセット調整ブロック積分画像が重み付平均された出力画像の例を示す図である。
　図２４において、画像処理装置は、４つのオフセット調整ブロック積分画像２３０ａ、２３１ａ、２３２ａ、２３３ａの重み付平均処理２６４により、積分画像２３４ａを作製する。積分画像２３４ａは、ブロックサイズ程度の中域のコントラストが、ブロックレベル参照画像２２０ｂまたはそれぞれのシフトに対応したブロックレベル参照画像２２１、２２２、２２３のコントラストに近くなった画像である。積分画像２３４ａの局所的な高分解能のコントラストは、入力画像２００ａの２倍程度になっている。これは、ｋ＝２、ｃ＝０に設定したためである。
　図２５（ａ）～図２５（ｄ）は、図２２のブロックサイズの半分の長さの評価領域を持つ場合の４つの分割の仕方を示す図である。
　図２５（ａ）～図２５（ｄ）において、各画像分割２３１０、２７１１、２７１２、２７１３は、図２２（ａ）～図２２（ｄ）の画像分割２２３１０、２４１１、２４１２、２４１３と同様である。画像分割２３１０、２７１１、２７１２、２７１３は、それぞれシフト０～３に対応し、半ブロックずつ各々位置のずれた分割の仕方をしている。
　各画像分割２３１０、２７１１、２７１２、２７１３の各ブロックは、評価領域３２０ｂ、３２１ｂ、３２２ｂ、３２３ｂを持つ。画像の分割のシフトに伴い、各評価領域３２０ｂ、３２１ｂ、３２２ｂ、３２３ｂも、半ブロックずつずれている。図３（ｄ）に示したように、これらの評価領域３２０ｂ、３２１ｂ、３２２ｂ、３２３ｂは、纏めると、重なる部分および隙間の部分なく接続される。
　図２６は、図２５（ａ）～図２５（ｄ）で示した図２２のブロックサイズの半分の評価領域を全てまとめた図である。
　図２６において、領域分割２８１０では、８×８画素の評価領域に分割される。このとき、各評価領域の縦の長さ２８３０は８画素、横の長さも８画素である。
　ここで、円２８１０の周辺まで含め、領域分割２８１０の各評価領域に０から３番までの番号を振った。０番～３番までの番号は、それぞれシフト０～３までに対応する。
　領域分割２８１０では、８×８画素の評価領域は重なる部分および隙間の部分なく分割される。ただし、８×８画素の評価領域は、ブロックの中心に位置しているため、画像の端の部分では４画素の長さの未評価領域が発生する。このため、この評価領域は、一辺が２５６／８－１＝６３で、全体で６３×６３個となる。
　図２７（ａ）は、図２の１つのブロックレベル参照画像のさらにその他の例を示す図、図２７（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
　図２７（ａ）において、画像処理装置は、図２６の領域分割２８１０に基づいて入力画像２００ａを各評価領域に分割し、それぞれの評価領域で平均を取った値を画素値とするブロックレベル参照画像４２４ｂを作製する。ブロックレベル参照画像４２４ｂの画像サイズは６３×６３画素である。図２７（ａ）では、ブロックレベル参照画像４２４ｂを８倍に拡大し、端が未評価であるため黒く表示し、入力画像２２０ａおよび出力画像２３４ｂと同じ大きさで表示した。
　このとき、図２７（ａ）のブロックレベル参照画像４２４ｂは、図２５（ａ）～図２５（ｄ）のシフト０～３にそれぞれ対応した４つのブロックレベル参照画像の平均値をブロックごとに持つ。
　また、図１７（ａ）のｘ方向微分加工画像２１２ａおよび図１７（ｂ）のｙ方向微分加工画像２１３ａをシフト０～３の画像分割でそれぞれ分割したブロックごとに積分することで、入力画像２００ａが高分解能化された４つのブロックレベル積分画像を作製する。さらに、画像処理装置は、例えば、４つのブロックレベル積分画像の各ブロック内の各点の積分値からそのブロック内の平均値を引き、ブロックレベル参照画像４２４ｂのそのブロックの評価領域に対応した画像の値を足すことにより、シフト０～３の４つのオフセット調整ブロック積分画像を作製する。さらに、画像処理装置は、シフト０～３の４つのオフセット調整ブロック積分画像の重み付平均を取ることで、図２７（ｂ）の出力画像２３４ｂを作製する。
　出力画像２３４ｂは、出力画像２３４ｂのブロックサイズから評価領域のサイズである８画素から１６画素程度の中域のコントラストが、ブロックレベル参照画像４２４ｂの１画素から２画素程度のコントラストに置き換わっている。また、出力画像２３４ｂは、図２１（ｄ）のオフセット調整ブロック積分画像２３０ｂに比べて、ブロック歪ＢＨが低減されている。
　図２８（ａ）は、入力画像の一例を示す図、図２８（ｂ）～図２８（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
　図２８（ａ）の入力画像２００ａに対し、ｋ＝２、ｃ＝０の時のブロックサイズおよび評価領域を変えることにより、図２８（ｂ）～図２８（ｄ）の出力画像２３４ｂ、２３４ｃ、２３４ｄを作製した。出力画像２３４ｂ、２３４ｃ、２３４ｄは、それぞれＳ＝（１６，８）、Ｓ＝（８，４）、Ｓ＝（４，２）に対応し、ブロックサイズおよび評価領域のサイズともに半分ずつ小さくなっている。出力画像２３４ｂ、２３４ｃ、２３４ｄは、ブロックサイズが小さくなるのに伴って、局所的に与えたｋ＝２、すなわち２倍の濃淡差を持つ幅が徐々に狭くなり、入力画像２００ａに近づく。
　また、ブロックサイズから評価領域サイズの中域のコントラストも、そのサイズが徐々に小さくなりつつ、入力画像２１０ａの対応するブロックサイズから評価領域サイズの中域のコントラストに置き換わる。ただし、表示画面上では、入力画像２００ａの中域のサイズが変ったコントラストの変化を評価しづらい。
　図２９（ａ）は、入力画像の一例を示す図、図２９（ｂ）～図２９（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
　図２９（ａ）の入力画像２００ａに対し、ｋ＝２、ｃ＝３０の時のブロックサイズおよび評価領域を変えることにより、図２９（ｂ）～図２９（ｄ）の出力画像２３４ｅ、２３４ｆ、２３４ｇを作製した。出力画像２３４ｅ、２３４ｆ、２３４ｇは、それぞれＳ＝（１６，８）、Ｓ＝（８，４）、Ｓ＝（４，２）に対応し、ブロックサイズおよび評価領域のサイズともに半分ずつ小さくなっている。出力画像２３４ｅ、２３４ｆ、２３４ｇは、ブロックサイズおよび評価領域サイズが小さくなるのに従って、入力画像２００ａに近づく。出力画像２３４ｅは、出力画像２３４ｂに比べ、雲などの微小な変化が抑えられ、平坦化されている。飛行機の輪郭などの強い変化のある個所は、出力画像２３４ｅも出力画像２３４ｂもあまり変らない。
　図３０（ａ）は、図２のブロックレベル参照画像のさらにその他の例を示す図、図３０（ｃ）は、図３０（ａ）のブロックレベル参照画像を加工したブロックレベル参照加工画像の例を示す図、図３０（ｂ）および図３０（ｄ）は、図２の出力画像のさらにその他の例を示す図である。
　図３０（ａ）において、ブロックレベル参照画像４２４ｃは、Ｓ＝（８，４）の時の１つの縮小画像である。図３０（ａ）では、ブロックレベル参照画像４２４ｃを４倍に拡大表示した。ブロックレベル参照画像４２４ｃは、図２７（ａ）のＳ＝（１６，８）の時のブロックレベル参照画像４２４ｂよりも評価サイズが小さい。
　図３０（ｂ）において、ブロックレベル参照画像４２４ｃを参照し、ｋ＝４、ｃ＝０の時の出力画像２３４ｈを作製した。出力画像２３４ｈでは、ｋ＝４にしているので、局所的な変動が大きく見える。
　図３０（ｃ）において、ブロックレベル参照加工画像５２４ｉは、ブロックレベル参照画像４２４ｃを図５Ｂの加工処理５５４により加工した１つの縮小画像である。この例では、加工処理５５４として、画像の中心から距離が離れるのに従って、画像の輝度を下げる処理をした。具体的には、画像中心から着目点までの距離を半画像のサイズで割った比率をｒとすると、画像の各点で１－ｒ×ｒをかけた処理を行った。
　図３０（ｄ）において、ブロックレベル参照加工画像５２４ｉを参照し、ｋ＝４、ｃ＝０の時の出力画像２３４ｉを作製した。出力画像２３４ｉでは、画像の中心から距離が離れるのに従って、輝度が下がっている。
　以上のように、１つの縮小画像であるブロックレベル参照画像４２４ｃを加工したブロックレベル参照加工画像５２４ｉの参照結果に基づいて出力画像２３４ｉを作製することにより、ブロックサイズから評価領域サイズ程度のコントラストを、ブロックレベル参照画像５２４ｉ程度のコントラストに置き換えることができる。
　また、出力画像２３４ｉの局所的なコントラストは、出力画像２３４ｈの局所的なコントラストを持っており、加工処理５５４は、出力画像２３４ｉの局所的なコントラストに影響を与えない。
　図３１（ａ）は、図２７（ａ）で示した図２のブロックレベル参照画像の例を示す図、図３１（ｂ）は、図２７（ｂ）で示した図２の出力画像の例を示す図、図３１（ｃ）は、図３１（ａ）のブロックレベル参照画像を加工したブロックレベル参照加工画像の例を示す図、図３１（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
　図３１（ｃ）において、ブロックレベル参照加工画像５２４ｊは、図３１（ａ）のブロックレベル参照画像４２４ｂを図６の加工処理５５４Ｅにより加工した１つの縮小画像である。ここで、加工処理５５４Ｅで入れ子にした時のパラメータをｋ２、ｃ２、ｓ２とすると、図３１（ｃ）のブロックレベル参照加工画像５２４ｊは、ｋ＝２、ｃ＝０、Ｓ＝（１６，８）、ｋ２＝５、ｃ２＝０、Ｓ２＝（１６，８）の場合とした。
　図３１（ｄ）において、図３１（ｃ）のブロックレベル参照加工画像５２４ｊを参照し、ｋ＝４、ｃ＝０の時の出力画像２３４ｊを作製した。
　比較のため、加工処理５５４Ｅで加工しない場合のブロックレベル参照画像４２４ｂと出力画像２３４ｂを図３１（ａ）および図３１（ｂ）に示した。ブロックレベル参照加工画像５２４ｊは、ブロックレベル参照画像４２４ｂよりも、評価領域サイズ程度の中域のコントラストが向上している。それに伴い、出力画像２３４ｊのブロックサイズから評価領域サイズ程度の中域のコントラストが、出力画像２３４ｂよりも向上している。
　図３２（ａ）は、図２のブロックレベル参照画像を加工したブロックレベル参照加工画像のその他の例を示す図、図３２（ｂ）は、図２の出力画像のさらにその他の例を示す図である。
　図３２（ａ）において、ブロックレベル参照加工画像５２４ｋは、図３１（ａ）のブロックレベル参照画像４２４ｂと図３１（ｃ）のブロックレベル参照加工画像５２４ｊの中で輝度の高い方の輝度を値とする処理を各点で行った１つの縮小画像である。
　図３２（ｄ）において、ブロックレベル参照加工画像５２４ｋを参照し、ｋ＝４、ｃ＝０の時の出力画像２３４ｋを作製した。出力画像２３４ｋは、図３１（ｄ）の出力画像２３４ｊよりも、中域（評価領域の８画素程度）の暗い部分が若干明るくなっている箇所がある。
　以上により、ブロックレベル参照画像を加工したブロックレベル参照加工画像の参照結果に基づいて出力画像を作製することにより、出力画像のブロックサイズから評価領域サイズ程度の中域のコントラストを制御することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
　以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）入力画像の一部の領域と対応付けられた参照画像の画素値に基づいて、前記入力画像または前記入力画像を加工した第１加工画像の前記一部の領域のオフセットを調整するオフセット調整部を備え、
　前記参照画像は、前記入力画像または前記入力画像を加工した第２加工画像である画像処理装置。
（付記２）前記第１加工画像または前記第２加工画像は、前記入力画像の局所的なコントラストを変更する画像処理が行われた画像である付記１に記載の画像処理装置。
（付記３）前記オフセット調整部は、前記入力画像または前記第１加工画像の一部の領域の画素値の平均値または重み付き平均値を、前記入力画像の一部の領域と対応付けられた前記参照画像の画素値または前記画素値から計算した値と入れ替える付記１に記載の画像処理装置。
（付記４）前記第２加工画像を作製する処理は、前記入力画像の一部の領域の中心に位置する半分の長さの評価領域に対応する前記参照画像の評価領域の平均値または重み付き平均値を計算する処理を含む付記１に記載の画像処理装置。
（付記５）前記第２加工画像を作製する処理は、前記入力画像または前記入力画像を加工した画像の一部の領域の中心に位置する半分の長さの評価領域の平均値または重み付き平均値を計算する処理を含む付記１に記載の画像処理装置。
（付記６）前記オフセット調整部は、前記入力画像を分割したブロックと対応付けられた参照画像の画素値に基づいて、前記入力画像または前記第１加工画像の前記ブロックごとのオフセットをそれぞれ調整する付記１に記載の画像処理装置。
　以上の付記について以下に補足する。
　上記、図２、図７のブロックレベル参照画像作製処理２５０では、入力画像２００の各ブロックの評価領域の平均または重み付け平均を行って低分解能化した画像をブロックレベル参照画像２２０～２２３とするか、または低分解能化した画像をさらに加工処理５５０～５５３で加工した画像をブロックレベル参照画像２２０～２２３とするなどしていた。
　ここで、低分解能化した画像を加工してブロックレベル参照画像２２０～２２３を作製する代わりに、入力画像２００を加工してから平均、または重み付け平均を行って低分解能画像を作製しても、似たような低分解能画像のブロックレベル参照画像２２０～２２３が得られ、似たような出力画像２３４、２３４Ｆを得ることができる場合がある。
　以上を鑑みると、図２、図７のオフセット調整処理２６０～２６３の処理で、低分解能のブロックレベル参照画像２２０～２２３の画素値を参照する代わりに、入力画像２００または入力画像２００を加工した画像を原寸参照画像とし、この原寸参照画像の各ブロックの評価領域を、逐一、平均、または重み付け平均を行い、オフセット調整の参照値としても、図２、図７の処理と同じ、または似た出力画像２３４、２３４Ｆを得ることができる。
　従って、オフセット調整処理で参照する参照画像は、低分解能画像とは限らず、低分解能化していない入力画像そのものや、入力画像を加工した第２加工画像とすることができる。なお、第２加工画像は、入力画像を加工した原寸加工画像に限らない。低分解能化する処理も加工処理なので、入力画像を低分解能化した画像や、入力画像を加工して低分解能化した画像や、入力画像を加工して低分解能化した画像を更に加工した画像も第２加工画像とすることができる。参照画像を低分解能画像（ブロックレベル参照画像）とする場合、オフセット調整処理では、逐一、原寸参照画像の対応するブロックの画素値を参照して平均処理をする必要はなく、既に平均化処理をした低分解能画像や、これを加工した低分解能画像の対応する画素の値を参照することになる。
　１００…撮影装置、１１１、１２１、１３１…画像処理装置、１１２、１２２、１３２…表示装置、１１３、１２３、１３３…入力装置、１１４、１２４、１３４…記憶装置、１４０…通信ネットワーク

 

Claims (12)

  1. 　入力画像の一部の領域と対応付けられた参照画像の画素値に基づいて、前記入力画像または前記入力画像を加工した加工画像の前記一部の領域のオフセットを調整するオフセット調整部を備え、
    　前記参照画像は、前記入力画像の一部の領域が低分解能化された低分解能画像に基づいて作製された画像である画像処理装置。
  2. 　前記参照画像は、前記低分解能画像の局所的なコントラストが変更された画像、前記低分解能画像のグローバルなコントラストが変更された画像または前記低分解能画像の局所的およびグローバルの双方のコントラストが変更された画像である請求項１に記載の画像処理装置。
  3. 　前記加工画像は、前記入力画像の局所的なコントラストを変更する画像処理が行われた画像である請求項１に記載の画像処理装置。
  4. 　前記低分解能画像を作製する処理は、前記入力画像または前記入力画像を加工した画像の前記一部の領域の画素値の平均または重み付き平均を行う処理を含む請求項１に記載の画像処理装置。
  5. 　前記オフセット調整部は、前記入力画像または前記加工画像の一部の領域の画素値の平均値または重み付き平均値を、前記入力画像の一部の領域と対応付けられた前記参照画像の画素値と入れ替える請求項４に記載の画像処理装置。
  6. 　前記低分解能画像を作製する処理は、前記入力画像または前記入力画像を加工した画像の前記一部の領域の中心に位置する半分の長さの評価領域の平均または重み付き平均を行う処理を含む請求項４に記載の画像処理装置。
  7. 　前記オフセット調整部は、前記入力画像を分割したブロックと対応付けられた参照画像の画素値に基づいて、前記入力画像または前記加工画像の前記ブロックごとのオフセットをそれぞれ調整する請求項１に記載の画像処理装置。
  8. 　入力画像の一部の領域と対応付けられた参照画像の画素値に基づいて、前記入力画像または前記入力画像を加工した第１加工画像の前記一部の領域のオフセットを調整するオフセット調整部を備え、
    　前記参照画像は、前記入力画像または前記入力画像を加工した第２加工画像であり、
    　前記入力画像の加工処理においてニューラルネットを用いた処理を行い、
    　前記ニューラルネットは、
    　前記ニューラルネットの出力を認識する認識用ニューラルネットと、
    　前記認識用ニューラルネットが認識した部分を再構成または強調して再構成する再構成用ニューラルネットを備える画像処理装置。
  9. 　入力画像の一部の領域の平均値または重み付き平均値を値とする低分解能画像または前記低分解能画像を加工した第１加工画像である参照画像を作製し、
    　前記入力画像または前記入力画像を加工した第２加工画像を縮小した縮小画像を作製し、
    　前記縮小画像から前記参照画像を引いた差画像を作製し、
    　前記差画像を補間拡大した拡大差画像を作製し、
    　前記入力画像または前記第２加工画像に前記拡大差画像を加算する画像処理装置。
  10. 　前記第２加工画像は、前記入力画像の局所的なコントラストを変更する画像処理が行われた画像である請求項９に記載の画像処理装置。
  11. 　入力画像の一部の領域の平均値または重み付き平均値を値とする低分解能画像または前記低分解能画像を加工した第１加工画像である参照画像を作製し、
    　前記参照画像を補間拡大した拡大参照画像を作製し、
    　前記入力画像または前記入力画像を加工した第２加工画像について、着目点を中心として前記一部の領域と同じサイズの領域の平均値または重み付き平均値を前記入力画像または前記第２加工画像の値から引いた値を前記着目点の値とする平均引き画像を作製し、
    　前記平均引き画像と前記拡大参照画像を加算する画像処理装置。
  12. 　前記第２加工画像は、前記入力画像の局所的なコントラストを変更する画像処理が行われた画像である請求項１１に記載の画像処理装置。

     
PCT/JP2020/019589 2019-05-24 2020-05-18 画像処理装置 WO2020241337A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-097295 2019-05-24
JP2019097295A JP2020191030A (ja) 2019-05-24 2019-05-24 画像処理装置

Publications (1)

Publication Number Publication Date
WO2020241337A1 true WO2020241337A1 (ja) 2020-12-03

Family

ID=73454688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019589 WO2020241337A1 (ja) 2019-05-24 2020-05-18 画像処理装置

Country Status (2)

Country Link
JP (1) JP2020191030A (ja)
WO (1) WO2020241337A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023272432A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法和图像处理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723284A (ja) * 1993-07-05 1995-01-24 Nec Corp 自動画質調整装置
JP2010108205A (ja) * 2008-10-30 2010-05-13 Hitachi Ltd 超解像画像作成方法
JP2010152536A (ja) * 2008-12-24 2010-07-08 Rohm Co Ltd 画像処理方法及びコンピュータプログラム
WO2015115168A1 (ja) * 2014-01-28 2015-08-06 シャープ株式会社 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723284A (ja) * 1993-07-05 1995-01-24 Nec Corp 自動画質調整装置
JP2010108205A (ja) * 2008-10-30 2010-05-13 Hitachi Ltd 超解像画像作成方法
JP2010152536A (ja) * 2008-12-24 2010-07-08 Rohm Co Ltd 画像処理方法及びコンピュータプログラム
WO2015115168A1 (ja) * 2014-01-28 2015-08-06 シャープ株式会社 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023272432A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 图像处理方法和图像处理装置

Also Published As

Publication number Publication date
JP2020191030A (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
Li et al. Visual-salience-based tone mapping for high dynamic range images
US8285033B2 (en) Bi-affinity filter: a bilateral type filter for color images
JP6961139B2 (ja) 知覚的な縮小方法を用いて画像を縮小するための画像処理システム
CN112419151B (zh) 图像退化处理方法、装置、存储介质及电子设备
WO2011092696A1 (en) Method and system for generating an output image of increased pixel resolution from an input image
JP4498361B2 (ja) レティネックス型アルゴリズムを高速化する方法
KR20140099319A (ko) 디지털 메이크업
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
WO2024045821A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN113658085B (zh) 图像处理方法及装置
Paul Adaptive tri-plateau limit tri-histogram equalization algorithm for digital image enhancement
Vazquez-Corral et al. A fast image dehazing method that does not introduce color artifacts
CN115578284A (zh) 一种多场景图像增强方法及系统
JP2020061080A (ja) 画像処理装置、撮像装置、画像処理方法
KR102462265B1 (ko) 지향성 스케일링 시스템들 및 방법들
CN111429371A (zh) 图像处理方法、装置及终端设备
Zhu et al. Low-light image enhancement network with decomposition and adaptive information fusion
WO2020241337A1 (ja) 画像処理装置
Wang et al. Low-light-level image enhancement algorithm based on integrated networks
CN113744294A (zh) 图像处理方法及相关装置
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
US9928577B2 (en) Image correction apparatus and image correction method
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品
Hossain et al. Image resolution enhancement using improved edge directed interpolation algorithm
JP7178818B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20813007

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20813007

Country of ref document: EP

Kind code of ref document: A1