WO2020031601A1 - 画像処理方法、画像処理装置、画像処理システム、およびプログラム - Google Patents
画像処理方法、画像処理装置、画像処理システム、およびプログラム Download PDFInfo
- Publication number
- WO2020031601A1 WO2020031601A1 PCT/JP2019/027333 JP2019027333W WO2020031601A1 WO 2020031601 A1 WO2020031601 A1 WO 2020031601A1 JP 2019027333 W JP2019027333 W JP 2019027333W WO 2020031601 A1 WO2020031601 A1 WO 2020031601A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- image processing
- noise component
- compression
- noise
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 113
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000007906 compression Methods 0.000 claims abstract description 72
- 230000006835 compression Effects 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims description 27
- 230000006866 deterioration Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 239000000654 additive Substances 0.000 claims description 5
- 230000000996 additive effect Effects 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 abstract description 4
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 18
- 230000002411 adverse Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000013144 data compression Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Definitions
- the present invention relates to an image processing method, an image processing device, an image processing system, and a program for removing an adverse effect (pseudo contour) associated with image compression.
- Non-Patent Document 1 discloses a method of removing an adverse effect caused by image compression by JPEG (Joint Photographic Experts Group) by using a convolutional neural network (Convolutional Neural Network; CNN).
- ⁇ Pseudo contours are known as one of the adverse effects (deterioration) associated with image compression.
- the pseudo contour is an adverse effect that appears as a pseudo borderline in a portion of the compressed image where the shading should originally change smoothly, where the shading changes rapidly. For example, when an image whose gradation changes gradually, such as a sunrise or a sunset, is image-compressed by JPEG with an increased data compression ratio, a pseudo contour is frequently seen. Unlike adverse effects such as block noise and ringing, pseudo contours occur over a wide range. Therefore, a classic image processing method such as a Gaussian filter that can consider only a local region cannot handle a pseudo contour. Further, in the image processing method of Non-Patent Document 1, a wide range of correlations can be considered, but for that purpose, CNNs need to be multi-layered, and learning and image processing take time, which is not practical.
- the object of the present invention is to provide an image processing method, an image processing device, an image processing system, and a program, which can reduce image quality deterioration due to image compression.
- An image processing method includes a first step of generating a first image by adding a noise component to an input image, and a second step of compressing the first image to generate a second image. And a third step of transmitting the second image to a reconstructing unit that generates an output image by performing a process of reducing image quality deterioration due to image compression on the second image. It is characterized by the following.
- a program includes a first step of generating a first image by adding a noise component to an input image, and generating a second image by compressing the first image.
- an image processing apparatus includes an adding unit that generates a first image by adding a noise component to an input image, and generates a second image by compressing the first image.
- An image processing apparatus includes a receiving unit that receives a second image generated by performing image compression on a first image in which a noise component is added to an input image; A reconstructing unit configured to generate an output image by performing processing for reducing image quality deterioration due to image compression on the image.
- An image processing method includes a first step of generating a first image by adding a noise component to an input image, and compressing the first image to generate a second image. It is characterized by comprising a second step of generating, and a third step of generating an output image by performing a process of reducing image quality deterioration due to image compression on the second image.
- An image processing system is an image processing system including a first image processing device and a second image processing device, wherein the first image processing device has a first image processing device.
- a receiving unit that receives an image transmitted to the device, and a reconstructing unit that generates an output image by performing processing for reducing image quality degradation accompanying image compression on the image received by the receiving unit.
- a second image processing apparatus comprising: an adding unit configured to generate a first image by adding a noise component to an input image; a compression unit configured to compress the first image to generate a second image; And a transmission unit that transmits the image to the first image processing apparatus.
- an image processing method it is possible to provide an image processing method, an image processing apparatus, an image processing system, and a program capable of reducing image quality deterioration due to image compression.
- FIG. 1 is a schematic diagram of an image processing system. It is a block diagram of an image processing system. 5 is a flowchart illustrating an image processing method. FIG. 4 is a diagram for describing an effect of image processing.
- FIG. 1 is a schematic diagram of an image processing system 100 according to an embodiment of the present invention.
- the image processing system 100 includes a first image processing device 200 and a second image processing device 300.
- the second image processing device 300 is a user terminal such as a smartphone, for example.
- the first image processing device 200 is a server or the like connected to the second image processing device 300 by wire or wirelessly.
- FIG. 2 is a block diagram of the image processing system 100 of the present embodiment.
- the first image processing device 200 includes an image processing unit 201, a communication unit (receiving unit) 202, and a storage unit 203.
- the second image processing device 300 includes an image processing unit 301, a storage unit 302, and a communication unit (transmission unit) 303.
- the image processing system 100 is configured so that the first image processing apparatus 200 and the second image processing apparatus 300 perform a series of image processing to exhibit functions.
- a series of image processing described below is performed in response to an instruction from the second image processing apparatus 300.
- the instruction from the second image processing apparatus 300 is given, for example, by the user of the second image processing apparatus 300.
- the image processing unit 301 of the second image processing device 300 includes a noise adding unit 301a and an image compressing unit 301b.
- the noise adding unit 301a has a function of adding (adding) a noise component to each pixel value of the image acquired by the image processing unit 301a.
- the image compression unit 301b has a function of compressing an image to which noise has been added at a predetermined compression rate.
- the image processing unit 301 includes, for example, a CPU, a GPU, or both.
- the storage unit 302 of the second image processing device 300 stores information on the noise component added by the noise addition unit 301a.
- the storage unit 302 may store an image to be processed in addition to the information on the noise component.
- the communication unit 303 of the second image processing device 300 has a function of transmitting an image to the first image processing device 200.
- the image processing unit 201 of the first image processing device 200 has a reconfiguration unit 201a.
- the reconstructing unit 201a has a function of performing a process (reconstruction process) to reduce image quality degradation caused by image compression on a compressed image, as described later.
- the image processing unit 201 includes, for example, a CPU, a GPU, or both.
- the communication unit 202 of the first image processing device 200 has a function of receiving an image transmitted from the second image processing device 300.
- the storage unit 203 of the first image processing device 200 stores information used for the reconstruction processing in the reconstruction unit 201a.
- the information used in the reconstruction processing may be information (for example, weights and biases of each layer) on a convolutional neural network that has been learned in advance, as described later.
- the image processing unit 301 of the second image processing device 300 acquires an input image that is digital image data stored in the storage unit 302.
- the input image may be a color image or a monochrome image.
- the noise adding unit 301a generates a first image by adding a noise component to each pixel value of the input image. That is, the first image is generated by randomly changing the pixel values of the input image.
- the noise component is a noise component including a high-frequency component, and is a component different from the noise component originally included in the input image.
- the noise component may be, for example, a superposition of different sine waves. Different means that at least one of horizontal / vertical frequency, amplitude and phase is different.
- the noise component may be additive white Gaussian noise or shot noise corresponding to a luminance value.
- the intensity distribution of the noise component can be a Gaussian distribution or a Poisson distribution. In particular, since additive white Gaussian noise can be easily generated, it is desirable to use it as a noise component.
- the amount of the noise component to be added may be determined from the amount of noise originally included in the input image or the ISO sensitivity at the time when the input image was captured.
- the amount of the noise component to be added is, for example, the variance or standard deviation of additive white Gaussian noise.
- the amount of the noise component to be added may be determined based on, for example, the image sensor sensitivity (ISO sensitivity) of the camera, which is one of the factors that determine the amount of noise included in the input image. Alternatively, the determination may be made based on a data compression ratio in the image compression processing performed by the image compression unit 301b.
- the range in which the noise adding unit 301a adds the noise component to the input image may be the entire input image or a part thereof.
- the range to be added may be specified by the user, or may be automatically determined by the noise adding unit 301a based on the amount of noise included in the input image. .
- the noise component is generated by the noise adding unit 301a.
- noise data two-dimensional noise data, for example, an image of noise
- the noise adding unit 301 a stores the two-dimensional noise stored in the storage unit 302.
- a noise component may be generated by cutting out a part of the data.
- the two-dimensional noise data stored in the storage unit 302 has a size larger than the size of the input image.
- the noise adding unit 301a may determine whether to use all or some of the noise components according to the size of the input image or the amount of noise included in the input image.
- a plurality of two-dimensional noise data having different sizes and components are stored in the storage unit 302, and the noise adding unit 301a uses the two-dimensional noise data according to the size of the input image and the amount of noise included in the input image. Data may be selected, and it may be determined whether to use all or some of the selected two-dimensional noise data.
- the noise component is set to a size larger than the input image, and a part of the input image is cut out to prevent the noise component from being constantly constant, and a pseudo random noise component is added. It becomes possible.
- the image compression unit 301b compresses the first image generated by the noise addition unit 301a to generate a second image.
- the image compression may be JPEG.
- JPEG the amount of data is reduced by reducing high-frequency components of an image. Specifically, first, after dividing an image into blocks of 8 ⁇ 8 pixels, discrete cosine (DCT) transform is performed for each block. Next, after reducing (quantizing) the high-frequency component of the DCT coefficient, entropy coding by Huffman coding is performed and image compression is performed. Note that reducing the amount of data by compressing a digital image is also referred to as encoding.
- the image compression may be MPEG (Moving Picture Experts Group), AVI (Audio Video Interleave) or MOV.
- the image compression may be PNG (Portable Network Graphics) or GIF (Graphics Interchange Format).
- the communication unit 303 transmits the second image generated by the image compression unit 301b to the first image processing device 200.
- the reconstructing unit 201a of the first image processing device 200 generates an output image by performing a process of reducing image quality deterioration due to image compression on the second image received by the communication unit 202.
- Increasing the data compression rate of image compression causes adverse effects such as block noise, ringing, and false contours. Therefore, the reconstructing unit 201a generates an output image whose image quality is improved with respect to the second image by removing the deterioration due to the image compression from the second image.
- Various image processing methods have been conventionally proposed to eliminate such adverse effects.
- a method of applying a Gaussian filter (weighted average filter) or the like to smooth block noise, a method of removing ringing by a noise removal filter using self-similarity of a natural image, or the like may be used.
- Non-Patent Document 1 an image processing method using DL has been proposed.
- the reconfiguration unit 201a performs a process using the DL.
- Non-Patent Document 1 a training data set including a set of many images and a compressed image obtained by degrading the images by JPEG image compression is prepared.
- the network parameters of the CNN are generated (learned) so as to distinguish the compressed image from the adverse effects caused therein.
- Non-Patent Document 2 discloses a method (CAS-CNN) for recovering from the adverse effects associated with JPEG image compression.
- Non-Patent Document 2 a highly nonlinear relationship between an image and a compressed image obtained by deteriorating the image by JPEG image compression can be learned by using a multilayer CNN as compared with Non-Patent Document 1.
- Non-Patent Document 2 it is possible to more accurately remove the adverse effects associated with JPEG image compression than Non-Patent Document 1.
- According to the image processing method using the DL it is possible to more accurately remove the adverse effects associated with the image compression than the classic image processing method.
- the reconstructing unit 201a generates an output image using the CAS-CNN disclosed in Non-Patent Document 2, but the present invention is not limited to this.
- a classic image processing method using a Gaussian filter (weighted average filter) or a noise removal filter using self-similarity of a natural image may be used.
- the amount of data is reduced by reducing high-frequency components.Therefore, when the high-frequency components of the subject included in the input image are small, the low-frequency components in the input image are reduced. There is. As a result, the image quality may be significantly affected. This is due to the visual characteristics of humans.
- a noise component (high-frequency component) is added to the input image in the noise adding unit 301a of the second image processing device 300.
- the operation of adding a noise component to an input image can be said to be an operation of blurring by adding a random change in the pixel value direction (depth direction) of the image.
- the contour line of the pseudo contour generated by the image compression becomes blurred and visually invisible. That is, the noise component added by the noise adding unit 301a functions to reduce the image quality deterioration due to the image compression.
- the first image processing apparatus 200 performs a reconstruction process on the compressed second image, thereby effectively reducing image quality deterioration due to image compression.
- the second image processing apparatus 300 performs noise addition and image compression, and the first image processing apparatus 200 performs reconstruction processing. For this reason, it is possible to cause the first image processing apparatus 200 to acquire a high-quality image while shortening the transmission time when the second image processing apparatus 300 transmits an image to the first image processing apparatus 200 side. It becomes possible.
- the image processing system 100 includes two devices. However, if the entire system includes at least the noise adding unit 301a, the image compressing unit 301b, and the reconstructing unit 201a, the present invention It is possible to obtain the effect of Therefore, the image processing system 100 may be composed of one device, or may be composed of three or more devices.
- the second image processing device 300 is a smartphone
- the first image processing device 200 is a server connected to the smartphone by wire or wirelessly.
- the present invention is not limited to this.
- the second image processing apparatus 300 may be a monitoring camera having a function of acquiring an input image and adding a noise component.
- the first image processing device 200 may be a server or a control device that controls a monitoring camera.
- the component added to the input image when the first image is generated is referred to as a noise component.
- a high-frequency component can be added to the input image, and image compression can reduce image quality.
- a component that is not identified as noise may be used as long as the component can reduce the influence of the influence.
- FIG. 3 is a flowchart illustrating an image processing method according to the embodiment of the present invention.
- the flowchart illustrated in FIG. 3 is performed in response to an instruction from the second image processing apparatus 300.
- step S401 the image processing unit 301 of the second image processing device 300 acquires an input image from the storage unit 302.
- step S402 the noise adding unit 301a generates a first image by adding a noise component for reducing the occurrence of an adverse effect (pseudo contour) due to image compression to the input image.
- step S403 the image compression section 301b performs image compression on the first image to generate a second image.
- step S404 the communication unit 303 of the second image processing device 300 transmits the second image generated by the image compression unit 301b to the first image processing device 200.
- step S501 the communication unit 202 of the first image processing device 200 receives the second image transmitted from the second image processing device 300.
- step S203 the reconstructing unit 201a performs a reconstructing process on the second image to remove an adverse effect caused by image compression, and generates an output image.
- the first image processing apparatus 200 can acquire a high-quality image in which the image transmission speed is increased by the image compression and the image quality deterioration due to the image compression is reduced.
- the output image reconstructed by the first image processing apparatus 200 may be used for, for example, a Web service, or may be printed and delivered to a user.
- the noise component is removed by the reconstruction processing in step S502. That is, it is preferable to perform the noise reduction process together with the image quality deterioration due to the image compression in step S502 while reducing the image quality deterioration due to the image compression in step S401.
- FIG. 4 is a diagram illustrating numerical calculation results for explaining the effect of the present embodiment.
- additive white Gaussian noise having a standard deviation of 2% with respect to the pixel value of the input image was used as the noise component.
- the pixel values of the input image were normalized to the range of [0 1], and the pixel values of the first image obtained by adding the noise component were also normalized to be within this range.
- the pixel value of the first image takes a negative value, it is set to 0.
- J JPEG was performed as image compression.
- 65 was used as a value QF (Quality @ Factor) defining the data compression ratio of JPEG.
- QF generally takes a value from 1 to 100, and the closer to 100, the lower the data compression ratio.
- Non-Patent Document 2 The CAS-CNN disclosed in Non-Patent Document 2 was used as an image processing method for removing deterioration due to image compression from the second image.
- FIG. 4A shows an image processing result according to the present embodiment.
- FIG. 4B is a diagonal sectional view shown by a solid black line in FIG.
- FIG. 4C shows a result of image processing according to the related art.
- FIG. 4D is a diagonal sectional view indicated by a solid black line in FIG. 4C.
- the present invention supplies a program for realizing one or more functions of the above embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This process can be realized. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.
- a circuit for example, an ASIC
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】画像圧縮に伴う画質劣化を低減可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供すること。 【解決手段】画像処理方法は、入力画像にノイズ成分を加えて第１の画像を生成する第１のステップと、第１の画像を画像圧縮して第２の画像を生成する第２のステップと、第２の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に第２の画像を送信する第３のステップと、を有する。
Description
本発明は、画像圧縮に伴う弊害（疑似輪郭）を除去するための画像処理方法、画像処理装置、画像処理システム、およびプログラムに関する。
データ量を削減するためにデジタル画像を圧縮する画像圧縮を実行する場合、データ圧縮率を高めると、ブロックごとに処理することで生じるブロックノイズや高周波成分を削減することで生じるリンギングなどの弊害が生じる。近年、人工知能の１つである深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ；ＤＬ）を用いた画像処理方法が提案されている。非特許文献１では、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）により、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）による画像圧縮で生じる弊害を除去する方法が開示されている。
Ｃｈａｒ Ｄｏｎｇ、Ｙｕｂｉｎ Ｄｅｎｇ、Ｃｈｅｎ Ｃｈａｎｇｅ Ｌｏｙ、Ｘｉａｏｏｕ Ｔａｎｇ、「Ｃｏｍｐｒｅｓｓｉｏｎ Ａｒｔｉｆａｃｔｓ Ｒｅｄｕｃｔｉｏｎ ｂｙ ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ｐｐ．５７６－５８４、２０１５年
Ｌｕｋａｓ Ｃａｖｉｇｅｌｌｉ、Ｐａｓｃａｌ Ｈａｇｅｒ、Ｌｕｃａ Ｂｅｎｉｎｉ、「ＣＡＳ－ＣＮＮ： Ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ Ａｒｔｉｆａｃｔ Ｓｕｐｐｒｅｓｓｉｏｎ」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｕｅｒａｌ Ｎｅｔｗｏｒｋｓ、２０１７年
画像圧縮に伴う弊害（劣化）の１つとして、疑似輪郭が知られている。疑似輪郭とは、圧縮画像において本来滑らかに濃淡が変化すべき部分で、急激に濃淡変化が生じ、疑似的な境界線として見られる弊害のことである。例えば、朝焼けや夕日などグラデーションがなだらかに変化する画像を、データ圧縮率を高めてＪＰＥＧにより画像圧縮した場合、疑似輪郭は頻繁に見られる。ブロックノイズやリンギングなどの弊害とは異なり、疑似輪郭は広範囲に渡って発生する。そのため、ガウシアンフィルタなど局所的な領域しか考慮できない古典的な画像処理方法では、疑似輪郭には対応できない。また、非特許文献１の画像処理方法では、広範囲の相関を考慮することができるが、そのためにはＣＮＮを多層化する必要があり、学習と画像処理に時間がかかるため現実的でない。
本発明は、画像圧縮に伴う画質劣化を低減可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することを目的とする。
本発明の一側面としての画像処理方法は、入力画像にノイズ成分を加えて第１の画像を生成する第１のステップと、第１の画像を画像圧縮して第２の画像を生成する第２のステップと、第２の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に第２の画像を送信する第３のステップと、を有することを特徴とする。
また、本発明の他の側面としてのプログラムは、入力画像にノイズ成分を加えて第１の画像を生成する第１のステップと、第１の画像を画像圧縮して第２の画像を生成する第２のステップと、第２の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に第２の画像を送信する第３のステップと、を有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明の他の側面としての画像処理装置は、入力画像にノイズ成分を加えて第１の画像を生成する付加部と、第１の画像を画像圧縮して第２の画像を生成する圧縮部と、第２の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に第２の画像を送信する送信部と、を有することを特徴とする。
また、本発明の他の側面としての画像処理装置は、入力画像にノイズ成分が加えられた第１の画像を画像圧縮して生成された第２の画像を受信する受信部と、第２の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部と、を有することを特徴とする。
また、本発明の他の側面としての画像処理方法は、入力画像にノイズ成分を加えて第１の画像を生成する第１のステップと、第１の画像を画像圧縮して第２の画像を生成する第２のステップと、第２の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する第３のステップと、を有することを特徴とする。
また、本発明の他の側面としての画像処理システムは、第１の画像処理装置と第２の画像処理装置を含む画像処理システムであって、第１の画像処理装置は、第１の画像処理装置に送信された画像を受信する受信部と、受信部によって受信された画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部と、を有し、第２の画像処理装置は、入力画像にノイズ成分を加えて第１の画像を生成する付加部と、第１の画像を画像圧縮して第２の画像を生成する圧縮部と、第２の画像を第１の画像処理装置に送信する送信部と、を有することを特徴とする。
本発明によれば、画像圧縮に伴う画質劣化を低減可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図１は、本発明の実施形態に係る画像処理システム１００の概略図である。画像処理システム１００は、第１の画像処理装置２００および第２の画像処理装置３００を有する。第２の画像処理装置３００は例えばスマートフォン等のユーザ端末である。第１の画像処理装置２００は第２の画像処理装置３００と有線または無線により接続されたサーバ等である。
図２は、本実施形態の画像処理システム１００のブロック図である。
第１の画像処理装置２００は、画像処理部２０１、通信部（受信部）２０２、記憶部２０３を有する。第２の画像処理装置３００は、画像処理部３０１、記憶部３０２、通信部（送信部）３０３を有する。
本実施形態の画像処理システム１００は、第１の画像処理装置２００と第２の画像処理装置３００が一連の画像処理を行うことで機能を発現するように構成されたものである。以下に述べる一連の画像処理は、第２の画像処理装置３００からの指示を契機として行われるものである。第２の画像処理装置３００からの指示は例えば第２の画像処理装置３００のユーザの意思により行われる。
第２の画像処理装置３００の画像処理部３０１は、ノイズ付加部３０１ａと画像圧縮部３０１ｂを有する。ノイズ付加部３０１ａは、画像処理部３０１ａが取得した画像の各画素値にノイズ成分を付加（加算）する機能を有する。画像圧縮部３０１ｂは所定の圧縮率でノイズが付加された画像を圧縮する機能を有する。画像処理部３０１は、例えば、ＣＰＵやＧＰＵ、またはその両方から構成される。
また、第２の画像処理装置３００の記憶部３０２は、ノイズ付加部３０１ａにより付加されるノイズ成分に関する情報を記憶している。記憶部３０２には、ノイズ成分に関する情報のほかに、処理対象である画像を記憶していても良い。
また、第２の画像処理装置３００の通信部３０３は、第１の画像処理装置２００に対して画像を送信する機能を有する。
第１の画像処理装置２００の画像処理部２０１は、再構成部２０１ａを有する。再構成部２０１ａは、後述のように、圧縮された画像に対して画像圧縮により生じた画質劣化を低減させる処理（再構成処理）を行う機能を有する。画像処理部２０１は、例えば、ＣＰＵやＧＰＵ、またはその両方から構成される。
また、第１の画像処理装置２００の通信部２０２は、第２の画像処理装置３００から送信された画像を受信する機能を有する。
また、第１の画像処理装置２００の記憶部２０３は、再構成部２０１ａにおける再構成処理に用いられる情報を記憶している。再構成処理に用いられる情報とは、後述のように、予め学習された畳み込みニューラルネットワークに関する情報（例えば各層の重みやバイアス）であり得る。
次に、本実施形態の画像処理システム１００で行われる画像処理について説明する。
本実施形態では、第２の画像処理装置３００の画像処理部３０１は、記憶部３０２に記憶されたデジタル画像データである入力画像を取得する。入力画像は、カラー画像でもモノクロ画像でもよい。そして、ノイズ付加部３０１ａは、ノイズ成分を入力画像の各画素値に加えることで第１の画像を生成する。すなわち第１の画像は入力画像の画素値をランダムに変動させることで生成される。
本実施形態では、第２の画像処理装置３００の画像処理部３０１は、記憶部３０２に記憶されたデジタル画像データである入力画像を取得する。入力画像は、カラー画像でもモノクロ画像でもよい。そして、ノイズ付加部３０１ａは、ノイズ成分を入力画像の各画素値に加えることで第１の画像を生成する。すなわち第１の画像は入力画像の画素値をランダムに変動させることで生成される。
ノイズ成分は、高周波成分を含むノイズ成分であり、入力画像に元々含まれているノイズ成分とは異なる成分である。ノイズ成分は、例えば、それぞれが異なる正弦波の重ね合わせでもよい。それぞれが異なるとは、水平・垂直周波数、振幅および位相の少なくとも１つが異なることをいう。また、ノイズ成分は、加法性白色ガウスノイズや輝度値に応じたショットノイズでもよい。ノイズ成分の強度分布はガウス分布やポアソン分布とすることができる。特に、加法性白色ガウスノイズは、簡易に生成可能であるため、ノイズ成分として使用することが望ましい。
また、加えるノイズ成分の量は、入力画像に元々含まれているノイズの量や入力画像が撮影されたときのＩＳＯ感度から決定してもよい。加えるノイズ成分の量とは、例えば、加法性白色ガウスノイズの分散や標準偏差である。加えるノイズ成分の量は、例えば、入力画像に含まれるノイズの量を決定する要因の１つである、カメラのイメージセンサ感度（ＩＳＯ感度）に基づいて決定してもよい。また、画像圧縮部３０１ｂで行われる画像圧縮処理におけるデータ圧縮率に基づいて決定してもよい。
なお、ノイズ付加部３０１ａが入力画像に対してノイズ成分を加える範囲は、入力画像全域でもよいし、一部でもよい。入力画像の一部にノイズ成分を加える場合、加える範囲はユーザが指定してもよいし、入力画像に含まれているノイズの量に基づいてノイズ付加部３０１ａが自動的に決定してもよい。
ノイズ成分は、ノイズ付加部３０１ａにより生成される。このとき、記憶部３０２に二次元データとしてのノイズデータ（二次元ノイズデータ。例えばノイズを画像化したもの。）を記憶させておき、ノイズ付加部３０１ａは記憶部３０２に記憶された二次元ノイズデータの一部を切り出すことによってノイズ成分を生成しても良い。
このとき、記憶部３０２に記憶される二次元ノイズデータは、入力画像のサイズより大きなサイズを有することが好ましい。また、ノイズ付加部３０１ａは入力画像の大きさや入力画像に含まれるノイズの量に応じてノイズ成分の全てを使用するか、一部を使用するかを決定してもよい。さらに、大きさや成分が異なる複数の二次元ノイズデータを記憶部３０２に記憶させておき、ノイズ付加部３０１ａは、入力画像の大きさや入力画像に含まれるノイズの量に応じて使用する二次元ノイズデータを選択し、さらに選択された二次元ノイズデータの全てを使用するか、一部を使用するかを決定するようにしても良い。このように、二次元ノイズデータをあらかじめ生成して記憶させておくことで、本実施形態の画像処理を行うたびにノイズ成分を生成する処理を行う必要がなくなる。また、その場合、ノイズ成分を入力画像よりも大きなサイズとし、一部を切り抜いて使用することで、常にノイズ成分が一定になることを防ぐことができ、疑似的にランダムなノイズ成分を付加することが可能となる。
続いて、画像圧縮部３０１ｂは、ノイズ付加部３０１ａにより生成された第１の画像を画像圧縮して第２の画像を生成する。画像圧縮は、ＪＰＥＧであってもよい。ＪＰＥＧでは、画像の高周波成分を削減することで、データ量を削減する。具体的には、まず画像を８×８画素のブロックに分割した後、ブロックごとに離散コサイン（ＤＣＴ）変換する。次に、ＤＣＴ係数の高周波成分を削減（量子化）した後、ハフマン符号によるエントロピー符号化がなされ画像圧縮される。なお、デジタル画像を圧縮しデータ量を削減することは、符号化（ｅｎｃｏｄｉｎｇ）とも呼ばれる。また、画像圧縮は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）またはＭＯＶであってもよい。また、画像圧縮は、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）またはＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）であってもよい。
そして、通信部３０３は、画像圧縮部３０１ｂにより生成された第２の画像を第１の画像処理装置２００に送信する。
第１の画像処理装置２００の再構成部２０１ａは、通信部２０２によって受信された第２の画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する。画像圧縮のデータ圧縮率を高めると、ブロックノイズ、リンギングおよび疑似輪郭などの弊害が生じる。そのため、再構成部２０１ａは第２の画像からこれらの画像圧縮に伴う劣化を除去することで第２の画像に対して画質が向上した出力画像を生成する。このような弊害を除去するために、従来から様々な画像処理方法が提案されている。例えば、ガウシアンフィルタ（加重平均フィルタ）などを適用してブロックノイズを平滑化する方法や、自然画像の自己相似性を用いたノイズ除去フィルタなどでリンギングを除去する方法（Ｎｏｎ－Ｌｏｃａｌ Ｍｅａｎｓ）などが提案されている。本実施例では、これらの方法を用いても良い。
ただし、これらの古典的な画像処理方法では、圧縮された画像における被写体と劣化（ノイズやアーティファクト）とを見分けることが難しい場合がある。そのため、近年では、例えば、非特許文献１に開示されているように、ＤＬを用いた画像処理方法が提案されている。好ましくは、本実施例では再構成部２０１ａはＤＬを用いた処理を行う。
非特許文献１に開示された方法では、まず多くの画像とそれらをＪＰＥＧによる画像圧縮により劣化させた圧縮画像の組からなる訓練データセットを用意する。次に、訓練データセットを用いて、圧縮画像とそこに生じた弊害を見分けるようにＣＮＮのネットワークパラメータを生成（学習）する。最後に、学習により生成したネットワークパラメータを用いて、ＣＮＮにより圧縮画像を画像処理することで、ＪＰＥＧによる画像圧縮に伴う弊害を除去した画像を得ることができる。また、非特許文献２では、ＪＰＥＧによる画像圧縮に伴う弊害を回復する方法（ＣＡＳ－ＣＮＮ）が開示されている。非特許文献２の方法では、非特許文献１よりも多層のＣＮＮを用いることで、画像とそれらをＪＰＥＧによる画像圧縮により劣化させた圧縮画像との、高度に非線形な関係が学習できる。これにより、非特許文献２によれば非特許文献１より、ＪＰＥＧによる画像圧縮に伴う弊害を高精度に除去することができる。ＤＬを用いた画像処理方法によれば、古典的な画像処理方法より、画像圧縮に伴う弊害を高精度に除去することができる。
本実施形態では、再構成部２０１ａは、非特許文献２で開示されたＣＡＳ－ＣＮＮを使用して出力画像を生成するが、本発明はこれに限定されない。ガウシアンフィルタ（加重平均フィルタ）や自然画像の自己相似性を用いたノイズ除去フィルタなどを用いる古典的な画像処理方法を使用してもよい。
一般に、画像圧縮では高周波成分を削減することでデータ量を削減するものであるため、入力画像中に含まれる被写体の高周波成分が少なかった場合、入力画像内の低周波成分が削減されてしまう場合がある。その結果、画質に大きな影響を与えるおそれがある。これは人間が持つ視覚的な特性によるものである。
これに対し、本実施形態では第２の画像処理装置３００のノイズ付加部３０１ａにおいて、入力画像に、ノイズ成分（高周波成分）を加えている。これにより、画像圧縮部３０１ｂの画像圧縮での低周波成分の削減が緩和され、画像圧縮が画質に影響を与える影響を低減させることができる。入力画像に対してノイズ成分を加える操作は、画像の画素値方向（深さ方向）へランダムな変動を加えてぼかしている操作であるいうこともできる。これにより、画像圧縮により生じる疑似輪郭の輪郭線はぼけて視覚的に見えづらくなる。すなわち、ノイズ付加部３０１ａによって付加されるノイズ成分は、画像圧縮に伴う画質劣化を軽減するように機能するものである。
そして本実施形態では、圧縮された第２の画像を第１の画像処理装置２００側で再構成処理することで、画像圧縮に伴う画質劣化を効果的に低減させている。
さらに、本実施形態では、第２の画像処理装置３００側でノイズ付加と画像圧縮を行い、第１の画像処理装置２００側で再構成処理を行う構成をとっている。このため、第２の画像処理装置３００が第１の画像処理装置２００側へ画像を送信する際の送信時間を短縮しつつ、第１の画像処理装置２００に高品位な画像を取得させることが可能となる。
なお、本実施形態では、画像処理システム１００は、２つの装置から構成されているが、システム全体として少なくともノイズ付加部３０１ａ、画像圧縮部３０１ｂおよび再構成部２０１ａを有していれば、本発明の効果を得ることが可能である。したがって、画像処理システム１００は、１つの装置から構成されていてもよいし、３つ以上の装置から構成されていてもよい。また、本実施形態では、第２の画像処理装置３００はスマートフォンであり、第１の画像処理装置２００はスマートフォンと有線または無線で接続されたサーバであるが、本発明はこれに限定されない。例えば、第２の画像処理装置３００は、入力画像を取得し、ノイズ成分を付加する機能を有する監視カメラであってもよい。この場合、第１の画像処理装置２００は、サーバであってもよいし、監視カメラを制御する制御装置であってもよい。
また、本実施例では第１の画像を生成する際に入力画像に付加される成分をノイズ成分と称しているが、入力画像に対して高周波成分を付加することができ、画像圧縮が画質に影響を与える影響を低減させることのできる成分であれば、ノイズとして識別されない成分でもよい。
次に、図３を参照して、本実施形態の画像処理方法について説明する。図３は、本発明の実施形態に係る画像処理方法を示すフローチャートである。図３に示すフローチャートは第２の画像処理装置３００からの指示を契機として行われる。
ステップＳ４０１では、第２の画像処理装置３００の画像処理部３０１は、記憶部３０２から入力画像を取得する。
ステップＳ４０２では、ノイズ付加部３０１ａは、入力画像に画像圧縮に伴う弊害（疑似輪郭）の発生を軽減するためのノイズ成分を加えて第１の画像を生成する。
ステップＳ４０３では、画像圧縮部３０１ｂは、第１の画像を画像圧縮して第２の画像を生成する。
ステップＳ４０４では、第２の画像処理装置３００の通信部３０３は、画像圧縮部３０１ｂにより生成された第２の画像を第１の画像処理装置２００に送信する。
ステップＳ５０１では、第１の画像処理装置２００の通信部２０２は、第２の画像処理装置３００から送信された第２の画像を受信する。
ステップＳ２０３では、再構成部２０１ａは、第２の画像から画像圧縮に伴う弊害を除去する再構成処理を行い、出力画像を生成する。
以上の処理により、画像圧縮によりデータの送信速度を高めつつ、画像圧縮による画質劣化を低減させた高品位な画像を第１の画像処理装置２００に取得させることが可能となる。第１の画像処理装置２００により再構成処理がなされた出力画像は、例えばＷｅｂサービスに使用されたり、プリントされてユーザに配送されたりしても良い。
なお、本実施形態では入力画像にノイズ成分を加えているため、ステップＳ５０２の再構成処理でノイズ成分が除去されることが好ましい。すなわち、ステップＳ４０１により画像圧縮による画質劣化が小さくなるようにしつつ、ステップＳ５０２で画像圧縮に伴う画質劣化とともにノイズ低減処理が行われるとよい。
次に、本実施形態の画像処理システム１００の画像処理による効果について述べる図４は、本実施形態の効果を説明するための数値計算結果を示す図である。
図４の例では、ノイズ成分として、入力画像の画素値に対して２％の標準偏差を有する加法性白色ガウスノイズを用いた。なお、入力画像の画素値は［０ １］の範囲に規格化し、ノイズ成分を加えることで取得される第１の画像の画素値も、この範囲内に収まるように規格化した。第１の画像の画素値が負値をとる場合は０にした。
画像圧縮として、ＪＰＥＧを行った。ＪＰＥＧのデータ圧縮率を規定する値ＱＦ（Ｑｕａｌｉｔｙ Ｆａｃｔｏｒ）として６５を用いた。ＱＦは一般に１～１００の値を取り、１００に近いほどデータ圧縮率が小さいことを表している。
第２の画像から画像圧縮に伴う劣化を除去する画像処理方法として、非特許文献２で開示されているＣＡＳ－ＣＮＮを用いた。
図４（ａ）は、本実施形態による画像処理結果を示している。図４（ｂ）は、図３（ａ）の黒実線で示される対角断面図である。図４（ｃ）は、従来技術による画像処理結果を示している。図４（ｄ）は、図４（ｃ）の黒実線で示される対角断面図である。なお、図４（ｃ）に示す画像を得る際、ステップＳ４０２に相当する処理は行っていないがステップＳ４０３およびステップＳ５０２に相当する処理を実行した。すなわち、入力画像をＱＦ６５でＪＰＥＧにより画像圧縮し、取得される画像に生じる画像圧縮に伴う劣化をＣＡＳ－ＣＮＮで除去した。図４に示されるように、本実施形態によれば、従来技術では除去できていない疑似輪郭を除去することが可能である。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
Claims (20)
- 入力画像にノイズ成分を加えて第１の画像を生成する第１のステップと、
前記第１の画像を画像圧縮して第２の画像を生成する第２のステップと、
前記第２の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に前記第２の画像を送信する第３のステップと、を有することを特徴とする画像処理方法。 - 前記ノイズ成分は、前記入力画像の画素値に対するノイズ成分であることを特徴とする請求項１に記載の画像処理方法。
- 前記第１のステップにおいて、前記入力画像に前記ノイズ成分が加えられて前記入力画像の画素値がランダムに変動することで前記第２の画像が生成されることを特徴とする請求項２に記載の画像処理方法。
- 前記ノイズ成分の分布は、前記入力画像のＩＳＯ感度に基づいて決定されることを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
- 前記ノイズ成分の分布は、前記第２のステップにおいて行われる画像圧縮の圧縮率に応じて決定されることを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
- 前記ノイズは、複数の正弦波を重ね合わせた成分であることを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。
- 前記ノイズ成分は、加法性白色ガウスノイズであることを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。
- 前記ノイズ成分は、ショットノイズであることを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。
- 前記ノイズ成分の分布は、ガウス分布またはポアソン分布であることを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。
- 前記ノイズ成分は、前記入力画像に含まれるノイズ成分とは異なる成分であることを特徴とする請求項１から９のいずれか１項に記載の画像処理方法。
- 前記ノイズ成分は、予め記憶された二次元のノイズデータの一部を切り出すことによって取得されることを特徴とする請求項１から１０のいずれか一項に記載の画像処理方法。
- 前記画像圧縮は、ＪＰＥＧ、ＭＰＥＧ、ＡＶＩ、ＭＯＶ、ＰＮＧおよびＧＩＦの少なくとも１つであることを特徴とする請求項１から１１のいずれか１項に記載の画像処理方法。
- 入力画像にノイズ成分を加えて第１の画像を生成する第１のステップと、
前記第１の画像を画像圧縮して第２の画像を生成する第２のステップと、
前記第２の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に前記第２の画像を送信する第３のステップと、を有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。 - 入力画像にノイズ成分を加えて第１の画像を生成する付加部と、
前記第１の画像を画像圧縮して第２の画像を生成する圧縮部と、
前記第２の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部に前記第２の画像を送信する送信部と、を有することを特徴とする画像処理装置。 - 二次元のノイズデータを記憶する記憶部を更に有し、
前記付加部は、前記二次元のノイズデータの一部を切り出すことにより前記ノイズ成分を取得することを特徴とする請求項１４に記載の画像処理装置。 - 入力画像にノイズ成分が加えられた第１の画像を画像圧縮して生成された第２の画像を受信する受信部と、
前記第２の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部と、を有することを特徴とする画像処理装置。 - 入力画像にノイズ成分を加えて第１の画像を生成する第１のステップと、
前記第１の画像を画像圧縮して第２の画像を生成する第２のステップと、
前記第２の画像に対して前記画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する第３のステップと、を有することを特徴とする画像処理方法。 - 前記第３のステップにおいて、前記画像圧縮に伴う画質劣化を低減する畳み込みニューラルネットワークに前記第２の画像を入力することで前記出力画像が生成されることを特徴とする請求項１７に記載の画像処理方法。
- 前記第３のステップにおいて、加重平均フィルタを前記第２の画像に適用することで前記出力画像が生成されることを特徴とする１７に記載の画像処理方法。
- 第１の画像処理装置と第２の画像処理装置を含む画像処理システムであって、
前記第１の画像処理装置は、
前記第１の画像処理装置に送信された画像を受信する受信部と、
前記受信部によって受信された画像に対して画像圧縮に伴う画質劣化を低減する処理を行うことで出力画像を生成する再構成部と、を有し、
前記第２の画像処理装置は、
入力画像にノイズ成分を加えて第１の画像を生成する付加部と、
前記第１の画像を画像圧縮して第２の画像を生成する圧縮部と、
前記第２の画像を前記第１の画像処理装置に送信する送信部と、を有することを特徴とする画像処理システム。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-152003 | 2018-08-10 | ||
| JP2018152003 | 2018-08-10 | ||
| JP2019-109207 | 2019-06-12 | ||
| JP2019109207A JP7467034B2 (ja) | 2018-08-10 | 2019-06-12 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020031601A1 true WO2020031601A1 (ja) | 2020-02-13 |
Family
ID=69413824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/027333 WO2020031601A1 (ja) | 2018-08-10 | 2019-07-10 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2020031601A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118462A (ja) * | 2006-11-06 | 2008-05-22 | Nikon Corp | 画像処理装置、撮像装置、及び画像処理プログラム |
| JP2013258465A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Hoso Kyokai <Nhk> | 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム |
| JP2014053857A (ja) * | 2012-09-10 | 2014-03-20 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
| US20160301934A1 (en) * | 2013-11-12 | 2016-10-13 | Dolby Laboratories Licensing Corporation | Pre-Dithering in High Dynamic Range Video Coding |
| JP2017169233A (ja) * | 2017-05-25 | 2017-09-21 | 株式会社ニコン | 画像処理装置 |
| JP2018082299A (ja) * | 2016-11-16 | 2018-05-24 | 日本放送協会 | 映像符号化装置、映像復号装置、及びプログラム |
-
2019
- 2019-07-10 WO PCT/JP2019/027333 patent/WO2020031601A1/ja active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008118462A (ja) * | 2006-11-06 | 2008-05-22 | Nikon Corp | 画像処理装置、撮像装置、及び画像処理プログラム |
| JP2013258465A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Hoso Kyokai <Nhk> | 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム |
| JP2014053857A (ja) * | 2012-09-10 | 2014-03-20 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
| US20160301934A1 (en) * | 2013-11-12 | 2016-10-13 | Dolby Laboratories Licensing Corporation | Pre-Dithering in High Dynamic Range Video Coding |
| JP2018082299A (ja) * | 2016-11-16 | 2018-05-24 | 日本放送協会 | 映像符号化装置、映像復号装置、及びプログラム |
| JP2017169233A (ja) * | 2017-05-25 | 2017-09-21 | 株式会社ニコン | 画像処理装置 |
Non-Patent Citations (1)
| Title |
|---|
| CAVIGELLI, LUKAS ET AL.: "CAS-CNN: A Deep Convolutional Neural Network for Image Compression Artifact Suppression", 2017 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN, 3 July 2017 (2017-07-03), pages 752 - 759, ISBN: 978-1-5090-6182-2 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mantiuk et al. | Backward compatible high dynamic range MPEG video compression | |
| CN103281526B (zh) | 网络图像/视频处理系统 | |
| EP1611740B1 (en) | Technique for simulating film grain on encoded video | |
| CN103227775B (zh) | 用于处理图像或视频数据的方法和系统 | |
| WO2021169408A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| JP2006081156A (ja) | 画像処理装置および方法並びにプログラム | |
| KR20210018668A (ko) | 딥러닝 신경 네트워크를 사용하여 다운샘플링을 수행하는 이미지 처리 시스템 및 방법, 영상 스트리밍 서버 시스템 | |
| KR20180072548A (ko) | 이미지 데이터의 인코딩 및 디코딩 | |
| CN111602402B (zh) | 一种产生滤波重构帧的方法及装置 | |
| WO2020248294A1 (zh) | 一种逆色调映射方法、装置及电子设备 | |
| JP7467034B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
| JP4002599B2 (ja) | 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置 | |
| CN114730450A (zh) | 基于水印的图像重建 | |
| Siddeq et al. | A novel 2D image compression algorithm based on two levels DWT and DCT transforms with enhanced minimize-matrix-size algorithm for high resolution structured light 3D surface reconstruction | |
| US20240080495A1 (en) | Iteratively updating a filtering model | |
| Agarwal et al. | Compressing video calls using synthetic talking heads | |
| CN116847087A (zh) | 视频处理方法、装置、存储介质及电子设备 | |
| WO2020031601A1 (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
| WO2020240509A1 (en) | Pre-processing for video compression | |
| Najgebauer et al. | Fully convolutional network for removing dct artefacts from images | |
| CN111491166A (zh) | 基于内容分析的动态压缩系统及方法 | |
| US10015507B2 (en) | Transform system and method in video and image compression | |
| Zhang et al. | Visually lossless perceptual image coding based on natural-scene masking models | |
| JP4957572B2 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
| CN115988201B (zh) | 一种编码胶片颗粒的方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19847574 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19847574 Country of ref document: EP Kind code of ref document: A1 |