WO2011049074A1 - 画像符号化装置、及び画像復号装置 - Google Patents

画像符号化装置、及び画像復号装置 Download PDF

Info

Publication number
WO2011049074A1
WO2011049074A1 PCT/JP2010/068344 JP2010068344W WO2011049074A1 WO 2011049074 A1 WO2011049074 A1 WO 2011049074A1 JP 2010068344 W JP2010068344 W JP 2010068344W WO 2011049074 A1 WO2011049074 A1 WO 2011049074A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
prediction
pixel
pattern
unit
Prior art date
Application number
PCT/JP2010/068344
Other languages
English (en)
French (fr)
Inventor
村上　智一
横山　徹
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2011049074A1 publication Critical patent/WO2011049074A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Definitions

  • the present invention relates to an image encoding device for encoding an image and an image decoding device for decoding an encoded image.
  • CT and MRI are used as medical diagnostic imaging equipment.
  • Tomography of the human body is possible using X-rays in CT and nuclear magnetic resonance in MRI.
  • the captured image is recorded as digital data in accordance with a standard system called DICOM (Digital Imaging and COmmunication in Medicine).
  • DICOM Digital Imaging and COmmunication in Medicine
  • JPEG-LS standard ISO-14495-1 / ITU-T / T.87
  • Patent Document 1 discloses a method for improving the compression rate by processing between slice images.
  • Patent Document 2 discloses a method of separating and encoding pixels according to the characteristics of a captured image.
  • Patent Document 1 cannot fully utilize the characteristics of captured image information, and has a limit in improving the compression rate. Further, the method disclosed in Patent Document 2 separates and encodes images, and does not describe improvement of the compression rate according to the characteristics of the images.
  • an image has a feature for each region, and compression efficiency can be increased as compared with the conventional technique by applying an appropriate encoding method for each region.
  • the compression efficiency can be further improved by performing processing using the correlation between slice images in addition to this.
  • the present invention has been made in view of such a situation, and provides a technique that enables lossless image encoding / decoding with high compression efficiency and losslessness.
  • the pattern image information is extracted from the original image, and one of a plurality of types of prediction methods prepared in advance is selected based on the extracted pattern image information. Then, a prediction value of the encoding target pixel is generated according to the selected prediction method, a prediction error between the prediction value and the encoding target pixel is encoded, and the encoded image data and the encoded data of the pattern image information Are integrated and transmitted. On the decoding side, a process reverse to the encoding process is performed.
  • the image coding apparatus determines an area having a predetermined feature in an original image, and separates pattern image information from the original image, and a plurality of types prepared in advance based on the pattern image information
  • a prediction unit that selects one of the prediction methods as an appropriate prediction method and generates prediction data of the encoding target pixel according to the selected prediction method, and a prediction error (residual error) between the prediction data and the encoding target pixel ) (Entropy coding) to generate encoded image data
  • a pattern encoding unit to encode pattern image information and generate encoded pattern information
  • a code integration unit that integrates the conversion pattern information.
  • the pixel prediction unit determines whether the encoding target image and the pixel used for prediction exist in the same region using the pattern image information, and selects one prediction method according to the determination result.
  • the plurality of types of prediction methods for example, use an adjacent pixel prediction method that performs prediction from an adjacent pixel of the encoding target pixel and a pixel in the vicinity of the encoding target pixel, and change without crossing the edge of the image.
  • the prediction method is not limited to these three.
  • the pixel prediction unit can also calculate prediction data without using pattern image information.
  • the pixel prediction unit calculates a plurality of prediction data according to each of a plurality of types of prediction methods prepared in advance, and obtains the prediction data by median processing.
  • the area determination unit performs luminance analysis of the original image to generate a histogram indicating the frequency of each luminance value, and determines an area (for example, foreground area, background area, peripheral area) based on the distribution of the histogram.
  • the present image encoding apparatus further includes an inter-slice processing unit that performs reversible frequency conversion processing on a plurality of slice images input as original images.
  • the region determination unit analyzes the original image on which the inter-slice processing has been executed, and separates the pattern image.
  • an image decoding apparatus decodes encoded pattern information separated from supplied encoded data and generates a pattern image information, and is prepared in advance based on the pattern image information.
  • a pixel prediction unit that selects one of a plurality of types of prediction methods as an appropriate prediction method and generates prediction data of a pixel to be decoded according to the selected prediction method, and encoded image data separated from the encoded data
  • a decoding unit that generates prediction error data by decoding, decodes pixel data from the prediction error data and the prediction data, and a decoded image generation unit that generates a decoded image from the decoded pixel data. Yes.
  • the pixel prediction unit determines whether the decoding target image and the pixel used for prediction exist in the same region using the pattern image information, and selects one prediction method according to the determination result.
  • the multiple types of prediction methods include, for example, an adjacent pixel prediction method that performs prediction from an adjacent pixel of a decoding target pixel, and a pixel that does not cross an edge of an image and uses a pixel near the decoding target pixel and has little change A neighboring pixel prediction method that performs prediction, and an intra template prediction method that performs prediction using a template composed of a plurality of pixels around the decoding target pixel. Basically, the prediction method used at the time of encoding is selected.
  • the image decoding apparatus further includes an image buffer that stores a plurality of decoded images generated by the decoded image generation unit as a plurality of slice images, and an inverse process of the reversible frequency conversion process used at the time of encoding. And an inter-slice processing unit that executes the processing on a plurality of slice images. Then, an image subjected to the inter-slice processing is output from the image decoding device.
  • FIG. 1 is a block diagram showing a schematic configuration of an image encoding device according to an embodiment of the present invention.
  • the image coding apparatus 100 includes an image buffer 101 that inputs and holds a plurality of images, an inter-slice processing unit 102 that performs reversible processing to increase compression efficiency between the plurality of slice images, and returns the image to the image buffer 101.
  • the region determination unit 103 that performs region determination of each image and separates the original image and the pattern image, the pattern information storage unit 104 that stores the pattern image, and the pixel position of the image to be encoded are scanned, and pattern information
  • a pixel prediction unit 105 that selects one prediction method from a plurality of prediction methods using the decoded neighboring pixel values, calculates a prediction value of the pixel, calculates a residual from the calculated prediction value,
  • a pixel encoding unit 106 that encodes the pattern image, a pattern encoding unit 107 that encodes the pattern image, and a code integration unit 108 that integrates the encoded streams.
  • lossless encoding in a monochrome image such as a medical image
  • a color image such as a medical image
  • the same processing may be performed on each color plane (for example, R, G, B).
  • the present invention can also be applied to lossy encoding that is irreversible by adding steps of quantization and frequency conversion.
  • the image buffer 101 holds a plurality of input images.
  • a plurality of images are transferred to the inter-slice processing unit 102, and after the inter-slice processing, the processed image is stored again. Thereafter, each image is passed to the region determination unit 103 for encoding.
  • processing between slices is performed in order to improve compression efficiency, but may be omitted for simplification.
  • the image buffer 101 only needs to have a capacity for one image.
  • the inter-slice processing unit refers to pixel values among a plurality of slice images, and performs reversible processing for improving the compression rate. For example, reversible Wavelet conversion using Haar Wavelet is performed. Hereinafter, an example in which reversible Wavelet transformation is performed between slice images will be described.
  • the pixel values at the coordinate position (x, y) of four consecutive slice images are S1 (x, y), S2 (x, y), S3 (x, y), S4 (x, y)
  • Wavelet conversion is performed by regarding these four values as continuous one-dimensional data.
  • the area determination unit 103 determines the area of each image and separates the original image and the pattern image.
  • the pattern image is an image that shows an image region having a certain feature included in the original image as a pattern. It may be a binary image or an image with fewer gradations than the original image.
  • An image area is a set of pixels that share certain characteristics, but an original image is divided into, for example, a foreground area and a background area. In a medical image, the foreground area corresponds to a tissue part of a human body that has been imaged, and the background area corresponds to a hollow part or a non-imaging part in other CT or the like.
  • the area determination unit 103 may output two images of an original image and a pattern image, or may further separate the original image into three images, a foreground image, a background image, and a pattern image (for the latter, (Refer to the second embodiment). Note that pixel pattern filling processing or the like may be performed on the pattern image so that the same region continues. A pattern image separation method and an example of a pattern image will be described later.
  • the pattern information holding unit 104 holds the pattern image and provides the pixel prediction unit 105 with the area information of each pixel.
  • the pixel prediction unit 105 scans the pixel position of the image to be encoded and performs pixel prediction processing. Also, information such as which image area the pixel position to be encoded and the pixel position used for prediction is included in, and whether or not the same image area is included is obtained from the pattern information holding unit 104. Is used to select one prediction method from a plurality of prediction methods. Details of the prediction method will be described later. In a region where pixels having the same value continue, the prediction process of the pixel prediction unit 105 may be skipped as the run length mode. This is the same as the JPEG-LS method and the like.
  • the pixel encoding unit 106 obtains a difference from the prediction value selected and calculated by the pixel prediction unit 105 and the pixel value of the image to be encoded, and entropy encodes this (residual component).
  • the table used for encoding may be changed according to the situation of surrounding pixels. Further, in a region where pixels having the same value continue, the run length mode may be separately encoded together with surrounding pixels.
  • the encoding method the same method as the existing method such as JPEG-LS may be used. Then, the pixel encoding unit 106 provides the encoded stream to the code integration unit 108.
  • the pattern encoding unit 107 encodes the pattern image. Since the pattern image is a binary image or an image with a small number of gradations and the shape is similar between slice images, the pattern encoding unit 107 performs prediction processing between the slice images in units of pixels or blocks. The position vector and the residual component are encoded. Encoding may be performed using a conventional JPEG-LS method or the like in units of slices. Then, the pattern encoding unit 107 provides the encoded stream to the code integration unit 108.
  • the code integration unit 108 synthesizes (multiplexes) the encoded stream of the original image and the encoded stream of the pattern image, and outputs it as one stream.
  • information (flag) indicating which of a plurality of predictive encoding methods is used for each encoding target pixel is not transmitted. This is because if the information is added to each pixel and transmitted, the amount of transmission data becomes enormous, and the compression efficiency decreases. For this reason, in the present invention, the information of the pattern image that is the basis for selecting the predictive coding method is transmitted.
  • the above-described image encoding apparatus can compress a plurality of still images without loss and with a small amount of data.
  • FIG. 2 is a block diagram showing a schematic configuration of the image decoding apparatus according to the embodiment of the present invention.
  • the image decoding apparatus 200 receives an encoded stream, and separates a code, a code separation unit 201, a pattern decoding unit 202 that decodes a pattern image, a pattern information holding unit 203 that holds the decoded pattern image, and pattern information And a pixel prediction unit 204 that selects one prediction method from a plurality of prediction methods using the values of the peripheral pixels that have already been decoded and calculates a prediction value of the pixel, and a pixel based on the decoded residual information and the prediction value
  • the pixel decoding unit 205 that restores the image, the image buffer 206 that holds the decoded image, and the slice processing unit 102 that performs the reverse processing of the inter-slice processing unit 102 on the encoding device side among the plurality of slice images and returns the image to the image buffer And an inter-processing unit 207.
  • the code separation unit 201 receives the encoded stream, analyzes the data structure of the encoded stream, and separates it into an encoded stream of a pattern image and an encoded stream of an image to be restored.
  • the encoded stream of the pattern image is supplied to the pattern decoding unit 202, and the encoded stream of the image to be restored is supplied to the pixel decoding unit 205.
  • the pattern decoding unit 202 decodes the pattern image. For this, a decoding method corresponding to the encoding method of the pattern encoding unit 107 may be used. When prediction processing is performed between slice images, the pattern image is decoded from the position vector and the residual component, and when encoded by the conventional JPEG-LS method or the like for each slice, decoding is performed for each slice. To do. Then, the pattern decoding unit 202 provides the obtained pattern image to the pattern information holding unit 203.
  • the pattern information holding unit 203 holds a pattern image and provides the pixel prediction unit 204 with area information of each pixel.
  • the pixel prediction unit 204 performs pixel prediction by scanning the pixel position of the image to be decoded. Also, the pixel prediction unit 204 receives information from the pattern information holding unit 203 such as which pixel region the pixel position to be decoded and the pixel position used for prediction are included in, and whether or not they are included in the same image region. Is used to select one prediction method from a plurality of prediction methods. Details of the prediction method will be described later. In a region where pixels having the same value continue, the prediction process of the pixel prediction unit 204 may be skipped as the run length mode. This is the same as the JPEG-LS method and the like.
  • the pixel decoding unit 205 decodes the entropy code of the encoded stream obtained from the code separation unit 201, and obtains a pixel value from information such as a residual component obtained therefrom and a prediction value selected and calculated by the pixel prediction unit 204. Decrypt. In a region where pixels having the same value continue, the run length mode is separately decoded. The decoded image is stored in the image buffer 206.
  • the image buffer 206 holds a plurality of decoded images. A plurality of images are supplied to the inter-slice processing unit 207, and the data after the inter-slice processing is executed are stored again in the image buffer 206, and then output. Inter-slice processing may be omitted. If processing between slices is omitted, it is not necessary to hold a plurality of images, so the image buffer 206 only needs to have a capacity for one image.
  • the inter-slice processing performed here may be performed in response to the inter-slice processing unit 102 in the above-described encoding apparatus to return the image after frequency conversion to the original image. For example, in Wavelet conversion using Haar Wavelet, inverse Wavelet conversion may be performed.
  • FIG. 3 is a diagram for explaining the concept of image encoding processing according to the first embodiment of the present invention.
  • a plurality of slice images of the input original image are stored in the image buffer 101.
  • reversible Wavelet transformation (inter-slice processing 102) is performed between consecutive slice images, and further, offset processing or the like is performed to convert the images into frequency-converted images.
  • this inter-slice processing may be omitted and processing may be performed in units of slice images.
  • the pattern image is an image that shows an image region having a certain feature included in the original image as a pattern.
  • a tissue portion of a human body is recorded as a binary image with a foreground region, a hollow portion as a background region, and a non-photographed portion as a peripheral region.
  • a region can be roughly divided by using a histogram. In the histogram shown below the original image in FIG.
  • the horizontal axis l indicates the pixel value (luminance value)
  • the vertical axis h (l) indicates the frequency number of the luminance value l.
  • three histogram peaks often appear.
  • the leftmost peak corresponds to a non-photographed portion (peripheral region) in the peripheral portion of the original image
  • the middle peak corresponds to the background region of the hollow portion
  • the rightmost peak corresponds to the foreground region of the human tissue portion. Therefore, by analyzing the histogram, finding these peaks and dividing them at the midpoint of each peak, it is possible to classify the original image by luminance and create a pattern image.
  • the area can be recorded as a pattern image (pattern information holding unit 104).
  • the pattern image may be subjected to pixel hole filling processing so that the same region continues. For this, a majority filter or the like can be used.
  • prediction processing may be performed between slice images in pixel units or block units to encode position vectors and residual components (pattern encoding unit 107).
  • encoding may be performed using a conventional JPEG-LS method or the like in units of slice images.
  • the original image frequency-converted using the pattern image is encoded. Images are scanned in raster scan order from the top left position and encoded sequentially.
  • a predicted value is calculated by using a pixel encoded before.
  • a prediction value is calculated using a plurality of prediction methods, and an appropriate prediction value is selected using pattern information (pixel prediction unit 105).
  • FIG. 4 is a diagram illustrating an example of a plurality of prediction methods.
  • FIG. 4A shows an adjacent pixel prediction method. This is also used in the JPEG-LS system.
  • the predicted value X is calculated using the following equation (1).
  • FIG. 4B shows a neighborhood pixel prediction method.
  • the encoding target pixel position be (x, y), and its luminance value be S (x, y).
  • the absolute value calculation for v is ABS (v).
  • Neighboring pixel prediction is a method of performing prediction in a direction with little change and does not cross edges while considering directionality with respect to the encoding target pixel.
  • the prediction value Pi is averaged as described above. Instead of taking a method, linear prediction may be performed.
  • FIG. 4C shows an intra template prediction method.
  • this prediction method first, four pixels on the left, upper, upper left, and upper right of the encoding target pixel position are used as templates.
  • the template is moved in order from the position close to the encoding target pixel position with respect to the already encoded image region, and a position where the error becomes the smallest within a certain range is searched.
  • the error may be calculated using a square error sum of pixel values at the moved position with the template.
  • a pixel value corresponding to the encoding target pixel position is acquired from the obtained position with the smallest error, and this is used as a predicted value.
  • the size of the template is arbitrary.
  • the search method is arbitrary as long as the order is uniquely determined.
  • FIG. 5 is a flowchart for explaining processing for determining one appropriate prediction method using pattern information from among a plurality of prediction methods.
  • the foreground area, background area, and peripheral area of the original image are identified by the pattern image, and the above-described neighboring pixel prediction, neighboring pixel prediction, and intra template prediction are used as the prediction method.
  • a set of pixels on the upper, left, upper left, and upper right of the encoding target pixel is set as an adjacent pixel group, and a set of pixels surrounding the encoding target pixel is set as a neighboring pixel group.
  • the pixel prediction unit 105 acquires pattern information of the original image to which the encoding target pixel belongs from the pattern information holding unit 104, and from the pattern information, the encoding target pixel and the adjacent pixel group are the same region (foreground region, It is determined whether it is included in any one of the background region and the peripheral region (step 501).
  • the pixel prediction unit 105 selects intra template prediction as a prediction method (case (c)).
  • the pixel prediction unit 105 determines whether the encoding target pixel and the neighboring pixel group are included in the same region (Step 502). .
  • the pixel prediction unit 105 selects adjacent pixel prediction as a prediction method (case (a)).
  • the pixel prediction unit 105 selects neighboring pixel prediction as a prediction method (case (b)).
  • the prediction method may be changed in consideration of which prediction method is selected in the adjacent pixel.
  • a determination criterion it may be determined by combining which region the encoding target pixel is included in, how far away from the boundary of the region, and how the surrounding region is distributed. Good.
  • the simplest method may be a method that does not use a pattern image. For example, three prediction values are calculated by adjacent pixel prediction, neighboring pixel prediction, and intra template prediction, and the median of these three numerical values is used as a prediction value. Although the characteristics of the region are not reflected, since extreme values are excluded, the compression efficiency can be improved over the existing method. Since no pattern image is required, no additional code amount is generated.
  • a difference is obtained from the pixel value of the encoding target pixel by the predicted value, and entropy-coded and output.
  • the table for encoding may be changed according to the situation of surrounding pixels, and in a region where pixels of the same value continue, encoding is performed together with the surrounding pixels as a run length mode.
  • the same entropy encoding method and run length mode as those of existing methods such as JPEG-LS may be used.
  • the prediction value selection method based on the pattern information is the same in the decoding method.
  • FIG. 6 is a flowchart for explaining the overall outline of the image encoding process executed by the image encoding apparatus 100 shown in FIG.
  • an original image is input to the image encoding device 100 (step 601), and a plurality of slice images are held in the buffer 101 (step 602).
  • the processing unit 102 between slices performs reversible Wavelet transformation between slice images using a plurality of slice images (step 603).
  • the method of reversible Wavelet transformation is as described above. This step may not be performed if simplified.
  • the area determination unit 103 separates the original image and the pattern image (step 604).
  • the method for separating the original image and the pattern image is as described above.
  • the pixel prediction unit 105 scans the pixels of the original image and calculates prediction values for a plurality of prediction methods (step 605).
  • a plurality of prediction methods as described above, adjacent pixel prediction, neighboring pixel prediction, intra template prediction, or the like may be used.
  • the pixel prediction unit 105 refers to the pattern image, selects a prediction value of the most appropriate prediction method, and the pixel encoding unit 106 encodes the prediction value by entropy encoding or the like (step 606).
  • the method for selecting and encoding an appropriate prediction value using a pattern image from a plurality of prediction values is as described above.
  • the pattern encoding unit 107 predicts and encodes the pattern image between slices (step 607).
  • the code integration unit 108 combines the encoded data of the original image and the encoded data of the pattern image, and outputs (transmits) as an encoded stream (step 608).
  • FIG. 7 is a flowchart for explaining the overall outline of the image decoding process executed by the image decoding apparatus 200 shown in FIG.
  • an encoded stream is input to the image decoding apparatus 200, and the code separation unit 201 separates into encoded data of a pattern image and encoded data of an original image with reference to header information of the encoded stream (step) 701).
  • the pattern decoding unit 202 decodes the pattern image by a method corresponding to the encoding process of the encoded data of the pattern image (step 702).
  • the pixel decoding unit 205 scans the pixels to decode the original image, and calculates prediction values for a plurality of prediction methods (step 703).
  • the pixel prediction unit 204 refers to the decoded pattern image and selects and decodes the prediction value of the most appropriate prediction method (step 704).
  • the method for selecting and decoding an appropriate predicted value from a plurality of predicted values using a pattern image is as described above.
  • the pixel decoding unit 205 holds a plurality of slice images in the image buffer 206 (step 705).
  • the inter-slice processing unit 207 performs inverse Wavelet transform in lossless Wavelet transform between slices using a plurality of slice images (Step 706). . This may be performed by performing an inverse transformation of the reversible Wavelet transformation in Step 603. This step is omitted when the reversible Wavelet transform in Step 603 is not performed.
  • the generated decoded image (lossless image) is output (step 707).
  • FIG. 8 is a diagram for explaining the concept of image encoding processing according to a second embodiment of the present invention.
  • the original image and the pattern image are not output (corresponding to the processing in the first embodiment), but the original image is further separated, and the foreground Three images are output: an image including a region, an image including a background region and a peripheral region, and a pattern image.
  • the configurations of the image encoding device and the image decoding device are the same as those in the first embodiment, but the operations of the region dividing unit 103, the pixel prediction unit 105, and the pixel decoding unit 205 are different.
  • the region dividing unit 103 further separates the original image, and outputs three images: an image including a foreground region, an image including a background region and a peripheral region, and a pattern image.
  • the pixel prediction unit 105 performs encoding by selecting an appropriate prediction method from a plurality of prediction methods with reference to the pattern image for an image including the foreground region and an image including the background region and the peripheral region.
  • the noise included in the image has the same characteristics, and therefore the encoding efficiency is higher than when encoding as a single image.
  • the encoding method is the same as that shown in FIG. 3 except that each of the plurality of images is encoded.
  • the technology according to the present invention is a medical diagnostic imaging apparatus capable of transmitting an image with a small bandwidth, an imaging apparatus such as CT and MRI, a large-capacity image recording apparatus for recording and storing SEM images, and satellite map information. It can be applied to a device that processes and saves.
  • the technology provided by the present invention is basically applied to lossless encoding / decoding processing, but can also be applied to lossy encoding / decoding processing.
  • the pattern information is extracted from the original image, and one is selected from a plurality of types of prediction methods prepared in advance (adjacent pixel prediction, neighborhood pixel prediction, intra template (intra vector) prediction, etc.). . Then, a prediction value of the encoding target pixel is generated according to the selected prediction method, and a prediction error (residual) that is a difference between the prediction value and the encoding target pixel is encoded (for example, entropy encoding).
  • the encoded image data and the encoded data of pattern image information are integrated and transmitted.
  • a process reverse to the encoding process is performed. In this way, on the encoding side, a technique for compressing a plurality of still images in a lossless manner and reducing the data amount can be realized.
  • the image can be restored to the original image without loss.
  • the pattern information itself is transmitted without transmitting the flag indicating the prediction method. In this way, since it is not necessary to add extra flag information in pixel units, the compression rate can be improved.
  • the pattern information it is determined whether the encoding (decoding) target image and the pixel used for prediction are present in the same region, and one prediction method is selected according to the determination result.
  • the prediction method is determined based on the relationship between the encoding (decoding) target image and the pixel used for prediction, it is possible to select the optimal prediction method that contributes to the improvement of the compression rate and generate the prediction pixel value. it can.
  • reversible frequency conversion processing for example, reversible Wavelet conversion such as Haar Wavelet
  • images for example, reversible Wavelet conversion such as Haar Wavelet
  • the compression efficiency can be further improved.
  • the present invention can also be realized by a program code of software that realizes the functions of the embodiment.
  • a storage medium in which the program code is recorded is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.
  • a storage medium for supplying such program code for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
  • an OS operating system
  • the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code.
  • the program code is stored in a storage means such as a hard disk or memory of a system or apparatus, or a storage medium such as a CD-RW or CD-R
  • the computer (or CPU or MPU) of the system or apparatus may read and execute the program code stored in the storage means or the storage medium when used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　複数枚の静止画像をロスレスに、かつデータ量を小さく圧縮する画像圧縮方法を実現する。本発明の符号化装置は、複数の画像間で可逆Wavelet変換によるスライス間処理を行い（スライス間処理は任意）、原画像からパターン情報を分離し、原画像の符号化時にパターン情報を利用して複数の予測方法から一つの予測方法を選択することによって画素の予測精度を上げ、ロスレスに、かつデータ量を小さく画像を圧縮する。

Description

画像符号化装置、及び画像復号装置
　本発明は、画像を符号化するための画像符号化装置、及び符号化画像を復号するための画像復号装置に関する。
　医療用の画像診断装置としてＣＴやＭＲＩが利用されている。ＣＴではＸ線を用いて、ＭＲＩでは核磁気共鳴を用いて、人体の断層撮影が可能となっている。撮影された画像はＤＩＣＯＭ(Digital Imaging and COmmunication in Medicine)と呼ばれる規格方式に従ってデジタルデータ化して記録される。医療用画像に関しては、オリジナルデータを保存しておく必要があるため、圧縮方式としては可逆なロスレス圧縮方式、例えばＪＰＥＧ－ＬＳ規格(ISO-14495-1/ITU-T T.87)等が用いられている。
　一般に医療用画像診断装置では、複数枚の断層画像がマルチスライスで撮影される。このように撮影されたスライス画像間には相関性があるため、例えば特許文献１には、スライス画像間の処理によって圧縮率を向上させる方法が開示されている。また、特許文献２には、撮影された画像の特徴によって画素を分離し符号化する方法が開示されている。
特開２００７－２９５１７０号公報 特開２００６－２９５５６１号公報
　しかしながら、特許文献１に開示の方法は、撮影された画像情報の特徴を十分利用できておらず、圧縮率向上に限界があった。また、特許文献２に開示の方法は、画像を分離してそれぞれ符号化するものであり、画像の特徴に応じた圧縮率向上については述べられていない。
　一般に、画像には領域毎に特徴があり、領域毎に適切な符号化方式を当てはめることにより従来技術よりも圧縮効率を高めることができる。
　また、マルチスライス撮影された画像については、さらにこれに加えてスライス画像間の相関性を利用した処理を行うことによってさらに圧縮効率を高めることができる。
　本発明はこのような状況に鑑みてなされたものであり、圧縮効率が高く、可逆なロスレス画像符号化・復号化を可能にする技術を提供するものである。
　上記目的を達成するために、本発明では、原画像からそのパターン画像情報が抽出され、それに基づいて予め用意された複数種類の予測方式から１つが選択される。そして、その選択された予測方式に従って符号化対象画素の予測値が生成され、当該予測値と符号化対象画素との予測誤差が符号化され、この符号化画像データとパターン画像情報の符号化データとが統合されて伝送される。復号側では、この符号化処理と逆の処理が行われる。
　即ち、本発明による画像符号化装置は、原画像において所定の特徴を有する領域を判定し、原画像からパターン画像情報を分離する領域判定部と、パターン画像情報に基づいて予め用意された複数種類の予測方式から１つを適切な予測方式として選択し、当該選択された予測方式に従って符号化対象画素の予測データを生成する画素予測部と、予測データと符号化対象画素の予測誤差（残差）を符号化（エントロピー符号化）し、符号化画像データを生成する画素符号化部と、パターン画像情報を符号化し、符号化パターン情報を生成するパターン符号化部と、符号化画像データと符号化パターン情報を統合する符号統合部と、を備えている。より具体的には、画素予測部は、パターン画像情報を用いて符号化対象画像と予測に用いる画素が同一領域に存在するか否か判断し、当該判断結果に従って１つの予測方式を選択する。ここで、複数種類の予測方式は、例えば、符号化対象画素の隣接画素から予測を行う隣接画素予測方式と、符号化対象画素の近傍の画素を用いて、画像のエッジをまたがず、変化の少ない方向に予測を行う近傍画素予測方式と、符号化対象画素の周囲の複数画素から構成されるテンプレートを用いて予測を行うイントラテンプレート予測方式と、を含んでいる。予測方式としてはこの３つに限られるものではない。
　なお、画素予測部は、パターン画像情報を用いずに予測データを算出することも可能である。この場合、画素予測部は、予め用意された複数種類の予測方式のそれぞれに従って複数の予測データを計算し、これらをメジアン処理によって予測データを求める。
　また、領域判定部は、原画像の輝度解析を実行して各輝度値の頻度を示すヒストグラムを生成し、当該ヒストグラムの分布により領域（例えば、前景領域、背景領域、周辺領域）を判定する。
　本画像符号化装置は、さらに、原画像として入力された複数のスライス画像において可逆的な周波数変換処理を実行するスライス間処理部を備える。この場合、領域判定部は、スライス間処理が実行された原画像を解析し、パターン画像を分離する。
　一方、本発明による画像復号装置は、供給された符号化データから分離された符号化パターン情報を復号して、パターン画像情報を生成するパターン復号部と、パターン画像情報に基づいて予め用意された複数種類の予測方式から１つを適切な予測方式として選択し、当該選択された予測方式に従って復号対象画素の予測データを生成する画素予測部と、符号化データから分離された符号化画像データを復号して、予測誤差データを生成し、当該予測誤差データと予測データとから画素データを復号する画素復号部と、復号された画素データから復号画像を生成する復号画像生成部と、を備えている。より具体的には、画素予測部は、パターン画像情報を用いて復号対象画像と予測に用いる画素が同一領域に存在するか否か判断し、当該判断結果に従って１つの予測方式を選択する。また、複数種類の予測方式は、例えば、復号対象画素の隣接画素から予測を行う隣接画素予測方式と、復号対象画素の近傍の画素を用いて、画像のエッジをまたがず、変化の少ない方向に予測を行う近傍画素予測方式と、復号対象画素の周囲の複数画素から構成されるテンプレートを用いて予測を行うイントラテンプレート予測方式と、を含む。基本的に、符号化の際に用いられた予測方式が選択される。
　本画像復号装置は、さらに、復号画像生成部によって生成された複数の復号画像を、複数のスライス画像として格納する画像バッファと、符号化の際に用いられた可逆的な周波数変換処理の逆処理を、複数のスライス画像に対して実行するスライス間処理部と、を備えている。そして、画像復号装置からは、スライス間処理された画像が出力される。
　さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
　本発明によれば、複数枚の静止画像をロスレスに、かつデータ量を小さく圧縮することが可能となる。
本発明の実施形態による画像符号化装置の概略構成を示すブロック図である。 本発明の実施形態による画像復号装置の概略構成を示すブロック図である。 本発明の第１の実施形態による画像符号化方法の概念を説明するための図である。 本発明の実施形態による予測方式の例を示す図である。 本発明の実施形態による予測方式決定処理を説明するためのフローチャートである。 本発明の実施形態による画像符号化処理の全体概要を説明するためのフローチャートである。 本発明の実施形態による画像復号化処理の全体概要を説明するためのフローチャートである。 本発明の第２の実施形態に画像符号化方法の概念を説明するための図である。
　以下、添付図面を参照して本発明の実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。
（１）第１の実施形態
　＜画像符号化装置の構成＞
　図１は、本発明の実施形態による画像符号化装置の概略構成を示すブロック図である。画像符号化装置１００は、複数の画像を入力し保持する画像バッファ１０１と、複数のスライス画像の間で圧縮効率を高めるための可逆的処理を行い、画像バッファ１０１に戻すスライス間処理部１０２と、各画像の領域判定を行い、原画像とパターン画像を分離する領域判定部１０３と、パターン画像を保持するパターン情報保持部１０４と、符号化する画像の画素位置を走査し、パターン情報と既に復号された周辺画素の値を用いて、複数の予測方式から１つの予測方式を選択し、画素の予測値を計算する画素予測部１０５と、計算された予測値から残差を計算し、画素の符号化を行う画素符号化部１０６と、パターン画像の符号化を行うパターン符号化部１０７と、符号化ストリームを統合する符号統合部１０８と、を備えている。
　以下では医療画像等のモノクロ画像における可逆ロスレス符号化を一例に説明するが、カラー画像を扱う場合には各カラープレーン（例えばＲ、Ｇ，Ｂ）に対して同様の処理を行えばよい。また、本発明は、量子化や周波数変換のステップを加えることにより不可逆なロッシー符号化にも応用可能である。
　画像バッファ１０１は、入力された複数の画像を保持する。複数の画像をスライス間処理部１０２に渡し、スライス間処理をした後、再度処理済の画像を格納する。その後、各画像を符号化のために領域判定部１０３に渡す。以下の例では圧縮効率を向上させるためにスライス間処理を行っているが、簡略化する場合には省略してもよい。スライス間の処理が必要ない場合には複数の画像を保持しなくてもよいため、画像バッファ１０１は画像１枚分の容量だけ有していればよい。
　スライス間処理部は、複数のスライス画像の間で画素の値を参照し、圧縮率を向上させるための可逆な処理を行う。例えばＨａａｒ　Ｗａｖｅｌｅｔを用いた可逆Ｗａｖｅｌｅｔ変換を行う。以下、スライス画像間で可逆Ｗａｖｅｌｅｔ変換を行う例を示す。連続する４枚のスライス画像の座標位置(x,y)の画素値をS1(x,y), S2(x,y), S3(x,y), S4(x,y)とした時、これら４つの値を連続する１次元データとみなしてＷａｖｅｌｅｔ変換を行う。得られた４つの係数を低周波側からc1, c2, c3, c4とした時、直流成分であるc1以外の係数に非負とするためのオフセットofsを加えることにより、F1(x,y) = c1, F2(x,y) = c2 + ofs, F3(x,y) = c3 + ofs, F4(x,y) = c4 + ofsとして座標位置(x,y)の画素値が得られ、F1, F2, F3, F4の４枚の周波数変換後の画像が得られる。処理する画素位置(x,y)は事前にスライス間で対応位置を探索する処理を行ってもよい。処理するスライス画像数は任意である。直流成分に何らかのオフセットを足してもよい。可逆Ｗａｖｅｌｅｔ変換にはＨａａｒ　Ｗａｖｅｌｅｔの他に、ＪＰＥＧ２０００で用いられるＤ５／３Ｗａｖｅｌｅｔ等がある。スライス間処理を行うことによって画像群全体の圧縮効率を向上させることができるが、上述したように処理の簡略化のためにこの処理を行わなくてもよい。
　領域判定部１０３は、各画像の領域判定を行い原画像とパターン画像を分離する。パターン画像は、原画像に含まれる一定の特徴を持つ画像領域をパターンとして示す画像である。２値画像でもよいし、原画像より階調数の少ない画像でもよい。画像領域とは一定の特徴を共有する画素の集合であるが、原画像は、例えば前景領域、背景領域等に分けられる。医療画像においては、前景領域は撮影された人体の組織部分に当たり、背景領域はその他のＣＴ等における中空部分、非撮影部分に当たる。領域判定部１０３は、原画像とパターン画像の２枚を出力してもよいし、原画像をさらに分離し、前景画像、背景画像とパターン画像の３枚に分離してもよい（後者については第２の実施形態参照）。なお、パターン画像に対しては同じ領域が連続するように画素の穴埋め処理等を行ってもよい。パターン画像の分離方法、パターン画像の例については後述する。
　パターン情報保持部１０４は、パターン画像を保持し、各画素の領域情報を画素予測部１０５に提供する。
　画素予測部１０５は、符号化する画像の画素位置を走査し、画素の予測処理を行う。また、パターン情報保持部１０４から、現在符号化しようとしている画素位置、及び予測に用いる画素位置がどの画像領域に含まれるのか、同じ画像領域に含まれるか否か等の情報を得て、これを用いて複数の予測方式から１つの予測方式を選択する。予測方式の詳細については後述する。同じ値の画素が連続する領域等では、ランレングスモードとして画素予測部１０５の予測処理をスキップしてもよい。これはＪＰＥＧ－ＬＳ方式等と同様である。
　画素符号化部１０６は、画素予測部１０５によって選択され計算された予測値と、符号化する画像の画素値から差分を取り、これ（残差成分）をエントロピー符号化する。符号化する際に用いるテーブルは周辺画素の状況等に合わせて変化させてよい。また、同じ値の画素が連続する領域等ではランレングスモードとして別途周辺の画素と一緒に符号化してもよい。符号化方式としては、ＪＰＥＧ－ＬＳ等既存方式と同じものを用いればよい。そして、画素符号化部１０６は、符号化ストリームを符号統合部１０８に提供する。
　パターン符号化部１０７は、パターン画像を符号化する。パターン画像は２値画像あるいは階調数の少ない画像であり、スライス画像間で形状が類似しているため、パターン符号化部１０７は、スライス画像間で画素単位、あるいはブロック単位で予測処理を行い、位置ベクトルと残差成分を符号化する。スライス単位で従来のＪＰＥＧ－ＬＳ方式等を用いて符号化してもよい。そして、パターン符号化部１０７は、符号化ストリームを符号統合部１０８に提供する。
　符号統合部１０８は、原画像の符号化ストリームとパターン画像の符号化ストリームを合成（多重化）し、１つのストリームとして出力する。なお、本発明では、各符号化対象画素について複数の予測符号化方式のうちどれを用いたかを示す情報（フラグ）は伝送されない。各画素について当該情報を付加して伝送すると伝送データ量が膨大となり、却って圧縮効率が低下するからである。このため、本発明では、予測符号化方式選択の基となるパターン画像の情報を伝送するようにしている。
　以上説明した画像符号化装置により複数枚の静止画像をロスレスに、かつデータ量を小さく圧縮することが可能となる。
　＜画像復号装置の構成＞
　図２は、本発明の実施形態による画像復号装置の概略構成を示すブロック図である。画像復号装置２００は、符号化ストリームを受信し、符号を分離する符号分離部２０１と、パターン画像を復号するパターン復号部２０２と、復号したパターン画像を保持するパターン情報保持部２０３と、パターン情報と既に復号された周辺画素の値を用いて、複数の予測方式から１つの予測方式を選択し、画素の予測値を計算する画素予測部２０４と、復号された残差情報と予測値から画素を復元する画素復号部２０５と、復号された画像を保持する画像バッファ２０６と、複数のスライス画像の間で符号化装置側のスライス間処理部１０２の逆の処理を行い、画像バッファに戻すスライス間処理部２０７と、を備えている。
　符号分離部２０１は、符号化ストリームを受信し、符号化ストリームのデータ構造解析を行ってパターン画像の符号化ストリームと復元する画像の符号化ストリームとに分離する。パターン画像の符号化ストリームは、パターン復号部２０２に供給され、復元する画像の符号化ストリームは画素復号部２０５に供給される。
　パターン復号部２０２は、パターン画像を復号する。これはパターン符号化部１０７の符号化方式に対応する復号方式を用いればよい。スライス画像間で予測処理を行っている場合には、位置ベクトルと残差成分からパターン画像を復号し、スライス単位で従来のＪＰＥＧ－ＬＳ方式等によって符号化されている場合にはスライス毎に復号する。そして、パターン復号部２０２は、得られたパターン画像をパターン情報保持部２０３に提供する。
　パターン情報保持部２０３は、パターン画像を保持し、各画素の領域情報を画素予測部２０４に提供する。
　画素予測部２０４は、復号する画像の画素位置を走査し画素の予測を行う。また、画素予測部２０４は、パターン情報保持部２０３から、現在復号しようとしている画素位置、及び予測に用いる画素位置がどの画像領域に含まれるのか、同じ画像領域に含まれるか否か等の情報を得て、これを用いて複数の予測方式から１つの予測方式を選択する。予測方式の詳細については後述する。同じ値の画素が連続する領域等では、ランレングスモードとして画素予測部２０４の予測処理をスキップしてもよい。これはＪＰＥＧ－ＬＳ方式等と同様である。
　画素復号部２０５は、符号分離部２０１から得た符号化ストリームのエントロピー符号を復号し、これから得られる残差成分等の情報と、画素予測部２０４によって選択され計算された予測値から画素値を復号する。同じ値の画素が連続する領域等ではランレングスモードとして別途復号される。復号された画像は画像バッファ２０６に格納される。
　画像バッファ２０６は、復号された複数の画像を保持する。また、複数の画像がスライス間処理部２０７に供給され、スライス間処理が実行された後のデータが再度画像バッファ２０６に格納され、その後出力される。スライス間処理は省略してもよい。スライス間の処理を省略する場合には複数の画像を保持しなくてもよいため、画像バッファ２０６は画像１枚分の容量だけ有していればよい。ここで行われるスライス間処理は、前述の符号化装置におけるスライス間処理部１０２に対応して、周波数変換後の画像を元の画像に戻す処理を行えばよい。例えば、Ｈａａｒ　Ｗａｖｅｌｅｔを用いたＷａｖｅｌｅｔ変換では、逆Ｗａｖｅｌｅｔ変換を行えばよい。
　以上説明した画像復号装置により、複数枚の静止画像をロスレスに、かつデータ量を小さく圧縮した符号化ストリームを元の画像に復元することが可能となる。
　＜画像符号化の概念＞
　図３は、本発明の第１の実施形態による画像符号化処理の概念を説明するための図である。本実施形態では、まず入力された原画像の複数枚のスライス画像を画像バッファ１０１に格納する。そして、連続するスライス画像間にて可逆Ｗａｖｅｌｅｔ変換（スライス間処理１０２）を行い、さらにオフセット処理等を行うことによって周波数変換された画像に変換する。上述したように、このスライス間処理を省略して、スライス画像単位で処理しても構わない。
　続いて、スライス画像毎にパターンの分離（領域判定部１０３）を行う。パターン画像は、原画像に含まれる一定の特徴を持つ画像領域をパターンとして示す画像である。本実施形態では、医療画像を例に、人体の組織部分を前景領域、中空部分を背景領域、非撮影部分を周辺領域とし、２値画像として記録する場合について説明する。医療画像では、ヒストグラムを用いることによって大まかに領域を分割することができる。図３の原画像の下に示されたヒストグラムにおいて、横軸ｌが画素値（輝度値）を示し、縦軸ｈ（ｌ）が輝度値ｌの頻度数を示す。ＣＴによって撮影された画像では、ヒストグラムのピークが３つ現れることが多い。一番左のピークが原画像の周辺部分にある非撮影部分（周辺領域）に当たり、真ん中のピークが中空部分の背景領域に当たり、一番右のピークが人体組織部分の前景領域に当たる。従って、ヒストグラムを解析し、これらのピークを見つけ各ピークの中間地点で分割することにより、原画像を輝度で分類してパターン画像を作成することができる。また、周辺領域は背景領域によって前景領域と分離されているので、２値画像において周辺領域と前景領域に対して０を割り当て、背景領域に１を割り当てることによって、２値画像を用いて３つの領域をパターン画像として記録することができる（パターン情報保持部１０４）。パターン画像は同じ領域が連続するように画素の穴埋め処理等を行ってもよい。これには多数決フィルタ等を用いることができる。
　パターン画像はスライス画像間で形状が類似しているため、スライス画像間で画素単位、あるいはブロック単位で予測処理を行い、位置ベクトルと残差成分を符号化すればよい（パターン符号化部１０７）。また、スライス画像単位で従来のＪＰＥＧ－ＬＳ方式等を用いて符号化してもよい。
　次に、パターン画像を利用して周波数変換された原画像を符号化する。画像は左上の位置からラスタスキャン順に走査され、順に符号化される。符号化対象画素は、それ以前に符号化された画素を利用して予測値が計算される。本発明では、複数の予測方式を用いて予測値を計算し、パターン情報を用いて適切な予測値を選択する（画素予測部１０５）。
　図４は、複数の予測方式の例を示す図である。まず、図４（ａ）は隣接画素予測方式である。これはＪＰＥＧ－ＬＳ方式でも用いられている。符号化対象画素の左の画素をＡ、上の画素をＢ、左上の画素をＣとした時、予測値Ｘは次の式（１）を用いて計算される。
Figure JPOXMLDOC01-appb-M000001
　図４（ｂ）は近傍画素予測方式である。符号化対象画素位置を(x,y)とし、その輝度値をS(x,y)とする。またvに対する絶対値演算をABS(v)とする。ここでi=1～4において、Vi、Piをそれぞれ、
V1 = ABS( S(x-2, y) - S(x-1, y)), P1 = ( S(x-2, y) + S(x-1, y) + 1 )/2
V2 = ABS( S(x-2, y-2) - S(x-1, y-1)), P2 = ( S(x-2, y-2) + S(x-1, y-1) + 1 )/2
V3 = ABS( S(x, y-2) - S(x, y-1)), P3 = ( S(x, y-2) + S(x, y-1) + 1 )/2
V4 = ABS( S(x+2, y-2) - S(x+1, y+1)), P4 = ( S(x+2, y-2) + S(x+1, y+1) + 1 )/2
とした時、予測値ＸはViを最小とするiを取るPiとなる。即ち、予測値Ｘは式（２）を用いて計算される。上記Piの式において、「＋１」をしてから平均を取っているのは、Ｃ言語によるプログラミングで四捨五入を実現するためのものである。従って、別のプログラム言語を使う際には「＋１」が不要な場合もあることに注意されたい。
Figure JPOXMLDOC01-appb-M000002
　なお、近傍画素予測は、符号化対象画素に対して、方向性を考慮しながらエッジをまたがない、変化の少ない方向に予測を行う方法であり、予測値Piについては上記のように平均を取る方法ではなく線形予測を行ってもよい。
　図４（ｃ）はイントラテンプレート予測方式である。この予測方式では、まず符号化対象画素位置の左、上、左上、右上の４つの画素をテンプレートとする。このテンプレートをすでに符号化された画像領域に対して符号化対象画素位置に近い所から順に移動させ、一定の範囲内において最も誤差が小さくなる位置を探索する。誤差の計算は、テンプレートと移動させた位置の画素値の二乗誤差和等を用いればよい。求まった誤差最小の位置から符号化対象画素位置に対応する画素値を取得し、これを予測値とする。テンプレートのサイズは任意である。探索方式は順序が一意に定まっていれば任意である。
　＜予測方式選択方法＞
　図５は、複数の予測方式の中からパターン情報を用いて適切な１つの予測方式を決定する処理を説明するためのフローチャートである。ここでは例として、原画像の前景領域、背景領域、周辺領域がパターン画像によって識別され、予測方式として前述の隣接画素予測、近傍画素予測、イントラテンプレート予測が用いられる場合を挙げる。また、符号化対象画素の上、左、左上、右上の画素の集合を隣接画素群とし、符号化対象画素を取り囲む画素の集合を近傍画素群とする。
　まず、画素予測部１０５は、当該符号化対象画素が属する原画像のパターン情報をパターン情報保持部１０４から取得し、当該パターン情報から、符号化対象画素と隣接画素群が同じ領域（前景領域、背景領域、周辺領域の何れか）に含まれるかどうかを判定する（ステップ５０１）。
　符号化対象画素と隣接画素群が同じ領域に含まれなければ（ステップ５０１でＮｏ）、画素予測部１０５は、予測方式としてイントラテンプレート予測を選択する（ケース（ｃ））。
　符号化対象画素と隣接画素群が同じ領域であれば（ステップ５０１でＹｅｓ）、画素予測部１０５は、符号化対象画素と近傍画素群が同じ領域に含まれるかどうかを判定する（ステップ５０２）。
　符号化対象画素と近傍画素群が同じ領域に含まれなければ（ステップ５０２でＮｏ）、画素予測部１０５は、予測方式として隣接画素予測を選択する（ケース（ａ））。
　符号化対象画素と近傍画素群が同じ領域にあれば（ステップ５０２でＹｅｓ）、画素予測部１０５は、予測方式として近傍画素予測を選択する（ケース（ｂ））。
　なお、上記の方法を基本として、隣の画素においてどの予測方式が選ばれたかを考慮して予測方式を変更してもよい。また、判定の基準としては、符号化対象画素がどの領域に含まれるか、領域の境界からどの程度離れているか、周囲の領域の分布がどのようになっているか、を組み合わせて判定してもよい。
　また、最も単純な方式としてはパターン画像を用いない方式もありうる。例えば、隣接画素予測、近傍画素予測、イントラテンプレート予測によって３つの予測値を計算し、この３つの数値のｍｅｄｉａｎ（メジアン）を予測値とする方法である。領域の特徴は反映されないが、極端な値が排除されるため既存方式より圧縮効率を向上させることができる。パターン画像が必要ないため、付加的な符号量も発生しない。
　予測値が選択された後、符号化対象画素の画素値から予測値によって差分を取り、エントロピー符号化して出力する。符号化する際のテーブルは周辺画素の状況等に合わせて変化させてよく、同じ値の画素が連続する領域等ではランレングスモードとして別途周辺の画素と一緒に符号化する。エントロピー符号化方式やランレングスモードについてはＪＰＥＧ－ＬＳ等既存方式と同じものを用いればよい。
　上記では符号化方法について説明したが、復号方法においてもパターン情報による予測値の選択方法は同様である。
　＜画像符号化処理の全体の流れ＞
　図６は、図１に示す画像符号化装置１００によって実行される画像符号化処理の全体概要を説明するためのフローチャートである。
　まず、原画像が画像符号化装置１００に入力され（ステップ６０１）、複数のスライス画像がバッファ１０１に保持される(ステップ６０２）。
　また、スライス間処理を行う場合（ユーザによって設定可能）には、スライス間処理部１０２は、複数のスライス画像を用いて、スライス画像間の可逆Ｗａｖｅｌｅｔ変換を行う（ステップ６０３）。可逆Ｗａｖｅｌｅｔ変換の方法については前述の通りである。このステップは簡略化する場合には行わなくてもよい。
　さらに、領域判定部１０３が、原画像とパターン画像を分離する（ステップ６０４）。原画像とパターン画像の分離方法については前述の通りである。
　そして、画素予測部１０５が、原画像の画素を走査し、複数の予測方式について予測値を計算する（ステップ６０５）。ここで、複数の予測方式としては、上述のように、隣接画素予測、近傍画素予測、イントラテンプレート予測等を用いればよい。
　続いて、画素予測部１０５がパターン画像を参照し、最も適切な予測方式の予測値を選択し、画素符号化部１０６がその予測値をエントロピー符号化等により符号化する（ステップ６０６）。複数の予測値からパターン画像を用いて適切な予測値を選択し符号化する方法については前述の通りである。
　一方、パターン符号化部１０７は、パターン画像をスライス間予測し、符号化する（ステップ６０７）。
　そして、符号統合部１０８は、原画像の符号化データとパターン画像の符号化データとを合成し、符号化ストリームとして出力（伝送）する（ステップ６０８）。
　＜復号化処理の全体の流れ＞
　図７は、図２に示す画像復号装置２００によって実行される画像復号処理の全体概要を説明するためのフローチャートである。
　まず、符号化ストリームが画像復号装置２００に入力され、符号分離部２０１が、符号化ストリームのヘッダ情報等を参照してパターン画像の符号化データと原画像の符号化データとに分離する（ステップ７０１）。
　パターン復号部２０２は、パターン画像の符号化データの符号化処理に対応した方法でパターン画像を復号する（ステップ７０２）。
　また、画素復号部２０５は、原画像を復号するため画素を走査し、複数の予測方式について予測値を計算する（ステップ７０３）。
　さらに、画素予測部２０４が、復号されたパターン画像を参照し、最も適切な予測方式の予測値を選択して復号する（ステップ７０４）。複数の予測値からパターン画像を用いて適切な予測値を選択し復号する方法については前述の通りである。
　そして、画素復号部２０５は、複数のスライス画像を画像バッファ２０６に保持する（ステップ７０５）。
　また、符号化処理の際にスライス処理が行われている場合には、スライス間処理部２０７は、複数のスライス画像を用いて、スライス間の可逆Ｗａｖｅｌｅｔ変換における逆Ｗａｖｅｌｅｔ変換を行う（ステップ７０６）。これはステップ６０３における可逆Ｗａｖｅｌｅｔ変換の逆変換を行えばよい。このステップはステップ６０３における可逆Ｗａｖｅｌｅｔ変換を行わない場合には省略される。
　最後に、生成された復号画像（ロスレス画像）が出力される（ステップ７０７）。
（２）第２の実施形態
　図８は、本発明の第２の実施形態による画像符号化処理の概念について説明するための図である。本実施形態では、原画像とパターン画像を分離する際に、原画像とパターン画像の２枚を出力する（第１の実施形態における処理に相当）のではなく、原画像をさらに分離し、前景領域を含む画像、背景領域と周辺領域を含む画像、パターン画像の３枚を出力する。なお、画像符号化装置及び画像復号装置の構成は、第１の実施形態と同様であるが、領域分割部１０３、画素予測部１０５、及び画素復号部２０５の動作が異なってくる。
　つまり、領域分割部１０３は、原画像をさらに分離し、前景領域を含む画像、背景領域と周辺領域を含む画像、パターン画像の３枚を出力する。そして、画素予測部１０５が、前景領域を含む画像と、背景領域と周辺領域を含む画像について、それぞれパターン画像を参照して複数の予測方式から適切な予測方式を選択し符号化を行う。
　このように前景領域の画像と背景領域の画像を別々に符号化すると、画像に含まれるノイズが同じ特徴を持つようになるので、一枚の画像として符号化するよりも符号化効率が高くなる場合がある。複数の画像をそれぞれ符号化するという点以外については、図３に示した符号化方法と同様である。
（３）まとめ
　本発明による技術は、帯域幅の小さい画像伝送が可能な医療用画像診断装置、ＣＴ、ＭＲＩ等の撮影装置、ＳＥＭ画像を記録・保存する大容量の画像記録装置、衛星地図情報を処理・保存する装置等に適用可能である。なお、本発明が提供する技術は基本的にはロスレス符号化・復号化処理に適用されるが、ロッシー符号化・復号化処理にも適用可能である。
　本発明では、原画像からそのパターン情報が抽出され、それに基づいて予め用意された複数種類の予測方式（隣接画素予測、近傍画素予測、イントラテンプレート（イントラベクトル）予測等）から１つが選択される。そして、その選択された予測方式に従って符号化対象画素の予測値が生成され、当該予測値と符号化対象画素との差分である予測誤差（残差）が符号化（例えば、エントロピー符号化）され、この符号化画像データとパターン画像情報の符号化データとが統合されて伝送される。復号側では、この符号化処理と逆の処理が行われる。このようにすることにより、符号化側では、複数枚の静止画像をロスレスに、かつデータ量を小さく圧縮する技術が実現できる。また、復号側では、画像をロス
レスに元の画像に戻すことができる。
　また、上述のように、本発明では、予測方式を示すフラグを伝送せずにパターン情報そのものを伝送する。このように、画素単位で余計なフラグ情報を付加する必要がないので、圧縮率を向上させることができる。
　また、パターン情報を用いて、符号化（復号）対象画像と予測に用いる画素が同一領域に存在するか否か判断し、当該判断結果に従って１つの予測方式を選択する。このように、符号化（復号）対象画像と予測に用いる画素との関係において予測方式が決定されるので、圧縮率の向上に資する最適な予測方式を選択して予測画素値を生成することができる。
　さらに、本発明では、複数の画像（原画像及び復号画像）の画像（スライス画像）間で可逆的周波数変換処理（例えば、Ｈａａｒ　Ｗａｖｅｌｅｔ等の可逆Ｗａｖｅｌｅｔ変換）を実行するようにしてもよい。これにより、より圧縮効率を向上させることができるようになる。
　なお、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
　また、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
１０１…画像バッファ、１０２…スライス間処理部、１０３…領域判定部、１０４…パターン情報保持部、１０５…画素予測部、１０６…画素符号化部、１０７…パターン符号化部、１０８…符号統合部、２０１…符号分離部、２０２…パターン復号部、２０３…パターン情報保持部、２０４…画素予測部、２０５…画素復号部、２０６…画像バッファ、２０７…スライス間処理部

Claims (11)

  1. 　入力画像を圧縮して符号化画像データを生成する画像符号化装置であって、
    　原画像を解析して前記原画像において所定の特徴を有する領域を判定し、前記原画像からパターン画像情報を分離する領域判定部と、
    　前記パターン画像情報に基づいて予め用意された複数種類の予測方式から１つを適切な予測方式として選択し、当該選択された予測方式に従って符号化対象画素の予測データを生成する画素予測部と、
    　前記予測データと前記符号化対象画素との予測誤差データを符号化し、符号化画像データを生成する画素符号化部と、
    　前記パターン画像情報を符号化し、符号化パターン情報を生成するパターン符号化部と、
    　前記符号化画像データと前記符号化パターン情報を統合する符号統合部と、
    を備えることを特徴とする画像符号化装置。
  2. 　請求項１において、
    　前記画素予測部は、前記パターン画像情報を用いて前記符号化対象画像と予測に用いる画素が同一領域に存在するか否か判断し、当該判断結果に従って前記１つの予測方式を選択することを特徴とする画像符号化装置。
  3. 　請求項２において、
    　前記複数種類の予測方式は、前記符号化対象画素の隣接画素から予測を行う隣接画素予測方式と、前記符号化対象画素の近傍の画素を用いて、画像のエッジをまたがず、変化の少ない方向に予測を行う近傍画素予測方式と、前記符号化対象画素の周囲の複数画素から構成されるテンプレートを用いて予測を行うイントラテンプレート予測方式と、を含むことを特徴とする画像符号化装置。
  4. 　請求項１において、
    　前記画素予測部は、前記パターン画像情報を用いずに、前記予め用意された複数種類の予測方式のそれぞれに従って計算された複数の予測データから、メジアン処理によって予測データを求めることを特徴とする画像符号化装置。
  5. 　請求項１において、
    　前記領域判定部は、前記原画像の輝度解析を実行して各輝度値の頻度を示すヒストグラムを生成し、当該ヒストグラムの分布により前記領域を判定することを特徴とする画像符号化装置。
  6. 　請求項１において、
    　さらに、前記原画像として入力された複数のスライス画像において可逆的な周波数変換処理を実行するスライス間処理部を備え、
    　前記領域判定部は、スライス間処理が実行された原画像を解析し、前記パターン画像を分離することを特徴とする画像符号化装置。
  7. 　符号化画像データを復号し、復号画像データを出力する画像復号装置であって、
    　供給された符号化データから分離された符号化パターン情報を復号して、パターン画像情報を生成するパターン復号部と、
    　前記パターン画像情報に基づいて予め用意された複数種類の予測方式から１つを適切な予測方式として選択し、当該選択された予測方式に従って復号対象画素の予測データを生成する画素予測部と、
    　前記符号化データから分離された符号化画像データを復号して、予測誤差データを生成し、当該予測誤差データと前記予測データとから画素データを復号する画素復号部と、
    　前記復号された画素データから復号画像を生成する復号画像生成部と
    を備えることを特徴とする画像復号装置。
  8. 　請求項７において、
    　前記画素予測部は、前記パターン画像情報を用いて前記復号対象画像と予測に用いる画素が同一領域に存在するか否か判断し、当該判断結果に従って前記１つの予測方式を選択することを特徴とする画像復号装置。
  9. 　請求項８において、
    　前記複数種類の予測方式は、前記復号対象画素の隣接画素から予測を行う隣接画素予測方式と、前記復号対象画素の近傍の画素を用いて、画像のエッジをまたがず、変化の少ない方向に予測を行う近傍画素予測方式と、前記復号対象画素の周囲の複数画素から構成されるテンプレートを用いて予測を行うイントラテンプレート予測方式と、を含むことを特徴とする画像復号装置。
  10. 　請求項７において、
    　前記画素予測部は、前記パターン画像情報を用いずに、前記予め用意された複数種類の予測方式のそれぞれに従って計算された複数の予測データから、メジアン処理によって予測データを求めることを特徴とする画像復号装置。
  11. 　請求項７において、
    　さらに、前記復号画像生成部によって生成された複数の復号画像を、複数のスライス画像として格納する画像バッファと、
    　符号化の際に用いられた可逆的な周波数変換処理の逆処理を、前記複数のスライス画像に対して実行するスライス間処理部と、を備え、
    　前記スライス間処理された画像を出力することを特徴とする画像復号装置。
PCT/JP2010/068344 2009-10-21 2010-10-19 画像符号化装置、及び画像復号装置 WO2011049074A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-242582 2009-10-21
JP2009242582A JP2013034035A (ja) 2009-10-21 2009-10-21 画像符号化装置、及び画像復号装置

Publications (1)

Publication Number Publication Date
WO2011049074A1 true WO2011049074A1 (ja) 2011-04-28

Family

ID=43900299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/068344 WO2011049074A1 (ja) 2009-10-21 2010-10-19 画像符号化装置、及び画像復号装置

Country Status (2)

Country Link
JP (1) JP2013034035A (ja)
WO (1) WO2011049074A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160737A (ja) * 2019-03-26 2020-10-01 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06164940A (ja) * 1992-11-19 1994-06-10 Mitsubishi Electric Corp 符号化装置
JP2000092333A (ja) * 1998-09-17 2000-03-31 Fuji Xerox Co Ltd 画像符号化復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06164940A (ja) * 1992-11-19 1994-06-10 Mitsubishi Electric Corp 符号化装置
JP2000092333A (ja) * 1998-09-17 2000-03-31 Fuji Xerox Co Ltd 画像符号化復号装置

Also Published As

Publication number Publication date
JP2013034035A (ja) 2013-02-14

Similar Documents

Publication Publication Date Title
Lucas et al. Lossless compression of medical images using 3-D predictors
KR100362863B1 (ko) 화상 부호화 장치 및 화상 복호 장치
WO2009093672A1 (ja) 符号化装置および方法、並びに復号装置および方法
JP5902814B2 (ja) 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
US20100232691A1 (en) Image coding device, image decoding device, image coding method, and image decoding method
JP2005333622A (ja) イメージおよびビデオの予測可逆符号化
EP3557869B1 (en) Image processing device, image processing method, and program
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
TW201210351A (en) Moving image encoding device, moving image decoding device, moving image encoding method and moving image encoding method
US20070160298A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
EP3557868A1 (en) Image processing device, image processing method, and program
JP2006115459A (ja) Ｓｖｃの圧縮率を高めるシステムおよび方法
KR20110086521A (ko) 영역 기반의 부호화/복호화 장치 및 방법
JP2005152645A (ja) プログレッシブな医用画像ボリューム・ナビゲーション
WO2011049074A1 (ja) 画像符号化装置、及び画像復号装置
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
JP2006246351A (ja) 画像符号化装置および画像復号化装置
US8463057B2 (en) Image encoding apparatus and control method therefor
US10085032B2 (en) Encoding device, encoding method, and computer readable storage medium
KR102615404B1 (ko) 피쳐 정보에 대한 방법, 장치, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP6864557B2 (ja) 符号化装置、復号装置、及びプログラム
WO2019111316A1 (ja) 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
JP3869303B2 (ja) 画像復号化方法及び装置
JP2001333281A (ja) 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、画像符号化プログラムを記録する記録媒体及び復号化プログラムを記録する記録媒体
JP5195875B2 (ja) 復号装置及び方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10824923

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 10824923

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP