WO2016067557A1 - 予測画像生成装置および予測画像生成方法 - Google Patents

予測画像生成装置および予測画像生成方法 Download PDF

Info

Publication number
WO2016067557A1
WO2016067557A1 PCT/JP2015/005273 JP2015005273W WO2016067557A1 WO 2016067557 A1 WO2016067557 A1 WO 2016067557A1 JP 2015005273 W JP2015005273 W JP 2015005273W WO 2016067557 A1 WO2016067557 A1 WO 2016067557A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
pixel
pixels
predicted
unit
Prior art date
Application number
PCT/JP2015/005273
Other languages
English (en)
French (fr)
Inventor
栄太 小林
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/523,158 priority Critical patent/US20170318305A1/en
Priority to JP2016556201A priority patent/JP6589878B2/ja
Publication of WO2016067557A1 publication Critical patent/WO2016067557A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to encoding of moving images, and more particularly to generation of an intra-screen prediction image when encoding is performed.
  • High-quality video is distributed via broadcasts and communication lines, and is used in video display devices and information terminal devices.
  • the image data constituting the high-quality video is encoded on the transmission side and decoded and used by the terminal device on the reception side. Since enormous amounts of image data are required to transmit high-quality video, it is desirable that encoding with high compression efficiency can be performed at high speed. In addition, since an apparatus that processes a large amount of image data at a high speed increases the scale of the apparatus, it is desirable that the circuit scale of each functional unit that encodes image data is suppressed.
  • a technique related to encoding of moving images for example, a technique such as Non-Patent Document 1 is disclosed.
  • Non-Patent Document 1 describes the HEVC (High Efficiency Video Coding) standard which is a video coding system based on the ITU-T (International Telecommunication Union Telecommunication Standardization Sector) recommendation H.265 standard.
  • HEVC High Efficiency Video Coding
  • each frame of a digitized video is divided into coding tree units (CTUs).
  • CTU coding tree units
  • Each CTU is encoded in raster scan order.
  • Each CTU has a quad-tree structure and is encoded by being divided into coding units (CU: Coding Unit). Further, when encoding, each CU is divided into prediction units (PU: Prediction Unit) and subjected to prediction encoding.
  • CU Coding Unit
  • PU Prediction Unit
  • each CU When encoding is performed, each CU is predictively encoded by intra prediction or inter-frame prediction.
  • In-screen prediction is prediction for generating a predicted image from a reference image of an encoding target frame.
  • 33 types of intra-screen prediction are defined.
  • the intra-angle screen prediction is a prediction method for generating a prediction pixel by extrapolating reference pixels around an encoding target block in any of 33 types of directions.
  • DC Discrete Cosine
  • the reference pixels around the encoding target block are held by a storage element such as a register on the circuit.
  • a circuit that generates a prediction image generates a prediction pixel by referring to a reference pixel at an appropriate position when generating a prediction pixel.
  • a technique for performing parallel processing by arranging image processing circuits in parallel may be used.
  • a technique for performing image processing in parallel for example, a technique as disclosed in Patent Document 1 is disclosed.
  • Patent Document 1 discloses a technique related to an image processing apparatus that performs image data processing in parallel.
  • the image processing apparatus disclosed in Patent Document 1 includes a line memory that holds image data, a vertical filter processing unit, a buffer, and a horizontal filter processing unit.
  • each pixel data stored in a line memory is input to a vertical filter processing unit and processed in parallel in the vertical filter processing unit.
  • Data processed by the vertical filter processing unit is sent to the horizontal filter processing unit and subjected to predetermined image processing in parallel.
  • such a configuration eliminates the need for a buffer that absorbs the difference between the vertical and horizontal directions, thereby reducing the circuit area.
  • a prediction image generation device used for prediction encoding processing includes a plurality of prediction pixel generation circuits and performs prediction pixel generation processing in parallel.
  • the predicted image generation device generates a predicted image by sequentially generating predicted pixels corresponding to each pixel of the predicted image.
  • Non-Patent Document 1 and Patent Document 1 are not sufficient as techniques for generating a predicted image by parallel processing while suppressing the circuit scale.
  • an object of the present invention is to obtain a predicted image generation apparatus capable of generating an intra-screen predicted image by parallel processing while suppressing a circuit scale.
  • the predicted image generation apparatus of the present invention includes a storage unit, a selection unit, a predicted pixel generation unit, and a rearrangement buffer unit.
  • the storage unit holds a plurality of reference pixels.
  • the selection unit selects a reference pixel used for generating a predicted image in the screen as a necessary reference pixel based on the mode number and the pixel position.
  • the predicted pixel generation means generates a plurality of predicted pixels by parallel processing based on the necessary reference pixels.
  • the rearrangement buffer means rearranges the prediction pixels generated by the prediction pixel generation means based on the mode number to generate a prediction image.
  • the predicted image generation method of the present invention holds a plurality of reference pixels and selects a reference pixel used for generating a predicted image in the screen as a necessary reference pixel based on the mode number and the pixel position.
  • the predicted image generation method of the present invention generates a plurality of predicted pixels by parallel processing based on the necessary reference pixels, and rearranges the generated predicted pixels based on the mode number to generate a predicted image.
  • an in-screen predicted image can be generated by parallel processing while suppressing the circuit scale.
  • FIG. 1 shows an outline of the configuration of the predicted image generation apparatus of this embodiment.
  • the directions of the arrows between the blocks in the drawings in FIG. 1 and the following drawings show an example and do not limit the directions of signals between the blocks.
  • the predicted image generation apparatus according to this embodiment includes a storage unit 1, a selection unit 2, a predicted pixel generation unit 3, and a rearrangement buffer unit 4.
  • the storage unit 1 holds a plurality of reference pixels.
  • the selection unit 2 selects a reference pixel used for generating a predicted image in the screen as a necessary reference pixel based on the mode number and the pixel position.
  • the predicted pixel generation means 3 generates a plurality of predicted pixels by parallel processing based on the necessary reference pixels.
  • the rearrangement buffer unit 4 rearranges the predicted pixels generated by the predicted pixel generation unit 3 based on the mode number to generate a predicted image.
  • the predicted pixel generation unit 3 generates a plurality of predicted pixels by parallel processing based on the necessary reference pixels selected by the selection unit 2.
  • the rearrangement buffer unit 4 rearranges the predicted pixels to generate a predicted image.
  • the necessary reference pixels selected by the selection unit 2 are input to the prediction pixel generation unit 3, the prediction pixels are generated by parallel processing, and then rearranged to generate a prediction image, thereby generating the prediction pixel generation unit 3. It is not necessary to provide a circuit such as a selector for each prediction pixel in the previous stage. Therefore, the circuit area required for providing a plurality of selectors and the like can be suppressed. As a result, the predicted image generation apparatus of the present embodiment can generate an intra-screen predicted image by parallel processing while suppressing the circuit scale.
  • FIG. 2 shows an outline of the configuration of the intra-screen prediction image generation device 10 of the present embodiment.
  • the intra-screen prediction image generation device 10 according to the present embodiment is a device that generates an intra-screen prediction image in encoding of moving images.
  • the intra-screen prediction image generation apparatus 10 according to the present embodiment generates prediction pixels generated from the same reference pixel by parallel processing, and stores the prediction pixels in a buffer, and then rearranges the prediction pixels to generate a prediction image. It is said.
  • the intra-screen prediction image generation apparatus 10 according to the present embodiment can suppress the circuit area as compared with a configuration in which a reference pixel corresponding to each prediction pixel constituting a prediction image is sequentially selected.
  • the intra-screen prediction image generation device 10 of this embodiment includes a storage unit 11, a selection signal generation processing unit 12, a selection unit 13, a prediction pixel generation processing unit 14, a rearrangement buffer unit 15, and rearrangement buffer control.
  • a portion 16 is provided.
  • N prediction pixel generation processing units 14 are provided from the prediction pixel generation processing unit 14-1 to the prediction pixel generation processing unit 14-N.
  • N is an integer and corresponds to N coefficients inputted from the outside, that is, coefficients 1 to N.
  • the storage unit 11 has a function of holding reference pixel data.
  • the storage unit 11 stores reference pixel data that is referred to when a predicted image is generated.
  • Reference pixels are pixels around a block that generates a prediction pixel, and are referred to when generating a prediction pixel of a block that is a target for generating a prediction pixel.
  • the reference pixel data stored in the storage unit 11 is sent to the selection unit 13 as a reference pixel signal S11 for each pixel data.
  • the storage unit 11 corresponds to the storage unit 1 of the first embodiment.
  • the storage unit 11 can be configured using, for example, a semiconductor storage element.
  • storage part 11 memory elements, such as a register and a flip-flop, can be used, for example.
  • the storage unit 11 may be an SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), a PRAM (Phase Shifter Random Access Memory), and other semiconductor memory elements.
  • the storage unit 11 may be a flash memory, an SSD (Solid State Drive), a hard disk, or the like.
  • the selection signal generation processing unit 12 has a function of generating a control signal for selecting a reference pixel.
  • the selection signal generation processing unit 12 generates a control signal for selecting a reference pixel as the selection signal S12 based on information on the pixel position and mode number input from the outside.
  • the selection unit 13 has a function of selecting a reference pixel sent from the storage unit 11 to the predicted pixel generation processing unit 14 based on the selection signal S12.
  • the selection unit 13 receives the reference pixel data held in the storage unit 11 as the reference pixel signal S11 for each pixel of data. That is, the selection unit 13 receives a plurality of reference pixel signals S11 from the storage unit 11.
  • the selection unit 13 selects two signals from the reference pixel signal S11 received from the storage unit 11 based on the selection signal S12, and the data of the selected reference pixel signal S11 is referred to the prediction pixel generation processing unit 14 as necessary. It is sent as a pixel signal S13.
  • data of two necessary reference pixels is sent to each predicted pixel generation processing unit 14 as necessary reference pixel signals S13-1 and S13-2.
  • the selection unit 13 corresponds to the selection unit 2 of the first embodiment.
  • the prediction pixel generation processing unit 14 has a function of generating a prediction pixel based on the reference pixel input from the selection unit 13 and the coefficient input from the outside.
  • the reference pixels respectively input to each predicted pixel generation processing unit 14 at the same timing are the same pixel data. That is, the same necessary reference pixel signals S13-1 and S13-2 are input to each predicted pixel generation processing unit 14.
  • Each prediction pixel generation processing unit 14 generates a prediction pixel based on each input coefficient.
  • Each predicted pixel generation processing unit 14 outputs the generated predicted pixel data to the rearrangement buffer unit 15 as a predicted pixel signal S14. That is, prediction pixel data generated by each of the N prediction pixel generation processing units 14 is output as prediction pixel signals S14-1 to S14-N and sent to the rearrangement buffer unit 15. Further, the predicted pixel generation processing unit 14 corresponds to the predicted pixel generation unit 3 of the first embodiment.
  • In-screen prediction is a prediction method for generating a prediction pixel from a reference image of a frame to be encoded to obtain a prediction image.
  • 33 types of angle intra prediction shown in FIG. 3 are defined.
  • angle intra prediction a prediction pixel is generated by extrapolating reference pixels around a target block to be encoded in any of the 33 types of directions shown in FIG.
  • each rectangle in the top row and each rectangle in the leftmost column indicate a reference pixel. Numbers in the rectangle indicate coordinates.
  • the arrow indicates the prediction direction. The number given in the vicinity of the arrow indicates the prediction mode number.
  • the prediction mode is referred to as a mode.
  • Reference pixels around the encoding target block are held by a storage element such as a register, and when generating a prediction pixel, the prediction pixel is generated by referring to a reference pixel at an appropriate position.
  • the prediction pixel PredSamples [x] [y] in the angle intra prediction is calculated by the following equation.
  • PredSamples [x] [y] ((32-iFact) * ref [x + iIdx + 1] + iFact * ref [x + iIdx + 2] + 16) >> 5 (Formula 1)
  • x and y are the coordinates of the pixel position of the prediction pixel in the prediction block.
  • ref [x + iIdx + 1] and ref [x + iIdx + 2] are reference pixel arrays, and the position of the reference pixel is represented by the array index.
  • ref [x + iIdx + 1] and ref [x + iIdx + 2] are reference pixels at positions determined by the target block size and the pixel position in the block.
  • the rearrangement buffer unit 15 has a function of holding input prediction pixel data and generating a prediction image in which the prediction pixels are appropriately arranged by rearrangement.
  • the rearrangement buffer unit 15 receives prediction pixel data as N prediction pixel signals S14 from the N prediction pixel generation processing units 14, and holds the received N prediction pixel data.
  • the rearrangement buffer unit 15 holds the data of N prediction pixels once or a plurality of times.
  • the rearrangement buffer unit 15 rearranges the held prediction pixels into an appropriate arrangement for each mode number based on the rearrangement control signal S15 to generate a prediction image.
  • the number of times the rearrangement buffer unit 15 holds prediction pixel data is set, for example, as the number of times until all intra-screen prediction pixels necessary for generating the intra-screen prediction image of the encoding target block are generated.
  • the number of times the rearrangement buffer unit 15 holds the prediction pixel data is the number of times until the intra-screen prediction pixel necessary for generating the intra-screen prediction image of the partial block when the encoding target block is divided. May be set as
  • the rearrangement buffer unit 15 for example, a register having a shift function such as a ring register or a shift register, or a storage element such as a flip-flop may be used.
  • the rearrangement buffer unit 15 may be a storage element such as a register or flip-flop provided with a rearrangement mechanism.
  • the rearrangement buffer unit 15 may be a semiconductor memory element such as an SRAM, DRAM, or PRAM having a rearrangement mechanism.
  • a flash memory equipped with a rearrangement mechanism, an SSD (Solid State Drive), a hard disk, or the like can be used.
  • the rearrangement buffer unit 15 may be a random accessible SRAM, DRAM, PRAM, flash memory, SSD, hard disk, or other device.
  • the rearrangement buffer unit 15 corresponds to the rearrangement buffer unit 4 of the first embodiment.
  • the rearrangement buffer control unit 16 has a function of generating the rearrangement control signal S15 based on the mode number input from the outside.
  • the rearrangement buffer control unit 16 receives a mode number input from the outside, and generates a control signal for generating a predicted image with an appropriate arrangement corresponding to the mode number for each mode number as the rearrangement control signal S15.
  • the rearrangement buffer control unit 16 sends the generated rearrangement control signal S15 to the rearrangement buffer unit 15.
  • FIG. 4 is a flowchart showing an outline of the operation flow of the intra-screen prediction image generation device 10 of the present embodiment.
  • a signal indicating mode number information is input from the outside to the selection signal generation processing unit 12 (step A1).
  • a signal indicating pixel position information is input to the selection signal generation processing unit 12 (step A2).
  • the selection signal generation processing unit 12 generates the selection signal S12 based on the input mode number and pixel position information (step A3).
  • a signal indicating pixel data of the reference pixel is sent from the storage unit 11 to the selection unit 13 as a reference pixel signal S11.
  • the selection unit 13 receives a plurality of reference pixel signals S11 indicating reference pixels from the storage unit 11.
  • the selection unit 13 selects two signals designated by the selection signal S12 from the reference pixel signal S11 indicating the reference pixel (step A4).
  • the two reference pixels selected by the selection unit 13 are the N reference pixel generation processing units 14, that is, the prediction pixel generation processing unit 14-1 to the prediction pixel generation processing unit, as necessary reference pixel signals S13-1 and S13-2. 14-N, respectively.
  • the N prediction pixel generation processing units 14 from the prediction pixel generation processing unit 14-1 to the prediction pixel generation processing unit 14-N perform the two necessary reference pixel signals S13-1 and S13 selected by the selection unit 13. -2 is received in common.
  • Signals indicating coefficient information are input to the N predicted pixel generation processing units 14 from the outside.
  • the N predicted pixel generation processing units 14 perform prediction pixels based on the externally input coefficients and the required reference pixel signals S13-1 and S13-2. Are generated respectively. That is, a total of N prediction pixels are generated in the N prediction pixel generation processing units 14 of the prediction pixel generation processing unit 14-1 to the prediction pixel generation processing unit 14-N (step A5).
  • the N predicted pixel generation processing units 14 transmit the generated predicted pixel data to the rearrangement buffer unit 15 as the predicted pixel signal S14 when the predicted pixel is generated. That is, the rearrangement buffer unit 15 receives data of N prediction pixels from the prediction pixel signals S14-1 to S14-N.
  • the rearrangement buffer unit 15 When the rearrangement buffer unit 15 receives the prediction pixel data from each prediction pixel generation processing unit 14 as the prediction pixel signal S14, the rearrangement buffer unit 15 holds the received prediction pixel data. That is, the rearrangement buffer unit 15 holds data of N prediction pixels (step A6).
  • the rearrangement buffer unit 15 determines whether all the prediction pixels necessary for generating the intra-screen prediction image of the target block have been received. When the prediction pixel necessary for generating the intra-screen prediction image is not generated (No in Step A7), the rearrangement buffer unit 15 waits until the necessary prediction pixel is held. If No in step A7, that is, if the required number of predicted pixels in the block has not been generated, the process returns to step A2 to acquire information on the next pixel position and the operations from step A2 to step A6 are performed. In step A2, since the mode number does not change in the same encoding target block, the mode number acquired in step A1 is continuously used.
  • the intra-screen prediction image generation device 10 When all the prediction pixels necessary for generating the intra-screen prediction image have been generated (Yes in step A7), the intra-screen prediction image generation device 10 performs an operation of generating the prediction image after step A8.
  • the rearrangement buffer control unit 16 performs rearrangement control on the signal that specifies the order of rearrangement when the rearrangement buffer unit 15 rearranges the prediction pixels to generate the predicted image on the screen based on the input mode number. Generated as signal S15 (step A8). When the rearrangement buffer control unit 16 generates the rearrangement control signal S15, the rearrangement buffer control unit 16 sends the generated rearrangement control signal S15 to the rearrangement buffer unit 15.
  • the rearrangement buffer unit 15 When receiving the rearrangement control signal S15, the rearrangement buffer unit 15 rearranges the prediction pixels held in the rearrangement buffer unit 15 so as to be in the order specified by the rearrangement control signal S15.
  • An intra prediction image is generated and output (step A9). If there are other blocks for which no predicted image has been generated, the above operation is repeated in sequence for the other blocks. The above is description about operation
  • reference pixel data is input in parallel to a plurality of prediction pixel generation processing units 14 by selecting a necessary reference pixel by the selection unit 13. Therefore, in the intra-screen prediction image generation device 10 of the present embodiment, prediction pixels using the same reference pixel can be generated simultaneously. With such a configuration, the number of selectors required when inputting reference pixels to the predicted pixel generation processing unit 14 can be reduced, and the circuit configuration can be simplified. Further, the circuit area can be reduced by simplifying the circuit configuration.
  • the N prediction pixels generated simultaneously are held in the rearrangement buffer unit 15.
  • the rearrangement buffer unit 15 retains the necessary number of prediction pixels for generating the intra-screen prediction image, and then rearranges according to the control signal based on the mode number to generate the intra-screen prediction image. Therefore, a selector necessary for generating an intra-screen prediction image of a block that is processed from the generated prediction pixel is not required, the circuit configuration can be simplified, and the circuit area can be reduced.
  • FIG. 5 shows an outline of the configuration of the intra-screen prediction image generation circuit 30 included in the intra-screen prediction image generation device 10 of the present embodiment.
  • the intra-screen prediction image generation circuit 30 includes a storage device 31, a selection signal generation processing circuit 32, a selection circuit 33, a prediction pixel generation processing circuit 34, a rearrangement storage device 35, and a rearrangement storage device 35. And a storage device control circuit 36.
  • the intra-screen prediction image generation circuit 30 includes four prediction pixel generation processing circuits 34 including a prediction pixel generation processing circuit 34-1 to a prediction pixel generation processing circuit 34-4.
  • the storage device 31 corresponds to the storage unit 11 of the intra-screen prediction image generation device 10.
  • the selection signal generation processing circuit 32 corresponds to the selection signal generation processing unit 12 of the intra-screen prediction image generation device 10.
  • the selection circuit 33 corresponds to the selection unit 13 of the intra-screen prediction image generation device 10.
  • the predicted pixel generation processing circuit 34 corresponds to the predicted pixel generation processing unit 14 of the intra-screen predicted image generation device 10.
  • the rearrangement storage device 35 corresponds to the rearrangement buffer unit 15 of the intra-screen prediction image generation device 10.
  • the rearrangement storage device control circuit 36 corresponds to the rearrangement buffer control unit 16 of the intra-screen prediction image generation device 10.
  • the reference pixel signal S31 corresponds to the reference pixel signal S11.
  • the selection signal S32, the required reference pixel signal S33, the predicted pixel signal S34, and the rearrangement control signal S35 correspond to the selection signal S12, the required reference pixel signal S13, the predicted pixel signal S14, and the rearrangement control signal S15, respectively.
  • FIG. 6 shows an example of the configuration of the storage device 31 and the selection circuit 33.
  • the storage device 31 includes a plurality of registers, and has a function of holding data of one reference pixel for each register.
  • FIG. 6 shows an example including 129 registers, and the storage device 31 can hold reference pixels of 129 pixels at the maximum.
  • the selection circuit 33 includes a selector 37 and a selector 38.
  • the selector 37 and the selector 38 are input with 129 signal lines from 129 registers of the storage device 31, respectively.
  • the selector 37 and the selector 38 select one signal line from each of the 129 signal lines based on the selection signal S32, and the reference pixel data input from the selected signal line is used as the required reference pixel signal S33. Output.
  • FIG. 7 shows an example of the configuration of the rearrangement storage device 35.
  • the rearrangement storage device 35 is configured using a ring register.
  • the rearrangement storage device 35 in FIG. 7 includes four ring registers, a ring register 35-1 to a ring register 35-4. Control signals are respectively input to the four ring registers, and each ring register is controlled independently.
  • FIG. 8 shows the position of the reference pixel used for generating the predicted pixel and the position of the generated predicted pixel.
  • pixel positions with the same numbers are prediction pixels generated from the same reference pixel.
  • Prediction pixels generated from the same reference pixel are generated in parallel in the four prediction pixel generation processing circuits of the prediction pixel generation processing circuit 34-1 to the prediction pixel generation processing circuit 34-4.
  • the numbers attached to the respective reference pixels in FIG. 8 indicate the positions of the reference pixels necessary for generating the same number of predicted pixels.
  • a reference pixel necessary for generating a predicted pixel “3” is a reference pixel to which a number “3” is attached.
  • the adjacent reference pixel is expanded and used.
  • the prediction pixel is generated on the assumption that a reference pixel having the same pixel data as the pixel data of the adjacent reference pixel exists at the coordinates referred to when the prediction pixel is generated.
  • FIG. 9 shows an example of a method for storing the generated predicted pixels in the rearrangement storage device 35.
  • the prediction pixels generated in parallel are stored in the same column, and after that, the whole is shifted by one, and then the next prediction pixel is stored.
  • the rearrangement storage device 35 stores the predicted pixels generated based on the reference pixels having the same numerical values in the same column in FIG.
  • FIG. 10 shows a method for generating a prediction image from the prediction pixels stored as shown in FIG.
  • the ring register 35-2 and the ring register 35-3 are shifted to the right by one, and the ring register 35-4 is shifted to the right by two, so that the prediction image shown in FIG.
  • the same intra prediction image is generated in a portion surrounded by a dotted line portion.
  • the number of shifts and the target ring register are controlled by a control signal generated by the rearrangement storage device control circuit 36.
  • FIG. 11 is a flowchart illustrating an operation flow when the intra-screen prediction image generation circuit 30 generates the intra-screen prediction image.
  • Step C1 in FIG. 11 corresponds to step A1 in FIG.
  • step C2 in FIG. 11 corresponds to step A2 in FIG. 4
  • step C3 corresponds to step A3
  • step C4 corresponds to step A4
  • step C5 corresponds to step A5.
  • step C6 in FIG. 11 corresponds to step A6 in FIG. 4
  • step C7 corresponds to step A7
  • a signal indicating mode number information is input to the selection signal generation processing circuit 32 (step C1).
  • a signal indicating pixel position information is also input to the selection signal generation processing circuit 32 (step C2).
  • the selection signal generation processing circuit 32 When the mode number and pixel position information are input, the selection signal generation processing circuit 32 generates a selection signal S32 based on the input mode number and pixel position information (step C3).
  • the selection signal generation processing circuit 32 sends the generated selection signal S32 to the selection circuit 33.
  • the selection circuit 33 selects two reference pixels designated by the selection signal S32 from the reference pixel signals S31 input from the storage device 31 as necessary reference pixels (step C4). . Data of reference pixels selected as necessary reference pixels are input to the four predicted pixel generation processing circuits 34 as necessary pixel signals S33-1 and S33-2, respectively.
  • the predicted pixel generation processing circuit 34 When the two necessary reference pixel signals S33 are input, the predicted pixel generation processing circuit 34 generates predicted pixels by using the input required reference pixel data and the coefficient input from the outside. Since the four prediction pixel generation processing circuits 34 generate prediction pixels, a total of four prediction pixels are generated (step C5). The four predicted pixel generation processing circuits 34 send the generated predicted pixels to the rearrangement storage device 35 as the predicted pixel signal S34.
  • the rearrangement storage device 35 holds a total of four prediction pixels respectively input from the four prediction pixel generation processing circuits 34 (steps). C6).
  • the rearrangement storage device 35 determines whether all prediction pixels necessary for generating the target 4 ⁇ 4 block intra-screen prediction image have been generated.
  • Step C7 If the required number of predicted pixels has not been generated (No in Step C7), the process returns to Step C2 to acquire the next pixel position, and the operations from Step C2 to Step C6 are performed. In step C2, since the mode number does not change in the same encoding target block, the mode number acquired in step C1 is used subsequently.
  • Step C7 When all the necessary prediction pixels have been generated (Yes in Step C7), the rearrangement storage device 35 starts the operation after Step C8 for generating a prediction image.
  • the rearrangement storage device control circuit 36 generates a rearrangement control signal S35 for rearranging the prediction pixels held in the rearrangement storage device 35 according to the input mode number to generate an intra-screen prediction image ( Step C8).
  • the rearrangement storage device control circuit 36 sends the generated rearrangement control signal S35 to the rearrangement storage device 35.
  • the rearrangement storage device 35 Upon receipt of the rearrangement control signal S35, the rearrangement storage device 35 rearranges the intra-screen prediction pixels held in the rearrangement storage device 35 based on the rearrangement control signal S35, thereby displaying a 4 ⁇ 4 block screen.
  • An intra prediction image is generated (step C9).
  • the rearrangement storage device 35 outputs the generated intra-screen prediction image.
  • the intra-screen prediction image generation circuit 30 of the present embodiment is configured such that necessary reference pixels are input in parallel to the four prediction pixel generation processing circuits 34.
  • four intra-screen prediction pixels using the same reference pixel can be generated simultaneously, so that the number of selectors related to the input of the prediction pixel generation processing circuit can be reduced. Further, the circuit area can be reduced by reducing the number of selectors.
  • the intra-screen prediction image generation circuit 30 of this embodiment holds the four reference pixels generated at the same time in the rearrangement storage device 35.
  • the intra-screen prediction image generation circuit 30 according to the present embodiment operates the ring register in the rearrangement storage device 35 in accordance with a control signal based on the mode number after holding the number of pixels necessary to generate the intra-screen prediction image.
  • the prediction pixels can be rearranged. Therefore, the intra-screen prediction image generation circuit 30 according to the present embodiment eliminates the need for a selector when generating the intra-screen prediction image of the block to be processed from the generated intra-screen prediction pixels, thereby reducing the circuit scale. it can.
  • a ring register is used as an example of the rearrangement storage device 35, but the rearrangement storage device 35 may be configured by a randomly accessible storage device.
  • the rearrangement storage device 35 when the rearrangement storage device 35 receives the rearrangement control signal S35, the rearrangement storage device 35 generates an address for reading data of a portion surrounded by a dotted line portion in FIG. 10 from the rearrangement control signal S35. .
  • the rearrangement storage device 35 can obtain the same effect as the above example of the present embodiment by reading data according to the generated address.
  • FIG. 12 shows an outline of the configuration of the intra-screen prediction image generation apparatus 20 of the present embodiment.
  • the intra-screen prediction image generation device 20 of the present embodiment is characterized in that the storage unit has a data shift function.
  • the number of signal lines between the storage unit and the selection unit can be reduced by providing the storage unit with a data shift function.
  • the intra-screen prediction image generation device 20 of the present embodiment includes a storage unit 21, a selection signal generation processing unit 22, a selection unit 23, a prediction pixel generation processing unit 24, a rearrangement buffer unit 25, and rearrangement buffer control. A portion 26 is provided.
  • the configurations and functions of the selection signal generation processing unit 22, the predicted pixel generation processing unit 24, the rearrangement buffer unit 25, and the rearrangement buffer control unit 26 are the same as the parts having the same names in the second embodiment. Further, the reference pixel signal S21, the selection signal S22, the necessary reference pixel signal S23, the prediction pixel signal S24, and the rearrangement control signal S25 have the same function as the signal of the same name in the second embodiment.
  • the storage unit 21 has a function of holding reference pixel data. In addition, the storage unit 21 has a function of selecting and outputting a reference pixel based on information on a mode number and a pixel position input from the outside.
  • FIG. 13 shows an outline of the configuration of the storage unit 21.
  • the storage unit 21 includes a storage device control unit 51 and a storage unit 52 with data shift.
  • the storage device control unit 51 generates a storage device control signal S51 for controlling the storage unit 52 with data shift based on the mode number and pixel position information input from the outside.
  • the data shift storage unit 52 stores the reference pixel in each area, and shifts the position where the reference pixel is stored based on the storage device control signal S51.
  • the selection unit 23 has a function of selecting and outputting two reference pixels from a plurality of reference pixels based on the selection signal S22.
  • the selection unit 23 receives, as a reference pixel signal S21, the reference pixel data stored in the first several pixels of the data stored in the data shift storage unit 52 from the data shift storage unit 52. In the example of FIG. 13, the selection unit 23 receives reference pixel data stored in the first three pixels of the data stored in the data shift storage unit 52.
  • the selection unit 23 selects two pixels to be used as reference pixels based on the selection signal S22 sent from the selection signal generation processing unit 22, and sends the selected reference pixel signal S23 to the prediction pixel generation processing unit 24.
  • FIG. 14 is a flowchart showing an outline of an operation flow of the intra-screen prediction image generation device 20 of the present embodiment.
  • the storage device control unit 51 of the storage unit 21 sets the storage unit with data shift 52 to the initial position based on the mode number and the pixel position information.
  • the storage unit with data shift 52 sends pixel data for the first several pixels of the stored reference pixel data to the selection unit 23 as a reference pixel signal S21.
  • the signal indicating the mode number information is also input to the selection signal generation processing unit 22 (step B1).
  • a signal indicating pixel position information is also input to the selection signal generation processing unit 22 (step B2).
  • the selection signal generation processing unit 22 When the mode number and pixel position information is input, the selection signal generation processing unit 22 generates the selection signal S22 based on the input mode number and pixel position information (step B3).
  • the selection signal generation processing unit 22 sends the generated selection signal S22 to the selection unit 23.
  • the selection unit 23 Upon receiving the reference pixel signal S21 and the selection signal S22, the selection unit 23 selects the two signals specified by the selection signal S22 from the reference pixel signal S21 indicating the reference pixel as in the second embodiment (step B4). ).
  • the intra prediction image generation apparatus 20 performs the same operation as the operation from Step A5 to Step A9 of the second embodiment in Step B5 to B9.
  • step B6 when the prediction pixel generation operation of step B6 is performed, if the number of prediction pixels necessary for generation of the prediction image has not been generated (No in step B7), the predicted image generation apparatus 20 operates as follows.
  • the storage device control unit 51 stores the storage device control signal indicating the data shift amount. S51 is generated (step B10). The storage device control unit 51 determines the data shift amount based on the mode number and the pixel position, and generates a storage device control signal S51.
  • the storage device control unit 51 When generating the storage device control signal S51, the storage device control unit 51 sends the generated storage device control signal S51 to the data shift storage unit 52.
  • the data shift storage unit 52 Upon receipt of the storage device control signal S51, the data shift storage unit 52 performs an operation of shifting the stored data based on the data shift amount information included in the signal (step B11). When the data shift amount indicated by the storage device control signal S51 is 0, the data shift storage unit 52 does not shift the data. When the data stored in the storage unit with data shift 52 is shifted, the signals of the reference pixels for the first several pixels after the shift are sent to the selection unit 23. When the reference pixel signal S21 is input to the selection unit 23, the operation from step B2 is repeated.
  • the intra-screen prediction image generation device 20 of the present embodiment holds reference pixels in the data shift storage unit 52. Further, the reference pixels for the first several pixels among the reference pixels stored in the data shift storage unit 52 are input to the selection unit 23.
  • the reference pixels stored in the first few pixels are controlled by the storage device control unit 51 setting a data shift amount for reading out the necessary reference pixels based on the mode number and the pixel position.
  • the selection unit 23 selects two necessary reference pixels from the input reference pixels for several pixels. With this configuration, the intra-screen prediction image generation device 20 according to the present embodiment can reduce the number of reference pixel signals input to the selector of the selection unit 23, thereby reducing the circuit scale related to the selector. be able to.
  • FIG. 15 shows a more specific configuration of the intra-screen prediction image generation apparatus 20 of the present embodiment as an intra-screen prediction image generation circuit 40.
  • the intra-screen prediction image generation circuit 40 includes a storage device 41, a selection signal generation processing circuit 42, a selection circuit 43, a prediction pixel generation processing circuit 44, and a rearrangement storage device 45.
  • An alternate storage device control circuit 46 is provided.
  • the intra-screen prediction image generation circuit 40 includes four prediction pixel generation processing circuits 44 including a prediction pixel generation processing circuit 44-1 to a prediction pixel generation processing circuit 44-4.
  • the storage device 41 corresponds to the storage unit 21 of the intra-screen prediction image generation device 20.
  • the selection signal generation processing circuit 42 corresponds to the selection signal generation processing unit 22 of the intra-screen prediction image generation device 20.
  • the selection circuit 43 corresponds to the selection unit 23 of the intra-screen prediction image generation device 20.
  • the rearrangement storage device 45 corresponds to the rearrangement buffer unit 25 of the intra-screen prediction image generation device 20.
  • the rearrangement storage device control circuit 46 corresponds to the rearrangement buffer control unit 26 of the intra-screen prediction image generation device 20.
  • the reference pixel signal S41 corresponds to the reference pixel signal S21.
  • the selection signal S42, the required reference pixel signal S43, the predicted pixel signal S44, and the rearrangement control signal S45 correspond to the selection signal S22, the required reference pixel signal S23, the predicted pixel signal S24, and the rearrangement control signal S25, respectively.
  • FIG. 16 shows an example of the configuration of the storage device 41 and the selection circuit 43.
  • the storage device 41 includes a shift register control circuit 61 and a shift register 62.
  • the shift register 62 stores reference pixels.
  • the shift register control circuit 61 generates a shift register control signal S61 for controlling the shift register 62 based on the input mode number and information on the pixel position to be generated.
  • the shift register 62 holding the reference pixel shifts the data held in accordance with the shift register control signal S61.
  • the shift register control circuit 61 can control the shift register 62 so that necessary reference pixels are output to the selection circuit 43 without greatly shifting the data in the shift register 62.
  • the selection circuit 43 includes a selector 63 and a selector 64.
  • the selector 63 and the selector 64 output one signal selected from two input signals.
  • the reference pixels of the first three pixels of the shift register 62 are input to the selection circuit 43, and the selection circuit 43 selects the necessary reference pixels from 2 pixels to 3 pixels and sends them to the prediction pixel generation processing circuit 44. send.
  • FIG. 17 is a flowchart showing an outline of the operation flow of the intra-screen prediction image generation circuit 40.
  • Step D1 in FIG. 17 corresponds to Step B1 in FIG.
  • Step D2 in FIG. 17 corresponds to Step B2 in FIG. 14
  • Step D3 corresponds to Step B3
  • Step D4 corresponds to Step B4
  • Step D5 corresponds to Step B5.
  • Step D6 in FIG. 17 corresponds to Step B6 in FIG. 14
  • Step D7 corresponds to Step B7
  • Step D8 corresponds to Step B8
  • Step D9 corresponds to Step B9
  • Step D10 corresponds to Step B10.
  • step D1 to step D9 is the same as the operation from step C1 to step C9 in FIG. Therefore, in the following, the operation when the number of prediction pixels necessary for generating the prediction image has not been generated after the operation up to the generation of the prediction pixel in Step D6 (No in Step D7) will be described in detail. .
  • the shift register control circuit 61 needs to shift the shift register 62 based on the mode number and pixel position information. Determine if there is.
  • the shift register control circuit 61 calculates the shift amount of data in the shift register 62, and generates a shift register control signal S61 for controlling the shift register 62 (step D10).
  • the shift register control circuit 61 generates a shift register control signal S61 that sets the shift amount to zero.
  • the shift register control circuit 61 When the shift register control circuit 61 generates the shift register control signal S61, the shift register control circuit 61 sends the generated signal to the shift register 62.
  • the shift register 62 shifts the reference pixel based on the shift register control signal S61 (step D11).
  • the shift register 62 does not shift data.
  • reference pixel signals for the first three pixels after the shift are sent to the selection circuit 43.
  • the number of reference pixels sent to the selection circuit 43 may be other than 3 pixels.
  • the shift is not performed, the signal of the same reference pixel is continuously sent to the selection circuit 43.
  • the operation from step D2 is repeated.
  • the reference pixel is stored in the shift register 62.
  • the reference pixels are read from only the first three pixels of the shift register and sent to the selection circuit 43. Further, the reference pixel sent to the selection circuit 43 can be changed by shifting the shift register.
  • the intra-screen prediction image generation circuit 40 of the present embodiment can reduce the number of reference pixel signals input to the selector. As a result, the in-screen predicted image generation circuit 40 of the present embodiment can reduce the circuit scale.
  • the predicted image generation apparatus and circuit of the first to third embodiments can be used in a moving picture encoding apparatus as shown in FIG.
  • FIG. 18 shows an outline of a configuration of a moving image encoding device 100 that can use each predicted image generation device or circuit as a prediction unit.
  • the moving image encoding apparatus 100 in FIG. 18 is an apparatus that performs encoding processing of video data using each CU (Coding Unit) of each frame of the digitized video as an input image, and outputs a bit stream.
  • CU Coding Unit
  • the moving image encoding apparatus 100 can suppress the circuit scale of the entire apparatus by using the prediction image generation apparatus or circuit of each embodiment for the prediction unit 106 that performs intra prediction for generating a prediction image. It becomes.
  • the conversion unit 101 Based on the TU (Transform Unit) quadtree structure determined by the optimal prediction mode determination unit 107, the conversion unit 101 generates a signal indicating prediction error image data, that is, a prediction generated by subtracting the prediction signal from the input image signal. Frequency-convert the error signal.
  • the transform unit 101 uses orthogonal transform with a predetermined block size based on frequency transform in transform coding of a prediction error signal. For example, 4 ⁇ 4, 8 ⁇ 8, 16 ⁇ 16, or 32 ⁇ 32 is used as the predetermined block size.
  • the transform unit 101 uses, as orthogonal transform, integer precision DST (Discrete Sine Transform) approximated by integer arithmetic for 4 ⁇ 4 TU of the luminance component of the intra CU.
  • DCT Discrete Cosine Transform ⁇ ⁇
  • the quantization unit 102 quantizes the orthogonal transform coefficient supplied from the transform unit 101.
  • the quantized orthogonal transform coefficient may be referred to as a transform quantization value.
  • the entropy encoding unit 103 performs entropy encoding on the input data and outputs the result.
  • the inverse transform / inverse quantization unit 104 inversely quantizes the transform quantization value. Further, the inverse transform / inverse quantization unit 104 inversely transforms the inversely quantized orthogonal transform coefficient. A prediction signal is added to the inversely transformed prediction error image, and the prediction error image is supplied to the buffer 105.
  • the buffer 105 stores the image as a reference image.
  • the prediction unit 106 generates a prediction signal for the input image signal of the CU based on the prediction mode and the prediction block determined by the optimum prediction mode determination unit 107.
  • the prediction signal is generated based on intra prediction or inter prediction.
  • the optimal prediction mode determination unit 107 determines a combination of a prediction mode and a prediction block that minimizes the coding cost for each CTU (Coding
  • the video encoding apparatus When each part operates as described above, the video encoding apparatus performs video data encoding processing using each CU of each frame as an input image, and outputs a compression encoded video data bit stream. . Further, by using the prediction image generation device or the circuit of each embodiment as the prediction unit 106 of the video encoding device 100, the circuit scale of the video encoding device can be suppressed.
  • (Appendix 1) Storage means for holding a plurality of reference pixels; Based on the mode number and the pixel position, a selection unit that selects the reference pixel used for generating a predicted image in the screen as a required reference pixel, and a prediction that generates a plurality of the predicted pixels based on the required reference pixel in parallel processing Pixel generation means; Rearrangement buffer means for rearranging the prediction pixels generated by the prediction pixel generation means based on a mode number to generate the prediction image;
  • a predicted image generation apparatus comprising:
  • Appendix 2 A plurality of prediction pixel generation means, The prediction image generation apparatus according to appendix 1, wherein the plurality of prediction pixel generation units generate the prediction pixels using the same necessary reference pixel, respectively.
  • Appendix 3 The prediction image generation apparatus according to any one of appendix 1 or 2, wherein the plurality of prediction pixel generation units receive different predetermined coefficients and generate the prediction pixels based on the predetermined coefficients.
  • the storage means further comprises means for shifting the data of the held reference pixel, and means for determining whether or not to perform the data shift operation based on a mode number and a pixel position.
  • the predicted image generation apparatus according to any one of appendices 1 to 3.
  • the reordering buffer unit further includes a buffer storage unit that shifts the prediction pixel held therein, and generates the prediction image by rearranging the prediction pixel by performing a shift operation.
  • the predicted image generation apparatus according to any one of 5 to 5.
  • Appendix 10 10. The predicted image generation method according to any one of appendix 8 or 9, wherein different predetermined coefficients are received and the predicted pixels are generated based on the predetermined coefficients.
  • Appendix 12 11. The predicted image generation method according to any one of appendices 8 to 10, wherein the necessary reference pixels respectively selected by two selectors are used for generating the predicted pixel.
  • Appendix 14 14. The prediction image according to appendix 13, wherein the prediction pixels are held in storage elements respectively corresponding to a plurality of provided prediction pixel generation circuits, and shift operations of the storage elements are independently controlled. Generation method.
  • the present invention can be applied to a system, a circuit, or the like that performs intra prediction in moving picture coding.
  • the present invention can also be applied to still image compression coding using intra prediction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　回路規模を抑制しつつ、イントラ予測画像を並列処理で生成することのできる予測画像生成装置を得ることを目的とする。　本発明の予測画像生成装置は、記憶部１１と、選択部１３と、予測画素生成処理部１４と、並び替えバッファ部１５を備える。記憶部１１は、複数の参照画素を保持する。選択部１３は、モード番号と画素位置を基に、画面内の予測画像の生成に用いる参照画素を必要参照画素として選択する。予測画素生成処理部１４は、必要参照画素を基に複数の予測画素を並列処理で生成する。並び替えバッファ部１５は、予測画素生成処理部１４が生成した複数の予測画素を、モード番号を基に並び替えて（シフトして）予測画像を生成する。

Description

予測画像生成装置および予測画像生成方法
　本発明は、動画像の符号化に関するものであり、特に、符号化を行う際の画面内予測画像の生成に関するものである。
　高画質の映像が放送や通信回線等を介して配信され、映像表示装置や情報端末装置で利用されるようになっている。それらの高画質の映像を構成する画像データは、送信側で符号化され受信側となる端末装置等で復号されて利用される。高画質の映像を伝送するためには、膨大な画像データが必要となるため、圧縮効率の高い符号化を高速で行えることが望ましい。また、膨大な画像データを高速で処理する装置は、装置の規模が大きくなるため画像データの符号化を行う機能ユニットごとの回路規模が抑えられていることが望ましい。そのような背景から、高画質の映像を伝送するための動画像符号化について、関連する技術開発が盛んに行われている。動画像の符号化に関する技術としては、例えば、非特許文献１のような技術が開示されている。
　非特許文献１には、ＩＴＵ－Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告Ｈ.２６５規格に基づく映像符号化方式であるＨＥＶＣ（High Efficiency Video Coding）規格が記載されている。ＨＥＶＣ規格では、デジタル化された映像の各フレームは、符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）に分割されている。各ＣＴＵは、ラスタスキャン順に符号化される。各ＣＴＵは、クアッドツリー構造で、符号化ユニット（ＣＵ：Coding Unit）に分割されて符号化される。また、符号化させる際に、各ＣＵは、予測ユニット（ＰＵ:Prediction Unit）に分割されて予測符号化される。
　符号化が行われる際に各ＣＵは、画面内予測またはフレーム間予測によって予測符号化される。画面内予測は、符号化対象フレームの参照画像から予測画像を生成する予測である。ＨＥＶＣ規格では、３３種類の角度画面内予測が定義されている。角度画面内予測は、符号化対象ブロック周辺の参照画素を３３種類の方向のいずれかに外挿して、予測画素を生成する予測方法である。また、ＨＥＶＣ規格では、３３種類の角度画面内予測に加えて、符号化対象ブロック周辺の参照画素を平均するＤＣ（Discrete Cosine）画面内予測、および、符号化対象ブロック周辺の参照画素を線形補間するＰｌａｎｎｅｒ画面内予測が定義されている。
　符号化対象ブロック周辺の参照画素は、回路上ではレジスタ等の記憶素子で保持されている。予測画像を生成する回路は、予測画素を生成する際に適切な位置の参照画素を参照して予測画素を生成する。参照画素は、ＨＥＶＣ規格の場合には、最大で１２９個存在する。従って、予測画素を生成するためには最大で１２９個の参照画素から、所定の数の参照画素を選択するセレクタが必要となる。
　また、高速化の要求から画像処理に要する時間を抑制するために、画像処理回路を並列に配列して並列に処理を行う技術が用いられることがある。画像処理を並列に行う技術としては、例えば、特許文献１のような技術が開示されている。
　特許文献１には、画像データの処理を並列で行う画像処理装置に関する技術が開示されている。特許文献１の画像処理装置は、画像データを保持するラインメモリと、垂直フィルタ処理部と、バッファと、水平フィルタ処理部を備えている。特許文献１では、ラインメモリに保存された各画素データが垂直フィルタ処理部に入力され、垂直フィルタ処理部において並列処理される。垂直フィルタ処理部で処理されたデータは、水平フィルタ処理部に送られて並列に所定の画像処理が施される。特許文献１は、このような構成とすることで、垂直と水平方向の違いを吸収するバッファが不要となり回路面積を削減できるとしている。
国際公開第２００７／０７２６４４号
ＩＴＵ－Ｔ勧告　Ｈ.２６５ High efficiency video coding, April 2013
　しかしながら、非特許文献１および特許文献１の技術は次のような点で十分ではない。予測符号化処理に用いられる予測画像生成装置は、実用的な処理速度を得るために予測画素生成回路を複数備えて、予測画素の生成処理を並列に行う。予測画像生成装置は、予測画像の各画素に対応した予測画素を順次生成することにより予測画像を生成する。
　予測画素を生成する際に、予測画素生成回路ごとに必要な参照画素を選択して各予測画素生成回路に入力する必要がある。例えば、ＨＥＶＣ規格に基づいた場合には、最大１２９個の参照画素から、予測画素の生成に必要な参照画素をセレクタで選択し、各予測画素生成回路へ入力する必要がある。しかし、予測画素生成回路ごとに最大１２９個の参照画素から所定の数の参照画素を選択するためにセレクタを備える構成とすると、回路規模が増大する。よって、非特許文献１および特許文献１の技術は、回路規模を抑制しつつ並列処理で予測画像を生成するための技術としては十分ではない。
　本発明は、上述の課題を解決するため、回路規模を抑制しつつ画面内予測画像を並列処理で生成することができる予測画像生成装置を得ることを目的としている。
　上記の課題を解決するため、本発明の予測画像生成装置は、記憶手段と、選択手段と、予測画素生成手段と、並び替えバッファ手段を備えている。記憶手段は、複数の参照画素を保持する。選択手段は、モード番号と画素位置を基に、画面内の予測画像の生成に用いる参照画素を必要参照画素として選択する。予測画素生成手段は、必要参照画素を基に複数の予測画素を並列処理で生成する。並び替えバッファ手段は、予測画素生成手段が生成した予測画素を、モード番号を基に並び替えて予測画像を生成する。
　また、本発明の予測画像生成方法は、複数の参照画素を保持し、モード番号と画素位置を基に、画面内の予測画像の生成に用いる参照画素を必要参照画素として選択する。本発明の予測画像生成方法は、必要参照画素を基に複数の予測画素を並列処理で生成し、生成した予測画素を、モード番号を基に並び替えて予測画像を生成する。
　本発明によると、回路規模を抑制しつつ画面内予測画像を並列処理で生成することができる。
本発明の第１の実施形態の構成の概要を示す図である。 本発明の第２の実施形態の装置構成の概要を示す図である。 ＨＥＶＣ規格の画面内予測におけるモード番号と方向を示した図である。 本発明の第２の実施形態における動作フローの概要を示す図である。 本発明の第２の実施形態の装置構成の例を示す図である。 本発明の第２の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第２の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第２の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第２の実施形態においてデータを格納する位置の例を示す図である。 本発明の第２の実施形態においてデータを格納する位置の例を示す図である。 本発明の第２の実施形態における動作フローの例を示す図である。 本発明の第３の実施形態の構成の概要を示す図である。 本発明の第３の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第３の実施形態における動作フローの概要を示す図である。 本発明の第３の実施形態の装置構成の例を示す図である。 本発明の第３の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第３の実施形態における動作フローの例を示す図である。 動画像符号化装置の構成の概要を示す図である。
　［第１の実施形態］
［第１の実施形態の構成］
　本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の予測画像生成装置の構成の概要を示したものである。図１および以下の各図における図面中のブロック間の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。本実施形態の予測画像生成装置は、記憶手段１と、選択手段２と、予測画素生成手段３と、並び替えバッファ手段４を備えている。
　記憶手段１は、複数の参照画素を保持する。選択手段２は、モード番号と画素位置を基に、画面内の予測画像の生成に用いる参照画素を必要参照画素として選択する。予測画素生成手段３は、必要参照画素を基に複数の予測画素を並列処理で生成する。並び替えバッファ手段４は、予測画素生成手段３が生成した予測画素を、モード番号を基に並び替えて予測画像を生成する。
　［第１の実施形態の効果］
　本実施形態の予測画像生成装置では、選択手段２において選択された必要参照画素を基に予測画素生成手段３が複数の予測画素を並列処理により生成している。また、並び替えバッファ手段４が、予測画素の並び替えを行い、予測画像を生成している。このように、選択手段２が選択した必要参照画素を予測画素生成手段３に入力して、並列処理により予測画素を生成した後に、並び替えて予測画像を生成することにより、予測画素生成手段３の前段に予測画素ごとのセレクタ等の回路を備える必要がない。そのため、セレクタ等を複数、備えるために要する回路面積を抑制することができる。その結果、本実施形態の予測画像生成装置は、回路規模を抑制しつつ並列処理により画面内予測画像を生成することが可能となる。
　［第２の実施形態］
［第２の実施形態の構成］
　本発明の第２の実施形態について図を参照して詳細に説明する。図２は、本実施形態の画面内予測画像生成装置１０の構成の概要を示したものである。本実施形態の画面内予測画像生成装置１０は、動画像の符号化において画面内予測画像を生成する装置である。本実施形態の画面内予測画像生成装置１０は、同一の参照画素から生成される予測画素を並列処理によって生成し、バッファに保持した後に、予測画素を並び替えて予測画像を生成することを特徴としている。本実施形態の画面内予測画像生成装置１０は、予測画像を構成する予測画素ごとに対応した参照画素を逐次、選択する構成に比べて、回路面積を抑制することが可能である。
　本実施形態の画面内予測画像生成装置１０は、記憶部１１と、選択信号生成処理部１２と、選択部１３と、予測画素生成処理部１４と、並び替えバッファ部１５と、並び替えバッファ制御部１６を備えている。予測画素生成処理部１４は、予測画素生成処理部１４－１から予測画素生成処理部１４－ＮまでＮ個備えられている。Ｎは整数であり、外部からの入力されるＮ個の係数、すなわち、係数１から係数Ｎに対応している。
　記憶部１１は、参照画素のデータを保持する機能を有する。記憶部１１は、予測画像を生成する際に参照する参照画素のデータを保存している。参照画素は、予測画素を生成するブロックの周辺の画素であり、予測画素の生成の対象となるブロックの予測画素を生成する際に参照される。記憶部１１に保存されている参照画素のデータは１ピクセルのデータごとに、参照画素信号Ｓ１１として選択部１３に送られる。また、記憶部１１は、第１の実施形態の記憶手段１に相当する。
　記憶部１１は、例えば、半導体記憶素子を用いて構成することができる。記憶部１１に用いる半導体記憶素子としては、例えば、レジスタやフリップフロップなどの記憶素子を用いることができる。また、記憶部１１には、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＰＲＡＭ（Phase Shifter Random Access Memory）およびその他の半導体記憶素子を用いることもできる。また、記憶部１１には、フラッシュメモリや、ＳＳＤ（Solid State Drive）、ハードディスク等のデバイスを用いることもできる。
　選択信号生成処理部１２は、参照画素を選択するための制御信号を生成する機能を有する。選択信号生成処理部１２は、外部から入力される画素位置とモード番号の情報を基に、参照画素を選択する制御信号を選択信号Ｓ１２として生成する。
　選択部１３は、選択信号Ｓ１２を基に、記憶部１１から予測画素生成処理部１４に送られる参照画素を選択する機能を有する。選択部１３は、記憶部１１が保持している参照画素のデータを、１ピクセル分のデータごとに参照画素信号Ｓ１１として受け取る。すなわち、選択部１３は、記憶部１１から複数の参照画素信号Ｓ１１を受け取る。選択部１３は、選択信号Ｓ１２を基に、記憶部１１から受け取る参照画素信号Ｓ１１の中から２つの信号を選択して、選択した参照画素信号Ｓ１１のデータを予測画素生成処理部１４に必要参照画素信号Ｓ１３として送る。本実施形態では、２つの必要参照画素のデータが必要参照画素信号Ｓ１３－１およびＳ１３－２として各予測画素生成処理部１４に送られる。また、選択部１３は、第１の実施形態の選択手段２に相当する。
　予測画素生成処理部１４は、選択部１３から入力される参照画素および外部から入力される係数を基に予測画素を生成する機能を有する。各予測画素生成処理部１４、すなわち、予測画素生成処理部１４－１から１４－Ｎは、選択部１３から必要参照画素信号Ｓ１３－１およびＳ１３－２として入力される必要参照画素のデータおよび外部から入力される係数を基に予測画素をそれぞれ生成する。同一のタイミングにおいて各予測画素生成処理部１４にそれぞれ入力される参照画素は同じ画素データである。すなわち、各予測画素生成処理部１４には、同一の必要参照画素信号Ｓ１３－１およびＳ１３－２が入力される。各予測画素生成処理部１４は、入力されるそれぞれの係数に基づいて、予測画素をそれぞれ生成する。
　各予測画素生成処理部１４は、生成した予測画素のデータを予測画素信号Ｓ１４として並び替えバッファ部１５に出力する。すなわち、Ｎ個の予測画素生成処理部１４がそれぞれ生成した予測画素のデータが、予測画素信号Ｓ１４－１からＳ１４－Ｎとしてそれぞれ出力され、並び替えバッファ部１５に送られる。また、予測画素生成処理部１４は、第１の実施形態の予測画素生成手段３に相当する。
　画面内予測は、符号化の対象とするフレームの参照画像から予測画素を生成して予測画像を得る予測方法である。ＨＥＶＣ規格では、図３に示す３３種類の角度画面内予測が定義されている。角度画面内予測では、符号化の対象ブロック周辺の参照画素を図３に示す３３種類の方向のいずれかに外挿して予測画素が生成される。
　図３の最上段の行の各矩形および最左列の各矩形は、参照画素を示している。矩形中の数字は、座標を示す。矢印は、予測方向を示す。矢印の近傍に付された数字は、予測モードの番号を示す。以下の説明では、予測モードのことをモードと呼ぶ。符号化対象ブロック周辺の参照画素は、レジスタ等の記憶素子で保持されて、予測画素を生成する際には適切な位置の参照画素を参照して予測画素を生成する。角度画面内予測において予測画素PredSamples[x][y]は、例えば、以下の式で計算される。
　PredSamples[x][y] = ((３２-iFact) * ref[x+iIdx+１] + iFact * ref[x+iIdx+２] + １６) >> ５　　（式１）
　ここでxとyは、予測ブロック内の予測画素の画素位置の座標である。ref[x+iIdx+１]およびref[x+iIdx+２]は、参照画素の配列であり、配列のインデックスで参照画素の位置を表している。ref[x+iIdx+１]およびref[x+iIdx+２]は、対象ブロックサイズとブロック内の画素位置によって定められた位置の参照画素である。iIdxは、iIdx = ((y+１) * PredAngle)で算出される。PredAngleは、予測モードごとに定められている角度である。また、iFactは、iFact = ((y+１) * PredAngle) ＆ ３１で算出される。「＆３１」は、３１の２進表現である「１１１１１」とのビットＡＮＤ計算である。iFactは、予測モードごとに、ブロック内の各行で同一の値の係数となる。「>>５」は、２進数における５ｂｉｔの右シフト演算である。予測ブロック内の全ての(x,y)において、上記の（式１）でPredSamples[x][y]を求めることで、予測ブロックの予測画像を生成することができる。
　並び替えバッファ部１５は、入力された予測画素のデータを保持し、並び替えにより予測画素を適切に配置した予測画像を生成する機能を有する。並び替えバッファ部１５は、Ｎ個の予測画素生成処理部１４からＮ個の予測画素信号Ｓ１４として予測画素のデータを受け取り、受け取ったＮ個の予測画素のデータを保持する。並び替えバッファ部１５は、Ｎ個の予測画素のデータを１回または複数回保持する。並び替えバッファ部１５は、並び替え制御信号Ｓ１５を基に、保持した予測画素をモード番号ごとに適切な配置に並べ替えて予測画像を生成する。並び替えバッファ部１５が予測画素のデータを保持する回数は、例えば、符号化対象ブロックの画面内予測画像を生成するために必要な全ての画面内予測画素が生成されるまでの回数として設定される。並び替えバッファ部１５が予測画素のデータを保持する回数は、符号化対象ブロックを分割した際の部分ブロックの画面内予測画像を生成するために必要な画面内予測画素が生成されるまでの回数として設定されてもよい。
　並び替えバッファ部１５には、例えば、リングレジスタやシフトレジスタのようなシフト機能を備えたレジスタやフリップフロップ等の記憶素子を用いることもできる。また、並び替えバッファ部１５に、並び替え機構を備えたレジスタやフリップフロップなどの記憶素子を用いることもできる。並び替えバッファ部１５には、並び替え機構を備えたＳＲＡＭやＤＲＡＭ、ＰＲＡＭなどの半導体記憶素子を用いることもできる。並び替えバッファ部１５には、並び替え機構を備えたフラッシュメモリや、ＳＳＤ（Solid State Drive）、ハードディスク等のデバイスを用いることもできる。また、並び替えバッファ部１５には、ランダムアクセス可能なＳＲＡＭやＤＲＡＭ、ＰＲＡＭ、フラッシュメモリや、ＳＳＤ、ハードディスク等のデバイスを用いることもできる。また、並び替えバッファ部１５は第１の実施形態の並び替えバッファ手段４に相当する。
　並び替えバッファ制御部１６は、外部から入力されるモード番号を基に並び替え制御信号Ｓ１５を生成する機能を有する。並び替えバッファ制御部１６は、外部から入力されるモード番号を受け取り、モード番号ごとにモード番号に応じた適切な配置の予測画像を生成するための制御信号を並び替え制御信号Ｓ１５として生成する。並び替えバッファ制御部１６は、生成した並び替え制御信号Ｓ１５を並び替えバッファ部１５に送る。
　［第２の実施形態の動作］
　次に本実施形態の画面内予測画像生成装置１０の動作について図４のフローチャートを参照して説明する。図４は、本実施形態の画面内予測画像生成装置１０の動作フローの概要をフローチャートとして示したものである。
　始めに外部からモード番号の情報を示す信号が、選択信号生成処理部１２に入力される（ステップＡ１）。また、画素位置の情報を示す信号が、選択信号生成処理部１２に入力される（ステップＡ２）。モード番号および画素位置の情報が入力されると、選択信号生成処理部１２は、入力されたモード番号および画素位置の情報に基づいて選択信号Ｓ１２を生成する（ステップＡ３）。
　参照画素の画素データを示す信号は、記憶部１１から選択部１３に参照画素信号Ｓ１１として送られる。参照画素の画素データを示す参照画素信号Ｓ１１は、参照画素１ピクセルにつき１つの信号が選択部１３に送られる。すなわち、選択部１３は、参照画素を示す参照画素信号Ｓ１１を記憶部１１から複数、受け取る。選択部１３は、選択信号Ｓ１２を受け取ると、参照画素を示す参照画素信号Ｓ１１から選択信号Ｓ１２で指定された２つの信号を選択する（ステップＡ４）。選択部１３が選択した２つの参照画素は必要参照画素信号Ｓ１３－１およびＳ１３－２として、Ｎ個の予測画素生成処理部１４、すなわち、予測画素生成処理部１４－１から予測画素生成処理部１４－Ｎにそれぞれ入力される。このとき、予測画素生成処理部１４－１から予測画素生成処理部１４－ＮのＮ個の予測画素生成処理部１４は、選択部１３で選択された２つの必要参照画素信号Ｓ１３－１およびＳ１３－２を共通して受け取る。
　Ｎ個の予測画素生成処理部１４には、外部から係数の情報を示す信号がそれぞれ入力される。必要参照画素信号Ｓ１３－１およびＳ１３－２を受け取ると、Ｎ個の予測画素生成処理部１４は、外部から入力された係数と必要参照画素信号Ｓ１３－１およびＳ１３－２に基づいて、予測画素をそれぞれ生成する。すなわち、予測画素生成処理部１４－１から予測画素生成処理部１４－ＮのＮ個の予測画素生成処理部１４において、合計Ｎ個の予測画素が生成される（ステップＡ５）。Ｎ個の予測画素生成処理部１４は、予測画素を生成すると生成した予測画素のデータを並び替えバッファ部１５に予測画素信号Ｓ１４としてそれぞれ送る。すなわち、並び替えバッファ部１５には、予測画素信号Ｓ１４－１からＳ１４－ＮのＮ個の予測画素のデータが送られる。
　並び替えバッファ部１５は、各予測画素生成処理部１４から予測画素のデータを予測画素信号Ｓ１４としてそれぞれ受け取ると、受け取った予測画素のデータを保持する。すなわち、並び替えバッファ部１５は、Ｎ個の予測画素のデータを保持する（ステップＡ６）。
　予測画素のデータを保持すると、並び替えバッファ部１５は、対象とするブロックの画面内予測画像を生成するために必要な予測画素を全て受け取ったかを判断する。画面内予測画像を生成するために必要な予測画素が生成されていない場合は（ステップＡ７でＮｏ）、並び替えバッファ部１５は必要な予測画素が保持されるまで待機する。ステップＡ７でＮｏ、すなわち、ブロック内の予測画素が必要数生成されていない場合は、ステップＡ２に戻り次の画素位置の情報を取得してステップＡ２からステップＡ６までの動作が行われる。ステップＡ２において、同一の符号化対象ブロック内でモード番号は変化しないのでステップＡ１で取得したモード番号が引き続き用いられる。
　画面内予測画像の生成に必要な全ての予測画素が生成されている場合は（ステップＡ７でＹｅｓ）、画面内予測画像生成装置１０はステップＡ８以降の予測画像を生成する動作を行う。
　並び替えバッファ制御部１６は、入力されたモード番号に基づいて、並び替えバッファ部１５が予測画素を並び替えて画面内予測画像を生成する際の並び替えの順番を指定する信号を並び替え制御信号Ｓ１５として生成する（ステップＡ８）。並び替えバッファ制御部１６は、並び替え制御信号Ｓ１５を生成すると、生成した並び替え制御信号Ｓ１５を並び替えバッファ部１５に送る。
　並び替えバッファ部１５は、並び替え制御信号Ｓ１５を受け取ると、並び替え制御信号Ｓ１５で指定された順番となるように並び替えバッファ部１５内で保持している予測画素を並び替え、ブロックの画面内予測画像を生成して出力する（ステップＡ９）。他に予測画像が未生成のブロックがある場合は、他のブロックについても順次、上記の動作が繰り返される。以上が、本実施形態の画面内予測画像生成装置１０の動作についての説明である。
　［第２の実施形態の効果］
　本実施形態の画面内予測画像生成装置１０では、選択部１３で必要な参照画素を選択することにより、複数の予測画素生成処理部１４に並列に参照画素のデータが入力されている。そのため、本実施形態の画面内予測画像生成装置１０では、同一の参照画素を用いる予測画素を同時に生成することができる。このような構成とすることにより、予測画素生成処理部１４へ参照画素を入力する際に必要なセレクタの数を削減することができ回路構成を簡略化することができる。また、回路構成を簡略化することで回路面積を削減することができる。
　また、本実施形態の画面内予測画像生成装置１０では、同時に生成されたＮ個の予測画素を並び替えバッファ部１５で保持している。並び替えバッファ部１５は、画面内予測画像を生成するのに必要数の予測画素を保持した後に、モード番号に基づいた制御信号に従って並び替えて画面内予測画像を生成する。そのため、生成された予測画素から処理を行っているブロックの画面内予測画像を生成する際に必要なセレクタも不要となり回路構成を簡略化することができ、回路面積を削減することができる。
　［第２の実施形態の具体的な例］
　次に本実施形態の画面内予測画像生成装置１０について、より具体的な例を用いて説明する。図５は、本実施形態の画面内予測画像生成装置１０を構成する画面内予測画像生成回路３０の構成の概要を示したものである。
　図５に示す通り、画面内予測画像生成回路３０は、記憶装置３１と、選択信号生成処理回路３２と、選択回路３３と、予測画素生成処理回路３４と、並び替え記憶装置３５と、並び替え記憶装置制御回路３６とを備えている。また、画面内予測画像生成回路３０は、予測画素生成処理回路３４－１から予測画素生成処理回路３４－４の４つの予測画素生成処理回路３４を備えている。
　画面内予測画像生成回路３０は、Ｎ＝４のときの画面内予測画像生成装置１０に相当する。また、記憶装置３１は、画面内予測画像生成装置１０の記憶部１１に相当する。選択信号生成処理回路３２は、画面内予測画像生成装置１０の選択信号生成処理部１２に相当する。選択回路３３は、画面内予測画像生成装置１０の選択部１３に相当する。予測画素生成処理回路３４は、画面内予測画像生成装置１０の予測画素生成処理部１４に相当する。並び替え記憶装置３５は、画面内予測画像生成装置１０の並び替えバッファ部１５に相当する。並び替え記憶装置制御回路３６は、画面内予測画像生成装置１０の並び替えバッファ制御部１６に相当する。
　また、参照画素信号Ｓ３１は、参照画素信号Ｓ１１に相当する。選択信号Ｓ３２、必要参照画素信号Ｓ３３、予測画素信号Ｓ３４および並び替え制御信号Ｓ３５は、選択信号Ｓ１２、必要参照画素信号Ｓ１３、予測画素信号Ｓ１４および並び替え制御信号Ｓ１５にそれぞれ相当する。
　図６は、記憶装置３１と、選択回路３３の構成の例を示したものである。記憶装置３１は、複数のレジスタで構成され、レジスタごとに１つの参照画素のデータを保持する機能を有する。図６は、１２９個のレジスタを備える例を示しており、記憶装置３１は、最大で１２９ピクセルの参照画素を保持することができる。
　選択回路３３は、セレクタ３７およびセレクタ３８を備えている。セレクタ３７およびセレクタ３８には、記憶装置３１の１２９個のレジスタから１２９本の信号線がそれぞれ入力されている。セレクタ３７およびセレクタ３８は、選択信号Ｓ３２に基づいて、１２９本の信号線からそれぞれ１本の信号線を選択し、選択した信号線から入力されてくる参照画素のデータを必要参照画素信号Ｓ３３として出力する。
　図７は、並び替え記憶装置３５の構成の例を示している。並び替え記憶装置３５は、リングレジスタを用いて構成されている。図７の並び替え記憶装置３５は、リングレジスタ３５-１からリングレジスタ３５-４の４つのリングレジスタで構成されている。４つのリングレジスタに制御信号がそれぞれ入力され、各リングレジスタは、それぞれが独立して制御される。
　次に、画面内予測画像生成回路３０において、画面内予測画像を生成する方法について説明する。図８は、予測画素の生成に用いる参照画素の位置と、生成される予測画素の位置を示したものである。図８に示した予測画素のうち、同じ番号がつけられている画素位置は同一の参照画素から生成される予測画素である。同一の参照画素から生成される予測画素は、予測画素生成処理回路３４-１から予測画素生成処理回路３４-４の４つの予測画素生成処理回路において並列に生成される。
　図８の各参照画素につけられている数字は、同じ数字の予測画素を生成するために必要な参照画素の位置を示している。例えば「３」の予測画素を生成するために必要な参照画素は、「３」の数字がつけられている参照画素である。予測画素の生成に用いる参照画素が対応する座標に存在しない場合、例えば、図８の「１」の予測画素を生成する場合には、隣接する参照画素が拡張されて用いられる。例えば、隣接する参照画素の画素データと同じ画素データの参照画素が予測画素の生成の際に参照する座標に存在すると仮定して予測画素が生成される。
　図９は、生成した予測画素を並び替え記憶装置３５に格納する方法の例を示している。図９に示した例では、並列に生成された予測画素を同じ列に格納し、その後に全体を１つシフトした後に、さらに次の予測画素を格納している。このように、予測画素を格納することにより図９において、並び替え記憶装置３５は、同じ数値がつけられた参照画素を基に生成された予測画素を同じ列に格納している。
　また、図１０は、図９のように格納された予測画素から、予測画像を生成する方法を示している。図９に示すように、リングレジスタ３５－２とリングレジスタ３５－３を１つ右にシフトし、リングレジスタ３５－４を２つ右にシフトすることで、図８に示されている予測画像と同様の画面内予測画像が点線部分で囲まれた部分に生成されている。シフト数および対象とするリングレジスタは、並び替え記憶装置制御回路３６で生成された制御信号によって制御されている。
　次に画面内予測画像生成回路３０において、画面内予測画像を生成する際の動作について説明する。図１１は、画面内予測画像生成回路３０において、画面内予測画像を生成する際の動作フローをフローチャートとして示したものである。
　図１１のステップＣ１は、図４のステップＡ１に相当する。また、図１１のステップＣ２は、図４のステップＡ２に、ステップＣ３はステップＡ３に、ステップＣ４はステップＡ４に、ステップＣ５はステップＡ５にそれぞれ相当する。また、図１１のステップＣ６は、図４のステップＡ６に、ステップＣ７はステップＡ７に、ステップＣ８はステップＡ８に、ステップＣ９はステップＡ９にそれぞれ相当する。
　始めに、モード番号の情報を示す信号が選択信号生成処理回路３２に入力される（ステップＣ１）。また、画素位置の情報を示す信号も選択信号生成処理回路３２に入力される（ステップＣ２）。モード番号と画素位置の情報が入力されると、選択信号生成処理回路３２は、入力されたモード番号と画素位置の情報を基に選択信号Ｓ３２を生成する（ステップＣ３）。選択信号生成処理回路３２は、生成した選択信号Ｓ３２を選択回路３３に送る。
　選択信号S３２が入力されると、選択回路３３は、記憶装置３１から入力される参照画素信号Ｓ３１のうち、選択信号Ｓ３２で指定された２つの参照画素を必要参照画素として選択する（ステップＣ４）。必要参照画素として選択された参照画素のデータは、４つの予測画素生成処理回路３４にそれぞれ必要画素信号Ｓ３３－１およびＳ３３－２として入力される。
　２つの必要参照画素信号Ｓ３３が入力されると、予測画素生成処理回路３４は入力された必要参照画素のデータと外部から入力された係数を用いて、予測画素をそれぞれ生成する。４個の予測画素生成処理回路３４が予測画素をそれぞれ生成するので、合計４個の予測画素が生成される（ステップＣ５）。４個の予測画素生成処理回路３４は、生成した予測画素を予測画素信号Ｓ３４としてそれぞれ並び替え記憶装置３５に送る。
　４つの予測画素信号Ｓ３４－１からＳ３４－４が入力されると、並び替え記憶装置３５は、４個の予測画素生成処理回路３４からそれぞれ入力された合計４個の予測画素を保持する（ステップＣ６）。入力された予測画像を保持すると、並び替え記憶装置３５は、対象とする４×４ブロックの画面内予測画像を生成するために必要な予測画素が全て生成されたかどうかを判定する。
　予測画素が必要数生成されていない場合は（ステップＣ７でＮｏ）、ステップＣ２に戻り次の画素位置を取得してステップＣ２からステップＣ６の動作が実施される。ステップＣ２においては、同一の符号化対象ブロック内でモード番号は変化しないのでステップＣ１で取得したモード番号が引き続いて用いられる。
　必要な予測画素が全て生成されている場合は（ステップＣ７でＹｅｓ）、並び替え記憶装置３５は、予測画像を生成するステップＣ８以降の動作を始める。
　並び替え記憶装置制御回路３６は、入力されるモード番号に従って、並び替え記憶装置３５で保持されている予測画素を並び替えて画面内予測画像を生成するための並び替え制御信号Ｓ３５を生成する（ステップＣ８）。並び替え制御信号Ｓ３５を生成すると、並び替え記憶装置制御回路３６は、生成した並び替え制御信号Ｓ３５を並び替え記憶装置３５に送る。
　並び替え制御信号Ｓ３５を受け取ると、並び替え記憶装置３５は、並び替え制御信号Ｓ３５に基づいて、並び替え記憶装置３５内で保持している画面内予測画素を並び替え、４×４ブロックの画面内予測画像を生成する（ステップＣ９）。画面内予測画像を生成すると、並び替え記憶装置３５は生成した画面内予測画像を出力する。
　本実施形態の画面内予測画像生成回路３０は、４個の予測画素生成処理回路３４に対し必要参照画素が並列に入力されるように構成されている。本実施形態の画面内予測画像生成回路３０では、同一の参照画素を用いる４ピクセルの画面内予測画素を同時に生成できるため、予測画素生成処理回路の入力に係るセレクタ数を削減することができる。また、セレクタ数を削減することにより、回路面積が削減される。
　本実施形態の画面内予測画像生成回路３０は、同時に生成された４個の参照画素を、並び替え記憶装置３５で保持している。本実施形態の画面内予測画像生成回路３０は、画面内予測画像を生成するのに必要数の画素を保持した後に、モード番号に基づいた制御信号に従って並び替え記憶装置３５内部のリングレジスタを操作し、予測画素を並び替えることができるように構成されている。そのため、本実施形態の画面内予測画像生成回路３０では、生成された画面内予測画素から処理の対象となるブロックの画面内予測画像を生成する際にセレクタが不要となり回路規模を削減することができる。
　なお、本実施形態の上記の例では並び替え記憶装置３５の例としてリングレジスタを用いたが、並び替え記憶装置３５はランダムアクセス可能な記憶装置で構成されてもよい。そのような構成とした場合、並び替え記憶装置３５は、並び替え制御信号Ｓ３５を受け取ると、並び替え制御信号Ｓ３５から図１０の点線部分で囲まれた部分のデータを読み出すためのアドレスを生成する。並び替え記憶装置３５は、生成したアドレスに従ってデータを読み出すことで、本実施形態の上記の例と同様の効果を得ることができる。
　［第３の実施形態］
［第３の実施形態の構成］
　本発明の第３の実施形態について図を参照して詳細に説明する。図１２は本実施形態の画面内予測画像生成装置２０の構成の概要を示したものである。本実施形態の画面内予測画像生成装置２０は、記憶部にデータシフト機能を備えていることを特徴とする。本実施形態の画面内予測画像生成装置２０では、記憶部にデータシフト機能を備えることで、記憶部から選択部の間の信号線の本数を削減することができる。
　本実施形態の画面内予測画像生成装置２０は、記憶部２１と、選択信号生成処理部２２と、選択部２３と、予測画素生成処理部２４と、並び替えバッファ部２５と、並び替えバッファ制御部２６を備えている。
　選択信号生成処理部２２、予測画素生成処理部２４、並び替えバッファ部２５および並び替えバッファ制御部２６の構成と機能は、第２の実施形態の同名称の部位と同様である。また、参照画素信号Ｓ２１、選択信号Ｓ２２、必要参照画素信号Ｓ２３、予測画素信号Ｓ２４および並び替え制御信号Ｓ２５は、第２の実施形態の同名称の信号と同様の機能を有する。
　記憶部２１は、参照画素のデータを保持する機能を有する。また、記憶部２１は、外部から入力されるモード番号および画素位置の情報に基づいて、参照画素を選択して出力する機能を有する。
　図１３は、記憶部２１の構成の概要を示したものである。図１３に示すように、記憶部２１は、記憶装置制御部５１と、データシフト付記憶部５２を備えている。記憶装置制御部５１は、外部から入力されるモード番号と画素位置の情報を基に、データシフト付記憶部５２を制御する記憶装置制御信号Ｓ５１を生成する。データシフト付記憶部５２は、参照画素を各領域に記憶し、記憶装置制御信号Ｓ５１に基づいて参照画素が記憶されている位置をシフトさせる。
　選択部２３は、選択信号Ｓ２２に基づいて複数の参照画素から２つの参照画素を選択して出力する機能を有する。選択部２３は、データシフト付記憶部５２に保存されているデータのうち先頭の数ピクセル分の領域に保存されている参照画素のデータを参照画素信号Ｓ２１としてデータシフト付記憶部５２から受け取る。図１３の例では、選択部２３は、データシフト付記憶部５２に保存されているデータのうち先頭の３ピクセル分の領域に保存されている参照画素のデータを受け取る。選択部２３は、選択信号生成処理部２２から送られてくる選択信号Ｓ２２を基に、参照画素として用いる２つの画素を選択し必要参照画素信号Ｓ２３として予測画素生成処理部２４に送る。
　［第３の実施形態の動作］
　本実施形態の画面内予測画像生成装置２０の動作について説明する。図１４は、本実施形態の画面内予測画像生成装置２０の動作フローの概要を示すフローチャートである。
　始めに外部からモード番号および画素位置の情報が、記憶部２１に入力される。記憶部２１の記憶装置制御部５１は、モード番号および画素位置の情報に基づいてデータシフト付記憶部５２を初期位置に設定する。データシフト付記憶部５２は、保持している参照画素のデータのうち、先頭の数ピクセル分の画素データを選択部２３に参照画素信号Ｓ２１として送る。
　モード番号の情報を示す信号は、選択信号生成処理部２２にも入力される（ステップＢ１）。また、画素位置の情報を示す信号は、選択信号生成処理部２２にも入力される（ステップＢ２）。モード番号および画素位置の情報が入力されると、選択信号生成処理部２２は、入力されたモード番号および画素位置の情報に基づいて選択信号Ｓ２２を生成する（ステップＢ３）。選択信号生成処理部２２は、生成した選択信号Ｓ２２を選択部２３に送る。
　選択部２３は、参照画素信号Ｓ２１および選択信号Ｓ２２を受け取ると、第２の実施形態と同様に参照画素を示す参照画素信号Ｓ２１から選択信号Ｓ２２で指定された２つの信号を選択する（ステップＢ４）。以下、同様に画面内予測画像生成装置２０は、第２の実施形態のステップＡ５からステップＡ９における動作と同様の動作をステップＢ５からＢ９において行う。
　ステップＢ５からＢ９の動作においてステップＢ６の予測画素の生成の動作まで行われた際に、予測画像の生成に必要な数の予測画素が生成されていない場合（ステップＢ７でＮｏ）に、画面内予測画像生成装置２０は以下のように動作する。
　ステップＢ６の処理まで終わった際に、予測画像の生成に必要な数の予測画素が生成されていない場合は（ステップＢ７でＮｏ）、記憶装置制御部５１はデータシフト量を示す記憶装置制御信号Ｓ５１を生成する（ステップＢ１０）。記憶装置制御部５１は、モード番号と画素位置の基にデータシフト量を判断して記憶装置制御信号Ｓ５１を生成する。
　記憶装置制御部５１は、記憶装置制御信号Ｓ５１を生成すると、生成した記憶装置制御信号Ｓ５１をデータシフト付記憶部５２に送る。
　データシフト付記憶部５２は、記憶装置制御信号Ｓ５１を受け取ると、信号に含まれるデータシフト量の情報に基づいて、記憶しているデータをシフトさせる操作を行う(ステップＢ１１）。記憶装置制御信号Ｓ５１が示すデータのシフト量が０のときは、データシフト付記憶部５２は、データのシフトを行わない。データシフト付記憶部５２に保存されているデータのシフトが行われると、シフト後の先頭の数ピクセル分の参照画素の信号が選択部２３に送られる。選択部２３に参照画素信号Ｓ２１が入力されると、ステップＢ２からの動作が繰り返される。
　［第３の実施形態の効果］
　本実施形態の画面内予測画像生成装置２０は、参照画素をデータシフト付記憶部５２で保持している。また、選択部２３には、データシフト付記憶部５２に保存されている参照画素のうち先頭の数ピクセル分の参照画素が入力される。先頭の数ピクセルに保存されている参照画素は、記憶装置制御部５１が、モード番号と画素位置を基に必要な参照画素を読み出すためのデータのシフト量を設定することにより制御される。選択部２３は、入力された数ピクセル分の参照画素から必要な２つの参照画素を選択している。このような構成とすることで、本実施形態の画面内予測画像生成装置２０は、選択部２３のセレクタに入力される参照画素の信号数を削減することができるのでセレクタに関する回路規模を削減することができる。
　［第３の実施形態の具体的な例］
　次に本実施形態の画面内予測画像生成装置２０について、より具体的な例を用いて説明する。図１５は、本実施形態の画面内予測画像生成装置２０のより具体的な構成を画面内予測画像生成回路４０として示したものである。
　図１５に示すように、画面内予測画像生成回路４０は、記憶装置４１と、選択信号生成処理回路４２と、選択回路４３と、予測画素生成処理回路４４と、並び替え記憶装置４５と、並び替え記憶装置制御回路４６を備えている。画面内予測画像生成回路４０は、予測画素生成処理回路４４－１から予測画素生成処理回路４４－４の４つの予測画素生成処理回路４４を備えている。
　画面内予測画像生成回路４０は、Ｎ＝４のときの画面内予測画像生成装置２０に相当する。記憶装置４１は、画面内予測画像生成装置２０の記憶部２１に相当する。選択信号生成処理回路４２は、画面内予測画像生成装置２０の選択信号生成処理部２２に相当する。選択回路４３は、画面内予測画像生成装置２０の選択部２３に相当する。予測画素生成処理回路４４－１から予測画素生成処理回路４４－４は、画面内予測画像生成装置２０の予測画素生成処理部２４－１から予測画素生成処理部２４－ＮのうちＮ＝４までにそれぞれ相当する。並び替え記憶装置４５は、画面内予測画像生成装置２０の並び替えバッファ部２５に相当する。並び替え記憶装置制御回路４６は、画面内予測画像生成装置２０の並び替えバッファ制御部２６に相当する。
　また、参照画素信号Ｓ４１は、参照画素信号Ｓ２１に相当する。選択信号Ｓ４２、必要参照画素信号Ｓ４３、予測画素信号Ｓ４４および並び替え制御信号Ｓ４５は、選択信号Ｓ２２、必要参照画素信号Ｓ２３、予測画素信号Ｓ２４および並び替え制御信号Ｓ２５にそれぞれ相当する。
　図１６は、記憶装置４１および選択回路４３の構成の例を示したものである。図１６に示すように、記憶装置４１は、シフトレジスタ制御回路６１と、シフトレジスタ６２を備えている。シフトレジスタ６２は、参照画素を保存している。シフトレジスタ制御回路６１は、入力されたモード番号と生成する画素位置の情報を基に、シフトレジスタ６２を制御するためのシフトレジスタ制御信号Ｓ６１を生成する。
　参照画素を保持するシフトレジスタ６２はシフトレジスタ制御信号Ｓ６１に従って保持しているデータのシフトを行う。図８のように、「１」から「６」までのラベルが付加された予測画素を生成する例において、「１」から「６」までラベルの番号順に予測画素を生成する場合には、必要な参照画素の保存されている領域はほぼ１ピクセルずつ右方向にずれていく。シフトレジスタ制御回路６１は、シフトレジスタ６２のデータを大きくシフトさせることなく、必要な参照画素が選択回路４３に出力されるようにシフトレジスタ６２を制御することができる。
　選択回路４３は、セレクタ６３およびセレクタ６４を備えている。セレクタ６３およびセレクタ６４は、２つの入力信号から選択された１つの信号を出力する。図１３の例では、シフトレジスタ６２の先頭３ピクセルの参照画素が選択回路４３に入力され、選択回路４３は、３ピクセルから２ピクセルの必要参照画素を選択して、予測画素生成処理回路４４に送る。
　次に画面内予測画像生成回路４０の動作について説明する。図１７は、画面内予測画像生成回路４０の動作フローの概要をフローチャートとして示したものである。
　図１７のステップＤ１は、図１４のステップＢ１に相当する。また、図１７のステップＤ２は図１４のステップＢ２に、ステップＤ３はステップＢ３に、ステップＤ４はステップＢ４に、ステップＤ５はステップＢ５にそれぞれ相当する。また、図１７のステップＤ６は図１４のステップＢ６に、ステップＤ７はステップＢ７に、ステップＤ８はステップＢ８に、ステップＤ９はステップＢ９に、ステップＤ１０はステップＢ１０にそれぞれ相当する。
　また、ステップＤ１からステップＤ９における動作は、図１１のステップＣ１からステップＣ９における動作と同様である。よって、以下では、ステップＤ６の予測画素の生成の動作まで行われた後に、予測画像の生成に必要な数の予測画素が生成されていない場合（ステップＤ７でＮｏ）の動作について詳細に説明する。
　予測画像の生成に必要な数の予測画素が生成されていない場合は（ステップＤ７でＮｏ）、シフトレジスタ制御回路６１は、モード番号と画素位置の情報を基にシフトレジスタ６２をシフトさせる必要があるかどうかを判断する。シフトさせる必要があるときは、シフトレジスタ制御回路６１は、シフトレジスタ６２でのデータのシフト量を算出して、シフトレジスタ６２を制御するためのシフトレジスタ制御信号Ｓ６１を生成する（ステップＤ１０）。シフトレジスタ６２のシフトが不要な場合は、シフトレジスタ制御回路６１は、シフト量を０とするシフトレジスタ制御信号Ｓ６１を生成する。
　シフトレジスタ制御回路６１は、シフトレジスタ制御信号Ｓ６１を生成すると、生成した信号をシフトレジスタ６２に送る。シフトレジスタ制御信号Ｓ６１を受け取ると、シフトレジスタ６２は、シフトレジスタ制御信号Ｓ６１に基づいて参照画素をシフトさせる（ステップＤ１１）。シフトレジスタ制御信号Ｓ６１で示されるシフト量が０のときは、シフトレジスタ６２はデータのシフトを行わない。データのシフトが行われるとシフト後の先頭の３ピクセル分の参照画素の信号が選択回路４３に送られる。選択回路４３に送られる参照画素は、３ピクセル以外のピクセル数であってもよい。シフトが行われなかった場合は、同じ参照画素の信号が継続して選択回路４３に送られる。選択回路４３に参照画素の信号が入力されると、ステップＤ２からの動作が繰り返される。
　本実施形態の画面内予測画像生成回路４０は、参照画素をシフトレジスタ６２で保存している。本実施形態の画面内予測画像生成回路４０では、参照画素はシフトレジスタの先頭３ピクセル分だけから読み出され、選択回路４３に送られる。また、選択回路４３に送られる参照画素はシフトレジスタをシフトさせることにより変更することができる。このような構成とすることにより、本実施形態の画面内予測画像生成回路４０では、セレクタに入力される参照画素の信号数を削減することができる。その結果、本実施形態の画面内予測画像生成回路４０では、回路規模を削減することができる。
　第１乃至第３の実施形態の予測画像生成装置および回路は、図１８のような動画像符号化装置で用いることができる。図１８は、各予測画像生成装置または回路を、予測部として用いることのできる動画像符号化装置１００の構成の概要を示したものである。図１８の動画像符号化装置１００は、デジタル化された映像の各フレームの各ＣＵ（Coding Unit）を入力画像として、映像データの符号化処理を行い、ビットストリームを出力する装置である。
　図１８に示した動画像符号化装置１００は、変換部１０１と、量子化部１０２と、エントロピー符号化部１０３と、逆変換／逆量子化部１０４と、バッファ１０５と、予測部１０６と、最適予測モード決定部１０７を備えている。動画像符号化装置１００は、予測画像の生成のための画面内予測を行う予測部１０６に、各実施形態の予測画像生成装置または回路を用いることにより装置全体の回路規模を抑制することが可能となる。
　変換部１０１は、最適予測モード決定部１０７が決定したＴＵ（Transform Unit）クアッドツリー構造に基づいて、予測誤差画像のデータを示す信号、すなわち、入力画像信号から予測信号を減じて生成される予測誤差信号を周波数変換する。変換部１０１は、予測誤差信号の変換符号化において、周波数変換に基づいた所定のブロックサイズの直交変換を使用する。所定のブロックサイズとしては、例えば、４×４、８×８、１６×１６または３２×３２が用いられる。変換部１０１は、例えば、直交変換として、イントラＣＵの輝度成分の４×４ＴＵに対して、整数演算で近似した整数精度のＤＳＴ（Discrete Sine Transform ：離散サイン変換）を使用する。その他のＴＵに対して、変換部１０１は、そのブロックサイズに対応する整数演算で近似した整数精度のＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）を使用する。
　量子化部１０２は、変換部１０１から供給される直交変換係数を量子化する。量子化された直交変換係数は変換量子化値と呼ばれることもある。エントロピー符号化部１０３は、入力したデータをエントロピー符号化して出力する。
　逆変換／逆量子化部１０４は、変換量子化値を逆量子化する。さらに、逆変換／逆量子化部１０４は、逆量子化した直交変換係数を逆変換する。逆変換された予測誤差画像は、予測信号が加えられて、バッファ１０５に供給される。バッファ１０５は、画像を参照画像として格納する。
　予測部１０６は、最適予測モード決定部１０７が決定した予測モードおよび予測ブロックにもとづいて、ＣＵの入力画像信号に対する予測信号を生成する。予測信号は、画面内予測またはインター予測にもとづいて生成される。最適予測モード決定部１０７は、ＣＴＵ（Coding Tree Unit）毎に、符号化コストを最小とする予測モードと予測ブロックの組み合わせを決定する。
　各部位が上記のように動作することにより、動画像符号化装置は各フレームの各ＣＵを入力画像として、映像データの符号化処理を行い、圧縮符号化された映像データのビットストリームを出力する。また、動画像符号化装置１００の予測部１０６として各実施形態の予測画像生成装置または回路を用いることで動画像符号化装置の回路規模を抑制することが可能となる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　複数の参照画素を保持する記憶手段と、
モード番号と画素位置を基に、画面内の予測画像の生成に用いる前記参照画素を必要参照画素として選択する選択手段と
　前記必要参照画素を基に複数の前記予測画素を並列処理で生成する予測画素生成手段と、
　前記予測画素生成手段が生成した前記予測画素を、モード番号を基に並び替えて前記予測画像を生成する並び替えバッファ手段と、
　を備えることを特徴とする予測画像生成装置。
　（付記２）
　複数の前記予測画素生成手段を備え、
　前記複数の予測画素生成手段は同一の前記必要参照画素を用いて前記予測画素をそれぞれ生成することを特徴とする付記１に記載の予測画像生成装置。
　（付記３）
　複数の前記予測画素生成手段は、それぞれ異なる所定の係数を受け付け、前記所定の係数を基に前記予測画素を生成することを特徴とする付記１または２いずれかに記載の予測画像生成装置。
　（付記４）
　前記記憶手段は、保持している前記参照画素のデータをシフトする手段と、モード番号と画素位置を基に前記データのシフト操作をするかどうかを判断する手段とをさらに備えることを特徴とする付記１から３いずれかに記載の予測画像生成装置。
　（付記５）
　前記選択手段は、２つのセレクタを備え、前記セレクタによりそれぞれ選択された前記必要参照画素が前記予測画素生成手段に入力されることを特徴とする付記１から３いずれかに記載の予測画像生成装置。
　（付記６）
　前記並び替えバッファ手段は、保持している前記予測画素をシフトするバッファ記憶手段をさらに備え、シフト操作を行うことにより前記予測画素を並び替えて前記予測画像を生成することを特徴とする付記１から５いずれかに記載の予測画像生成装置。
　（付記７）
　前記並び替えバッファ手段は、複数、備えられた予測画素生成手段と同数の前記バッファ記憶手段を備え、前記バッファ記憶手段はそれぞれ独立に制御されることを特徴とする付記６に記載の予測画像生成装置。
　（付記８）
　複数の参照画素を保持し、
モード番号と画素位置を基に、画面内の予測画像の生成に用いる前記参照画素を必要参照画素として選択し、
　前記必要参照画素を基に複数の前記予測画素を並列処理で生成し、
　生成した前記予測画素を、モード番号を基に並び替えて前記予測画像を生成することを特徴とする予測画像生成方法。
　（付記９）
　同一の前記必要参照画素を用いて前記予測画素をそれぞれ生成することを特徴とする付記８に記載の予測画像生成方法。
　（付記１０）
　それぞれ異なる所定の係数を受け付け、前記所定の係数を基に前記予測画素を生成することを特徴とする付記８または９いずれかに記載の予測画像生成方法。
　（付記１１）
　モード番号と画素位置を基に前記データのシフト操作をするかどうかを判断し、保持している前記参照画素のデータをシフトすることを特徴とする付記８から１０いずれかに記載の予測画像生成方法。
　（付記１２）
　２つのセレクタによりそれぞれ選択された前記必要参照画素が前記予測画素の生成に用いられることを特徴とする付記８から１０いずれかに記載の予測画像生成方法。
　（付記１３）
　保持している前記予測画素のシフト操作を行うことにより前記予測画素を並び替えて前記予測画像を生成することを特徴とする付記８から１２いずれかに記載の予測画像生成方法。
　（付記１４）
　複数、備えられた予測画素を生成する回路にそれぞれ対応した記憶素子に前記予測画素をそれぞれ保持し、前記記憶素子のシフト操作をそれぞれ独立に制御することを特徴とする付記１３に記載の予測画像生成方法。
　本発明は、動画像符号化において画面内予測を行うシステムや回路等に適用することができる。また、本発明は、画面内予測を用いた静止画の圧縮符号化等に適用することもできる。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１４年１０月３１日に出願された日本出願特願２０１４－２２２７４７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　　記憶手段
　２　　選択手段
　３　　予測画素生成手段
　４　　並び替えバッファ手段
　１０　　画面内予測画像生成装置
　１１　　記憶部
　１２　　選択信号生成処理部
　１３　　選択部
　１４　　予測画素生成処理部
　１５　　並び替えバッファ部
　１６　　並び替えバッファ制御部
　２０　　画面内予測画像生成装置
　２１　　記憶部
　２２　　選択信号生成処理部
　２３　　選択部
　２４　　予測画素生成処理部
　２５　　並び替えバッファ部
　２６　　並び替えバッファ制御部
　３０　　画面内予測画像生成回路
　３１　　記憶装置
　３２　　選択信号生成処理回路
　３３　　選択回路
　３４　　予測画素生成処理回路
　３５　　並び替え記憶装置
　３６　　並び替え記憶装置制御回路
　３７　　セレクタ
　３８　　セレクタ
　４０　　画面内予測画像生成回路
　４１　　記憶装置
　４２　　選択信号生成処理回路
　４３　　選択回路
　４４　　予測画素生成処理回路
　４５　　並び替え記憶装置
　４６　　並び替え記憶装置制御回路
　５１　　記憶装置制御部
　５２　　データシフト付記憶部
　６１　　シフトレジスタ制御回路
　６２　　シフトレジスタ
　６３　　セレクタ
　６４　　セレクタ
　１０１　　変換部
　１０２　　量子化部
　１０３　　エントロピー符号化部
　１０４　　逆変換／逆量子化部
　１０５　　バッファ
　１０６　　予測部
　１０７　　最適予測モード決定部
　Ｓ１１　　参照画素信号
　Ｓ１２　　選択信号
　Ｓ１３　　必要参照画素信号
　Ｓ１４　　予測画素信号
　Ｓ１５　　並び替え制御信号
　Ｓ２１　　参照画素信号
　Ｓ２２　　選択信号
　Ｓ２３　　必要参照画素信号
　Ｓ２４　　予測画素信号
　Ｓ２５　　並び替え制御信号
　Ｓ３１　　参照画素信号
　Ｓ３２　　選択信号
　Ｓ３３　　必要参照画素信号
　Ｓ３４　　予測画素信号
　Ｓ３５　　並び替え制御信号
　Ｓ４１　　参照画素信号
　Ｓ４２　　選択信号
　Ｓ４３　　必要参照画素信号
　Ｓ４４　　予測画素信号
　Ｓ４５　　並び替え制御信号
　Ｓ５１　　記憶装置制御信号
　Ｓ６１　　シフトレジスタ制御信号

Claims (14)

  1. 　複数の参照画素を保持する記憶手段と、
    　モード番号と画素位置を基に、画面内の予測画像の生成に用いる前記参照画素を必要参照画素として選択する選択手段と
    　前記必要参照画素を基に複数の前記予測画素を並列処理で生成する予測画素生成手段と、
    　前記予測画素生成手段が生成した前記予測画素を、モード番号を基に並び替えて前記予測画像を生成する並び替えバッファ手段と、
    　を備えることを特徴とする予測画像生成装置。
  2. 　複数の前記予測画素生成手段を備え、
    　前記複数の予測画素生成手段は同一の前記必要参照画素を用いて前記予測画素をそれぞれ生成することを特徴とする請求項１に記載の予測画像生成装置。
  3. 　複数の前記予測画素生成手段は、それぞれ異なる所定の係数を受け付け、前記所定の係数を基に前記予測画素を生成することを特徴とする請求項１または２いずれかに記載の予測画像生成装置。
  4. 　前記記憶手段は、保持している前記参照画素のデータをシフトする手段と、モード番号と画素位置を基に前記データのシフト操作をするかどうかを判断する手段とをさらに備えることを特徴とする請求項１から３いずれかに記載の予測画像生成装置。
  5. 　前記選択手段は、２つのセレクタを備え、前記セレクタによりそれぞれ選択された前記必要参照画素が前記予測画素生成手段に入力されることを特徴とする請求項１から３いずれかに記載の予測画像生成装置。
  6. 　前記並び替えバッファ手段は、保持している前記予測画素をシフトするバッファ記憶手段をさらに備え、シフト操作を行うことにより前記予測画素を並び替えて前記予測画像を生成することを特徴とする請求項１から５いずれかに記載の予測画像生成装置。
  7. 　前記並び替えバッファ手段は、複数、備えられた予測画素生成手段と同数の前記バッファ記憶手段を備え、前記バッファ記憶手段はそれぞれ独立に制御されることを特徴とする請求項６に記載の予測画像生成装置。
  8. 　複数の参照画素を保持し、
    　モード番号と画素位置を基に、画面内の予測画像の生成に用いる前記参照画素を必要参照画素として選択し、
    　前記必要参照画素を基に複数の前記予測画素を並列処理で生成し、
    　生成した前記予測画素を、モード番号を基に並び替えて前記予測画像を生成することを特徴とする予測画像生成方法。
  9. 　同一の前記必要参照画素を用いて前記予測画素をそれぞれ生成することを特徴とする請求項８に記載の予測画像生成方法。
  10. 　それぞれ異なる所定の係数を受け付け、前記所定の係数を基に前記予測画素を生成することを特徴とする請求項８または９いずれかに記載の予測画像生成方法。
  11. 　モード番号と画素位置を基に前記データのシフト操作をするかどうかを判断し、保持している前記参照画素のデータをシフトすることを特徴とする請求項８から１０いずれかに記載の予測画像生成方法。
  12. 　２つのセレクタによりそれぞれ選択された前記必要参照画素が前記予測画素の生成に用いられることを特徴とする請求項８から１０いずれかに記載の予測画像生成方法。
  13. 　保持している前記予測画素のシフト操作を行うことにより前記予測画素を並び替えて前記予測画像を生成することを特徴とする請求項８から１1いずれかに記載の予測画像生成方法。
  14. 　複数、備えられた予測画素を生成する回路にそれぞれ対応した記憶素子に前記予測画素をそれぞれ保持し、前記記憶素子のシフト操作をそれぞれ独立に制御することを特徴とする請求項１３に記載の予測画像生成方法。
PCT/JP2015/005273 2014-10-31 2015-10-20 予測画像生成装置および予測画像生成方法 WO2016067557A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/523,158 US20170318305A1 (en) 2014-10-31 2015-10-20 Prediction-image generation device and prediction-image generation method
JP2016556201A JP6589878B2 (ja) 2014-10-31 2015-10-20 予測画像生成装置および予測画像生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014222747 2014-10-31
JP2014-222747 2014-10-31

Publications (1)

Publication Number Publication Date
WO2016067557A1 true WO2016067557A1 (ja) 2016-05-06

Family

ID=55856924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005273 WO2016067557A1 (ja) 2014-10-31 2015-10-20 予測画像生成装置および予測画像生成方法

Country Status (3)

Country Link
US (1) US20170318305A1 (ja)
JP (1) JP6589878B2 (ja)
WO (1) WO2016067557A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11611757B2 (en) * 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
EP3829167A4 (en) 2018-12-25 2021-08-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. DECODING PREDICTION METHOD AND APPARATUS, AND COMPUTER STORAGE MEDIUM

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007150728A (ja) * 2005-11-28 2007-06-14 Mitsubishi Electric Corp 動画像符号化装置
JP2011023817A (ja) * 2009-07-13 2011-02-03 Fujitsu Ltd 画像符号化装置
WO2012011340A1 (ja) * 2010-07-20 2012-01-26 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007150728A (ja) * 2005-11-28 2007-06-14 Mitsubishi Electric Corp 動画像符号化装置
JP2011023817A (ja) * 2009-07-13 2011-02-03 Fujitsu Ltd 画像符号化装置
WO2012011340A1 (ja) * 2010-07-20 2012-01-26 ソニー株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDRZEJ ABRAMOWSKI ET AL.: "A novel Intra prediction architecture for the hardware HEVC encoder", 2013 EUROMICRO CONFERENCE ON DIGITAL SYSTEM DESIGN (DSD, September 2013 (2013-09-01), pages 429 - 436, XP032502992 *
ERCAN KALALI ET AL.: "A high performance and low energy intra prediction hardware for High Efficiency Video Coding", 22ND INTERNATIONAL CONFERENCE ON FIELD PROGRAMMABLE LOGIC AND APPLICATIONS (FPL, August 2012 (2012-08-01), pages 719 - 722, XP032265081 *
XI WANG ET AL.: "A Parallel Intra Prediction Architecture for H.264 Video Decoding", IEEE 8TH INTERNATIONAL CONFERENCE ON ASIC (ASICON '09), October 2009 (2009-10-01), pages 859 - 862, XP031579155 *

Also Published As

Publication number Publication date
US20170318305A1 (en) 2017-11-02
JPWO2016067557A1 (ja) 2017-08-17
JP6589878B2 (ja) 2019-10-16

Similar Documents

Publication Publication Date Title
US20240098277A1 (en) Video signal processing method and device
KR20220104140A (ko) 쿼드 트리를 이용한 블록 정보 부/복호화 방법 및 이러한 방법을 사용하는 장치
US10623742B2 (en) Method of determining binary codewords for transform coefficients
US9270988B2 (en) Method of determining binary codewords for transform coefficients
JP2017069971A (ja) インタ予測方法及びその装置
KR20100074137A (ko) 영상 부호화 방법 및 영상 복호 방법
CN113875233A (zh) 使用上采样的基于矩阵的帧内预测
JP2008288832A (ja) 情報処理装置および方法
US20130188729A1 (en) Method of determining binary codewords for transform coefficients
JP2010206664A (ja) 画像符号化装置、画像符号化制御方法およびプログラム
JP2011223519A (ja) データ変換装置
JP2008287460A (ja) 情報処理装置および方法
JP2013146038A (ja) 画像量子化装置、画像量子化方法及びプログラム、画像逆量子化装置、画像逆量子化方法及びプログラム
JP6589878B2 (ja) 予測画像生成装置および予測画像生成方法
JP2010098352A (ja) 画像情報符号化装置
JP5323252B2 (ja) 動画像符号化方法、復号化方法、符号化装置および復号化装置
US20160014415A1 (en) Method and apparatus for performing wave-front parallel encoding procedure with constraint on coding mode and/or quantization parameter selection
JP6187826B2 (ja) 動画像符号化装置及び動画像符号化方法
KR20050043607A (ko) 신호처리방법 및 신호처리장치
WO2020184263A1 (ja) 画像復号装置、画像復号方法及びプログラム
JP2013042385A (ja) 画像符号化装置及び画像復号装置
JP5367696B2 (ja) 画像復号装置、画像復号方法、集積回路および受信装置
JP2016195370A (ja) 画像処理装置、画像処理方法及びプログラム
JP2010276686A (ja) 画像制御装置
JP6308409B2 (ja) 動画像符号化装置及び動画像符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15854032

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016556201

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15523158

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15854032

Country of ref document: EP

Kind code of ref document: A1