WO2010021153A1 - 動き検出装置 - Google Patents

動き検出装置 Download PDF

Info

Publication number
WO2010021153A1
WO2010021153A1 PCT/JP2009/004034 JP2009004034W WO2010021153A1 WO 2010021153 A1 WO2010021153 A1 WO 2010021153A1 JP 2009004034 W JP2009004034 W JP 2009004034W WO 2010021153 A1 WO2010021153 A1 WO 2010021153A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion detection
motion
picture
detection device
reference picture
Prior art date
Application number
PCT/JP2009/004034
Other languages
English (en)
French (fr)
Inventor
江崎功太郎
井口雅保
古田岳志
天野博史
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2009801326509A priority Critical patent/CN102132568A/zh
Priority to JP2010525612A priority patent/JPWO2010021153A1/ja
Priority to EP09808089A priority patent/EP2315447A1/en
Publication of WO2010021153A1 publication Critical patent/WO2010021153A1/ja
Priority to US13/017,639 priority patent/US20110122952A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present disclosure relates to a motion detection apparatus that performs motion detection of blocks constituting a picture.
  • Multi-frame memories that store multiple reference pictures have been used for motion detection.
  • the multi-frame memory is implemented by being divided into an external memory connected to the outside of the motion detection device and an internal memory inside the motion detection device and accessed during block matching (see, for example, Patent Document 1).
  • the luminance component pixels in the search target area in the reference picture are transferred from the external memory to the internal memory via the external connection bus. And stored. At the time of motion detection, the reference picture stored in the internal memory is read and used.
  • An object of the present invention is to realize encoding of an image having a larger size and encoding of an image at a higher picture rate while suppressing an increase in cost and deterioration in image quality.
  • a motion detection apparatus is a motion detection apparatus that detects a motion for each block constituting an input picture using a reference picture, and the reference picture transferred from outside the motion detection apparatus is detected.
  • a motion for detecting motion information of a target block which is a block of the input picture and is a target of motion detection, using the internal reference memory to be stored and the pixel data of the reference picture stored in the internal reference memory
  • a detection unit a motion compensation unit that performs motion compensation on the target block using the motion information detected by the motion detection unit
  • a reference memory management unit that controls the internal reference memory.
  • the reference memory management unit can store a luminance component reference picture and a color difference component reference picture as the reference picture in the internal reference memory.
  • the frequency of data transfer from the outside can be reduced, and the amount of data transferred from the outside per unit time can be reduced. For this reason, encoding at a higher picture rate or the like becomes possible.
  • the present invention it is possible to reduce the transfer from the external memory of the reference picture of the chrominance component used for motion compensation, so that it is possible to encode an image at a higher picture rate or to encode a larger size image.
  • the cost of the external memory and the internal memory, the increase in power consumption of the apparatus, and the deterioration of the image quality can be suppressed.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration example of the motion detection apparatus in FIG.
  • FIG. 3A is a schematic diagram illustrating an example of mapping in the cache memory when the bus switch in FIG. 2 selects a direct path from the external memory.
  • FIG. 3B is a schematic diagram illustrating an example of mapping in the cache memory when the bus switch in FIG. 2 selects a path from the cache memory.
  • FIG. 4 is an explanatory diagram showing an example of the area corresponding to the reference picture stored in the cache memory on the screen.
  • FIG. 5 is a block diagram showing a configuration example of an AV processing apparatus having the image encoding apparatus of FIG. FIG.
  • FIG. 6 is a block diagram showing a configuration of a modification of the image encoding device of FIG.
  • FIG. 7 is a flowchart showing a flow of processing in the image encoding device of FIG. Fig.8 (a) is a schematic diagram which shows the 1st modification of Fig.3 (a).
  • FIG. 8B is a schematic diagram showing a first modification of FIG.
  • FIG. 9A is an explanatory diagram showing an example of an area on the screen corresponding to the reference picture stored in the cache memory in the case of FIG.
  • FIG. 9B is an explanatory diagram showing an example of the area corresponding to the reference picture stored in the cache memory in the case of FIG. 8B on the screen.
  • FIG. 10A is a schematic diagram showing a second modification of FIG.
  • FIG.10 (b) is a schematic diagram which shows the 2nd modification of FIG.3 (b).
  • FIG. 11A is an explanatory diagram showing an example of an area corresponding to the reference picture stored in the cache memory in the case of FIG.
  • FIG. 11B is an explanatory diagram showing an example of the area corresponding to the reference picture stored in the cache memory in the case of FIG. 10B on the screen.
  • Fig.12 (a) is a schematic diagram which shows the 3rd modification of Fig.3 (a).
  • FIG.12 (b) is a schematic diagram which shows the 3rd modification of FIG.3 (b).
  • FIG. 1 is a block diagram showing a configuration of an image encoding device according to an embodiment of the present invention.
  • 1 is an image encoding device that performs inter-frame prediction encoding, and includes a motion detection device 10, a motion vector memory 24, a motion vector prediction unit 26, and subtractors 28 and 34. , An encoding unit 32 and an adder 36.
  • the motion detection device 10 includes a reference memory management unit 12, an internal reference memory 14, a motion detection unit 16, and a motion compensation unit 18.
  • the motion detection device 10 is integrated into one chip and constitutes one LSI (large-scale integration).
  • the external memory 38 is connected to the motion detection device 10 via an external connection bus.
  • the external memory 38 is a large-capacity memory such as an SDRAM (synchronous dynamic random access memory), and is used as a multi-frame memory for storing a plurality of motion detection reference pictures necessary for inter-screen prediction.
  • the reference memory management unit 12 controls data transfer from the external memory 38 to the internal reference memory 14.
  • the reference memory management unit 12 transfers pixel data of an area used for motion compensation prediction from the external memory 38 to the internal reference memory 14.
  • the motion detection unit 16 receives an input picture to be encoded as an image signal VIN.
  • the motion detection unit 16 receives the motion detection reference picture read from the external memory 38 via the internal reference memory 14, and obtains a motion vector MV and a reference frame number RFN for each block constituting the input picture. Output.
  • the reference frame number RFN is a number for specifying a reference picture to be referred to when an input picture is encoded among a plurality of reference pictures.
  • the motion vector MV is temporarily stored in the motion vector memory 24 and then output as a neighborhood motion vector PVM.
  • the motion vector prediction unit 26 predicts the predicted motion vector PDM with reference to the neighboring motion vector PVM.
  • the subtracter 28 subtracts the predicted motion vector PDM from the motion vector MV and outputs the obtained difference as a motion vector prediction difference DMV.
  • the internal reference memory 14 outputs the pixel indicated by the reference frame number RFN and the motion vector MV as the motion compensation reference pixel MCP.
  • the motion compensation unit 18 generates a reference pixel with decimal pixel accuracy according to the motion vector MV and the motion compensation reference pixel MCP, and outputs the reference pixel as a reference screen pixel MCP2.
  • the subtracter 34 subtracts the reference screen pixel MCP2 from the input picture and outputs the obtained difference as a screen prediction error DP.
  • the encoding unit 32 performs discrete cosine transform (DCT) and quantization on the screen prediction error DP, variable-length encodes the quantized DCT coefficient, motion vector prediction difference DMV, and reference frame number RFN, and obtains the obtained code
  • the converted image data is output as an image stream STR.
  • the encoding unit 32 decodes the encoded screen prediction error and outputs the result as a decoded screen prediction error RDP.
  • the decoded screen prediction error RDP is an error in which an encoding error is superimposed on the screen prediction error DP and coincides with the inter-screen prediction error obtained by decoding the image stream STR.
  • the adder 36 adds the decoded screen prediction error RDP to the reference screen pixel MCP2, and the result is stored in the external multiframe memory 38 as the decoded screen RP.
  • the adder 36 adds the decoded screen prediction error RDP to the reference screen pixel MCP2, and the result is stored in the external multiframe memory 38 as the decoded screen RP.
  • the screens stored in these memories are unnecessary, the areas in which the screens are stored are released, and these memories are stored in these memories.
  • a decryption screen RP of a screen that does not need to be stored is not stored.
  • FIG. 2 is a block diagram illustrating a configuration example of the motion detection device 10 of FIG.
  • the internal reference memory 14 includes a cache memory 42, a bus switch 44, and reference local memories 46 and 48.
  • the motion compensation unit 18 includes a color difference motion compensation unit 52 and a luminance motion compensation unit 54.
  • the cache memory 42 stores the pixels transferred from the external memory 38 and outputs them to the reference local memory 48 and the bus switch 44.
  • the reference local memory 48 is referred to when the motion detection unit 16 actually performs pixel search.
  • Such a hierarchical structure is for reducing the transfer amount of pixels transferred from the external memory 38. That is, by storing a large number of reference pictures in the cache memory 42 at a time, the frequency of access to the external memory 38 is kept low, and during motion detection when the frequency of access to the reference picture is high, the cache memory 42 performs reference local memory.
  • the reference picture data is transferred to 48 as needed.
  • the bus switch 44 switches the input path to the reference local memory 46 that stores the reference picture of the color difference component. That is, the bus switch 44 directly transfers the reference picture data of the color difference component stored in the external memory 38 to the reference local memory 46 or stores it in the cache memory 42 in accordance with the instruction of the reference memory management unit 12. Then, the data is transferred to the reference local memory 46.
  • the reference memory management unit 12 transfers the reference picture of the luminance component required for the search by the motion detection unit 16 from the external memory 38 to the cache memory 42 and stores it, and the reference picture stored in the cache memory 42 Among them, the reference picture data necessary for the search by the motion detection unit 16 is transferred to the reference local memory 48, and the motion detection unit 16 performs a search by referring to this. In this case, the reference memory management unit 12 does not store the reference picture of the color difference component in the cache memory 42.
  • the reference memory management unit 12 directly transmits the reference picture data of the color difference component at the position indicated by the motion information (motion vector) obtained by the search by the motion detection unit 16 from the external memory 38 to the reference local memory 46.
  • the motion compensation unit 52 refers to this and performs motion compensation of the color difference component.
  • the reference memory management unit 12 transfers the reference picture of the luminance component necessary for the search by the motion detection unit 16 from the external memory 38 to the cache memory 42 and stores it. At this time, the reference memory management unit 12 also transfers and stores the reference picture of the corresponding color difference component at the same position as the luminance component to the cache memory 42, and among the reference pictures stored in the cache memory 42, the motion detection unit 16. The reference picture data of the luminance component necessary for the search is transferred to the reference local memory 48, and the motion detection unit 16 performs the search with reference to this.
  • the reference memory management unit 12 transfers the reference picture data of the color difference component at the position indicated by the motion information obtained by the search by the motion detection unit 16 from the cache memory 42 to the reference local memory 46, and this is motion compensated.
  • the unit 52 performs motion compensation for the color difference component with reference to it.
  • FIG. 3A is a schematic diagram showing an example of mapping in the cache memory 42 when the bus switch 44 in FIG. 2 selects a direct path from the external memory 38.
  • FIG. 3B is a schematic diagram illustrating an example of mapping in the cache memory 42 when the bus switch 44 in FIG. 2 selects a path from the cache memory 42.
  • FIG. 4 is an explanatory diagram showing an example of the area corresponding to the reference picture stored in the cache memory 42 on the screen.
  • reference picture data corresponding to the reference target area RFA in FIG. 4 is transferred to the luminance component reference local memory 48 so as to be referred to by the motion detection unit 16.
  • an area that is not used as a reference picture of the next coding target block is treated as the next released area REL in FIG.
  • this area becomes unnecessary in the subsequent motion detection, it is reserved for the next acquisition area NXT to be used as an area used as a reference picture of the next encoding target block in the cache memory 42. Further, areas other than these areas are not used as reference pictures of the encoding target block in performing motion detection, but are mapped as spare storage areas SUB used as reference pictures of the encoding target block in subsequent motion detection. Is done.
  • the reference picture on the cache memory 42 is mapped in a FIFO (first in, first out), and is reserved for the next acquisition area NXT immediately after the next release area REL is released, and the reference target area RFA Is transferred to the reference local memory 48, and the motion detector 16 refers to it. By repeating this operation, the motion of the entire picture can be detected. All management of the cache memory 42 is performed by the reference memory management unit 12.
  • the cache memory 42 is secured as an area ALR for storing reference picture data of all luminance components as shown in FIG. Is done.
  • the reference target area RFA, the next release area REL, the next acquisition area NXT, and the spare storage area SUB are mapped.
  • the cache memory 42 includes the area ALR for storing the reference picture data of the luminance component, It is also secured as an area ACR for storing the reference picture data of the color difference component.
  • the reference target area RFA, the next release area REL, the next acquisition area NXT, and the spare storage area SUB are mapped to each area.
  • the cache memory 42 makes the area ALR smaller than in the case of FIG. 3A by reducing the number of reference pictures of the luminance component, for example, and uses the free area as the area ACR for the color difference component.
  • the cache memory 42 stores reference pictures of color difference components that can be stored in an address space (area ACR) in which reference pictures of luminance components are not stored.
  • the reference memory management unit 12 in FIG. 2 switches the bus switch 44 according to the format of the input picture to be encoded.
  • the reference memory management unit 12 includes, for example, a register, obtains a transfer flag according to the format of the input picture, stores the transfer flag in the register, and switches the bus switch 44 according to the transfer flag.
  • the reference memory management unit 12 obtains a transfer flag according to the picture structure and switches the bus switch 44. That is, when the input picture has a frame structure in which lines are sequentially arranged in the vertical direction, the bus switch 44 selects a path from the cache memory 42. When the input picture has a field structure in which only a first field in which only odd lines are sequentially arranged in the vertical direction and a second field in which only even lines are sequentially arranged in the vertical direction are displayed alternately, the bus switch 44. Selects a direct path from the external memory 38.
  • the reference memory management unit 12 obtains a transfer flag according to the rate of the input picture (the number of pictures displayed per second or the number of pictures subjected to encoding processing per second), and switches the bus switch 44. Also good. That is, when the rate of the input picture is equal to or higher than a predetermined value, the bus switch 44 selects a path from the cache memory 42. When the rate of the input picture is smaller than the predetermined value, the bus switch 44 selects a direct path from the external memory 38.
  • the reference memory management unit 12 may obtain the transfer flag according to the size of the input picture (the number of pixels displayed per line ⁇ the number of lines) and switch the bus switch 44. That is, when the size of the input picture is equal to or larger than the predetermined value, the bus switch 44 selects a path from the cache memory 42. When the size of the input picture is smaller than the predetermined value, the bus switch 44 selects a direct path from the external memory 38.
  • the reference memory management unit 12 also determines the color difference signal format of the input picture (the ratio of the luminance component pixels and the two color difference component pixels in the picture, 4: 2: 0, 4: 2: 2, 4). : 4: 4) or a transfer flag may be obtained according to the number of bits representing one pixel, and the bus switch 44 may be switched. For example, when the color difference signal format is 4: 4: 4, the bus switch 44 selects a path from the cache memory 42, and in other cases, the bus switch 44 directly connects to the external memory 38. Select a route.
  • the reference memory management unit 12 may obtain the transfer flag and switch the bus switch 44 according to the combination of formats of the input pictures to be encoded.
  • FIG. 5 is a block diagram showing a configuration example of an AV (audiovisual) processing apparatus having the image encoding apparatus 100 of FIG. 5 is used for a DVD (Digital Versatile Disc) recorder, a hard disk recorder, or the like, and performs reproduction of digitally compressed audio and images, and digital compression of audio and images.
  • the AV processing device 140 performs image encoding and decoding according to, for example, ITU-TITURecommendation H.264.
  • the AV processing device 140 includes the image encoding device 100, the image decoding unit 102, the audio encoding unit 104, the audio decoding unit 106, the image input / output unit 112, the image processing unit 114 in FIG.
  • the audio input / output unit 116, the audio processing unit 118, the stream input / output unit 122, the memory input / output unit 124, the AV control unit 126, the system control unit 128, and the bus 132 are provided.
  • An external control unit 136 is connected to the bus 132.
  • the stream input / output unit 122 is connected to the bus 132 and inputs / outputs audio and video stream data ESTR.
  • the image coding apparatus 100 performs image coding, and the image decoding unit 102 performs image decoding.
  • the speech encoding unit 104 performs speech encoding, and the speech decoding unit 106 performs speech decoding.
  • the memory input / output unit 124 is an input / output interface for data signals of the memory 138.
  • the memory 138 includes the external memory 38 of FIG. 1 and stores data such as stream data, encoded data, and decoded data.
  • the image processing unit 114 performs pre-processing and post-processing on the image signal.
  • the image input / output unit 112 outputs an image data signal processed by the image processing unit 114 or an image data signal that is only passed without being processed by the image processing unit 114 as an image signal EVS.
  • the image input / output unit 112 receives an image signal EVS from the outside.
  • the audio processing unit 118 performs pre-processing and post-processing on the audio signal.
  • the voice input / output unit 116 outputs the voice data signal processed by the voice processing unit 118 or the voice data signal that has been passed without being processed by the voice processing unit 118 to the outside as the voice signal EAS.
  • the audio input / output unit 116 receives an audio signal EAS from the outside.
  • the AV control unit 126 performs overall control of the AV processing device 140.
  • the bus 132 transfers data such as stream data and audio / image decoded data.
  • the image signal EVS is input to the image input / output unit 112, and the audio signal EAS is input to the audio input / output unit 116.
  • the image processing unit 114 uses the image signal EVS input to the image input / output unit 112 to perform feature processing for filtering, encoding, and the like. And stored in the memory 138 as original image data.
  • the original image data and the reference picture data are transferred again from the memory 138 to the image encoding device 100 via the memory input / output unit 124.
  • the image encoding device 100 encodes the original image data, and stores the obtained image stream and local restoration data in the memory 138.
  • the audio processing unit 118 performs filtering processing, feature extraction for encoding, and the like using the audio signal EAS input to the audio input / output unit 116, and the result is sent via the memory input / output unit 124. And stored in the memory 138 as original audio data. Next, the original audio data is transferred from the memory 138 to the audio encoding unit 104 via the memory input / output unit 124 again. The audio encoding unit 104 encodes the original audio data and stores the obtained audio stream in the memory 138.
  • the stream input / output unit 122 integrates the image stream, the audio stream, and other stream information into one stream and outputs it as stream data ESTR.
  • the stream data ESTR is written to a storage medium such as an optical disk or a hard disk.
  • the reference memory management unit 12 in FIG. 2 switches the bus switch 44 according to the format of the input picture to be encoded
  • the input picture format may be detected by the image input / output unit 112 in FIG. Alternatively, it may be determined in advance by a program for controlling the system executed by the system control unit 128 in FIG. 5 or may be determined by the external control unit 136.
  • the 2 may switch the bus switch 44 in accordance with the encoding bit rate of the stream output from the stream input / output unit 122 (the number of bits of the stream output per second).
  • the stream encoding bit rate may be detected by, for example, the stream input / output unit 122 of FIG. 5, or may be determined in advance by a program executed by the system control unit 128, or may be externally controlled. It may be determined by the part 136.
  • the reference memory management unit 12 in FIG. 2 performs the bus switch according to the transfer bandwidth of the memory 138 controlled by the memory input / output unit 124 (the amount of data transferred between the memory 138 and the memory input / output unit 124 per second). 44 may be switched.
  • the transfer band may be detected by, for example, the memory input / output unit 124, may be determined in advance by a program for controlling the system executed by the system control unit 128, or may be determined by the external control unit 136. Also good.
  • the reference memory management unit 12 may switch the bus switch 44 according to a combination of the format of the input picture, the encoding bit rate of the stream, and the transfer band of the memory.
  • the reference memory management unit 12 may obtain the transfer flag according to the recording mode set from the outside of the motion detection device 10.
  • the recording mode setting in the reference memory management unit 12 may be directly executed by the image input / output unit 112, or the AV control unit 126 extracts detection information from the image input / output unit 112, and the extracted information You may perform according to.
  • the stream input / output unit 122 or the memory input / output unit 124 may set the recording mode.
  • a recording mode predetermined by a program for controlling the system executed by the system control unit 128 that controls the entire AV processing device 140 may be set, or the image input / output unit 112, the stream input / output unit 122 or the information detected by the memory input / output unit 124 may be extracted by the system control unit 128, and the recording mode may be set according to the extracted information. Further, the recording mode may be set from the external control unit 136.
  • the transfer flag may be directly set in the reference memory management unit 12 instead of the recording mode.
  • the bus switch 44 can be switched by setting the transfer flag directly or indirectly.
  • FIG. 6 is a block diagram showing a configuration of a modified example of the image encoding device of FIG.
  • the image encoding device 200 of FIG. 6 includes a motion detection device 210, a motion vector memory 24, a motion vector prediction unit 26, subtracters 28 and 34, an encoding unit 232, and an adder 36.
  • the motion detection device 210 includes a reference memory management unit 212, a motion detection unit 216, and a motion compensation unit 218 instead of the reference memory management unit 12, the motion detection unit 16, and the motion compensation unit 18, and the image encoding control unit 211 is Further, it differs from the motion detection device 10 of FIG.
  • the reference memory management unit 212, the motion detection unit 216, the motion compensation unit 218, and the encoding unit 232 are controlled by the image encoding control unit 211, except that the reference memory management unit 12, the motion detection unit in FIG. 16, the same as the motion compensation unit 18 and the encoding unit 32.
  • the image coding control unit 211 operates the reference memory management unit 212 to transfer the reference pictures referred to by the motion detection unit 216 and the motion compensation unit 218 from the external memory 38 to the internal reference memory 14.
  • the image coding control unit 211 operates the motion detection unit 216 to search for a reference picture.
  • the image encoding control unit 211 operates the reference memory management unit 212 again to transfer reference picture data required by the motion compensation unit 218, and further causes the motion compensation unit 218 to perform motion compensation. To do.
  • the image coding control unit 211 operates the coding unit 232.
  • the encoding unit 232 encodes the difference between the predicted image generated by the motion compensation unit 218 and the input image and outputs the encoded difference as stream STR and at the same time outputs difference image data.
  • a reconstructed image is generated from the difference image data and the predicted image generated by the motion compensation unit 218 and transferred to the external memory 38. .
  • FIG. 7 is a flowchart showing a flow of processing in the image encoding device 200 of FIG.
  • the configuration of the input image, the encoding bit rate of the output stream, and the like are set as the recording mode.
  • the image encoding control unit 211 is information necessary for determining whether or not all the processes can be performed within the predetermined time for the recording mode set in the recording mode setting step S12. Convert to (Recording conditions). For example, assuming that the information set in the recording mode setting step S12 is an image size, a display rate, an image composition, or an encoding bit rate, the converted recording condition is a unit time with the external memory 38. The amount of data transferred per hit (data transfer bandwidth), the capacity of the cache memory 42, or the frequency at which the inter-picture predictive encoding process is performed.
  • transfer determination step S16 the image encoding control unit 211 determines whether or not the converted recording condition exceeds the maximum performance exhibited by the image encoding device 200 according to the conventional processing procedure. When it is determined that the required performance does not exceed the maximum performance, the image encoding control unit 211 sets the transfer flag to 0 in the transfer flag setting step S18. On the other hand, when it is determined that the required performance exceeds the maximum performance, the image encoding control unit 211 sets the transfer flag to 1 in the transfer flag setting step S20. Thus, the transfer flag is set according to the set recording mode. For example, the reference memory management unit 212 stores the transfer flag in the register.
  • the transfer procedure of the reference picture is switched in the transfer mode determination step S22. That is, when the transfer flag is 0, the process proceeds to the reference picture transfer step S24. When the transfer flag is 1, the process proceeds to the reference picture transfer step S26, whereby the reference memory management unit 212 stores in the cache memory 42. Switch the content to be performed.
  • the reference memory management unit 212 transfers the reference picture data of the luminance component from the external memory 38 to the cache memory 42 after mapping the cache memory 42 as shown in FIG.
  • the reference memory management unit 212 can store not only the luminance component reference picture data but also the color difference component reference picture data in the cache memory 42 as shown in FIG. Then, the reference picture data of the chrominance component is transferred from the external memory 38 to the cache memory 42 together with the reference picture data of the luminance component.
  • the image coding control unit 211 transfers the reference picture data required for the search by the motion detection unit 16 from the cache memory 42 to the reference local memory 48.
  • the image encoding control unit 211 sends the motion detection unit 16 to the motion detection unit 16 in the motion detection step S30. Let them search.
  • the transfer procedure of the reference picture is switched again by the transfer mode determination step S32 based on the transfer flag information set in steps S18 and S20. That is, when the transfer flag is 0, the process proceeds to reference picture transfer step S34, and when the transfer flag is 1, the process proceeds to reference picture transfer step S36.
  • the reference memory management unit 212 receives reference picture data of the color difference component from the external memory 38 among the reference picture data necessary for motion compensation obtained from the motion information detected in the motion detection step S30.
  • the bus switch 44 is switched so as to be transferred to the reference local memory 46.
  • the reference memory management unit 212 uses the bus so that the reference picture data of the color difference component among the reference picture data necessary for motion compensation is transferred from the cache memory 42 to the reference local memory 46. Switch 44 is switched.
  • the motion compensation unit 218 performs motion compensation using the motion information detected in the motion detection step S30 and the reference picture data of the luminance component stored in the reference local memory 48.
  • the reference picture transfer steps S34 and S36 may be performed after the motion compensation step S38, or see the motion compensation step S38. It may be performed simultaneously with the picture transfer steps S34 and S36.
  • the motion compensation unit 218 refers to the motion information detected in the motion detection step S30 and the reference. Motion compensation is performed using the reference picture data of the color difference component stored in the local memory 46.
  • the encoding unit 232 encodes the difference between the input image and the predicted image and outputs the stream STR. At the same time, the encoded data is decoded to generate a difference image for generating a reconstructed image.
  • the adder 36 generates a reconstructed image using the prediction images generated in the motion compensation steps S38 and S40, and transfers this to the external memory 38 as a reference picture used for the next inter-screen prediction.
  • the image coding control unit 211 that controls the series of processes described here may be a processor that operates by executing a program, or a sequencer that includes a combinational circuit and a sequential circuit. Also good.
  • the image encoding control unit 211 has been described as a dedicated control unit implemented in the image encoding apparatus 200. However, the system control unit 128 and the external control unit 136 in FIG. You may make it assume a function.
  • FIG. 8B is a schematic diagram showing a first modification of FIG.
  • FIG. 9A is an explanatory diagram showing an example of the area corresponding to the reference picture stored in the cache memory 42 in the case of FIG. 8A on the screen.
  • FIG. 9B is an explanatory diagram showing an example of an area on the screen corresponding to the reference picture stored in the cache memory 42 in the case of FIG. In this example, the area of the cache memory 42 is divided according to the number of reference pictures used in the motion detection unit 16.
  • the motion detection unit 16 refers to a plurality of reference pictures during inter-frame prediction of a unit block to be encoded
  • a reference target area RFA as shown in FIGS. 9A and 9B is used.
  • the next release area REL, the next acquisition area NXT, and the spare storage area SUB are mapped to the cache memory 42 as shown in FIGS. 8A and 8B so that the number of reference pictures can be stored. Then, the same operation as in FIG. 4 is executed for all reference pictures.
  • the cache memory 42 is secured as an area ALR for storing reference picture data of all luminance components as shown in FIG. Is done.
  • the reference target area RFA, the next release area REL, the next acquisition area NXT, and the spare storage area SUB are mapped by the number n of pictures to which the motion detector 16 refers.
  • the cache memory 42 includes the area ALR for storing the reference picture data of the luminance component, It is also secured as an area ACR for storing the reference picture data of the color difference component.
  • An area for reference pictures of m luminance components is mapped to the area ALR, and an area for reference pictures of m color difference components is mapped to the area ACR, and the reference target area RFA is mapped to the area of each reference picture.
  • the next release area REL, the next acquisition area NXT, and the spare storage area SUB are mapped.
  • the cache memory 42 makes the area ALR smaller than in the case of FIG. 8A, for example, by reducing the number of luminance component reference pictures, and uses the free area as the area ACR for the color difference component.
  • the motion detection unit 16 selects n pictures as reference pictures as shown in FIG. Browse and explore as.
  • the reference picture data of the color difference component as well as the reference picture data of the luminance component are transferred from the external memory 38 to the cache memory 42 by the bus switch 44, and then, among the reference pictures stored in the cache memory 42, the reference picture of the color difference component in particular.
  • the motion detection unit 16 refers to and searches m pictures less than n as reference pictures.
  • the ratio between the area ALR and the area ACR is 2 to 1
  • the color difference signal format is 4: 2: 2
  • the ratio between the area ALR and the area ACR is 1 pair.
  • the reference memory management unit 12 always refers to the reference picture data of the color difference component from the cache memory 42.
  • FIG. 10 (a) is a schematic diagram showing a second modification of FIG. 3 (a).
  • FIG.10 (b) is a schematic diagram which shows the 2nd modification of FIG.3 (b).
  • FIG. 11A is an explanatory diagram showing an example of an area on the screen corresponding to the reference picture stored in the cache memory 42 in the case of FIG.
  • FIG. 11B is an explanatory diagram showing an example of an area on the screen corresponding to the reference picture stored in the cache memory 42 in the case of FIG.
  • the area of the cache memory 42 is divided according to the number of reference pictures used in the motion detection unit 16.
  • the number of reference pictures is m (n ⁇ m), but in the case of FIG. 10B, the number of reference pictures remains n.
  • the reference target area RFA of the reference picture shown in FIG. 10B is necessarily smaller than the reference target area RFA of the reference picture shown in FIG.
  • the motion detection unit 16 uses, for example, n reference pictures as shown in FIG. A reference area having a height h is searched.
  • the reference picture data of the color difference component as well as the reference picture data of the luminance component are transferred from the external memory 38 to the cache memory 42 by the bus switch 44, and then, among the reference pictures stored in the cache memory 42, the reference picture of the color difference component in particular.
  • the motion detection unit 16 similarly searches for a reference area having a height i (i ⁇ h) in n reference pictures. .
  • the bus switch 44 When the bus switch 44 is switched according to the picture structure, that is, according to whether the input picture has a frame structure or a field structure, the reference area is narrowed in the frame structure and the reference area is widened in the field structure. Then, the cache memory 42 can be used efficiently. Further, when the bus switch 44 is switched according to the picture processing rate, the cache memory is efficiently cached by narrowing the reference area when the picture processing rate is low and widening the reference area when the picture processing rate is high. 42 can be utilized.
  • FIG. 12 (a) is a schematic diagram showing a third modification of FIG. 3 (a).
  • FIG.12 (b) is a schematic diagram which shows the 3rd modification of FIG.3 (b).
  • the area ALR includes an area for m luminance component reference pictures, and the area ACR includes k color difference component reference pictures. The area is mapped (m> k), and the reference target area RFA, the next release area REL, the next acquisition area NXT, and the spare storage area SUB are mapped to the area of each reference picture.
  • the reference memory management unit 12 first transfers the reference picture data of the chrominance component together with the reference picture data of the luminance component from the external memory 38 to the cache memory 42. After that, when the motion detection unit 16 uses the reference picture of the luminance component corresponding to the reference picture of the chrominance component transferred to the cache memory 42 as the reference picture optimal for encoding, the reference memory management unit 12 The bus switch 44 is switched so that the reference picture data of the color difference component is transferred from the cache memory 42 to the reference local memory 46.
  • the motion detection unit 16 refers to the reference picture of the luminance component corresponding to the reference picture of the chrominance component that has not been transferred to the cache memory 42 and is optimally encoded.
  • the reference memory management unit 12 switches the bus switch 44 so that the reference picture data of the color difference component is directly transferred from the external memory 38 to the reference local memory 46.
  • the cache memory 42 can be utilized without waste.
  • Each functional block in the block diagrams of FIG. 1, FIG. 2, FIG. 5, FIG. 6 and the like is typically realized as an LSI. These may be individually made into one chip, or may be made into one chip so as to include some or all of them. For example, functional blocks other than the external memory 38 and the memory 138 may be integrated into one chip.
  • the external memory 38 in FIG. 1 and the memory 138 in FIG. 5 need to hold a large amount of data, and are generally implemented by a large capacity DRAM or the like externally attached to the LSI. Including one package or one chip.
  • LSI LSI
  • IC system LSI
  • super LSI ultra LSI depending on the degree of integration
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
  • the present invention is useful for a motion detection device and the like.

Abstract

　コストの増大等を抑えながら、よりサイズが大きな画像の記録等を行う。参照ピクチャを用いて、入力ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、当該動き検出装置の外部から転送された前記参照ピクチャを記憶する内部参照メモリと、前記内部参照メモリに記憶されている、前記参照ピクチャの画素データを用いて、前記入力ピクチャのブロックであって動き検出の対象となる対象ブロックの動き情報を検出する動き検出部と、前記動き検出部によって検出された動き情報を用いて、前記対象ブロックに動き補償を行う動き補償部と、前記内部参照メモリを制御する参照メモリ管理部とを有する。前記参照メモリ管理部は、前記内部参照メモリに、前記参照ピクチャとして、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶させることが可能である。

Description

動き検出装置
　本開示は、ピクチャを構成するブロックの動き検出を行う動き検出装置に関する。
　動き検出のために、複数の参照ピクチャを格納するマルチフレームメモリが用いられてきた。マルチフレームメモリは、動き検出装置の外部に接続された外部メモリと、動き検出装置の内部にあってブロックマッチング時にアクセスされる内部メモリとに分けて実装される（例えば特許文献１参照）。
　ところで、ＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ（International Telecommunications Union）等の国際標準化団体によって標準化された多くの画像符号化方式は、人間の視覚特性を活かし、画像を構成する個々の画素を輝度成分と色差成分とに分けて符号化を行う。特に動き検出を行う場合には、参照ピクチャを格納するメモリの容量、及び動き検出の処理に必要となる演算量を抑えるために、一般的には輝度成分のみを用いる（例えば、特許文献２参照）。
　このような輝度成分のみを用いて動き検出を行う動き検出装置では、まず、参照ピクチャ内の探索対象となる領域の輝度成分の画素が、外部メモリから外部接続バスを経由して内部メモリに転送され、格納される。動き検出の際には、この内部メモリに格納された参照ピクチャが読み出され、用いられる。
　その後、動き補償が行われる。この際、輝度成分については、内部メモリに格納されているデータが利用される。しかし、色差成分については、外部メモリから外部接続バスを経由して読み出す必要がある。このため、外部接続バスのデータ転送量が大きくなってしまう。
　このような構成であっても、符号化される画像のサイズがＳＤ（standard definition）画像のように小さい場合には問題はない。符号化される画像のサイズがＨＤ（high definition）画像のように大きい場合であっても、単位時間当たりの画像の数、すなわちピクチャレートが比較的低ければ、必要となるデータ転送レートは、外部接続バスにおいて許容される単位時間当たりの最大転送量を超過せず、問題はない。
特開平５－２６０４６１号公報 国際公開第９８／０４２１３５号
"Advanced video coding for generic audiovisual services"（§8.4 Inter prediction process），ITU-T Recommendation H.264，2007年11月，pp.143-169
　しかしながら、近年、ＨＤ画像の記録が可能な民生ビデオカメラが普及しつつあり、近い将来、記録される画像のサイズがより大きくなることや、ピクチャレートがより高くなることも予想される。
　これに対処するためには、外部メモリをより高性能なものに置き換えることや、外付けするメモリの数を増やすことにより、外部接続バスにおいて許容される単位時間当たりの転送量を増大させることが１つの方法である。しかし、外部メモリをより高性能なものに置き換える場合には、外部メモリとして高価なメモリが必要となる他、バスの動作速度が上がるので、動き検出装置を含む製品全体の消費電力も増大してしまう。外付けするメモリの数を増やす場合にも、コスト及び消費電力が増大してしまう。
　また、参照ピクチャの数を減らしたり、動きを探索できる範囲を縮小する方法もあるが、安易にこのようなことを行うと、記録される画像の質が大きく劣化してしまう。
　本発明は、コストの増大や画質の劣化を抑えながら、よりサイズが大きな画像の符号化や、より高いピクチャレートでの画像の符号化を実現することを目的とする。
　本発明の実施形態による動き検出装置は、参照ピクチャを用いて、入力ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、当該動き検出装置の外部から転送された前記参照ピクチャを記憶する内部参照メモリと、前記内部参照メモリに記憶されている、前記参照ピクチャの画素データを用いて、前記入力ピクチャのブロックであって動き検出の対象となる対象ブロックの動き情報を検出する動き検出部と、前記動き検出部によって検出された動き情報を用いて、前記対象ブロックに動き補償を行う動き補償部と、前記内部参照メモリを制御する参照メモリ管理部とを有する。前記参照メモリ管理部は、前記内部参照メモリに、前記参照ピクチャとして、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶させることが可能である。
　これによると、外部からのデータ転送頻度を減少させることができ、外部から転送される単位時間当たりのデータ量を減少させることができる。このため、より高いピクチャレートでの符号化等が可能になる。
　本発明によれば、動き補償に用いられる、色差成分の参照ピクチャの外部メモリからの転送を減少させることができるので、より高いピクチャレートでの画像の符号化や、よりサイズが大きな画像の符号化を、例えば外部メモリ及び内部メモリのコスト、装置の消費電力の増加、並びに画質の劣化を抑えながら行うことができる。
図１は、本発明の実施形態に係る画像符号化装置の構成を示すブロック図である。 図２は、図１の動き検出装置の構成例を示すブロック図である。 図３（ａ）は、図２のバススイッチが外部メモリからの直接の経路を選択する場合について、キャッシュメモリにおけるマッピングの例を示す模式図である。図３（ｂ）は、図２のバススイッチがキャッシュメモリからの経路を選択する場合について、キャッシュメモリにおけるマッピングの例を示す模式図である。 図４は、キャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。 図５は、図１の画像符号化装置を有するＡＶ処理装置の構成例を示すブロック図である。 図６は、図１の画像符号化装置の変形例の構成を示すブロック図である。 図７は、図６の画像符号化装置における処理の流れを示すフローチャートである。 図８（ａ）は、図３（ａ）の第１の変形例を示す模式図である。図８（ｂ）は、図３（ｂ）の第１の変形例を示す模式図である。 図９（ａ）は、図８（ａ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図９（ｂ）は、図８（ｂ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。 図１０（ａ）は、図３（ａ）の第２の変形例を示す模式図である。図１０（ｂ）は、図３（ｂ）の第２の変形例を示す模式図である。 図１１（ａ）は、図１０（ａ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図１１（ｂ）は、図１０（ｂ）の場合にキャッシュメモリに格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。 図１２（ａ）は、図３（ａ）の第３の変形例を示す模式図である。図１２（ｂ）は、図３（ｂ）の第３の変形例を示す模式図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　図１は、本発明の実施形態に係る画像符号化装置の構成を示すブロック図である。図１の画像符号化装置１００は、画面間予測符号化を行う画像符号化装置であって、動き検出装置１０と、動きベクトルメモリ２４と、動きベクトル予測部２６と、減算器２８，３４と、符号化部３２と、加算器３６とを有している。動き検出装置１０は、参照メモリ管理部１２と、内部参照メモリ１４と、動き検出部１６と、動き補償部１８とを有している。ここでは例として、動き検出装置１０は１チップ化され、１つのＬＳＩ（large-scale integration）を構成しているとする。
　動き検出装置１０には、外部メモリ３８が外部接続バスを介して接続されている。外部メモリ３８は、ＳＤＲＡＭ（synchronous dynamic random-access memory）等の大容量メモリであって、画面間予測に必要となる複数の動き検出用参照ピクチャを格納するマルチフレームメモリとして用いられる。参照メモリ管理部１２は、外部メモリ３８から内部参照メモリ１４へのデータ転送を制御する。参照メモリ管理部１２は、動き補償予測で用いられる領域の画素データを、外部メモリ３８から内部参照メモリ１４に転送させる。
　動き検出部１６には、符号化の対象とされる入力ピクチャが画像信号ＶＩＮとして入力されている。動き検出部１６は、外部メモリ３８から読み出された動き検出用参照ピクチャを、内部参照メモリ１４を経由して受け取り、入力ピクチャを構成するブロック毎に、動きベクトルＭＶと参照フレーム番号ＲＦＮを求めて出力する。参照フレーム番号ＲＦＮは、複数の参照ピクチャのうち、入力ピクチャの符号化の際に参照される参照ピクチャを特定するための番号である。動きベクトルＭＶは、動きベクトルメモリ２４に一時的に記憶された後、近傍動きベクトルＰＶＭとして出力される。動きベクトル予測部２６は、近傍動きベクトルＰＶＭを参照して、予測動きベクトルＰＤＭを予測する。
　減算器２８は、動きベクトルＭＶから予測動きベクトルＰＤＭを減算し、得られた差を動きベクトル予測差分ＤＭＶとして出力する。一方、内部参照メモリ１４は、参照フレーム番号ＲＦＮ及び動きベクトルＭＶで示される画素を動き補償参照画素ＭＣＰとして出力する。動き補償部１８は、動きベクトルＭＶ及び動き補償参照画素ＭＣＰに従って小数画素精度の参照画素を生成し、参照画面画素ＭＣＰ２として出力する。減算器３４は、入力ピクチャから参照画面画素ＭＣＰ２を減算し、得られた差を画面予測誤差ＤＰとして出力する。
　符号化部３２は、画面予測誤差ＤＰに離散コサイン変換（ＤＣＴ）及び量子化を行い、量子化されたＤＣＴ係数、動きベクトル予測差分ＤＭＶ及び参照フレーム番号ＲＦＮを可変長符号化し、得られた符号化された画像データを画像ストリームＳＴＲとして出力する。また、符号化部３２は、符号化された画面予測誤差を復号化し、その結果を復号画面予測誤差ＲＤＰとして出力する。復号画面予測誤差ＲＤＰは、画面予測誤差ＤＰに符号化誤差が重畳された誤差であり、画像ストリームＳＴＲを復号化して得られる画面間予測誤差と一致する。
　加算器３６は、参照画面画素ＭＣＰ２に復号画面予測誤差ＲＤＰを加算し、その結果を復号画面ＲＰとして外部マルチフレームメモリ３８に記憶される。但し、外部メモリ３８及び内部参照メモリ１４の容量を有効に利用するため、これらのメモリに記憶されている画面が不要な場合にはその画面が記憶されていた領域は開放され、これらのメモリに記憶する必要がない画面の復号画面ＲＰは記憶されない。
　図２は、図１の動き検出装置１０の構成例を示すブロック図である。内部参照メモリ１４は、キャッシュメモリ４２と、バススイッチ４４と、参照用ローカルメモリ４６，４８を有している。動き補償部１８は、色差用動き補償部５２と、輝度用動き補償部５４とを有している。
　キャッシュメモリ４２は、外部メモリ３８から転送された画素を記憶し、参照用ローカルメモリ４８及びバススイッチ４４に出力する。参照用ローカルメモリ４８は、動き検出部１６が実際に画素探索を行う際に参照される。このように階層的に構成されているのは、外部メモリ３８から転送される画素の転送量を削減するためである。すなわち、一度に大量の参照ピクチャをキャッシュメモリ４２に格納することによって外部メモリ３８へのアクセス頻度を低く抑え、参照ピクチャへのアクセス頻度が高くなる動き検出実行時には、キャッシュメモリ４２から参照用ローカルメモリ４８に参照ピクチャデータを随時転送させる。
　バススイッチ４４は、色差成分の参照ピクチャを格納する参照用ローカルメモリ４６への入力経路を切り替える。つまり、バススイッチ４４は、参照メモリ管理部１２の指示に従って、外部メモリ３８に格納されている色差成分の参照ピクチャデータを、直接、参照用ローカルメモリ４６に転送、又は、キャッシュメモリ４２に格納させてから参照用ローカルメモリ４６に転送する。
　バススイッチ４４が、外部メモリ３８からの直接の経路を選択する場合には、次のような動作が行われる。まず、参照メモリ管理部１２は、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャを外部メモリ３８からキャッシュメモリ４２に転送して記憶させ、キャッシュメモリ４２に格納された参照ピクチャのうち、動き検出部１６が探索に必要とする参照ピクチャデータを参照用ローカルメモリ４８に転送し、動き検出部１６がこれを参照して探索を行う。この場合、参照メモリ管理部１２は、色差成分の参照ピクチャをキャッシュメモリ４２に記憶させない。次に、参照メモリ管理部１２は、動き検出部１６が探索して得られた動き情報（動きベクトル）が示す位置の色差成分の参照ピクチャデータを外部メモリ３８から直接、参照用ローカルメモリ４６に転送し、これを動き補償部５２が参照して色差成分の動き補償を行う。
　一方、バススイッチ４４が、キャッシュメモリ４２からの経路を選択する場合には、次のような動作が行われる。まず、参照メモリ管理部１２は、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャを外部メモリ３８からキャッシュメモリ４２に転送して記憶させる。この際、参照メモリ管理部１２は、輝度成分と同じ位置の対応する色差成分の参照ピクチャもキャッシュメモリ４２に転送して記憶させ、キャッシュメモリ４２に格納された参照ピクチャのうち、動き検出部１６が探索のために必要とする輝度成分の参照ピクチャデータを参照用ローカルメモリ４８に転送し、動き検出部１６がこれを参照して探索を行う。次に、参照メモリ管理部１２は、動き検出部１６が探索して求めた動き情報が示す位置の色差成分の参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４６に転送し、これを動き補償部５２が参照して色差成分の動き補償を行う。
　図３（ａ）は、図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合について、キャッシュメモリ４２におけるマッピングの例を示す模式図である。図３（ｂ）は、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合について、キャッシュメモリ４２におけるマッピングの例を示す模式図である。図４は、キャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。
　ここでは説明を簡単にするために、論理的なマッピングについて説明する。実際には、図４のように矩形領域が組み合わされた参照領域をキャッシュメモリ４２上にマッピングすることから、キャッシュメモリ４２上の物理的なマッピングを容易化するための工夫がなされることが多い。このような場合には、この論理的なマッピングが物理的なマッピングに変換されて用いられる。
　キャッシュメモリ４２における参照ピクチャのうち、図４の参照対象領域ＲＦＡに該当する参照ピクチャデータが、動き検出部１６によって参照されるように、輝度成分の参照用ローカルメモリ４８に転送される。動き検出部１６によって使用された参照ピクチャのうち、次の符号化対象ブロックの参照ピクチャとして用いられない領域は、図４における次回開放領域ＲＥＬとして扱われる。
　この領域は、以降の動き検出においても不要となることから、キャッシュメモリ４２において次の符号化対象ブロックの参照ピクチャとして用いる領域として活用するために、次回取得領域ＮＸＴのために予約される。また、これらの領域以外は、動き検出を行う上で符号化対象ブロックの参照ピクチャとしては用いないが、以降の動き検出を行う際に符号化対象ブロックの参照ピクチャとして用いる予備記憶領域ＳＵＢとしてマッピングされる。
　すなわち、キャッシュメモリ４２上の参照ピクチャは、ＦＩＦＯ（first in, first out）的にマッピングされており、次回開放領域ＲＥＬが解放された直後に次回取得領域ＮＸＴのために予約され、参照対象領域ＲＦＡが参照用ローカルメモリ４８に転送されて動き検出部１６がこれを参照する。この動作を繰り返すことで、ピクチャ全体の動き検出を可能としている。また、このようなキャッシュメモリ４２の管理は、全て参照メモリ管理部１２によって行われる。
　図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合には、図３（ａ）のように、キャッシュメモリ４２は、全て輝度成分の参照ピクチャデータを格納する領域ＡＬＲとして確保される。この領域の中に、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
　一方、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合には、図３（ｂ）のように、キャッシュメモリ４２は、輝度成分の参照ピクチャデータを格納する領域ＡＬＲの他、色差成分の参照ピクチャデータを格納する領域ＡＣＲとしても確保される。それぞれの領域に、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。この場合、キャッシュメモリ４２は、例えば輝度成分の参照ピクチャの枚数を減らすことによって、領域ＡＬＲを図３（ａ）の場合より小さくし、空いた領域を色差成分のための領域ＡＣＲとして用いる。キャッシュメモリ４２には、輝度成分の参照ピクチャが記憶されないアドレス空間（領域ＡＣＲ）に格納可能な色差成分の参照ピクチャが記憶される。
　ここで、図２の参照メモリ管理部１２は、符号化される入力ピクチャのフォーマットに従ってバススイッチ４４を切り替える。参照メモリ管理部１２は、例えばレジスタを有しており、入力ピクチャのフォーマットに応じて転送フラグを求めてこのレジスタに格納し、この転送フラグに従ってバススイッチ４４を切り替える。
　例えば、参照メモリ管理部１２は、ピクチャ構造に従って転送フラグを求め、バススイッチ４４を切り替える。すなわち、入力ピクチャが、ラインが順次垂直方向に並んだフレーム構造である場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャが、奇数ラインのみが順次垂直方向に並んだ第１フィールドと、偶数ラインのみが順次垂直方向に並んだ第２フィールドとが交互に表示されるフィールド構造である場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
　また、参照メモリ管理部１２は、入力ピクチャのレート（１秒間に表示されるピクチャの枚数や、１秒間に符号化処理が行われるピクチャの枚数）に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。すなわち、入力ピクチャのレートが所定値以上の場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャのレートが所定値より小さい場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
　また、参照メモリ管理部１２は、入力ピクチャのサイズ（１ライン当たりに表示される画素の数×ラインの数）に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。すなわち、入力ピクチャのサイズが所定値以上の場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択する。入力ピクチャのサイズが所定値より小さい場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
　また、参照メモリ管理部１２は、入力ピクチャの色差信号フォーマット（ピクチャにおける輝度成分の画素及び２つの色差成分の画素の数に関する比であって、４：２：０、４：２：２、４：４：４のいずれか）又は１画素を表現するビットの数に従って転送フラグを求め、バススイッチ４４を切り替えてもよい。例えば、色差信号フォーマットが４：４：４である場合には、バススイッチ４４は、キャッシュメモリ４２からの経路を選択し、その他の場合には、バススイッチ４４は、外部メモリ３８からの直接の経路を選択する。
　また、このような符号化される入力ピクチャのフォーマットの組合せに従って、参照メモリ管理部１２が転送フラグを求め、バススイッチ４４を切り替えるようにしてもよい。
　図５は、図１の画像符号化装置１００を有するＡＶ（audiovisual）処理装置の構成例を示すブロック図である。図５のＡＶ処理装置１４０は、ＤＶＤ（Digital Versatile Disc）レコーダやハードディスクレコーダなど用いられ、ディジタル圧縮された音声及び画像の再生、並びに音声及び画像のディジタル圧縮を行う。ＡＶ処理装置１４０は、例えばITU-T Recommendation H.264に従って画像の符号化及び復号化を行う。
　ＡＶ処理装置１４０は、図１の画像符号化装置１００と、画像復号化部１０２と、音声符号化部１０４と、音声復号化部１０６と、画像入出力部１１２と、画像処理部１１４と、音声入出力部１１６と、音声処理部１１８と、ストリーム入出力部１２２と、メモリ入出力部１２４と、ＡＶ制御部１２６と、システム制御部１２８と、バス１３２とを有している。また、外部制御部１３６がバス１３２に接続されている。
　ストリーム入出力部１２２は、バス１３２に接続され、音声と画像のストリームデータＥＳＴＲを入出力する。画像符号化装置１００は、画像の符号化を行い、画像復号化部１０２は、画像の復号化を行う。音声符号化部１０４は、音声の符号化を行い、音声復号化部１０６は、音声の復号化を行う。メモリ入出力部１２４は、メモリ１３８のデータ信号の入出力インターフェースである。ここで、メモリ１３８は、図１の外部メモリ３８を含んでおり、ストリームデータ、符号化データ、復号化データ等のデータを格納する。
　画像処理部１１４は、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部１１２は、画像処理部１１４で処理した画像データ信号、又は画像処理部１１４で処理をせずに通過だけさせた画像データ信号を外部に画像信号ＥＶＳとして出力する。また、画像入出力部１１２は、外部からの画像信号ＥＶＳを受信する。
　音声処理部１１８は、音声信号に対してプレ処理及びポスト処理を行う。音声入出力部１１６は、音声処理部１１８で処理した音声データ信号、又は音声処理部１１８で処理をせずに通過だけさせた音声データ信号を外部に音声信号ＥＡＳとして出力する。また、音声入出力部１１６は、外部からの音声信号ＥＡＳを受信する。ＡＶ制御部１２６は、ＡＶ処理装置１４０の全体制御を行う。バス１３２は、ストリームデータや音声・画像の復号データ等のデータを転送する。
　ここでは、図５を参照して符号化動作のみを説明する。まず、画像信号ＥＶＳが画像入出力部１１２に入力され、音声信号ＥＡＳが音声入出力部１１６に入力される。次に、画像処理部１１４が、画像入出力部１１２に入力された画像信号ＥＶＳを用いて、フィルタ処理や符号化のための特徴量抽出等を行い、その結果を、メモリ入出力部１２４を介してメモリ１３８に原画像データとして格納する。次に、再びメモリ入出力部１２４を介してメモリ１３８から画像符号化装置１００に原画像データと参照ピクチャデータの転送を行う。画像符号化装置１００は、原画像データを符号化し、得られた画像ストリーム及び局所復元データをメモリ１３８に格納させる。
　一方、音声処理部１１８が、音声入出力部１１６に入力された音声信号ＥＡＳを用いて、フィルタ処理や符号化のための特徴量抽出等を行い、その結果を、メモリ入出力部１２４を介してメモリ１３８に原音声データとして格納する。次に、再びメモリ入出力部１２４を介してメモリ１３８から音声符号化部１０４に原音声データの転送を行う。音声符号化部１０４は、原音声データを符号化し、得られた音声ストリームをメモリ１３８に格納させる。
　最後に、ストリーム入出力部１２２は、画像ストリーム、音声ストリーム、及びその他のストリーム情報を１つのストリームに統合してストリームデータＥＳＴＲとして出力する。ストリームデータＥＳＴＲは、光ディスクやハードディスク等の蓄積メディアに書き込まれる。
　図２の参照メモリ管理部１２が、符号化される入力ピクチャのフォーマットに従ってバススイッチ４４を切り替えることを説明したが、入力ピクチャのフォーマットは、例えば図５の画像入出力部１１２によって検出してもよいし、図５のシステム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
　また、図２の参照メモリ管理部１２が、ストリーム入出力部１２２から出力されるストリームの符号化ビットレート（１秒間に出力されるストリームのビット数）に従ってバススイッチ４４を切り替えてもよい。ストリームの符号化ビットレートは、例えば図５のストリーム入出力部１２２によって検出してもよいし、システム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
　また、図２の参照メモリ管理部１２が、メモリ入出力部１２４が制御するメモリ１３８の転送帯域（１秒間にメモリ１３８とメモリ入出力部１２４との間で転送されるデータ量）に従ってバススイッチ４４を切り替えてもよい。転送帯域は、例えばメモリ入出力部１２４によって検出してもよいし、システム制御部１２８で実行されるシステムを制御するプログラムによって予め決められていてもよいし、外部制御部１３６によって決められていてもよい。
　また、これらの入力ピクチャのフォーマット、ストリームの符号化ビットレート、及びメモリの転送帯域の組合せに従って、参照メモリ管理部１２がバススイッチ４４を切り替えるようにしてもよい。
　参照メモリ管理部１２は、動き検出装置１０の外部から設定された記録モードに従って転送フラグを求めてもよい。例えば、参照メモリ管理部１２への記録モードの設定は、画像入出力部１１２が直接実行してもよいし、ＡＶ制御部１２６が画像入出力部１１２から検出情報を抽出し、抽出された情報に従って実行してもよい。又は、ストリーム入出力部１２２やメモリ入出力部１２４が記録モードを設定してもよい。更には、ＡＶ処理装置１４０の全体を制御するシステム制御部１２８で実行されるシステムを制御するプログラムによって予め決められた記録モードに設定してもよいし、画像入出力部１１２、ストリーム入出力部１２２、又はメモリ入出力部１２４が検出した情報をシステム制御部１２８が抽出し、抽出された情報に従って記録モードを設定してもよい。また、外部制御部１３６から記録モードを設定してもよい。
　また、記録モードに代えて転送フラグを参照メモリ管理部１２に直接設定するようにしてもよい。このように、参照メモリ管理部１２が実装される画像符号化装置１００に接続されているブロックであれば、転送フラグを直接又は間接的に設定してバススイッチ４４を切り替えることができる。
　図６は、図１の画像符号化装置の変形例の構成を示すブロック図である。図６の画像符号化装置２００は、動き検出装置２１０と、動きベクトルメモリ２４と、動きベクトル予測部２６と、減算器２８，３４と、符号化部２３２と、加算器３６とを有している。動き検出装置２１０は、参照メモリ管理部１２、動き検出部１６及び動き補償部１８に代えて参照メモリ管理部２１２、動き検出部２１６、動き補償部２１８を有し、画像符号化制御部２１１を更に有している点が、図１の動き検出装置１０とは異なっている。参照メモリ管理部２１２、動き検出部２１６、動き補償部２１８、及び符号化部２３２は、画像符号化制御部２１１による制御を受ける点の他は、図１の参照メモリ管理部１２、動き検出部１６、動き補償部１８、及び符号化部３２と同様である。
　画像符号化制御部２１１は、参照メモリ管理部２１２を動作させ、外部メモリ３８から内部参照メモリ１４に、動き検出部２１６、及び動き補償部２１８が参照する参照ピクチャを転送させる。内部参照メモリ１４に参照ピクチャデータが格納されると、画像符号化制御部２１１は動き検出部２１６を動作させ、参照ピクチャを探索する。動き検出部２１６が動きを探索すると、画像符号化制御部２１１は再び参照メモリ管理部２１２を動作させ、動き補償部２１８が必要とする参照ピクチャデータを転送させ、更に動き補償部２１８に動き補償を行わせる。
　動き補償部２１８が動き補償を行うと、画像符号化制御部２１１は、符号化部２３２を動作させる。符号化部２３２は、動き補償部２１８が生成した予測画像と入力画像との差分を符号化してストリームＳＴＲとして出力すると同時に、差分画像データを出力する。次の画面間予測に必要となる参照ピクチャを外部メモリ３８に格納するために、差分画像データと動き補償部２１８が生成した予測画像とによって再構成画像が生成され、外部メモリ３８に転送される。
　図７は、図６の画像符号化装置２００における処理の流れを示すフローチャートである。記録モード設定ステップＳ１２では、入力される画像の構成や出力するストリームの符号化ビットレート等が記録モードとして設定される。記録条件変換ステップＳ１４において、画像符号化制御部２１１は、記録モード設定ステップＳ１２で設定された記録モードを、所定の時間内に全ての処理を行うことが可能かを判断するために必要な情報（記録条件）に変換する。例えば、記録モード設定ステップＳ１２で設定された情報が、画像サイズ、表示レート、画像の組成、又は符号化ビットレートであったとすると、変換後の記録条件は、外部メモリ３８との間で単位時間当たりに転送するデータ量（データ転送帯域）、キャッシュメモリ４２の容量、又は画面間予測符号化処理を行う周波数である。
　転送判定ステップＳ１６では、画像符号化制御部２１１は、変換後の記録条件が、従来の処理手順により画像符号化装置２００が発揮する最大性能を超過するか否かを判定する。必要とされる性能が最大性能を超過しないと判断された場合には、画像符号化制御部２１１は、転送フラグ設定ステップＳ１８で転送フラグを０に設定する。一方、必要とされる性能が最大性能を超過すると判断された場合には、画像符号化制御部２１１は、転送フラグ設定ステップＳ２０で転送フラグを１に設定する。このように、転送フラグは、設定された記録モードに従って設定される。参照メモリ管理部２１２は、例えばそのレジスタに転送フラグを格納する。
　ステップＳ１８，Ｓ２０で設定された転送フラグの情報から、転送モード判定ステップＳ２２によって参照ピクチャの転送手順が切り替えられる。すなわち、転送フラグが０である場合には参照ピクチャ転送ステップＳ２４に進み、転送フラグが１である場合には参照ピクチャ転送ステップＳ２６に進むことにより、参照メモリ管理部２１２は、キャッシュメモリ４２に記憶させる内容を切り替える。
　参照ピクチャ転送ステップＳ２４では、参照メモリ管理部２１２は、キャッシュメモリ４２を図３（ａ）のようなマッピングにした上で、外部メモリ３８から輝度成分の参照ピクチャデータをキャッシュメモリ４２に転送する。一方、参照ピクチャ転送ステップＳ２６では、参照メモリ管理部２１２は、キャッシュメモリ４２を輝度成分の参照ピクチャデータの他に色差成分の参照ピクチャデータをも格納することが可能な図３（ｂ）のようなマッピングにした上で、外部メモリ３８から輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータもキャッシュメモリ４２に転送する。
　参照ピクチャ転送ステップＳ２８では、画像符号化制御部２１１は、動き検出部１６が探索に必要とする参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４８に転送させる。参照ピクチャ転送ステップＳ２８で、参照用ローカルメモリ４８に動き検出部１６が探索に必要とする参照ピクチャデータが格納されると、動き検出ステップＳ３０では、画像符号化制御部２１１は動き検出部１６に探索させる。
　動き検出部１６による探索が行われると、再び、ステップＳ１８，Ｓ２０で設定された転送フラグの情報から、転送モード判定ステップＳ３２によって参照ピクチャの転送手順が切り替えられる。すなわち、転送フラグが０である場合には参照ピクチャ転送ステップＳ３４に進み、転送フラグが１である場合には参照ピクチャ転送ステップＳ３６に進む。
　参照ピクチャ転送ステップＳ３４では、参照メモリ管理部２１２は、動き検出ステップＳ３０によって検出された動き情報から求められた動き補償に必要な参照ピクチャデータのうち、色差成分の参照ピクチャデータが外部メモリ３８から参照用ローカルメモリ４６に転送されるようにバススイッチ４４を切り替える。一方、参照ピクチャ転送ステップＳ３６では、参照メモリ管理部２１２は、動き補償に必要な参照ピクチャデータのうち、色差成分の参照ピクチャデータがキャッシュメモリ４２から参照用ローカルメモリ４６に転送されるようにバススイッチ４４を切り替える。
　動き補償ステップＳ３８では、動き補償部２１８は、動き検出ステップＳ３０で検出された動き情報と、参照用ローカルメモリ４８に格納されている輝度成分の参照ピクチャデータとを用いて動き補償を行う。ここでは、参照ピクチャ転送ステップＳ３４，Ｓ３６の後に動き補償ステップＳ３８を行う場合について説明したが、動き補償ステップＳ３８の後に参照ピクチャ転送ステップＳ３４，Ｓ３６を行ってもよいし、動き補償ステップＳ３８を参照ピクチャ転送ステップＳ３４，Ｓ３６と同時に行ってもよい。参照ピクチャ転送ステップＳ３４で参照用ローカルメモリ４６に動き補償に必要な参照ピクチャが格納されると、動き補償ステップＳ４０では、動き補償部２１８は、動き検出ステップＳ３０で検出された動き情報と、参照用ローカルメモリ４６に格納されている色差成分の参照ピクチャデータとを用いて動き補償を行う。
　動き補償ステップＳ３８，Ｓ４０で動き補償部２１８が予測画像を生成すると、符号化／ストリーム出力ステップＳ４２では、符号化部２３２は、入力画像と予測画像との差分を符号化してストリームＳＴＲを出力すると同時に、符号化データを復号化して、再構成画像を生成するための差分画像を生成する。加算器３６は、動き補償ステップＳ３８，Ｓ４０で生成された予測画像を用いて再構成画像を生成し、これを次の画面間予測に用いる参照ピクチャとして外部メモリ３８に転送する。
　これら一連の処理は、記録終了判定ステップＳ４４で記録が終了と判定されるまで、再び記録モード設定ステップＳ１２の直後に戻って繰り返される。記録終了判定ステップＳ４４で記録が終了と判定されなかった場合には、記録状況監視ステップＳ４６で画像符号化装置２００の最大処理性能を超過していないかを監視した上で、再び記録モード設定ステップＳ１２の直後に戻る。記録条件変換ステップＳ１４では、ステップＳ４６で得られた監視情報も含めて、記録条件に変換される。記録終了判定ステップＳ４４で記録が終了と判定されると、画像符号化処理は終了する。
　なお、ここに説明した一連の処理を制御する画像符号化制御部２１１は、プログラムを実行することによって動作するプロセッサであってもよいし、組合せ回路と順序回路とで構成されたシーケンサであってもよい。また、画像符号化制御部２１１は、画像符号化装置２００に実装される専用の制御部であるとして説明したが、図５におけるシステム制御部１２８や外部制御部１３６が画像符号化制御部２１１の機能を担うようにしてもよい。
　以下では図１の画像符号化装置１００について説明するが、図６の画像符号化装置２００においても同様である。図８（ａ）は、図３（ａ）の第１の変形例を示す模式図である。図８（ｂ）は、図３（ｂ）の第１の変形例を示す模式図である。図９（ａ）は、図８（ａ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図９（ｂ）は、図８（ｂ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。この例では、動き検出部１６において使用する参照ピクチャの数に応じて、キャッシュメモリ４２の領域を分割する。
　ここでは、符号化対象となる単位ブロックの画面間予測の際に、複数の参照ピクチャを動き検出部１６が参照するために、図９（ａ），（ｂ）に示す様な参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢを、参照ピクチャの数だけ格納することが可能となるように、図８（ａ），（ｂ）のようにキャッシュメモリ４２にマッピングされ、図４と同様の動作が全ての参照ピクチャに対して実行される。
　図２のバススイッチ４４が外部メモリ３８からの直接の経路を選択する場合には、図８（ａ）のように、キャッシュメモリ４２は、全て輝度成分の参照ピクチャデータを格納する領域ＡＬＲとして確保される。この領域の中に、動き検出部１６が参照するピクチャの数ｎだけ、参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
　一方、図２のバススイッチ４４がキャッシュメモリ４２からの経路を選択する場合には、図８（ｂ）のように、キャッシュメモリ４２は、輝度成分の参照ピクチャデータを格納する領域ＡＬＲの他、色差成分の参照ピクチャデータを格納する領域ＡＣＲとしても確保される。領域ＡＬＲにはｍ枚の輝度成分の参照ピクチャのための領域が、領域ＡＣＲにはｍ枚の色差成分の参照ピクチャのための領域がマッピングされ、各参照ピクチャの領域に対して参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。この場合、キャッシュメモリ４２は、例えば輝度成分の参照ピクチャの枚数を減らすことによって、領域ＡＬＲを図８（ａ）の場合より小さくし、空いた領域を色差成分のための領域ＡＣＲとして用いる。
　この時、図８（ａ）において領域ＡＬＲのアドレス領域Ｒｅｆ（１）～Ｒｅｆ（ｎ）にマッピングされた総容量は勿論のこと、図８（ｂ）における領域ＡＬＲと領域ＡＣＲのＲｅｆ（１）～Ｒｅｆ（ｍ）のアドレス領域にマッピングされた総容量も、キャッシュメモリ４２の容量を超えない。動き検出部１６が探索する参照ピクチャの領域がバススイッチ４４の切り替えに依存することなく常に一定である場合には、キャッシュメモリ４２に全ての参照ピクチャを格納する必要があることから、参照ピクチャの数ｍは、参照ピクチャの数ｎより必ず小さくなる。
　すなわち、バススイッチ４４を記録モードに従って静的に制御する場合、動き検出部１６に参照可能となるピクチャの数を、図９（ａ），（ｂ）に示すように変化させる。バススイッチ４４により色差成分の参照ピクチャデータを外部メモリ３８から直接参照用ローカルメモリ４６に転送する場合には、図９（ａ）に示すように、動き検出部１６はｎ枚のピクチャを参照ピクチャとして参照し、探索する。一方、バススイッチ４４により輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送した後、キャッシュメモリ４２に格納された参照ピクチャのうち、特に色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送する場合には、図９（ｂ）に示すように、動き検出部１６はｎ枚より少ないｍ枚のピクチャを参照ピクチャとして参照し、探索することとなる。
　なお、入力ピクチャの色差信号フォーマットが、４：２：０の場合には領域ＡＬＲと領域ＡＣＲの比を２対１、４：２：２の場合には領域ＡＬＲと領域ＡＣＲの比を１対１、４：４：４の場合には領域ＡＬＲと領域ＡＣＲの比を１対２となるようにマッピングすると、例えば、参照メモリ管理部１２により常に色差成分の参照ピクチャデータをキャッシュメモリ４２から参照用ローカルメモリ４６に転送するようにバススイッチ４４が制御されている場合には、最も効率よくキャッシュメモリ４２を活用することになる。
　図１０（ａ）は、図３（ａ）の第２の変形例を示す模式図である。図１０（ｂ）は、図３（ｂ）の第２の変形例を示す模式図である。図１１（ａ）は、図１０（ａ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。図１１（ｂ）は、図１０（ｂ）の場合にキャッシュメモリ４２に格納される参照ピクチャが対応する領域の例を画面上で示す説明図である。この例では、動き検出部１６において使用する参照ピクチャの数に応じて、キャッシュメモリ４２の領域を分割する。
　図８（ｂ）の場合には、参照ピクチャの枚数をｍ（ｎ＜ｍ）としたが、図１０（ｂ）の場合には、参照ピクチャの枚数はｎのままである。このため、図１０（ｂ）に示す参照ピクチャの参照対象領域ＲＦＡは、図１０（ａ）に示す参照ピクチャの参照対象領域ＲＦＡより必ず小さくする。
　バススイッチ４４により色差成分の参照ピクチャデータを外部メモリ３８から直接参照用ローカルメモリ４６に転送する場合には、図１１（ａ）に示すように、動き検出部１６はｎ枚の参照ピクチャにおいて例えば高さｈの参照領域を探索する。一方、バススイッチ４４により輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送した後、キャッシュメモリ４２に格納された参照ピクチャのうち、特に色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送する場合には、図１１（ｂ）に示す様に、動き検出部１６は同じくｎ枚の参照ピクチャにおいて高さｉ（ｉ＜ｈ）の参照領域を探索する。
　なお、ピクチャ構造に従って、すなわち、入力ピクチャがフレーム構造であるかフィールド構造であるかに従って、バススイッチ４４を切り替える場合には、フレーム構造では参照領域を狭くし、フィールド構造では参照領域を広くするようにすると、効率よくキャッシュメモリ４２を活用することができる。また、ピクチャを処理するレートに従ってバススイッチ４４を切り替える場合には、ピクチャの処理レートが低いときには参照領域を狭くし、ピクチャの処理レートが高いときには参照領域を広くするようにすると、効率よくキャッシュメモリ４２を活用することができる。
　図１２（ａ）は、図３（ａ）の第３の変形例を示す模式図である。図１２（ｂ）は、図３（ｂ）の第３の変形例を示す模式図である。輝度成分の参照ピクチャは動き検出部１６によって参照されるので、参照ピクチャの数や探索領域を大きく制限することは画質を劣化させる原因にもなる。このような影響を極力抑えるために、図１２（ｂ）では、領域ＡＬＲにはｍ枚の輝度成分の参照ピクチャのための領域が、領域ＡＣＲにはｋ枚の色差成分の参照ピクチャのための領域がマッピングされ（ｍ＞ｋ）、各参照ピクチャの領域に対して参照対象領域ＲＦＡ、次回開放領域ＲＥＬ、次回取得領域ＮＸＴ、及び予備記憶領域ＳＵＢがマッピングされる。
　この時、図１２（ａ）において領域ＡＬＲ（Ｒｅｆ（１）～Ｒｅｆ（ｎ））にマッピングされた参照ピクチャの総容量は勿論のこと、図１２（ｂ）における領域ＡＬＲ（Ｒｅｆ（１）～Ｒｅｆ（ｍ））と領域ＡＣＲ（Ｒｅｆ（１）～Ｒｅｆ（ｋ））にマッピングされた参照ピクチャの総容量も、キャッシュメモリ４２の容量を超えないようにする。
　キャシュメモリ４２に格納される色差成分の参照ピクチャの枚数が輝度成分の参照ピクチャの枚数より少ないので、参照用ローカルメモリ４６に転送する必要がある参照ピクチャデータがキャシュメモリ４２に格納されているか否かに応じて、バススイッチ４４を動的に制御する必要がある。このような制御は、全て参照メモリ管理部１２が行う。
　参照メモリ管理部１２は、まず輝度成分の参照ピクチャデータと共に色差成分の参照ピクチャデータも外部メモリ３８からキャッシュメモリ４２に転送する。その後、動き検出部１６が、キャッシュメモリ４２に転送された色差成分の参照ピクチャに対応する輝度成分の参照ピクチャを、符号化に最適な参照ピクチャとして用いた場合には、参照メモリ管理部１２は、キャッシュメモリ４２から色差成分の参照ピクチャデータを参照用ローカルメモリ４６に転送するようにバススイッチ４４を切り替える。
　一方、参照メモリ管理部１２が参照ピクチャデータを転送後、動き検出部１６が、キャッシュメモリ４２に転送されていない色差成分の参照ピクチャに対応する輝度成分の参照ピクチャを、符号化に最適な参照ピクチャとして用いた場合には、参照メモリ管理部１２は、色差成分の参照ピクチャデータを外部メモリ３８から直接、参照用ローカルメモリ４６に転送するようにバススイッチ４４を切り替える。
　なお、図１２（ａ）のような輝度成分の参照ピクチャデータのみをキャッシュメモリに格納する場合において、動き検出部１６が参照するピクチャ全ての参照ピクチャデータを格納しても、まだキャッシュメモリ４２に空き領域が存在する場合には、この空き領域に色差成分の参照ピクチャデータを格納してもよい。上述のような制御を行うことによって、無駄なくキャッシュメモリ４２を活用することができる。
　以上の図１、図２、図５、図６等のブロック図における各機能ブロックは、典型的にはＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部、又は全てを含むように１チップ化されてもよい。例えば、外部メモリ３８やメモリ１３８以外の機能ブロックが１チップ化されていてもよい。
　図１の外部メモリ３８や図５のメモリ１３８は、大量のデータを保持する必要があるため、一般的にはＬＳＩに外付けされる大容量のＤＲＡＭ等で実装されるが、これらのメモリも含めて１パッケージ化や１チップ化してもよい。
　ここでは、ＬＳＩと称したが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。
　以上説明したように、本発明の実施形態によると、外部メモリからのデータ転送を減少させることができるので、本発明は、動き検出装置等について有用である。
１０，２１０　動き検出装置
１２，２１２　参照メモリ管理部
１４　内部参照メモリ
１６，２１６　動き検出部
１８，２１８　動き補償部
３８　外部メモリ

Claims (17)

  1. 　参照ピクチャを用いて、入力ピクチャを構成するブロック毎に動きを検出する動き検出装置であって、
    　当該動き検出装置の外部から転送された前記参照ピクチャを記憶する内部参照メモリと、
    　前記内部参照メモリに記憶されている、前記参照ピクチャの画素データを用いて、前記入力ピクチャのブロックであって動き検出の対象となる対象ブロックの動き情報を検出する動き検出部と、
    　前記動き検出部によって検出された動き情報を用いて、前記対象ブロックに動き補償を行う動き補償部と、
    　前記内部参照メモリを制御する参照メモリ管理部とを備え、
    　前記参照メモリ管理部は、
    　前記内部参照メモリに、前記参照ピクチャとして、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶させることが可能である
    動き検出装置。
  2. 　請求項１に記載の動き検出装置において、
    　前記参照メモリ管理部は、
    　前記内部参照メモリに、所定の枚数及び所定の大きさの領域の輝度成分の参照ピクチャを記憶させ、色差成分の参照ピクチャを記憶させない第１の動作、又は、前記内部参照メモリに、前記第１の動作の場合より少ない容量の輝度成分の参照ピクチャと、前記第１の動作の場合より少ない容量の輝度成分の参照ピクチャに対応する色差成分の参照ピクチャとを記憶させる第２の動作のいずれかを行う
    ことを特徴とする動き検出装置。
  3. 　請求項２に記載の動き検出装置において、
    　前記内部参照メモリは、
    　前記参照メモリ管理部が前記第２の動作を行う場合には、前記所定の大きさの領域より小さい領域の輝度成分の参照ピクチャを記憶する
    ことを特徴とする動き検出装置。
  4. 　請求項２に記載の動き検出装置において、
    　前記内部参照メモリは、
    　前記参照メモリ管理部が前記第２の動作を行う場合には、前記所定の枚数より少ない枚数の輝度成分の参照ピクチャを記憶する
    ことを特徴とする動き検出装置。
  5. 　請求項２に記載の動き検出装置において、
    　前記動き補償部は、
    　動き補償に必要であるが、前記内部参照メモリに格納されない色差成分の参照ピクチャを、当該動き検出装置の外部から読み出す
    ことを特徴とする動き検出装置。
  6. 　請求項２に記載の動き検出装置において、
    　前記動き補償部は、
    　前記参照メモリ管理部が前記第１の動作を行う場合には、前記動き検出部で検出された動き情報に対応する位置の輝度成分の参照ピクチャを前記内部参照メモリから読み出し、読み出された輝度成分の参照ピクチャを用いて輝度成分についての動き補償を行い、前記位置の色差成分の参照ピクチャを当該動き検出装置の外部から受け取り、受け取った色差成分の参照ピクチャを用いて色差成分についての動き補償を行う
    ことを特徴とする動き検出装置。
  7. 　請求項６に記載の動き検出装置において、
    　前記内部参照メモリは、
    　前記参照メモリ管理部が前記第１の動作を行う場合には、輝度成分の参照ピクチャのみを記憶するようにマッピングされている
    ことを特徴とする動き検出装置。
  8. 　請求項２に記載の動き検出装置において、
    　前記動き補償部は、
    　前記参照メモリ管理部が前記第２の動作を行う場合には、前記動き検出部で検出された動き情報に対応する位置の輝度成分の参照ピクチャ及び色差成分の参照ピクチャを前記内部参照メモリから読み出し、読み出された輝度成分の参照ピクチャ及び色差成分の参照ピクチャをそれぞれ用いて輝度成分及び色差成分についての動き補償を行う
    ことを特徴とする動き検出装置。
  9. 　請求項８に記載の動き検出装置において、
    　前記内部参照メモリは、
    　前記参照メモリ管理部が前記第２の動作を行う場合には、輝度成分の参照ピクチャ及び色差成分の参照ピクチャを記憶するようにマッピングされている
    ことを特徴とする動き検出装置。
  10. 　請求項２に記載の動き検出装置において、
    　前記参照メモリ管理部は、
    　前記入力ピクチャのフォーマットに従って、前記第１の動作又は前記第２の動作のいずれかを行う
    ことを特徴とする動き検出装置。
  11. 　請求項１０に記載の動き検出装置において、
    　前記入力ピクチャのフォーマットは、前記入力ピクチャがフレームピクチャ又はフィールドピクチャのいずれであるかを示す
    ことを特徴とする動き検出装置。
  12. 　請求項１０に記載の動き検出装置において、
    　前記入力ピクチャのフォーマットは、前記入力ピクチャの表示レートである
    ことを特徴とする動き検出装置。
  13. 　請求項１０に記載の動き検出装置において、
    　前記入力ピクチャのフォーマットは、前記入力ピクチャのサイズである
    ことを特徴とする動き検出装置。
  14. 　請求項１０に記載の動き検出装置において、
    　前記入力ピクチャのフォーマットは、前記入力ピクチャの色差信号フォーマットである
    ことを特徴とする動き検出装置。
  15. 　請求項２に記載の動き検出装置において、
    　前記参照メモリ管理部は、
    　フラグに従って、前記第１の動作又は前記第２の動作のいずれかを行う
    ことを特徴とする動き検出装置。
  16. 　請求項１５に記載の動き検出装置において、
    　前記フラグは、当該動き検出装置の外部から設定される
    ことを特徴とする動き検出装置。
  17. 　請求項１５に記載の動き検出装置において、
    　前記参照メモリ管理部は、
    　前記入力ピクチャに従って前記フラグを求める
    ことを特徴とする動き検出装置。
PCT/JP2009/004034 2008-08-21 2009-08-21 動き検出装置 WO2010021153A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2009801326509A CN102132568A (zh) 2008-08-21 2009-08-21 运动检测装置
JP2010525612A JPWO2010021153A1 (ja) 2008-08-21 2009-08-21 動き検出装置
EP09808089A EP2315447A1 (en) 2008-08-21 2009-08-21 Motion detection device
US13/017,639 US20110122952A1 (en) 2008-08-21 2011-01-31 Motion estimation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008212959 2008-08-21
JP2008-212959 2008-08-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/017,639 Continuation US20110122952A1 (en) 2008-08-21 2011-01-31 Motion estimation device

Publications (1)

Publication Number Publication Date
WO2010021153A1 true WO2010021153A1 (ja) 2010-02-25

Family

ID=41707036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004034 WO2010021153A1 (ja) 2008-08-21 2009-08-21 動き検出装置

Country Status (5)

Country Link
US (1) US20110122952A1 (ja)
EP (1) EP2315447A1 (ja)
JP (1) JPWO2010021153A1 (ja)
CN (1) CN102132568A (ja)
WO (1) WO2010021153A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513437A (ja) * 2014-03-28 2017-05-25 ソニー株式会社 データ符号化及び復号化

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4757080B2 (ja) * 2006-04-03 2011-08-24 パナソニック株式会社 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
HUE047946T2 (hu) 2012-09-07 2020-05-28 Saturn Licensing Llc Átviteli eszköz, átviteli eljárás, vevõ eszköz és vételi eljárás

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998042135A1 (en) 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JP2006060840A (ja) * 1997-02-13 2006-03-02 Mitsubishi Electric Corp 動画像復号装置及び動画像予測システム及び動画像復号方法及び動画像予測方法
JP2007158550A (ja) * 2005-12-01 2007-06-21 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2008022134A (ja) * 2006-07-11 2008-01-31 Megachips Lsi Solutions Inc 整数画素動き予測機構、１／４画素輝度用動き予測機構、１／４画素色差用動き予測機構、組合せ輝度用動き予測機構、組合せ輝度・色差用動き予測機構及び１／４画素輝度・色差用動き予測機構
JP2008212959A (ja) 2007-03-01 2008-09-18 Ihi Corp ワーク搬送装置のクロスバー支持装置
JP2009004034A (ja) 2007-06-21 2009-01-08 Toshiba Corp 情報記憶媒体，および情報再生方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218474A (ja) * 2001-01-24 2002-08-02 Mitsubishi Electric Corp 画像データ符号化装置
US7881376B2 (en) * 2004-05-14 2011-02-01 Panasonic Corporation Motion compensation apparatus
US8019000B2 (en) * 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device
JP4570532B2 (ja) * 2005-08-02 2010-10-27 パナソニック株式会社 動き検出装置、動き検出方法、集積回路およびプログラム
JP4757080B2 (ja) * 2006-04-03 2011-08-24 パナソニック株式会社 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
CN101072355B (zh) * 2006-05-12 2010-07-28 中国科学院计算技术研究所 一种加权预测运动补偿方法
WO2008136178A1 (ja) * 2007-04-26 2008-11-13 Panasonic Corporation 動き検出装置、動き検出方法、及び動き検出プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060840A (ja) * 1997-02-13 2006-03-02 Mitsubishi Electric Corp 動画像復号装置及び動画像予測システム及び動画像復号方法及び動画像予測方法
WO1998042135A1 (en) 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JP2007158550A (ja) * 2005-12-01 2007-06-21 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2008022134A (ja) * 2006-07-11 2008-01-31 Megachips Lsi Solutions Inc 整数画素動き予測機構、１／４画素輝度用動き予測機構、１／４画素色差用動き予測機構、組合せ輝度用動き予測機構、組合せ輝度・色差用動き予測機構及び１／４画素輝度・色差用動き予測機構
JP2008212959A (ja) 2007-03-01 2008-09-18 Ihi Corp ワーク搬送装置のクロスバー支持装置
JP2009004034A (ja) 2007-06-21 2009-01-08 Toshiba Corp 情報記憶媒体，および情報再生方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513437A (ja) * 2014-03-28 2017-05-25 ソニー株式会社 データ符号化及び復号化

Also Published As

Publication number Publication date
US20110122952A1 (en) 2011-05-26
JPWO2010021153A1 (ja) 2012-01-26
EP2315447A1 (en) 2011-04-27
CN102132568A (zh) 2011-07-20

Similar Documents

Publication Publication Date Title
RU2409005C2 (ru) Способ масштабируемого кодирования и декодирования видеосигнала
JP4138056B2 (ja) マルチスタンダード脱圧縮及び／又は圧縮装置
US20110216834A1 (en) Fixed Length Coding Based Image Data Compression
JP5602367B2 (ja) 画像およびビデオ処理のためのスケーラ構造
JP2006217560A (ja) 参考フレームバッファメモリのサイズとアクセス量を減らす方法
JPH1084524A (ja) Ｍｐｅｇ伸長データを保存する前で、必要に応じてサブサンプリング・アルゴリズム後における、ａｄｐｃｍ再圧縮によって減少したｒａｍ容量によるｍｐｅｇデコード方法及びそのデコーダ
JP2009267689A (ja) 動画像符号化装置、及び動画像符号化方法
JP4973886B2 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
US20080031335A1 (en) Motion Detection Device
JP2001285863A (ja) 画像情報変換装置及び方法
US20080089418A1 (en) Image encoding apparatus and memory access method
JP5496047B2 (ja) 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
JP2012085001A5 (ja)
US6862318B2 (en) Image data encoding device
WO2010021153A1 (ja) 動き検出装置
US8311123B2 (en) TV signal processing circuit
JPH10191341A (ja) 画像伸張装置
JP2007258882A (ja) 画像復号装置
US20030147468A1 (en) Image data coding apparatus capable of promptly transmitting image data to external memory
JP2776284B2 (ja) 画像符号化装置
JP2000165875A (ja) メモリ量の少ない動画像解像度変換符号化・復号装置
JPH10234036A (ja) バッファに記憶するデジタル画像データ圧縮のためのツリー検索ベクトル量子化方法、及びメモリ必要量を減少させたｍｐｅｇデコーダ及びｓｑｔｖ処理装置
JP2007020123A (ja) 動き検出装置、および動き検出方法
JP4894793B2 (ja) デコード方法、デコーダ及びデコード装置
JP2010074705A (ja) トランスコーディング装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980132650.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09808089

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010525612

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2009808089

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE