WO2006103984A1 - 動き検出装置 - Google Patents

動き検出装置 Download PDF

Info

Publication number
WO2006103984A1
WO2006103984A1 PCT/JP2006/305672 JP2006305672W WO2006103984A1 WO 2006103984 A1 WO2006103984 A1 WO 2006103984A1 JP 2006305672 W JP2006305672 W JP 2006305672W WO 2006103984 A1 WO2006103984 A1 WO 2006103984A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion detection
reference pixel
block
row
pixel data
Prior art date
Application number
PCT/JP2006/305672
Other languages
English (en)
French (fr)
Inventor
Masayasu Iguchi
Toshiyasu Sugio
Kyoko Tanikawa
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Publication of WO2006103984A1 publication Critical patent/WO2006103984A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Definitions

  • the present invention relates to a motion detection apparatus that performs motion detection of blocks constituting a picture.
  • multimedia In recent years, a multimedia era in which voice, image, and other pixel values are handled in an integrated manner, and conventional information media, that is, means for transmitting information such as newspapers, magazines, televisions, radios, and telephones to people.
  • multimedia In general, multimedia refers to the simultaneous association of figures, sounds, especially images, etc. that consist of only characters.
  • the information is digitally represented. It must be expressed in a form.
  • the information amount of each of the above information media is estimated as a digital information amount
  • the amount of information per character is 1 to 2 bytes for characters, whereas it is 1 second for speech.
  • 64Kbits (telephone quality) per video, and more than lOOMbits (current TV reception quality) per second is required for video, and it is not realistic to handle the vast amount of information in the digital format as it is with the above information media .
  • videophones are already being put into practical use by ISDN (Integrated Services Digital Network) with a transmission speed of 64 Kbit / s to 1.5 Mbits / s. It is impossible to send by.
  • ISDN Integrated Services Digital Network
  • MPEG Motion Picture Experts Group
  • ISOZlEC International Electrotechnical Commission
  • G-1 is a standard that compresses moving picture signals to 1.5 Mbps, that is, to reduce the information of TV signals to about 1/100.
  • the MPEG-1 standard sets the target quality to a medium quality that can be realized at a transmission rate of approximately 1.5 Mbps, so that MPEG standardized to meet the demand for higher image quality is required.
  • -2 achieves TV broadcast quality at 2 to 15 Mbps for moving image signals.
  • the working group (ISO / IEC JTC1 / SC29 / WG11) that has been standardizing with MPEG-1 and MPEG-2 has achieved a compression ratio that exceeds MPEG-1 and MPEG-2.
  • MPEG-4 which enables encoding and decoding operations on a per-object basis and realizes new functions necessary in the multimedia era, has been standardized.
  • MPEG-4 it was originally aimed at standardizing low bit rate coding methods, but now it has been extended to more general coding methods that include high bit rates including interlaced images. .
  • MPEG-4AVC and H.264 were standardized as a higher compression rate image coding system jointly by ISOZIEC and ITU-T.
  • the H.264 standard is currently in the process of drafting a revised standard for High Profile suitable for HD (High Definition) images.
  • Applications of the H.264 standard are expected to spread to digital broadcasting, DVD (Digital Versatile Disk) player Z recorder, hard disk player Z recorder, camcorder, videophone, etc. as well as MPEG-2 to MPEG-4. Yes.
  • a picture is a term representing a single screen.
  • a progressive image it means a frame
  • an interlaced image it means a frame or a field.
  • an interlaced image is an image in which one frame is composed of two fields having different times.
  • one frame is processed as a frame, processed as two fields, or processed as a frame structure or field structure for each block in the frame. can do.
  • a picture that does not have a reference picture and performs intra prediction prediction is called an I picture.
  • one piece An image that performs inter-frame predictive coding by referring only to the reference image is called a P-picture.
  • the B picture can refer to two pictures with any combination of display time from the front or back.
  • the reference picture (reference picture) can be specified for each macroblock, which is the basic unit of the sign ⁇ .
  • the reference picture described earlier in the bit stream that has been subjected to the sign ⁇ is the first reference picture, The one described later is distinguished as the second reference picture.
  • the picture to be referenced must already be encoded.
  • Motion-compensated inter-picture predictive coding is used for a P-picture or B-picture code.
  • the motion compensation inter-frame prediction coding is a code encoding method in which motion compensation is applied to the inter-frame prediction encoding.
  • Motion compensation is a method that detects the amount of motion in each part of the picture (hereinafter referred to as a motion vector) rather than simply predicting the pixel value of the reference frame, and performs prediction in consideration of the amount of motion. This improves the prediction accuracy and reduces the amount of data. For example, by detecting the motion vector of the sign target picture and signing the prediction residual between the prediction value shifted by the motion vector and the sign target picture, the amount of data is reduced. Yes. In this method, since motion vector information is required for decoding, the motion vector is also coded and recorded or transmitted.
  • the motion vector is detected in units of macroblocks. Specifically, the macroblock on the encoding target picture side is fixed, the macroblock on the reference picture side is moved within the search range, and the reference A motion vector is detected by finding the location of the reference block that is most similar to the block.
  • FIG. 1 is a block diagram showing a configuration of a conventional inter-screen prediction code display device.
  • This inter-screen prediction coding apparatus includes a motion detection unit 401, a multiframe memory 402, a subtraction unit 403, a subtraction unit 404, a motion compensation unit 405, an encoding unit 406, an addition unit 407, a motion vector memory 408, And a motion vector predictor 409! /
  • the motion detection unit 401 compares the motion detection reference pixel ME pel output from the multi-frame memory 402 with the screen signal Vin, and outputs a motion vector MV and a reference picture number RelNo.
  • Reference picture number RelNo refers to the target image selected from multiple reference images It is an identification signal for specifying the reference image to be performed.
  • the motion vector MV is temporarily stored in the motion vector memory 408 and then output to the motion vector prediction unit 409 as a neighborhood motion vector PrevMV.
  • the motion vector prediction unit 409 predicts the predicted motion vector PredMV with reference to the input neighboring motion vector PrevMV.
  • the subtraction unit 404 subtracts the prediction motion vector PredMV from the motion vector MV and outputs the difference as a motion vector prediction difference DilMV.
  • the multi-frame memory 402 outputs the pixel indicated by the reference picture number RelNo and the motion vector MV as the motion compensation reference pixel MCpell.
  • the motion compensation unit 405 generates a reference pixel with decimal pixel accuracy and outputs it as a reference screen pixel MCpel2.
  • the subtractor 403 subtracts the screen signal Vin force reference screen pixel MCpel2 and outputs a screen prediction error DilPel.
  • the encoding unit 406 performs variable length encoding on the screen prediction error DilPel, the motion vector prediction difference DilMV, and the reference picture number RelNo, and outputs an encoded signal Str.
  • the decoded screen prediction error RecDilPel which is the result of decoding the screen prediction error, is also output at the time of encoding.
  • Decoding screen prediction error RecDilPel is the one in which coding error is superimposed on screen prediction error DilPel and matches the inter-screen prediction error obtained by decoding the code signal Str with the inter-screen prediction decoding device. .
  • the calculation unit 407 adds the decoded screen prediction error RecDilPel to the reference screen pixel MCpel2, and stores the decoded screen RecPel in the multi-frame memory 402. However, in order to effectively use the capacity of the multi-frame memory 402, the screen area stored in the multi-frame memory 402 is released when it is unnecessary, and there is no need to store it in the multi-frame memory 402! Screen decryption screen RecPel is not stored in multi-frame memory 402!
  • FIG. 2 is a block diagram showing a configuration of a conventional inter-screen prediction decoding apparatus.
  • the same parts as those of the inter-screen prediction code display apparatus shown in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
  • the conventional inter-screen predictive decoding apparatus shown in FIG. 2 decodes the encoded signal Str encoded by the conventional inter-screen predictive encoding apparatus shown in FIG. 1, and outputs a decoded screen signal Vout.
  • Multi-frame memory 402 motion compensation unit 405, addition unit 407, addition unit 501, A motion vector memory 408, a motion vector prediction unit 409, and a decoding unit 502 are provided.
  • Decoding unit 502 decodes encoded signal Str, and outputs decoded screen prediction error RecDilPel motion vector prediction difference DilMV and reference picture number RelNo.
  • the adder 501 adds the motion vector predictor PredMV and the motion vector prediction difference DilMV output from the motion vector predictor 409, and decodes the motion vector MV.
  • the multi-frame memory 402 outputs the pixel indicated by the reference picture number RelNo and the motion vector MV as the motion compensation reference pixel MCpell.
  • the motion compensation unit 405 generates a reference pixel with decimal pixel precision and outputs it as a reference screen pixel MCpel2.
  • the adding unit 407 adds the decoded screen prediction error RecDilPel to the reference screen pixel MCpel2, and stores it in the multi-frame memory 402 as the decoded screen RecPel.
  • the screen area stored in the multi-frame memory 402 is released if it is not necessary, and there is no need to store it in the multi-frame memory 402.
  • the decoded screen RecPel is not stored in the multi-frame memory 402.
  • the decoded screen signal Vout that is, the decoded screen RecPel can be correctly decoded from the code key signal Str.
  • Patent Document 1 a configuration for mounting the inter-picture prediction code encoding device shown in FIG. 1 is shown in, for example, Patent Document 1 as an example.
  • Patent Document 1 when the inter-picture predictive coding apparatus is mounted on an LSI or the like, the multi-frame memory 402 shown in FIG. 1 is connected outside the LSI.
  • the external frame memory and the motion detection unit 401 are implemented by being divided into an LSI local memory that is directly accessed during block matching search.
  • FIG. 3 is a schematic diagram for explaining a connection configuration of the inter-screen prediction code encoding device and the frame memory.
  • the external frame memory 412 is an external frame memory connected outside the LSI.
  • the reference local memory 411 is a memory inside the LSI that is directly accessed by the motion detection unit 401 during block matching search.
  • the LSI 410 is a part mounted on the LSI of the inter-screen prediction code input device.
  • FIG. 4 is an example showing a data configuration of the reference local memory 411.
  • the block data of lMB (Macro Block) composed of 16 pixels x 16 pixels is moved by 1 MB vertically and horizontally in a standard definition (SD) size image such as MPEG-2 in the past. It is assumed that the searched pixel range is searched.
  • SD standard definition
  • the transfer processing from the external frame memory 41 2 to the reference local memory 411 and the motion detection processing performed using the reference local memory 411 and the motion detection unit 401 are performed in parallel so as to perform overall operations.
  • the update area 601 indicated by the diagonal lines in Fig. 4 (a) is also required.
  • Figures 4 (b), 4 (c), and 4 (d) are for reference assuming H.264 SD size images, MPEG-2 HD size images, and H.264 HD size images, respectively. Indicates the state of the local memory 411.
  • FIG. 5 is a schematic diagram showing the state of reference pixels transferred per screen.
  • X horizontal width of one screen
  • Pixels are transferred with motion detection per screen.
  • FIG. 4 (b) shows the management state of the reference local memory assuming an H.264 SD size image.
  • a 6-tap filter is used for motion compensation with decimal pixel accuracy. Therefore, more peripheral pixels are required than conventional MPEG-2 or the like (for example, see Non-Patent Document 1).
  • MPEG-2 etc. from four integer pixels surrounding the decimal precision pixel position
  • 36 integer pixel powers to create a fractional precision pixel when searching in the same area, the top 2 lines, bottom 2 lines, left 2 Two rows of pixels are required. Therefore, in the case of an SD size image such as H.264, if the pixel range moved by 1MB vertically and horizontally is used as the search range,
  • Pixels are transferred with motion detection per screen.
  • Patent Document 1 Japanese Patent No. 2963269
  • Non-patent literature l ISO / IEC 14496-10, International Standard: "Information technology-Coding of audio-visual objects-Part 10: Advanced video coding” (2003-12-01) Disclosure of invention
  • Fig. 4 (c) shows the management state of the local memory for reference assuming an MPEG-2 HD size image.
  • An HD size image has about six times the number of pixels as an SD size image. Therefore, for the sake of simplicity, it is assumed that the reference area is searched 2.5 times in the vertical and horizontal directions. Therefore, the vertical and horizontal search range is a pixel range moved by 40 pixels vertically and horizontally, and similarly,
  • Pixels are transferred with motion detection per screen.
  • FIG. 4 (d) shows the management state of the local memory for reference assuming an H.264 HD size image
  • Pixels are transferred with motion detection per screen.
  • An object of the present invention is to provide a motion detection device capable of
  • a motion detection device is a motion detection device that performs motion detection of a block constituting a picture, and stores first reference pixel data of a reference picture.
  • Means for storing the reference pixel data transferred from the first storage means, and reference pixel data to be transferred for each block row including at least one block row composed of a plurality of the blocks.
  • Motion detection for blocks with motion detected range Reference pixel transfer control means for determining and transferring the reference pixel data in the determined range from the first storage means to the second storage means in units of pixel rows including at least one pixel row composed of a plurality of pixels.
  • motion detection means for detecting motion of the target block using the reference pixel data stored in the second storage means.
  • the reference pixel transfer control means performs motion detection on the next block row while the motion detection means performs motion detection on each target block included in the block row.
  • a range of reference pixel data required may be determined, and the reference pixel data in the determined range may be transferred from the first storage unit to the second storage unit.
  • the reference pixel data required for the next block row is transferred from the first storage means to the second storage means in parallel with the motion detection processing of each target block included in the current block row. It can be carried out.
  • the reference pixel transfer control means includes a plurality of pictures in the motion detection means.
  • the range of reference pixel data of all the plurality of pictures required for motion detection of each target block included in the block row is determined, and the reference pixel data of the determined range is determined.
  • the data may be transferred from the first storage means to the second storage means.
  • the reference pixel transfer control means includes a block included in a block row including a block in the reference picture having the same pixel position as the target block and a block included in a block row immediately before the block row. Based on the detected vertical motion detection result! /, The range of reference pixel data to be transferred may be determined.
  • the motion detection device further includes simple detection means for simply detecting motion with respect to a picture including the target block, and the reference pixel transfer control means is detected by the simple detection means. Range of reference pixel data to be transferred based on the vertical motion detection result corresponding to the block included in the block row including the target block and the block included in the block row immediately before the block row! You can decide.
  • the reference pixel transfer control means is based on a vertical motion detection result detected in a block included in a block row including the target block or a block included in a block row before the block row. Thus, the range of reference pixel data to be transferred may be determined.
  • the reference pixel transfer control means may include a difference that is not included in the reference pixel data already transferred among the reference pixel data required for motion detection of each target block included in the block row. Only the area may be determined as the range of reference pixel data to be transferred. As a result, duplicate transfer of reference pixel data can be eliminated, and the transfer amount of reference pixel data can be minimized.
  • the present invention can be realized as such a motion detection device, and can be realized as a motion detection method using steps characteristic of the motion detection device such as NAGKO. It can also be realized as a program that causes a computer to execute steps. Such a program can be recorded on a recording medium such as a CD-ROM or an interface. Needless to say, it can be distributed via a transmission medium such as one net. The invention's effect
  • the motion detection device of the present invention data from the first storage means such as the external frame memory to the second storage means such as the local memory for internal reference.
  • the number of transfers can be reduced and the power consumption can be suppressed.
  • the amount of data transferred from the first storage means such as an external frame memory to the second storage means such as the internal reference low-power memory can be minimized.
  • FIG. 1 is a block diagram showing a configuration of a conventional inter-screen prediction code encoding device.
  • FIG. 2 is a block diagram showing a configuration of a conventional inter-screen prediction decoding apparatus.
  • FIG. 3 is a block diagram showing a connection configuration between an inter-screen prediction coding apparatus and a frame memory.
  • FIG. 4 is a schematic diagram showing an example of the data structure of the local memory for reference.
  • A In the case of a conventional MPEG-2 SD size image,
  • FIG. 5 is a schematic diagram showing reference pixels transferred per screen.
  • FIG. 6 is a block diagram showing a configuration of an inter-screen prediction code encoding device in which the motion compensation device according to Embodiment 1 of the present invention is used.
  • FIG. 7 is a schematic diagram showing operation timing of memory transfer and motion compensation prediction.
  • FIG. 8 is a schematic diagram showing a search area and an update area in the reference local memory.
  • FIG. 9 is a flowchart showing an operation flow of the inter-frame prediction encoding apparatus in the first embodiment.
  • FIG. 10 is a schematic diagram showing the state of the update area of the reference local memory.
  • FIG. 11 is a schematic diagram showing the state of the physical area by the update operation of the reference local memory.
  • FIG. 12 shows a local memory for reference when a picture is divided into a plurality of areas. It is a schematic diagram which shows the search area
  • FIG. 13 is a flowchart showing an operation flow of MBAFF processing in the second embodiment.
  • FIG. 14 is a schematic diagram showing a search area and an update area for MBAFF processing in the reference local memory.
  • FIG. 15 is a schematic diagram showing a state of an update area of a reference local memory when referring to a plurality of pictures.
  • FIG. 16 is a schematic diagram showing the state of the physical area by the updating operation of the reference local memory when referring to a plurality of pictures.
  • (A) Configuration of the physical area of the reference local memory, (b) to ( d) is an example showing a change in the memory arrangement of the reference local memory.
  • FIG. 17 is a flowchart for determining the update area of the local memory for referring to the status of the motion vectors of other pictures.
  • FIG. 18 is a flowchart for determining an update area of the local memory for referring to the approximate motion vector force by preprocessing.
  • FIG. 19 is a flowchart for determining the update area of the state memory reference local memory of the MB line processed before the target MB line.
  • FIG. 20 is a block diagram showing a configuration of an AV processing unit that realizes an H.264 recorder.
  • FIG. 6 is a block diagram showing a configuration of an inter-picture prediction encoding apparatus in which the motion compensation apparatus according to Embodiment 1 of the present invention is used.
  • the same parts as those of the conventional inter-screen prediction code encoder shown in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
  • the difference between the inter-picture prediction encoding apparatus of the present embodiment and the conventional inter-picture prediction encoding apparatus shown in FIG. 1 is that the multi-frame memory 402 is externally connected when mounted on a semiconductor or the like.
  • Multi-frame memory (first storage means) 103 and reference local memory (second storage means) 102, which is an internal memory used for motion detection, etc. are expressed separately, and reference memory control is used to control them. Part 101 is added.
  • the flow of the operation is almost the same as the operation of the conventional inter-picture predictive coding apparatus shown in Fig. 1, and the decoded screen RecPel which is the addition result from the adder 407 is stored in the external multiframe memory 103.
  • the next, the area used for motion compensation prediction is output from the external multi-frame memory 103 to the reference local memory 102.
  • the reference memory control unit 101 controls data transfer between the external multi-frame memory 103 and the reference local memory 102.
  • FIG. 7 is a schematic diagram showing the operation timing of memory transfer and motion compensation prediction.
  • processing timing mtProc represents processing timing for performing memory transfer
  • processing timing meProc represents processing timing for performing motion detection.
  • Periods T0, Tl, ⁇ 2, and ⁇ 3 represent the periods for processing.
  • the reference memory control unit 101 receives pixel data for processing the MB of the ⁇ -th row of the original image from the external multiframe memory 103 during the period T1, as shown in FIG. Transferring to Mori 102. Further, during the period of T2, the reference memory control unit 101 transfers the pixel data power for processing the MB of the (n + 1) th row of the original image from the external multi-frame memory 103 to the reference local memory 102. At the same time, referring to the pixel data in the reference local memory 102, the motion detection unit 401 performs motion detection for the MB in the nth row of the original image.
  • the reference memory control unit 101 transfers the pixel data for processing the n + 2th MB of the original image from the external multi-frame memory 103 to the reference local memory 102.
  • motion detection is performed in the motion detection unit 401 for the MB of the (n + 1) th row of the original image!
  • FIG. 8 is a schematic diagram showing a search area and an update area in the reference local memory.
  • the picture width picWidth and height picHeight are M (MB) and N (MB), respectively.
  • the reference local memory 102 stores the nth row of the original image.
  • the width of the picture referenced by MB picWidth X Contains pixel data for the reference height.
  • pixel data for the reference height is stored by adding 1 MB above and below to the MB of the row corresponding to the nth row of the original image.
  • pixel data for the reference height is added to the MB of the row corresponding to the nth row of the original image by adding 40 pixels at the top and bottom.
  • search center meCnt in the reference image for the target MB of the m-th row and the n-th row in the original image may be the same position as the target MB of the original image, but the position shifted to a different position may be used. Good as search center meCnt.
  • the reference memory control unit 101 updates the reference local memory 102 in units of MB rows.
  • the reference image used for motion detection in the (n + 1) th row is transferred while M motion detection processes in the nth row are performed.
  • FIG. 9 is a flowchart showing the flow of these operations.
  • S400 indicates the start of motion detection processing for one picture.
  • the MB row position for processing in the original image is initialized, and 0 is substituted for n (step S401).
  • it is determined whether the MB line to be processed exceeds the height of the picture picHeight! /, What! / (Step S40 2), and if n exceeds N! / No), the process ends (step S403).
  • step S402 if the height of the picture is exceeded (Yes in step S402), a vertical range for motion detection is set (step S404), and the original image is also displayed.
  • the MB column position to be processed is initialized, and 0 is substituted for m (step S405).
  • step S405 After the process of step S405, the process of performing motion detection for one line for each MB (step S406, step S407, step S408, and step S409) and the necessary reference area for the next MB line are transferred. (Step S410 and step S411) are simultaneously executed.
  • step S406 it is determined whether the horizontal position of the MB to be processed does not exceed the picture width picWidth. If it exceeds (No in step S406), the process proceeds to the next line.
  • step S410 As another process following step S405, as a process of transferring a reference area necessary for the next MB line, first, a transfer area required for the n + 1st line is determined (step S410), and pixel transfer is performed. Is performed in parallel with the motion detection process (step S411). If the search center of the MBs in the nth and n + 1st lines is the same relative coordinates from each MB in the original image, the update area will be 16 pixel lines (1MB line).
  • FIG. 10 is a schematic diagram showing the state of the update area of the reference local memory.
  • the reference memory control unit 101 transfers the area area n while the motion detection unit 401 is searching for MBmb n ⁇ 1 in the (n ⁇ 1) th row. Similarly, the nth line The area area—n + 1 is transferred while the MBmb—n search is being performed, and the area area—n + 2 is transferred while the MBmb—n + 1 search is being performed on the n + first line. , Transfer the area of the line below the area area—n + 2 while searching for the MBmb—n + 2 of the n + second line.
  • FIG. 11 is a schematic diagram showing the state of the physical area by the update operation of the reference local memory.
  • the reference local memory 102 is managed by dividing it into an area Omema0, an area lmema 1, an area 2mema2, and an area 3mema3.
  • FIG. 11B is an example showing a change in the memory arrangement of the reference local memory 102 in the operation state shown in FIGS.
  • the area area-n is transferred by using the area Omema0, the area lmemal, and the area 2mema2 to search for the MBmb-n-1 in the n-1st line.
  • the region 3mema 3 is used to do this.
  • the region lme mal, the region 2mema2, and the region 3mema3 are used to search for the MBmb-n in the n-th row, and the region OmemaO is transferred to transfer the region area-n + 1. Is used.
  • FIG. 11 (b) the area area-n is transferred by using the area Omema0, the area lmemal, and the area 2mema2 to search for the MBmb-n-1 in the n-1st line.
  • the region 3mema 3 is used to do this.
  • the region lme mal, the region 2mema2, and the region 3mema3 are used to search for the MBmb-n in the n-th row, and
  • the reference local memory 102 is mounted with a memory amount corresponding to at least (picture width) X (search height) + (picture width) X (maximum height of the reference area to be updated).
  • the amount of pixels transferred from the external multi-frame memory 103 to the reference local memory 102 per picture is either MPEG-2 or H.264 for SD size images.
  • the reference memory control unit 101 updates the reference local memory 102 in units of MB lines corresponding to the picture width picWidth! /, But is not limited thereto. is not.
  • a picture may be divided into a plurality of areas (two in the example of FIG. 12) and may be performed in units of MB corresponding to the width of the divided area (MZ2).
  • FIG. 13 is a flowchart showing an operation flow in the present embodiment.
  • S700 indicates the start of motion detection processing for one frame.
  • the MB line position to be processed in the original image is initialized, and 0 is substituted for n (step S701).
  • step S702 if the height of the picture is exceeded (Yes in step S701), a vertical range for motion detection is set (step S704) and the original image is also displayed. Initialize the MB column position for the processing in, and substitute 0 for m (step S705).
  • step S705 After the process of step S705, the process of performing motion detection for two lines for each MB (step S706, step S707, step S708, step S709, and step S713) and the reference area required for the next 2MB line (Step S710 and Step S711) are simultaneously executed.
  • step S706 it is determined whether the horizontal position of the MB to be processed does not exceed the picture width picWidth. If it is over! (No in step S706), the process proceeds to the next line).
  • step S706 if it exceeds the width of the picture! / ⁇ (Yes in step S706), set the horizontal range for motion detection (step S707), (m, The motion of the MB at the position n) is detected (step S708), and the motion of the MB at the position (m, n + 1) is further detected (step S713).
  • step S705 As another process following step S705, as a process of transferring a reference area necessary for the next MB line, first, transfer areas required for the n + 2 and n + 3 lines are determined (step S710), pixel transfer is performed in parallel with the motion detection process (step S711).
  • FIG. 14 is a schematic diagram showing an MBAFF search area and an update area in the reference local memory.
  • the reference memory control unit 101 sets the target MB in the motion detection unit 401 to (m, n), (m, n + l), (m + 1, n), (m + 1, n + l). ), (M + 2, n), (m + 2, n + l), ... in the sawtooth order, while the motion detection process of 2MB row is being performed, the (n + 2) row and (n + 3) ) Transfer the update area for use in motion detection on the line.
  • the search center of MB of n, n + 1st row and n + 2, n + 3 row is the same in relative coordinates from each MB in the original image, the update area is 32 pixel rows (2MB row) Become.
  • FIG. 15 is a schematic diagram showing the state of the update area of the local memory when referring to a plurality of pictures.
  • the encoding target frame currPic refers to frames re! PicO, re! P icl, re! Pic2, and re! Pic3.
  • the reference frame of the first embodiment is expanded to a plurality of frames, and the reference memory control unit 101 sends the motion detection unit 401 to! /, N ⁇ 1 as shown in FIG. While searching for MBmb-n-1 on the line! /, Area areaO-n, area areal-n, area area2-n, and area area3-n are transferred.
  • the area areaO—n + l, area areal—n + l, area area2—n + l, and area3—n + 1 are While the search for MBmb-n + 1 in the n + 1st line is performed, the area areaO n + 2, the area areal n + 2, the area area2 n + 2, and the area area3 — Transfer n + 2.
  • FIG. 16 is a schematic diagram showing the state of the physical area by the local memory update operation when referring to a plurality of pictures.
  • the local memory 102 for reference is stored in area OOme ma00, area OlmemaOl, area O2mema02, area O3mema03, area 10memalO, area 1 lmemall, area 12memal2, area 13memal3, area 2Omema20, area 21mema21, area. It is divided into 12 regions: 22mema22, region 23mema23, region 3Omema30, region 31mema31, region 32mema32, and region 33mema33.
  • 16B is an example showing a change in the memory arrangement of the reference local memory 102 in the operation state shown in FIGS. 16B to 16D and FIG.
  • the search for MBmb-n-1 in the n-th line uses the region OOmemaOO, the region OlmemaOl, and the region O2mema02 for the reference picture re! Pic0.
  • Reference picture ref Picl uses region lOmemalO, region llmemall and region 12memal2, reference picture re! Pic2 uses region 2Omema20, region 21mema21 and region 22mema22, and reference picture re!
  • Pic3 uses region 3Omema30 Area 3 lmema31 and area 32mema32 are used at the same time, area areaO n, area areal n, area area n n, and area; 3 ⁇ 41 ⁇ 2'area3 n are sent.7 area O3mema03, area 13memal3, area 23mema23 And area 33mema33 is used.
  • the reference picture re! PicO uses the region OlmemaOl, the region O2mema02, and the region O3mema03 for the MBmb-n search in the n-th row, and the reference picture re!
  • reference picture ref Pic2 uses region 21mema21, region 22mema22, and region 23mema23
  • reference picture re! Pic3 includes region 3 lmema31, region 32mema32, and region 33mema33
  • the area OOmema00, the area 10memalO, the area 2Omema20, and the area 3Omema30 are transferred to transfer the area areaO-n + l, the area areal-n + l, the area area2-n + l, and the area area3-n + 1. Use.
  • Picl is used for the reference picture re! PicO in the search for MBmb ⁇ n + 1 in the (n + 1) th line using the region O2mema02, the region O3mema03, and the region OOmemaOO.
  • Area 12memal2 and area 13memal3 and area 1 Omemal 0, reference picture re! Pic2 uses area 22mema22 and area 23mema23 and area 2Omema20, and reference picture re!
  • Pic3 uses area 32mema32 and area 33mema33 And region 3Omema30 At the same time, the area Olmema01, the area l lmemall, the area 21mema21, and the area to transfer the area areaO—n + 2, the area areal—n + 2, the area area2—n + 2, and the area area3—n + 2 Use 31mema31.
  • the reference memory control unit 101 determines the difference between the pixels necessary for the processing of the nth row and the (n + 1) th row as described in the first embodiment for the transfer of the pixels necessary for the motion detection processing of the next MB row.
  • FIG. 17 is a flowchart for determining the update area of the local memory for referring to the state power of the motion vectors of other pictures. This is the process performed in step S410 shown in FIG. 9 in the first embodiment.
  • Step S1100 indicates the start of the decision flow regarding the transfer area for MB processing in the (n + 1) th row.
  • an encoded image whose time distance or processing order is close to the processing target image is selected (step S1101).
  • the vertical average motion vector mvRef— ⁇ is calculated for the MB of the nth row of the encoded image (step S1102), and the average motion of the vertical direction is calculated for the MB of the n + 1st row of the encoded image.
  • Vector mvRef—nl is calculated (step S1103).
  • step S1104 the difference between the average motion vector mvRef— ⁇ obtained in step S1102 and the average motion vector mvRef—nl obtained in step S1103 is obtained, and rounded to integer precision to obtain an update amount correction value mvComp (step S1104). . Furthermore, the area where the MB processing range of the nth row is shifted down by (16 + mvComp) pixels is taken as the reference range of the n + 1st row MB, and the reference range of the nth row MB and the reference range of the n + 1st row MB Is determined as the transfer range (step S 1105). [0087] [Update area determination method 2]
  • FIG. 18 is a flowchart for determining the update area of the local memory for reference of the approximate motion vector force by the preprocessing. Similar to the update area determination method 1, this is the process performed in step S410 shown in FIG.
  • Step S1200 indicates the start of the decision flow regarding the transfer area for MB processing in the (n + 1) th row.
  • a motion vector for each MB row of the picture to be coded is simply calculated using a compressed picture of the picture (step S1201). For example, an image is created by thinning out pixels of the target picture at a predetermined interval, and a motion vector corresponding to the MB row of the target image is calculated using this image.
  • the vertical pre-process motion vector mvRef—n 0 is obtained for the MB of the nth row of the encoding target image (step S 1202), and the vertical direction of the MB of the (n + 1) th row of the encoding target image
  • Process motion vector mvRef—nl is acquired (step S1203).
  • the difference between the preprocessed motion vector mvRef— ⁇ acquired in step S12 02 and the preprocessed motion vector mvRef—nl acquired in step S 1203 is obtained, and rounded to integer precision to obtain an update amount correction value mvComp. (Step S 1204).
  • the area where the MB processing range of the nth row is shifted down by (16 + mvComp) pixels is taken as the reference range of the n + 1st row MB, and the reference range of the nth row MB and the reference range of the n + 1st row MB Is determined as the transfer range (step S1205).
  • FIG. 19 is a flowchart for determining the update area of the local memory for reference status of MB lines processed before the target MB line. Similar to the update area determination methods 1 and 2, this is the process performed in step S410 shown in FIG.
  • Step S1300 indicates the start of the decision flow regarding the transfer area for MB processing in the (n + 1) th row.
  • the average motion vector mvRef— ⁇ in the vertical direction is obtained for the MB in the nth row of the encoding target image (step S1302), and the average motion vector in the vertical direction is obtained for the MB in the nth row of the encoding target image.
  • the difference between the average motion vector mvRef— ⁇ obtained in step S 1302 and the average motion vector mvRef—nl obtained in step S 1303 is obtained, and rounded to integer precision to obtain an update amount correction value m 0 ⁇ 1. (Step 31304).
  • the MB processing range of the nth line is set to (16 + mvComp)
  • the area shifted down by the prime is used as the reference range of the n + 1st line MB
  • the difference area between the reference range of the nth line MB and the reference range of the n + 1st line MB is determined as the transfer range (step S 1305) .
  • the update area determination method 1, the update area determination method 2, or the update area determination method 3 is used to reduce the pixel transfer amount by performing the process of step S410 shown in FIG. It is possible to specify an optimum search range without excessively increasing the reference local memory 102 to be mounted.
  • FIG. 20 is a block diagram of an AV processing unit that realizes an H.264 recorder.
  • AV processing unit 700 is a processing unit that is used for DVD recorders, hard disk recorders, and the like and plays back digitally compressed audio and images. As shown in FIG. 20, stream input / output unit 701, memory input / output unit 702, AV control unit 703, image encoding / decoding unit 704, audio encoding / decoding unit 705, image processing unit 706, image input / output unit 707, audio processing unit 708, audio input / output unit 709, and bus 710 I have.
  • a stream input / output unit 701 is connected to the node 710 and inputs / outputs audio and image stream data exS tr.
  • An image encoding / decoding unit 704 is connected to the bus 710 and performs encoding / decoding of an image.
  • the voice code decoding unit 705 is connected to the bus 710 and performs coding and decoding of voice.
  • the input / output interface 702 is an input / output interface for the data signal of the memory 800 and is connected to the bus 710.
  • the memory 800 stores data such as stream data, encoded data, and decoded data, as shown in FIG. Including an external multi-frame memory area.
  • the image processing unit 706 is connected to the bus 710 and performs pre-processing and post-processing on the image signal.
  • the image input / output unit 707 outputs an image data signal processed by the image processing unit 706 or passed through without being processed by the image processing unit 706 to the outside as an image signal exVSig, or from the outside Capture the signal exVSig.
  • the audio processing unit 708 is connected to the bus 710 and performs pre-processing and post-processing on the audio signal.
  • the audio input / output unit 709 outputs an audio data signal processed by the audio processing unit 708 or passed without being processed by the audio processing unit 708 to the outside as an audio signal exASig, or an external audio signal Capture the signal exASig.
  • the AV control unit 703 performs overall control of the AV processing unit 700.
  • the bus 710 transfers data such as stream data, audio / decoded data.
  • the image signal exVSig is input to the image input / output unit 707
  • the audio signal exASig is input to the audio input / output unit 709.
  • the image processing unit 706 uses the image signal exVSig input to the image input / output unit 707
  • the image processing unit 706 uses the image signal exVSig input to the image input / output unit 707
  • the image processing unit 706 uses the image signal exVSig input to the image input / output unit 707
  • the image processing unit 706 uses the filter processing and feature amount extraction for encoding, and the like
  • the memory input / output unit 702 Store the original image in 800.
  • the original image data and the reference image data are transferred again from the memory 800 to the image encoding / decoding unit 704 via the memory input / output unit 702, and conversely, the image encoding / decoding unit 704 transfers the memory to the memory.
  • the image stream data encoded by the image code decoding unit 704 and the local restoration data are transferred.
  • the image code key decoding unit 704 corresponds to almost the whole of FIG. 6, the image stream corresponds to the code key signal Str of FIG. 6, and the memory 800 further includes the external multiframe of FIG. Contains the area of memory 103.
  • the audio processing unit 708 uses the audio signal exASig input to the audio input / output unit 709 to perform filter processing, feature extraction for coding, and the like via the memory input / output unit 702. And stored in the memory 800 as original audio data.
  • the original audio data is taken out from the memory 800 again through the memory input / output unit 702, encoded, and stored again as audio stream data in the memory 800.
  • the stream data is processed as stream data
  • the stream data exStr is output via the stream input / output unit 701
  • the optical disk is written in a storage medium such as a node disk.
  • the force that indicates the operation for one picture is divided into a plurality of areas, and the divided areas are processed as one picture, whereby a plurality of inter-screen predictive coding devices are integrated into LSI. It can be realized by implementing it in parallel and implementing parallel processing, or implementing multiple LSIs for parallel processing.
  • each functional block in the block diagrams is typically realized as an LSI that is an integrated circuit. These may be individually chipped, or may be partially chipped to include some or all (for example, functional blocks other than memory may be chipped).
  • the external multi-frame memory 103 in 6 and the memory 800 in Fig. 20 need to store a large amount of data. It is possible that the package will be 1 chip.
  • IC integrated circuit
  • system LSI system LSI
  • super LSI super LSI
  • ultra LSI depending on the difference in power integration as LSI.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • reconfigurable 'processor that can reconfigure the connection and settings of circuit cells inside the LSI may be used.
  • integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied as a possibility.
  • the inter-picture prediction encoding apparatus of the present invention can significantly reduce the transfer amount of reference pixels used for motion compensation prediction while suppressing the increase in the amount of reference local memory mounted. It is effective for realizing DVD recorders, hard disk recorders, camcorders, etc. that handle the size and image size using the.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　外部のフレームメモリから内部参照用ローカルメモリへのデータ転送の回数を削減し、かつ電力消費量を抑制することができる動き検出装置を提供する。ＭＢ毎に動き検出処理を１行分行っている間に、次のＭＢ行の動き検出処理で必要とされる参照画素をＭＢ行単位で、外部マルチフレームメモリ（１０３）から参照用ローカルメモリ（１０２）へ転送する参照メモリ制御部（１０１）を備える。

Description

明 細 書
動き検出装置
技術分野
[0001] 本発明は、ピクチャを構成するブロックの動き検出を行う動き検出装置に関するもの である。
背景技術
[0002] 近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従 来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達 する手段がマルチメディアの対象として取り上げられるようになつてきた。一般に、マ ルチメディアとは、文字だけでなぐ図形、音声、特に画像等を同時に関連づけて表 すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情 報をディジタル形式にして表すことが必須条件となる。
[0003] ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もつてみ ると、文字の場合 1文字当たりの情報量は 1〜2バイトであるのに対し、音声の場合 1 秒当たり 64Kbits (電話品質）、さらに動画については 1秒当たり lOOMbits (現行テレビ 受信品質)以上の情報量が必要となり、上記情報メディアでその膨大な情報をデイジ タル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、 64Kbit/s〜l .5Mbits/sの伝送速度を持つサービス総合ディジタル網（ISDN： Integrated Services Digital Network)によってすでに実用化されている力 テレビ'カメラの映像をそのま ま ISDNで送ることは不可能である。
[0004] そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、 I TU-T (国際電気通信連合 電気通信標準化部門）で勧告された H. 261や H. 263 規格の動画圧縮技術が用いられている。また、 MPEG- 1規格の情報圧縮技術によ ると、通常の音楽用 CD (コンパクト 'ディスク）に音声情報とともに画像情報を入れるこ とも可能となる。
[0005] ここで、 MPEG (Moving Picture Experts Group)とは、 ISOZlEC (国際標準化機 構 国際電気標準会議)で標準化された動画像信号圧縮の国際規格であり、 MPE G- 1は、動画像信号を 1. 5Mbpsまで、つまりテレビ信号の情報を約 100分の 1にまで 圧縮する規格である。また、 MPEG- 1規格では対象とする品質を伝送速度が主とし て約 1. 5Mbpsで実現できる程度の中程度の品質としたことから、さらなる高画質化の 要求をみたすべく規格化された MPEG-2では、動画像信号を 2〜15Mbpsで TV放 送品質を実現する。さらに現状では、 MPEG- 1、 MPEG- 2と標準化を進めてきた作 業グループ（ISO/IEC JTC1/SC29/WG11) によって、 MPEG- 1、 MPEG- 2を上回 る圧縮率を達成し、更に物体単位で符号化'復号化'操作を可能とし、マルチメディ ァ時代に必要な新しい機能を実現する MPEG-4が規格ィ匕された。 MPEG-4では、 当初、低ビットレートの符号ィ匕方法の標準化を目指して進められたが、現在はインタ レース画像も含む高ビットレートも含む、より汎用的な符号ィ匕に拡張されている。
[0006] 更に、 2003年に、 ISOZIECと ITU-Tが共同でより高圧縮率の画像符号化方式と して、 MPEG -4AVCおよび H. 264が標準化されている。 H. 264規格は、現在 H D (High Definition)画像などに適した High Profile対応の改正規格案を策定中である 。 H. 264規格のアプリケーションとしては、 MPEG-2ゃMPEG-4と同様にディジタ ル放送、 DVD (Digital Versatile Disk)プレーヤ Zレコーダ、ハードディスクプレーヤ Zレコーダ、カムコーダ、テレビ電話などに広がることが予想されている。
[0007] 一般に動画像の符号ィ匕では、時間方向および空間方向の冗長性を削減することに よって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測 符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および 予測画像の作成を行 ヽ、得られた予測画像と符号化対象ピクチヤとの差分値に対し て符号化を行う。ここで、ピクチャとは 1枚の画面を表す用語であり、プログレッシブ画 像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味す る。ここで、インタレース画像とは、 1つのフレームが時刻の異なる 2つのフィールドか ら構成される画像である。インタレース画像の符号ィ匕ゃ復号ィ匕処理においては、 1つ のフレームをフレームのまま処理したり、 2つのフィールドとして処理したり、フレーム 内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができ る。
[0008] 参照画像を持たず画面内予測符号ィ匕を行うものを Iピクチャと呼ぶ。また、 1枚の参 照画像のみを参照し画面間予測符号化を行うものを Pピクチヤと呼ぶ。また、同時に 2枚の参照画像を参照して画面間予測符号ィ匕を行うことのできるものを Bピクチヤと呼 ぶ。 Bピクチャは表示時間が前方もしくは後方から任意の組み合わせとして 2枚のピク チヤを参照することが可能である。参照画像 (参照ピクチャ）は符号ィ匕の基本単位で あるマクロブロックごとに指定することができる力 符号ィ匕を行ったビットストリーム中に 先に記述される方の参照ピクチャを第 1参照ピクチャ、後に記述される方を第 2参照 ピクチャとして区別する。ただし、これらのピクチャを符号ィ匕する場合の条件として、参 照するピクチャが既に符号ィ匕されている必要がある。
[0009] Pピクチャ又は Bピクチャの符号ィ匕には、動き補償画面間予測符号化が用いられて いる。動き補償画面間予測符号化とは、画面間予測符号ィ匕に動き補償を適用した符 号ィ匕方式である。動き補償とは、単純に参照フレームの画素値力 予測するのでは なぐピクチャ内の各部の動き量 (以下、これを動きベクトルと呼ぶ）を検出し、当該動 き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす 方式である。例えば、符号ィ匕対象ピクチヤの動きベクトルを検出し、その動きベクトル の分だけシフトした予測値と符号ィ匕対象ピクチヤとの予測残差を符号ィ匕することによ りデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が 必要になるため、動きベクトルも符号ィ匕されて記録又は伝送される。
[0010] 動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピク チヤ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲 内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより 、動きベクトルが検出される。
[0011] 図 1は従来の画面間予測符号ィ匕装置の構成を示すブロック図である。
[0012] この画面間予測符号ィ匕装置は、動き検出部 401、マルチフレームメモリ 402、減算 部 403、減算部 404、動き補償部 405、符号化部 406、加算部 407、動きベクトルメ モリ 408、および動きベクトル予測部 409を備えて!/、る。
[0013] 動き検出部 401は、マルチフレームメモリ 402から出力される動き検出参照画素 ME pelと画面信号 Vinとを比較し、動きベクトル MVと参照ピクチャ番号 RelNoを出力する。 参照ピクチャ番号 RelNoは、複数の参照画像の中から選択された、対象画像で参照 する参照画像を特定する識別信号である。動きベクトル MVは、動きベクトルメモリ 40 8に一時的に記憶されたのち近傍動きベクトル PrevMVとして動きベクトル予測部 409 へ出力される。動きベクトル予測部 409は、入力された近傍動きベクトル PrevMVを参 照して予測動きベクトル PredMVを予測する。減算部 404は動きベクトル MVから予測 動きベクトル PredMVを減算し、その差を動きベクトル予測差分 DilMVとして出力する
[0014] 一方、マルチフレームメモリ 402は、参照ピクチャ番号 RelNoおよび動きベクトル MV で示される画素を動き補償参照画素 MCpellとして出力する。動き補償部 405は、小 数画素精度の参照画素を生成し、参照画面画素 MCpel2として出力する。減算部 40 3は、画面信号 Vin力 参照画面画素 MCpel2を減算し、画面予測誤差 DilPelを出力 する。
[0015] 符号ィ匕部 406は、画面予測誤差 DilPelと動きベクトル予測差分 DilMVと参照ピクチ ャ番号 RelNoを可変長符号ィ匕し、符号化信号 Strを出力する。なお、符号化時に画面 予測誤差の復号ィ匕結果である復号画面予測誤差 RecDilPelも同時に出力する。復号 画面予測誤差 RecDilPelは、画面予測誤差 DilPelに符号化誤差が重畳されたもので あり、画面間予測復号ィ匕装置で符号ィ匕信号 Strを復号化して得られる画面間予測誤 差と一致する。
[0016] 力!]算部 407は、参照画面画素 MCpel2に復号画面予測誤差 RecDilPelを加算し、復 号画面 RecPelとしてマルチフレームメモリ 402に記憶される。但し、マルチフレームメ モリ 402の容量を有効に利用するため、マルチフレームメモリ 402に記憶されている 画面の領域は不要な場合は開放され、またマルチフレームメモリ 402に記憶する必 要が無!、画面の復号画面 RecPelはマルチフレームメモリ 402に記憶されな!、。
[0017] 図 2は従来の画面間予測復号ィ匕装置の構成を示すブロック図である。なお、同図 において、図 1に示す画面間予測符号ィ匕装置と同様の部分については同じ符号を 付し、その説明を省略する。
[0018] 図 2に示す従来の画面間予測復号ィヒ装置は、図 1に示す従来の画面間予測符号 化装置で符号化された符号化信号 Strを復号化して復号画面信号 Voutを出力する 装置であり、マルチフレームメモリ 402、動き補償部 405、加算部 407、加算部 501、 動きベクトルメモリ 408、動きベクトル予測部 409、および復号ィ匕部 502を備えている
[0019] 復号ィ匕部 502は、符号化信号 Strを復号化し、復号画面予測誤差 RecDilPel 動き ベクトル予測差分 DilMV、および参照ピクチャ番号 RelNoを出力する。加算部 501は 、動きベクトル予測部 409から出力される予測動きベクトル PredMVと動きベクトル予 測差分 DilMVを加算し、動きベクトル MVを復号する。
[0020] マルチフレームメモリ 402は、参照ピクチャ番号 RelNoおよび動きベクトル MVで示さ れる画素を動き補償参照画素 MCpellとして出力する。動き補償部 405は、小数画素 精度の参照画素を生成し、参照画面画素 MCpel2として出力する。加算部 407は、参 照画面画素 MCpel2に復号画面予測誤差 RecDilPelを加算し、復号画面 RecPelとして マルチフレームメモリ 402へ記憶する。但し、マルチフレームメモリ 402の容量を有効 に利用するため、マルチフレームメモリ 402に記憶されている画面の領域は不要な場 合は開放され、またマルチフレームメモリ 402に記憶する必要が無 、画面の復号画 面 RecPelはマルチフレームメモリ 402に記憶されない。以上のようにして、復号画面 信号 Vout、すなわち復号画面 RecPelを符号ィ匕信号 Strから正しく復号ィ匕することがで きる。
[0021] ところで、図 1で示した画面間予測符号ィ匕装置を実装するための構成は、一例とし て例えば特許文献 1などに示されて 、る。この特許文献 1にお 、て示されて 、るよう に、画面間予測符号化装置を LSIなどで実装する場合には、図 1に示しているマル チフレームメモリ 402は、 LSI外に接続する外部フレームメモリと動き検出部 401でブ ロックマッチング探索時に直接アクセスする LSI内部のローカルメモリとに分割して実 装される。
[0022] 図 3は、上記画面間予測符号ィ匕装置とフレームメモリの接続構成を説明するための 概略図である。同図において、図 1と同一符号はと同一のものを示し、その説明を省 略する。外部フレームメモリ 412は LSI外に接続する外部フレームメモリである。参照 用ローカルメモリ 411は、動き検出部 401でブロックマッチング探索時に直接アクセス する LSI内部のメモリである。 LSI410は画面間予測符号ィ匕装置の LSIに実装される 部分である。 [0023] 図 3において動き検出を行う場合、まず外部フレームメモリ 412から探索対象となる 画像領域が外部接続バス 414を介して参照用ローカルメモリ 411に転送される。次 に参照用ローカルメモリ 411から内部バス 413を介してデータが読み出され、動き検 出部 401によって動き検出が行われる。このような構成をとることによって、 LSIの内 部メモリ容量を削減している。
[0024] 図 4は、参照用ローカルメモリ 411のデータ構成を示す一例である。例えば、図 4 (a )では、従来の MPEG-2などでSD(Standard Definition)サイズ画像において、 16画 素 X 16画素で構成される lMB(Macro Block)のブロックデータが、縦横 1MB分ずつ 移動した画素範囲を探索することを想定している。一般的に、外部フレームメモリ 41 2から参照用ローカルメモリ 411への転送処理と、参照用ローカルメモリ 411と動き検 出部 401を用いて行う動き検出処理とは、並列動作をさせるようにし全体的な動作速 度の向上を図るため、図 4 (a)で斜線に示した更新領域 601も必要となる。なお、図 4 (b)、図 4 (c)及び図 4 (d)はそれぞれ、 H. 264の SDサイズ画像、 MPEG-2の HD サイズ画像及び H. 264の HDサイズ画像を想定した参照用ローカルメモリ 411の状 態を表している。
[0025] また、図 5は、 1画面あたりで転送する参照画素の状態を示す模式図である。同図 において、 1MB単位（ = 16画素 X 16画素）で動き検出処理を行う場合、 1MB行分 の動き検出を行うためには、（探索範囲の縦の長さ） X (1画面の横幅)分のメモリ転 送が必要となることを表しており、 1画面分の動き検出を行う時には、さらに 1画面の 縦の MB数をかける分のメモリ転送量が必要であることを示している。つまり、図 4 (a) で示した、 MPEG- 2などの SDサイズ画像（720画素 X 480画素、 45MB X 30MB) で、縦横 1MB分ずつ移動した画素範囲を探索範囲とした場合、
(16 + 16 X 2) X 720 X 30= 1, 036, 800
の画素が 1画面あたりの動き検出で転送されることになる。
[0026] また、図 4 (b)は H. 264の SDサイズ画像を想定した参照用ローカルメモリの管理 状態であるが、 H. 264では小数画素精度の動き補償には 6タップのフィルタを用い るため、従来の MPEG-2などより周辺画素が多く必要となる（例えば、非特許文献 1 参照。；)。つまり、 MPEG -2などでは小数精度画素位置を囲む 4つの整数画素から 小数精度画素を作って 、たが、 6タップフィルタの場合 36の整数画素力 小数精度 画素を作るため、同じ領域で探索を行う場合、 MPEG-2と比べ上 2行、下 2行、左 2 列、右 2列の画素が必要となる。従って、 H. 264などの SDサイズ画像で、縦横 1MB 分ずつ移動した画素範囲を探索範囲とした場合、
(16 + 16 X 2+4) X 720 X 30= 1, 123, 200
の画素が 1画面あたりの動き検出で転送されることになる。
特許文献 1：特許第 2963269号公報
非特許文献 l : ISO/IEC 14496-10, International Standard: "Information technology - Coding of audio-visual objects - Part 10： Advanced video coding"(2003- 12- 01) 発明の開示
発明が解決しょうとする課題
[0027] しかしながら、 HDサイズ（1920画素 X 1088画素、 120MB X 68MB)の画像を扱 う場合、特に H. 264による符号ィ匕を行う場合には、前述の 1画面あたりの画素転送 量が大幅に増加してしま 、、図 3に示す外部バス 414の転送能力を超えてしまう可能 '性がある。
[0028] 例えば、図 4 (c)は MPEG-2の HDサイズ画像を想定した参照用ローカルメモリの 管理状態である力 HDサイズの画像は SDサイズの画像に対して約 6倍の画素数を 持っため、ここでは簡単のため上下、左右それぞれ 2. 5倍の参照領域を探索するも のとしている。従って、縦横の探索範囲は縦横 40画素分ずつ移動した画素範囲とな り、同様に、
(16 +40 X 2) X I, 920 X 68 = 12, 533, 760
の画素が 1画面あたりの動き検出で転送されることになる。
[0029] さらに、図 4 (d)は H. 264の HDサイズ画像を想定した参照用ローカルメモリの管理 状態であるので、同様に、
(16 +40 X 2+4) X I, 920 X 68 = 13, 056, 000
の画素が 1画面あたりの動き検出で転送されることになる。
[0030] このように、 HDサイズの画像を扱う場合には、 MPEG- 2の SDサイズとは桁違いに 多い転送量となり、電力消費量も非常に大きくなつてしまうという課題がある。 [0031] そこで、本発明は上記の事情に鑑みてなされたものであり、外部のフレームメモリか ら内部参照用ローカルメモリへのデータ転送の回数を削減し、かつ電力消費量を抑 制することができる動き検出装置を提供することを目的とする。
課題を解決するための手段
[0032] 上記目的を達成するため、本発明に係る動き検出装置は、ピクチャを構成するプロ ックの動き検出を行う動き検出装置であって、参照ピクチヤの参照画素データを記憶 する第 1記憶手段と、前記第 1記憶手段から転送される前記参照画素データを記憶 する第 2記憶手段と、複数の前記ブロックで構成される一ブロック行を少なくとも含む ブロック行毎に、転送する参照画素データの範囲を動き検出済みブロックの動き検出
Figure imgf000010_0001
ヽて決定し、決定した範囲の前記参照画素データを複数の画素で構成 される一画素行を少なくとも含む画素行単位で前記第 1記憶手段から前記第 2記憶 手段へ転送する参照画素転送制御手段と、前記第 2記憶手段に記憶されている前 記参照画素データを用いて対象ブロックの動き検出を行う動き検出手段とを備えるこ とを特徴とする。
[0033] これによつて、第 1記憶手段から第 2記憶手段への参照画素データの転送回数を 削減することができる。よって、バースト転送等を行うことも可能となり、さらに電力消 費量も抑制することができる。また、ブロック行毎の対象ブロックに対する垂直方向の 探索中心の相対位置にバラつきがある場合でも、ブロック行毎に第 2記憶手段へ転 送する画素領域を変更できるので、第 2記憶手段の実装量を最小限に抑えることが できる。
[0034] ここで、前記参照画素転送制御手段は、前記動き検出手段にぉ 、て前記ブロック 行に含まれる各対象ブロックの動き検出が行われている間に、次のブロック行の動き 検出で必要とされる参照画素データの範囲を決定し、決定した範囲の前記参照画素 データを前記第 1記憶手段から前記第 2記憶手段へ転送してもよい。これによつて、 次のブロック行で必要とされる参照画素データを第 1記憶手段から第 2記憶手段への データ転送を、現在のブロック行に含まれる各対象ブロックの動き検出処理と並列に 行うことができる。
[0035] また、前記参照画素転送制御手段は、前記動き検出手段において複数ピクチヤが 参照される場合には、前記ブロック行に含まれる各対象ブロックの動き検出で必要と される全ての複数ピクチヤの参照画素データの範囲をそれぞれ決定し、決定した範 囲の前記参照画素データをそれぞれ前記第 1記憶手段から前記第 2記憶手段へ転 送してもよい。これによつて、複数枚の参照ピクチャを用いた符号ィ匕処理においても、 参照枚数分の転送量の増加が必要ではあるが、同様に参照画素データの転送回数 を削減することができる。
[0036] また、前記参照画素転送制御手段は、前記対象ブロックと同画素位置である前記 参照ピクチヤにおけるブロックを含むブロック行に含まれるブロックおよび前記ブロッ タ行の直前のブロック行に含まれるブロックにおいて検出されている垂直方向の動き 検出結果に基づ!/、て、転送する参照画素データの範囲を決定してもよ 、。
[0037] 前記動き検出装置は、さらに、前記対象ブロックを含むピクチヤに対して簡易的に 動き検出を行う簡易検出手段を備え、前記参照画素転送制御手段は、前記簡易検 出手段によって検出された前記対象ブロックを含むブロック行に含まれるブロックおよ び前記ブロック行の直前のブロック行に含まれるブロックに対応する垂直方向の動き 検出結果に基づ!/、て、転送する参照画素データの範囲を決定してもよ 、。
[0038] 前記参照画素転送制御手段は、前記対象ブロックを含むブロック行に含まれるプロ ックまたはブロック行の前のブロック行に含まれるブロックにおいて検出されている垂 直方向の動き検出結果に基づいて、転送する参照画素データの範囲を決定してもよ い。
[0039] また、前記参照画素転送制御手段は、前記ブロック行に含まれる各対象ブロックの 動き検出で必要とされる参照画素データのうち、既に転送されている参照画素デー タに含まれない差分領域のみを、転送する参照画素データの範囲として決定しても よい。これによつて、参照画素データの重複した転送を無くし、参照画素データの転 送量を最小限に抑えることができる。
[0040] なお、本発明は、このような動き検出装置として実現することができるだけでなぐこ のような動き検出装置が備える特徴的な手段をステップとする動き検出方法として実 現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりす ることもできる。そして、そのようなプログラムは、 CD—ROM等の記録媒体やインタ 一ネット等の伝送媒体を介して配信することができるのは言うまでもない。 発明の効果
[0041] 以上の説明から明らかなように、本発明に係る動き検出装置によれば、外部のフレ ームメモリ等の第 1記憶手段から内部参照用ローカルメモリ等の第 2記憶手段へのデ ータ転送の回数を削減し、かつ電力消費量を抑制することができる。また、外部のフ レームメモリ等の第 1記憶手段から内部参照用ロー力ノレメモリ等の第 2記憶手段への データ転送のデータ量を最小限に抑えることができる。
図面の簡単な説明
[0042] [図 1]図 1は、従来の画面間予測符号ィ匕装置の構成を示すブロック図である。
[図 2]図 2は、従来の画面間予測復号ィ匕装置の構成を示すブロック図である。
[図 3]図 3は、画面間予測符号ィ匕装置とフレームメモリの接続構成を示すブロック図で ある。
[図 4]図 4は、参照用ローカルメモリのデータ構成の一例を示す模式図であり、（a)従 来の MPEG -2の SDサイズ画像の場合、（b) H. 264の SDサイズ画像の場合、（c) MPEG -2の HDサイズ画像の場合、（d) H. 264の HDサイズ画像の場合である。
[図 5]図 5は、 1画面あたりで転送する参照画素を示す模式図である。
[図 6]図 6は、本発明の実施の形態 1に係る動き補償装置が用いられる画面間予測符 号ィ匕装置の構成を示すブロック図である。
[図 7]図 7は、メモリ転送と動き補償予測の動作タイミングを示す概略図である。
[図 8]図 8は、参照用ローカルメモリにおける探索領域と更新領域を示す模式図であ る。
[図 9]図 9は、実施の形態 1における画面間予測符号化装置の動作の流れを示すフ ローチャートである。
[図 10]図 10は、参照用ローカルメモリの更新領域の状態を示す模式図である。
[図 11]図 11は、参照用ローカルメモリの更新動作による物理領域の状態を示す模式 図であり、（a)参照用ローカルメモリの物理領域の構成、（b)〜（d)、参照用ローカル メモリのメモリ配置の移り変わりを示す一例である。
[図 12]図 12は、ピクチャを複数の領域に分割した場合の参照用ローカルメモリにお ける探索領域と更新領域を示す模式図である。
[図 13]図 13は、実施の形態 2における MBAFF処理の動作の流れを示すフローチヤ ートである。
[図 14]図 14は、参照用ローカルメモリにおける MBAFF処理の探索領域と更新領域 を示す模式図である。
[図 15]図 15は、複数ピクチャ参照時における参照用ローカルメモリの更新領域の状 態を示す模式図である。
[図 16]図 16は、複数ピクチャ参照時の参照用ローカルメモリの更新動作による物理 領域の状態を示す模式図であり、（a)参照用ローカルメモリの物理領域の構成、 (b) 〜（d)、参照用ローカルメモリのメモリ配置の移り変わりを示す一例である。
[図 17]図 17は、他ピクチャの動きベクトルの状況力 参照用ローカルメモリの更新領 域を決定するフローチャートである。
[図 18]図 18は、前処理による概略動きベクトル力 参照用ローカルメモリの更新領域 を決定するフローチャートである。
[図 19]図 19は、対象 MB行よりも前に処理した MB行の状況力 参照用ローカルメモ リの更新領域を決定するフローチャートである。
[図 20]図 20は、 H. 264レコーダを実現する AV処理部の構成を示すブロック図であ る。
符号の説明
101 参照メモリ制御部
102 参照用ローカルメモリ
103 外部マルチフレームメモリ
401 動き検出部
402 マルチフレームメモリ
403 減算部
404 減算部
405 動き補償部
406 符号化部 407 加算部
408 動きベクトルメモリ
409 動きベクトル予測部
発明を実施するための最良の形態
[0044] 以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。
[0045] (実施の形態 1)
図 6は、本発明の実施の形態 1に係る動き補償装置が用いられる画面間予測符号 化装置の構成を示すブロック図である。なお、図 1に示す従来の画面間予測符号ィ匕 装置と同様の部分については同じ符号を付し、その説明を省略する。
[0046] 本実施の形態の画面間予測符号化装置と図 1に示す従来の画面間予測符号化装 置との相違点は、マルチフレームメモリ 402を、半導体等への実装時に外部で接続 する外部マルチフレームメモリ（第 1記憶手段） 103と、動き検出などに使用する内部 メモリである参照用ローカルメモリ（第 2記憶手段） 102に分離して表現し、それを制 御するための参照メモリ制御部 101を追加している点である。
[0047] 動作の流れは、図 1に示す従来の画面間予測符号化装置の動作とほぼ同じであり 、加算器 407からの加算結果である復号画面 RecPelは外部マルチフレームメモリ 10 3に記憶される。次に、外部マルチフレームメモリ 103から動き補償予測で用いる領 域を、参照用ローカルメモリ 102に出力する。また、参照メモリ制御部 101は、外部マ ルチフレームメモリ 103と参照用ローカルメモリ 102間のデータ転送を制御する。
[0048] 画像処理にかかわらず、高速に処理を行うためにはパイプライン構成を用いるのが 一般的である。本実施の形態では、このパイプライン処理を動き検出のための参照 用ローカルメモリ 102の更新方法に用いている。図 7は、メモリ転送と動き補償予測の 動作タイミングを示す概略図である。図 7において、処理タイミング mtProcは、メモリ転 送を行う処理タイミングを表しており、処理タイミング meProcは、動き検出を行う処理タ イミングを表している。また、期間 T0、 Tl、 Τ2、及び Τ3はそれぞれ処理を行う期間を 表している。
[0049] 参照メモリ制御部 101は、図 7に示すように T1の期間に、原画像の η行目の MBを 処理するための画素データを、外部マルチフレームメモリ 103から参照用ローカルメ モリ 102に転送している。また、 T2の期間には、参照メモリ制御部 101によって、原画 像の n+ 1行目の MBを処理するための画素データ力 外部マルチフレームメモリ 10 3から参照用ローカルメモリ 102に転送されて 、ると同時に、参照用ローカルメモリ 10 2の画素データを参照し、原画像の n行目の MBにつ!/、て動き検出部 401にお!/、て 動き検出が行われている。同様に、 T3の期間には、参照メモリ制御部 101によって、 原画像の n+ 2行目の MBを処理するための画素データ力 外部マルチフレームメモ リ 103から参照用ローカルメモリ 102に転送されていると同時に、参照用ローカルメモ リ 102の画素データを参照し、原画像の n+ 1行目の MBにつ!/、て動き検出部 401に おいて動き検出が行われて 、る。
[0050] 図 8は、参照用ローカルメモリにおける探索領域と更新領域を示す模式図である。
[0051] 符号ィ匕対象のストリームに含まれる 1ピクチャ Picがフレーム構造をとる場合、 SD画 像サイズではピクチャの幅 picWidthと高さ picHeightはそれぞれ 45MB ( = 720画素） と 30MB (=480画素）となり、 HD画像サイズではそれぞれ 120MB ( = 1, 920画素 )と 68MB ( = 1, 088画素）となる。以降、ピクチャの幅 picWidthと高さ picHeightはそ れぞれ M (MB)と N (MB)であるものとする。
[0052] 動き検出部 401にお 、て原画像の n行目の MBにつ 、て動き検出が行われて!/、る 場合、参照用ローカルメモリ 102には、原画像の n行目の MBで参照されるピクチャ の幅 picWidth X参照高さ分の画素データが格納されている。すなわち、 SD画像サイ ズでは、原画像の n行目に対応する行の MBに、上下 1MB分ずつ加えた参照高さ分 の画素データが格納されている。また、 HD画像サイズでは、原画像の n行目に対応 する行の MBに、上下 40画素分ずつ加えた参照高さ分の画素データが格納されて いる。なお、原画像における m列目の n行目の符号ィ匕対象 MBのための参照画像に おける探索中心 meCntは、原画像の対象 MBと同じ位置としても良いが、異なる位置 にずらした所を探索中心 meCntとしても良 、。
[0053] 本実施の形態では、参照メモリ制御部 101は、参照用ローカルメモリ 102の更新を MBの行単位で行う。つまり、 n行目の M個の動き検出処理を行っている間に、 n+ 1 行目の動き検出で用いる参照画像を転送する。以下、これらの動作の流れを説明す る。図 9は、これらの動作の流れを示すフローチャートである。 [0054] S400は 1ピクチャ分の動き検出処理の開始を示している。まず、原画像における処 理を行う MB行位置の初期化を行い、 nに 0を代入する（ステップ S401)。次に処理を 行う MB行がピクチヤの高さ picHeightを超えて!/、な!/、かどうかを判定し (ステップ S40 2)、もし nが Nを超えて!/ヽれば (ステップ S402で No)、終了する（ステップ S403)。
[0055] ステップ S402にお!/、てピクチャの高さを超えて 、な 、場合 (ステップ S402で Yes) は、動き検出を行う縦の範囲を設定し (ステップ S404)、併せて原画像における処理 を行う MB列位置の初期化を行い、 mに 0を代入する（ステップ S405)。
[0056] ステップ S405の処理の後は、 MB毎に動き検出を 1行分行う処理 (ステップ S406、 ステップ S407、ステップ S408、及びステップ S409)と、次の MB行に必要な参照領 域を転送する処理 (ステップ S410及びステップ S411)とを同時に実行する。
[0057] MB毎に動き検出を 1行分行う処理として、まず処理を行う MBの横の位置がピクチ ャの幅 picWidthを超えていないかどうかを判定し (ステップ S406)、もし mが Mを超え ていれば (ステップ S406で No)、次の行の処理に移る。
[0058] ステップ S406にお!/ヽてピクチャの幅を超えて!/ヽな 、場合 (ステップ S406で Yes)は 、動き検出を行う横の範囲を設定し (ステップ S407)、 (m, n)の位置の MBの動き検 出を行う（ステップ S408)。次に MBの横の位置を一つ右に設定 (m = m + 1 )し (ステ ップ S409)、ステップ S406に処理を戻す。
[0059] ステップ S405に続くもう一方の処理として、次の MB行に必要な参照領域を転送す る処理として、まず n+ 1行目に必要になる転送領域を決定し (ステップ S410)、画素 転送を動き検出の処理と並列に行う（ステップ S411)。 n行目と n+ 1行目の MBの探 索中心が原画像における各 MBからの相対座標で同じであれば、更新領域は 16画 素行（1MB行）となる。
[0060] 並列に動作している、 MB毎に動き検出を 1行分行う処理と、次の MB行に必要な 参照領域を転送する処理とが終了すると、対象 MBの行を次の行に移し (n=n+ l) 、ステップ S402に処理を戻す (ステップ S412)。
[0061] 図 10は、参照用ローカルメモリの更新領域の状態を示す模式図である。
[0062] 参照メモリ制御部 101は、図 10に示すように動き検出部 401において n—1行目の MBmb n-1の探索が行われている間に領域 area nを転送する。同様に、 n行目の MBmb— nの探索が行われている間に領域 area— n+1を転送し、 n+ 1行目の MBmb —n+1の探索が行われている間に領域 area— n+2を転送し、 n+ 2行目の MBmb— n+ 2の探索が行われている間に領域 area— n+2の下の 1行の領域を転送する。
[0063] 図 11は、参照用ローカルメモリの更新動作による物理領域の状態を示す模式図で ある。参照用ローカルメモリ 102は、図 11 (a)に示すように領域 Omema0、領域 lmema 1、領域 2mema2及び領域 3mema3と 4分割にして管理されている。図 11 (b)〜図 11 ( d)、図 10に示した動作状態の時に参照用ローカルメモリ 102のメモリ配置の移り変わ りを示す一例である。
[0064] まず、図 11 (b)〖こ示すように、 n— 1行目の MBmb— n- 1の探索に領域 Omema0、領 域 lmemal、及び領域 2mema2を用いて、領域 area— nを転送するために領域 3mema 3を用いている。次に、図 11 (c)に示すように、 n行目の MBmb— nの探索に領域 lme mal、領域 2mema2、及び領域 3mema3を用いて、領域 area— n+1を転送するために 領域 OmemaOを用いる。さらに、図 11 (d)に示すように、 n+ 1行目の MBmb_n+lの 探索に領域 2mema2、領域 3mema3、及び領域 OmemaOを用いて、領域 area— n+2を 転送するために領域 lmemalを用いる。
[0065] 従って、参照用ローカルメモリ 102は、少なくとも（ピクチャ幅） X (探索高さ） + (ピク チヤ幅） X (更新する参照領域の最大の高さ)分のメモリ量を実装する。
[0066] 上記動作で処理を行うことによって、 1ピクチャあたりに外部マルチフレームメモリ 10 3から参照用ローカルメモリ 102に転送する画素量は、 SDサイズ画像では MPEG -2 と H. 264のどちらに対しても、
720 X 480 = 345, 600画素
の転送量となり、 HDサイズ画像では同様に
1, 920 X 1, 088 = 2, 088, 960画素
の転送量となる。すなわち、上記課題の説明で用いた例と比較すると、 SDサイズ画 像で 3分の 1以下、さらに HDサイズ画像では 6分の 1以下の画素転送量に削減する ことが可能となる。
[0067] なお、本実施の形態では、参照メモリ制御部 101は、参照用ローカルメモリ 102の 更新をピクチャの幅 picWidth分の MBの行単位で行って!/、るが、これに限られるもの ではない。例えば、図 12に示すようにピクチャを複数（図 12の例では 2つ）の領域に 分割し、分割した領域の幅分 (MZ2)の MBの行単位で行っても構わな 、。
[0068] (実施の形態 2)
H. 264規格では、 MBAFF(Macroblock- Adaptive Frame-Field Coding)の符号化 ツールが規格化されている。 MBAFFでは、縦 2MBをペアとしてフィールド予測また はフレーム予測の符号化を行う。縦 2MBがペアとなっている場合には、 1MB行ずつ の処理が出来ないので、以下のような手順で処理することによって対応する。図 13は 本実施の形態での動作の流れを示すフローチャートである。
[0069] S700は 1フレーム分の動き検出処理の開始を示している。まず、原画像における 処理を行う MB行位置の初期化を行い、 nに 0を代入する（ステップ S701)。次に処 理を行う MB行がピクチヤの高さ picHeightを超えて!/、な!/、かどうかを判定し (ステップ S702)、もし nが Nを超えていれば (ステップ S701で No)、終了する（ステップ S703)
[0070] ステップ S702にお!/、てピクチャの高さを超えて 、な 、場合 (ステップ S 701で Yes) は、動き検出を行う縦の範囲を設定し (ステップ S704)、併せて原画像における処理 を行う MB列位置の初期化を行い、 mに 0を代入する（ステップ S705)。
[0071] ステップ S705の処理の後は、 MB毎に動き検出を 2行分行う処理 (ステップ S706、 ステップ S707、ステップ S708、ステップ S709、及びステップ S713)と、次の 2MB行 に必要な参照領域を転送する処理 (ステップ S710及びステップ S711)を同時に実 行する。
[0072] MB毎に動き検出を 2行分行う処理として、まず処理を行う MBの横の位置がピクチ ャの幅 picWidthを超えていないかどうかを判定し (ステップ S706)、もし mが Mを超え て!ヽれば (ステップ S706で No)、次の行の処理に移る）。
[0073] ステップ S706にお!/ヽてピクチャの幅を超えて!/ヽな 、場合 (ステップ S706で Yes)は 、動き検出を行う横の範囲を設定し (ステップ S 707)、 (m, n)の位置の MBの動き検 出を行い（ステップ S708)、さらに（m, n+ 1)の位置の MBの動き検出を行う（ステツ プ S713)。次に MBの横の位置を一つ右に設定（m=m+ l)し (ステップ S 709)、ス テツプ S 706に処理を戻す。 [0074] ステップ S705に続くもう一つの処理として、次の MB行に必要な参照領域を転送す る処理として、まず n+ 2行目と n+ 3行目に必要になる転送領域を決定し (ステップ S 710)、画素転送を動き検出の処理と並列に行う（ステップ S 711)。
[0075] 並列に動作している、 MB毎に動き検出を 2行分行う処理と、次の MB2行の処理に 必要な参照領域を転送する処理とが終了すると、対象 MBの 2行を次の 2行に移し (n = n + 3)、ステップ S 702に処理を戻す (ステップ S 712)。
[0076] 図 14は、参照用ローカルメモリにおける MBAFFの探索領域と更新領域を示す模式 図である。
[0077] 参照メモリ制御部 101は、図 14に示すように動き検出部 401において対象 MBを（ m, n)、 (m, n+ l)、 (m+ 1, n)、 (m+ 1, n+ l)、 (m+ 2, n)、 (m+ 2, n+ l)、… と鋸歯状の順番で、 2MB行の動き検出処理が行われている間に、（n+ 2)行目と (n + 3)行目の動き検出で用いるための更新領域を転送する。ここで、 n、 n+ 1行目と n + 2、 n+ 3行目の MBの探索中心が原画像における各 MBからの相対座標で同じで あれば、更新領域は 32画素行（2MB行）となる。
[0078] 上記の実装と制御を行うことにより、複数行の MBに関しても効率的なメモリ転送を 行うことが可能となる。
[0079] (実施の形態 3)
H. 264規格では、複数のピクチャを参照することが規格化されている。本実施の 形態では、複数枚の参照画像を用いる時の動作について説明する。
[0080] 図 15は、複数ピクチャ参照時におけるローカルメモリの更新領域の状態を示す模 式図である。図 15において、符号化対象のフレーム currPicは、フレーム re!PicO、 re!P icl、 re!Pic2、及び re!Pic3を参照している。本実施の形態は、実施の形態 1の参照フ レームを複数枚に拡張しており、参照メモリ制御部 101は、図 15に示すように動き検 出部 401にお!/、て n— 1行目の MBmb— n-1の探索が行われて!/、る間に、領域 areaO — n、領域 areal— n、領域 area2— n、及び領域 area3— nを転送する。同様に、 n行目 の MBmb— nの探索が行われている間に、領域 areaO— n+l、領域 areal— n+l、領域 a rea2— n+l、及び領域 area3— n+1を転送し、 n+ 1行目の MBmb— n+1の探索が行わ れている間に、領域 areaO n+2、領域 areal n+2、領域 area2 n+2、及び領域 area3 — n+2を転送する。
[0081] 図 16は、複数ピクチャ参照時のローカルメモリの更新動作による物理領域の状態 を示す模式図である。参照用ローカルメモリ 102を、図 16 (a)に示すように領域 OOme ma00、領域 OlmemaOl、領域 O2mema02、領域 O3mema03、領域 10memalO、領域 1 lmemall、領域 12memal2、領域 13memal3、領域 2Omema20、領域 21mema21、領 域 22mema22、領域 23mema23、領域 3Omema30、領域 31mema31、領域 32mema32 、及び領域 33mema33の 12の領域に分割している。図 16 (b)〜図 16 (d)、図 15に示 した動作状態の時に参照用ローカルメモリ 102のメモリ配置の移り変わりを示す一例 である。
[0082] まず、図 16 (b)〖こ示すように、 n— 1行目の MBmb— n- 1の探索に参照ピクチャ re!Pi c0には領域 OOmemaOOと領域 OlmemaOlと領域 O2mema02を用いて、参照ピクチャ ref Piclには領域 lOmemalOと領域 l lmemallと領域 12memal2を用いて、参照ピクチャ r e!Pic2には領域 2Omema20と領域 21mema21と領域 22mema22を用いて、及び参照ピ クチャ re!Pic3には領域 3Omema30と領域 3 lmema31と領域 32mema32を用いると同時 に、 域 areaO一 n、領域 areal一 n、領域 area2一 n、及び領; ¾½'area3一 nを 送する 7こ めに領域 O3mema03、領域 13memal3、領域 23mema23、及び領域 33mema33を用 いる。次に、図 16 (c)に示すように、 n行目の MBmb— nの探索に参照ピクチャ re!PicO には領域 OlmemaOlと領域 O2mema02と領域 O3mema03を用いて、参照ピクチャ re!Pi clには領域 l lmemallと領域 12memal2と領域 13memal3を用いて、参照ピクチャ ref Pic2には領域 21mema21と領域 22mema22と領域 23mema23を用いて、及び参照ピク チヤ re!Pic3には領域 3 lmema31と領域 32mema32と領域 33mema33を用いると同時に 、領域 areaO— n+l、領域 areal— n+l、領域 area2— n+l、及び領域 area3— n+1を転送 するために領域 OOmema00、領域 10memalO、領域 2Omema20、及び領域 3Omema30 を用いる。さらに、図 16 (d)に示すように、 n+ 1行目の MBmb— n+1の探索に参照ピ クチャ re!PicOには領域 O2mema02と領域 O3mema03と領域 OOmemaOOを用いて、参照 ピクチャ re!Piclには領域 12memal2と領域 13memal 3と領域 1 Omemal 0を用いて、参 照ピクチャ re!Pic2には領域 22mema22と領域 23mema23と領域 2Omema20を用いて、 及び参照ピクチャ re!Pic3には領域 32mema32と領域 33mema33と領域 3Omema30を 用いると同時に、領域 areaO— n+2、領域 areal— n+2、領域 area2— n+2、及び領域 are a3— n+2を転送するために領域 Olmema01、領域 l lmemall、領域 21mema21、及び 領域 31mema31を用いる。
[0083] 上記の実装と制御を行うことにより、複数枚のフレーム参照を行う場合でも、 MBの 動き検出で用いるメモリ転送を効率的に行うことが可能となる。
[0084] (実施の形態 4)
参照メモリ制御部 101は、次の MB行の動き検出処理に必要な画素の転送ついて 、実施の形態 1に示したように n行目と n+ 1行目の処理に必要な画素のうち、差分領 域を転送している。探索領域の中心が n行目と n+ 1行目で相対位置が同じ場合、 1 MB行分だけ更新することとなるので、 16画素行（ = 1MB行)を更新して!/、る。ただし 、 n+ 1行目のための更新行と n+ 2行目のための更新行は、必ずしも同じ数にする 必要はない。そこで、本実施の形態では、更新領域を決定する方法を以下のように 3 通り説明する。
[0085] [更新領域決定方法 1]
図 17は、他ピクチャの動きベクトルの状況力 参照用ローカルメモリの更新領域を 決定するフローチャートである。実施の形態 1における図 9に示すステップ S410で行 われる処理である。
[0086] ステップ S1100は、 n+ 1行目の MB処理用の転送領域に関する決定フローの開 始を示している。まず、処理対象画像と時間距離もしくは処理順序が近い符号化済 み画像を選択する (ステップ S1101)。次に、符号ィ匕済み画像の n行目の MBに関し て垂直方向の平均動きベクトル mvRef— ηθを算出し (ステップ S1102)、符号化済み 画像の n+ 1行目の MBに関して垂直方向の平均動きベクトル mvRef—nlを算出する (ステップ S1103)。さらに、ステップ S1102で求めた平均動きベクトル mvRef— ηθとス テツプ S 1103で求めた平均動きベクトル mvRef— nlとの差を求め、整数精度に丸め て更新量の補正値 mvCompとする（ステップ S1104)。さらに、 n行目の MB処理範囲 を（16+mvComp)画素だけ下にずらした領域を n+ 1行目 MBの参照範囲とし、 n行 目 MBの参照範囲と n+ 1行目 MBの参照範囲との差分領域を転送範囲に決定する (ステップ S 1105)。 [0087] [更新領域決定方法 2]
図 18は、前処理による概略動きベクトル力 参照用ローカルメモリの更新領域を決 定するフローチャートである。更新領域決定方法 1と同様に、実施の形態 1における 図 9に示すステップ S410で行われる処理である。
[0088] ステップ S1200は、 n+ 1行目の MB処理用の転送領域に関する決定フローの開 始を示している。まず、ピクチャの符号化処理の前処理として、ピクチャの圧縮画像な どを用 Vヽて符号ィ匕対象画像の MB行毎の動きベクトルを簡易的に算出する (ステップ S1201)。例えば、対象のピクチャの画素を所定の間隔で間引いた画像を作成し、こ の画像を用いて符号ィ匕対象画像の MB行に相当する動きベクトルを算出する。次に 、符号化対象画像の n行目の MBに関して垂直方向の前処理動きベクトル mvRef—n 0を取得し (ステップ S 1202)、符号化対象画像の n+ 1行目の MBに関して垂直方向 の前処理動きベクトル mvRef— nlを取得する（ステップ S1203)。さらに、ステップ S12 02で取得した前処理動きベクトル mvRef— ηθとステップ S 1203で取得した前処理動 きベクトル mvRef— nlとの差を求め、整数精度に丸めて更新量の補正値 mvCompとす る（ステップ S 1204)。さらに、 n行目の MB処理範囲を（16+mvComp)画素だけ下に ずらした領域を n+ 1行目 MBの参照範囲とし、 n行目 MBの参照範囲と n+ 1行目 M Bの参照範囲との差分領域を転送範囲に決定する (ステップ S 1205)。
[0089] [更新領域決定方法 3]
図 19は、対象 MB行よりも前に処理した MB行の状況力 参照用ローカルメモリの更 新領域を決定するフローチャートである。更新領域決定方法 1及び 2と同様に、実施 の形態 1における図 9に示すステップ S410で行われる処理である。
[0090] ステップ S1300は、 n+ 1行目の MB処理用の転送領域に関する決定フローの開 始を示している。まず、符号ィ匕対象画像の n— 1行目の MBに関して垂直方向の平均 動きベクトル mvRef— ηθを取得し (ステップ S1302)、符号化対象画像の n行目の MB に関して垂直方向の平均動きベクトル mvRef— nlを取得する（ステップ S1303)。さら に、ステップ S 1302で取得した平均動きベクトル mvRef— ηθとステップ S 1303で取得 した平均動きベクトル mvRef—nlとの差を求め、整数精度に丸めて更新量の補正値 m 0^1 とする（ステップ31304)。さらに、 n行目の MB処理範囲を（16+mvComp)画 素だけ下にずらした領域を n+ 1行目 MBの参照範囲とし、 n行目 MBの参照範囲と n + 1行目 MBの参照範囲との差分領域を転送範囲に決定する (ステップ S 1305)。
[0091] なお、ここでは n+ 1行目の MB処理用の転送領域を決定する際に、符号化対象画 像の n— 1行目の MBおよび n行目の MBに関して垂直方向の平均動きベクトルを取 得している力 これに限られるものではない。例えば、パイプライン処理を用いる場合 には、 n+ 1行目の MB処理用の転送領域を決定する際に、符号化対象画像の n— 2 行目の MBおよび n— 1行目の MBに関して垂直方向の平均動きベクトルを取得すれ ばよい。また、 n+ 1行目の MB処理用の転送領域を決定する際に、符号化対象画像 の n— 3行目の MBおよび n— 2行目の MBに関して垂直方向の平均動きベクトルを 取得しても構わない。
[0092] 以上のように、更新領域決定方法 1、更新領域決定方法 2、もしくは更新領域決定 方法 3を用いて、図 9に示すステップ S410の処理を行うことによって画素転送量を削 減し、実装する参照用ローカルメモリ 102を過剰に増やすことなぐ最適な探索範囲 を指定することが可能となる。
[0093] (実施の形態 5)
さらにここで、上記実施の形態で示した画面間予測符号ィ匕装置の応用例にっ 、て 説明する。図 20は、 H. 264レコーダを実現する AV処理部のブロック図である。
[0094] AV処理部 700は、 DVDレコーダやハードディスクレコーダなど用いられ、ディジタ ル圧縮された音声及び画像を再生する処理部であり、図 20に示すようにストリーム入 出力部 701、メモリ入出力部 702、 AV制御部 703、画像符号化復号化部 704、音声 符号化復号化部 705、画像処理部 706、画像入出力部 707、音声処理部 708、音 声入出力部 709、およびバス 710を備えている。
[0095] ストリーム入出力部 701は、ノ ス 710に接続され、音声と画像のストリームデータ exS trを入出力する。画像符号化復号化部 704は、バス 710に接続され、画像の符号ィ匕 及び復号化を行う。音声符号ィ匕復号ィ匕部 705は、バス 710に接続され、音声の符号 化及び復号化を行う。入出力インターフェース 702は、メモリ 800のデータ信号の入 出力インターフェースであり、バス 710に接続されている。ここで、メモリ 800は、ストリ ームデータや符号化データや復号化データなどのデータを格納し、図 6に示してい る外部マルチフレームメモリの領域を含むものである。
[0096] 画像処理部 706は、バス 710に接続され、画像信号に対してプレ処理及びポスト処 理を行う。画像入出力部 707は、画像処理部 706で処理したもしくは画像処理部 70 6で処理をせずに通過だけさせた画像データ信号を外部に画像信号 exVSigとして出 力する、または、外部からの画像信号 exVSigを取り込む。
[0097] 音声処理部 708は、バス 710に接続され、音声信号に対してプレ処理及びポスト処 理を行う。音声入出力部 709は、音声処理部 708で処理したもしくは音声処理部 70 8で処理をせずに通過だけさせた音声データ信号を外部に音声信号 exASigとして出 力する、または、外部からの音声信号 exASigを取り込む。
[0098] また、 AV制御部 703は AV処理部 700の全体制御を行う。バス 710はストリームデ ータゃ音声 ·画像の復号データなどのデータを転送する。
[0099] ここでは、図 20を用いて符号ィ匕動作のみを説明する。最初に、画像信号 exVSigが 画像入出力部 707に入力され、音声信号 exASigが音声入出力部 709に入力される 。次に、画像入出力部 707に入力された画像信号 exVSigを用いて、画像処理部 706 においてフィルタ処理や符号ィ匕のための特徴量抽出などを行い、メモリ入出力部 70 2を介してメモリ 800に原画像として格納する。次に、再びメモリ入出力部 702を介し てメモリ 800から画像符号化復号化部 704には原画像データと参照画像データの転 送を行い、逆に画像符号ィ匕復号ィ匕部 704からメモリ 800には画像符号ィ匕復号ィ匕部 7 04で符号化した画像ストリームデータと局所復元データの転送を行う。
[0100] ここで、画像符号ィ匕復号ィ匕部 704は図 6のほぼ全体に相当し、画像ストリームは同 図の符号ィ匕信号 Strに相当し、さらにメモリ 800は同図の外部マルチフレームメモリ 10 3の領域が含まれる。
[0101] 一方、音声入出力部 709に入力された音声信号 exASigを用いて、音声処理部 708 においてフィルタ処理や符号ィ匕のための特徴量抽出などを行い、メモリ入出力部 70 2を介してメモリ 800に原音声データとして格納する。次に、再びメモリ入出力部 702 を介してメモリ 800から原音声データを取り出して符号ィ匕し、再度音声ストリームデー タとしてメモリ 800に格納する。
[0102] 最後に、画像ストリームと音声ストリーム及びその他のストリーム情報を一つのストリ ームデータとして処理し、ストリーム入出力部 701を介してストリームデータ exStrを出 力し、光ディスクゃノヽードディスクなどの蓄積メディアに書き込む処理を行う。
[0103] なお、実施の形態において 1ピクチャについての動作を示した力 1ピクチャを複数 の領域に分割し、分割領域を 1ピクチャとして処理することによって、複数の画面間予 測符号化装置を LSI内に実装し並列処理を行う、または LSIを複数実装して並列処 理を行うなどの方法で実現しても良 、。
[0104] また、ブロック図（図 6や図 20など）の各機能ブロックは典型的には集積回路である LSIとして実現される。これらは個別に 1チップィ匕されても良いし、一部又は全てを含 むように 1チップィ匕されても良い（例えばメモリ以外の機能ブロックが 1チップィ匕されて いても良い。 ) oここで、図 6の外部マルチフレームメモリ 103や図 20のメモリ 800は、 大量のデータを保持する必要があるため、一般的には LSIに外付けする大容量の D RAMなどで実装する力 技術の向上により 1パッケージィ匕ゃ 1チップィ匕されることも 有り得る。
[0105] ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ゥ ルトラ LSIと呼称されることもある。また、集積回路化の手法は LSIに限るものではなく 、専用回路又は汎用プロセサで実現してもよい。 LSI製造後に、プログラムすることが 可能な FPGA (Field Programmable Gate Array)や、 LSI内部の回路セルの接続や 設定を再構成可能なリコンフィギユラブル'プロセッサーを利用しても良い。さらには 、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回路化の技術 が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行ってもよい。バイ ォ技術の適応等が可能性としてありえる。
産業上の利用可能性
[0106] 本発明の画面間予測符号化装置は、参照用ローカルメモリの実装増加量を抑えつ つ、動き補償予測に用いる参照画素の転送量を大幅に削減できるので、例えば H.26 4規格を用いた大き 、画像サイズを扱う DVDレコーダやハードディスクレコーダやカム コーダ等を実現するために有効である。

Claims

請求の範囲
[1] ピクチャを構成するブロックの動き検出を行う動き検出装置であって、
参照ピクチヤの参照画素データを記憶する第 1記憶手段と、
前記第 1記憶手段から転送される前記参照画素データを記憶する第 2記憶手段と、 複数の前記ブロックで構成される一ブロック行を少なくとも含むブロック行毎に、転 送する参照画素データの範囲を動き検出済みブロックの動き検出結果に基づいて決 定し、決定した範囲の前記参照画素データを複数の画素で構成される一画素行を 少なくとも含む画素行単位で前記第 1記憶手段から前記第 2記憶手段へ転送する参 照画素転送制御手段と、
前記第 2記憶手段に記憶されて 、る前記参照画素データを用いて対象ブロックの 動き検出を行う動き検出手段と
を備えることを特徴とする動き検出装置。
[2] 前記参照画素転送制御手段は、前記動き検出手段において前記ブロック行に含ま れる各対象ブロックの動き検出が行われている間に、次のブロック行の動き検出で必 要とされる参照画素データの範囲を決定し、決定した範囲の前記参照画素データを 前記第 1記憶手段から前記第 2記憶手段へ転送する
ことを特徴とする請求項 1記載の動き検出装置。
[3] 前記参照画素転送制御手段は、前記動き検出手段において複数ピクチヤが参照さ れる場合には、前記ブロック行に含まれる各対象ブロックの動き検出で必要とされる 全ての複数ピクチヤの参照画素データの範囲をそれぞれ決定し、決定した範囲の前 記参照画素データをそれぞれ前記第 1記憶手段から前記第 2記憶手段へ転送する ことを特徴とする請求項 1記載の動き検出装置。
[4] 前記参照画素転送制御手段は、前記対象ブロックと同画素位置である前記参照ピ クチャにおけるブロックを含むブロック行に含まれるブロックおよび前記ブロック行の 直前のブロック行に含まれるブロックにおいて検出されている垂直方向の動き検出結 果に基づ 、て、転送する参照画素データの範囲を決定する
ことを特徴とする請求項 1記載の動き検出装置。
[5] 前記動き検出装置は、さらに、 前記対象ブロックを含むピクチヤに対して簡易的に動き検出を行う簡易検出手段を 備え、
前記参照画素転送制御手段は、前記簡易検出手段によって検出された前記対象 ブロックを含むブロック行に含まれるブロックおよび前記ブロック行の直前のブロック 行に含まれるブロックに対応する垂直方向の動き検出結果に基づいて、転送する参 照画素データの範囲を決定する
ことを特徴とする請求項 1記載の動き検出装置。
[6] 前記参照画素転送制御手段は、前記対象ブロックを含むブロック行に含まれるプロ ックまたはブロック行の前のブロック行に含まれるブロックにおいて検出されている垂 直方向の動き検出結果に基づいて、転送する参照画素データの範囲を決定する ことを特徴とする請求項 1記載の動き検出装置。
[7] 前記参照画素転送制御手段は、前記ブロック行に含まれる各対象ブロックの動き 検出で必要とされる参照画素データのうち、既に転送されている参照画素データに 含まれな！/、差分領域のみを、転送する参照画素データの範囲として決定する ことを特徴とする請求項 1記載の動き検出装置。
[8] 前記ブロック行は、前記ピクチヤの水平方向の一行である
ことを特徴とする請求項 1記載の動き検出装置。
[9] 前記ブロック行は、前記ピクチャを複数に分割した各領域における水平方向の一行 である
ことを特徴とする請求項 1記載の動き検出装置。
[10] ピクチャを構成するブロックの動き検出を行う動き検出方法であって、
複数の前記ブロックで構成される一ブロック行を少なくとも含むブロック行毎に、転 送する参照画素データの範囲を動き検出済みブロックの動き検出結果に基づいて決 定し、決定した範囲の前記参照画素データを複数の画素で構成される一画素行を 少なくとも含む画素行単位で、参照ピクチヤの参照画素データを記憶する第 1記憶手 段から第 2記憶手段へ転送する参照画素転送制御ステップと、
前記第 2記憶手段に記憶されて 、る前記参照画素データを用いて対象ブロックの 動き検出を行う動き検出ステップと を含むことを特徴とする動き検出方法。
[11] ピクチャを構成するブロックの動き検出を行うための集積回路であって、
参照ピクチヤの参照画素データを記憶する外部メモリから転送される前記参照画素 データを記憶する記憶手段と、
複数の前記ブロックで構成される一ブロック行を少なくとも含むブロック行毎に、転 送する参照画素データの範囲を動き検出済みブロックの動き検出結果に基づいて決 定し、決定した範囲の前記参照画素データを複数の画素で構成される一画素行を 少なくとも含む画素行単位で前記外部メモリから前記記憶手段へ転送する参照画素 転送制御手段と、
前記記憶手段に記憶されて!、る前記参照画素データを用いて対象ブロックの動き 検出を行う動き検出手段と
を備えることを特徴とする集積回路。
[12] ピクチャを構成するブロックの動き検出を行うためのプログラムであって、
複数の前記ブロックで構成される一ブロック行を少なくとも含むブロック行毎に、転 送する参照画素データの範囲を動き検出済みブロックの動き検出結果に基づいて決 定し、決定した範囲の前記参照画素データを複数の画素で構成される一画素行を 少なくとも含む画素行単位で、参照ピクチヤの参照画素データを記憶する第 1記憶手 段から第 2記憶手段へ転送する参照画素転送制御ステップと、
前記第 2記憶手段に記憶されて 、る前記参照画素データを用いて対象ブロックの 動き検出を行う動き検出ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
PCT/JP2006/305672 2005-03-25 2006-03-22 動き検出装置 WO2006103984A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005089867 2005-03-25
JP2005-089867 2005-03-25

Publications (1)

Publication Number Publication Date
WO2006103984A1 true WO2006103984A1 (ja) 2006-10-05

Family

ID=37053243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305672 WO2006103984A1 (ja) 2005-03-25 2006-03-22 動き検出装置

Country Status (1)

Country Link
WO (1) WO2006103984A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237936A (ja) * 2009-03-31 2010-10-21 Nec Personal Products Co Ltd 画像処理装置、画像処理方法およびプログラム
US8208541B2 (en) 2006-04-03 2012-06-26 Panasonic Corporation Motion estimation device, motion estimation method, motion estimation integrated circuit, and picture coding device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63244985A (ja) * 1987-03-30 1988-10-12 Mitsubishi Electric Corp 動き補償フレ−ム間符号化装置
JPH09163380A (ja) * 1995-12-05 1997-06-20 Sony Corp 画像符号化装置及び動きベクトル検出方法
JPH09284773A (ja) * 1996-04-09 1997-10-31 Graphics Commun Lab:Kk 動きベクトル探索装置
JPH11243546A (ja) * 1998-02-25 1999-09-07 Sony Corp 画像符号化装置及び方法
JP2963269B2 (ja) * 1992-03-13 1999-10-18 富士通株式会社 動き補償予測装置
WO2000022833A1 (en) * 1998-10-13 2000-04-20 Stmicroelectronics Asia Pacific Pte Ltd Motion vector detection with local motion estimator
JP2000278688A (ja) * 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63244985A (ja) * 1987-03-30 1988-10-12 Mitsubishi Electric Corp 動き補償フレ−ム間符号化装置
JP2963269B2 (ja) * 1992-03-13 1999-10-18 富士通株式会社 動き補償予測装置
JPH09163380A (ja) * 1995-12-05 1997-06-20 Sony Corp 画像符号化装置及び動きベクトル検出方法
JPH09284773A (ja) * 1996-04-09 1997-10-31 Graphics Commun Lab:Kk 動きベクトル探索装置
JPH11243546A (ja) * 1998-02-25 1999-09-07 Sony Corp 画像符号化装置及び方法
WO2000022833A1 (en) * 1998-10-13 2000-04-20 Stmicroelectronics Asia Pacific Pte Ltd Motion vector detection with local motion estimator
JP2000278688A (ja) * 1999-03-24 2000-10-06 Sony Corp 動きベクトル検出装置およびその方法と画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208541B2 (en) 2006-04-03 2012-06-26 Panasonic Corporation Motion estimation device, motion estimation method, motion estimation integrated circuit, and picture coding device
JP2010237936A (ja) * 2009-03-31 2010-10-21 Nec Personal Products Co Ltd 画像処理装置、画像処理方法およびプログラム

Similar Documents

Publication Publication Date Title
JP4757080B2 (ja) 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
JP4755093B2 (ja) 画像符号化方法および画像符号化装置
US20100086053A1 (en) Motion estimation device, motion estimation method, and motion estimation program
US20070030899A1 (en) Motion estimation apparatus
EP3087744B1 (en) Projected interpolation prediction generation for next generation video coding
JP4884290B2 (ja) 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
EP1839444B1 (en) Picture coding apparatus and picture decoding apparatus
JP4764807B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2011147189A (ja) トランスコード装置及びトランスコード方法
US20090167775A1 (en) Motion estimation compatible with multiple standards
US20070171977A1 (en) Moving picture coding method and moving picture coding device
JP4709155B2 (ja) 動き検出装置
US8098898B2 (en) Motion detection device, MOS (metal-oxide semiconductor) integrated circuit, and video system
JP2008011117A (ja) 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法
JP2002218474A (ja) 画像データ符号化装置
US6353683B1 (en) Method and apparatus of image processing, and data storage media
WO2013031071A1 (ja) 動画像復号装置、動画像復号方法、及び集積回路
WO2006103984A1 (ja) 動き検出装置
JP2008136187A (ja) トランスコード装置及びトランスコード方法
JPH11239352A (ja) 画像処理方法及び画像処理装置、並びにデータ記憶媒体
JP4902854B2 (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
JPH11308617A (ja) ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
US8897368B2 (en) Image coding device, image coding method, image coding integrated circuit and image coding program
JP2007020123A (ja) 動き検出装置、および動き検出方法
JP2001045493A (ja) 動画像符号化装置、動画像出力装置、及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06729639

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP