WO2013094388A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2013094388A1
WO2013094388A1 PCT/JP2012/081111 JP2012081111W WO2013094388A1 WO 2013094388 A1 WO2013094388 A1 WO 2013094388A1 JP 2012081111 W JP2012081111 W JP 2012081111W WO 2013094388 A1 WO2013094388 A1 WO 2013094388A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
luminance data
memory
internal memory
Prior art date
Application number
PCT/JP2012/081111
Other languages
English (en)
French (fr)
Inventor
齋藤　和宏
祐次郎 谷
村田　真一
Original Assignee
株式会社メガチップス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メガチップス filed Critical 株式会社メガチップス
Priority to US14/367,632 priority Critical patent/US9443319B2/en
Publication of WO2013094388A1 publication Critical patent/WO2013094388A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access

Definitions

  • the present invention relates to an image processing device, and more particularly to an image processing device that performs motion search with reference to a reference image stored in an external memory.
  • Patent Document 1 discloses an image processing apparatus according to the background art.
  • the image processing apparatus includes a frame memory configured by SDRAM (Synchronous Dynamic Random Access Memory) and a motion search unit connected to the frame memory.
  • the frame memory stores an encoding target image, a coarse search reference image, and a fine search reference image.
  • the reference image for rough search is created in advance by reduction processing and stored in the frame memory.
  • the motion search unit reads an image to be encoded and a reference image for coarse search from the frame memory, and performs a motion search using these images, thereby obtaining a motion vector as a result of the coarse search.
  • the motion search unit reads, from the frame memory, a reference image in the peripheral region of the motion vector among the reference images for dense search, and performs a motion search using the image to be encoded and the reference image.
  • a motion vector as a result of the dense search is obtained.
  • the frame memory is constituted by an SDRAM having a low operating speed. Therefore, there is a high possibility that a waiting time is generated when the motion search unit accesses the frame memory. As a result, there is a problem that the time required for motion search becomes longer as a whole.
  • the present invention has been made to solve such a problem, and an object thereof is to obtain an image processing apparatus capable of performing motion search at high speed with a simple configuration.
  • An image processing apparatus is an image processing apparatus that performs a motion search with reference to a first image stored in an external memory, and includes a second in a predetermined range in the first image.
  • a first internal memory for storing images, which can be accessed at a higher speed than the external memory, and a predetermined range of images in the second image are read from the first internal memory and used for rough search based on the images.
  • An image creation unit that creates the third image, a second internal memory that stores the third image created by the image creation unit and that is accessible at a higher speed than the external memory, and the second internal memory
  • a first search processing unit that reads the third image from the memory and performs a first motion search based on the third image, and a search result obtained by the first search processing unit in the second image
  • a fourth image in a predetermined range Read from the internal memory, and is characterized in further comprising a said second search processing unit that performs a detailed second motion search than searching the first motion on the basis of the fourth image.
  • the image creating unit creates the third image based on the image read from the first internal memory.
  • the first search processing unit performs the first motion search based on the third image read from the second internal memory.
  • the second search processing unit performs a second motion search based on the fourth image read from the first internal memory.
  • each of the first and second internal memories is a memory that can be accessed at a higher speed than the external memory. Therefore, compared with the case where the image creation unit, the first search processing unit, and the second search processing unit read an image from the external memory, the time required for reading is shortened, so that the motion search is performed at high speed as a whole. It becomes possible.
  • the image processing apparatus is the image processing apparatus according to the first aspect, in particular, a third internal memory accessible at a higher speed than the external memory, and the second search processing unit.
  • a transfer processing unit that reads out a fifth image in a predetermined range in the second image from the first internal memory based on the search result by the first image, and stores the fifth image in the third internal memory;
  • a third search processing unit that reads the fifth image from the internal memory and performs a third motion search that is more detailed than the second motion search based on the fifth image. To do.
  • the transfer processing unit stores the fifth image read from the first internal memory in the second internal memory.
  • the third search processing unit performs a third motion search based on the fifth image read from the third internal memory.
  • the third internal memory is a memory that can be accessed faster than the external memory. Therefore, compared with the case where the transfer processing unit and the third search processing unit read an image from the external memory, the time required for reading is shortened, so that the motion search as a whole can be performed at high speed.
  • the image processing apparatus is the image processing apparatus according to the first or second aspect, in which the second image includes luminance data and color difference data, and the unit of the first internal memory.
  • the storage area stores unit luminance data corresponding to luminance data of 8 columns ⁇ 2 rows in the pixel space or unit color difference data corresponding to color difference data of 8 columns ⁇ 4 rows in the pixel space. It is what.
  • the unit storage area of the first internal memory has unit luminance data corresponding to luminance data of 8 columns ⁇ 2 rows in the pixel space, or 8 columns in the pixel space.
  • Unit color difference data corresponding to the color difference data for 4 rows is stored. Accordingly, unit luminance data for 8 columns ⁇ 2 rows to be stored in the unit storage area of the second internal memory, and unit luminance data for 4 columns ⁇ 4 rows to be stored in the unit storage area of the third internal memory. Can be easily created based on the unit luminance data stored in the unit storage area of the first internal memory.
  • An image processing apparatus is the image processing apparatus according to the third aspect, in which the first internal memory has a plurality of memory banks, two in the column direction and two in the row direction.
  • the four unit luminance data arranged in four are stored in different memory banks.
  • the eight unit luminance data arranged in the column direction and in the row direction are stored in different memory banks of the first internal memory. Accordingly, these eight unit luminance data can be simultaneously written into the first internal memory and can be simultaneously read out from the first internal memory.
  • An image processing apparatus is the image processing apparatus according to the third or fourth aspect, in which the first internal memory has a plurality of memory banks, one in the column direction, and Eight unit luminance data arranged in the row direction are stored in different memory banks.
  • eight unit luminance data arranged in the column direction and eight in the row direction are stored in different memory banks of the first internal memory. Accordingly, these eight unit luminance data can be simultaneously written into the first internal memory and can be simultaneously read out from the first internal memory.
  • An image processing apparatus is the image processing apparatus according to any one of the third to fifth aspects, and in particular, the first internal memory has a plurality of memory banks, and is arranged in a column direction.
  • the eight unit color difference data arranged in a row and four in the row direction are stored in different memory banks.
  • eight unit color difference data arranged in the column direction and in the row direction are stored in different memory banks of the first internal memory. Accordingly, these eight unit color difference data can be simultaneously written into the first internal memory and simultaneously read out from the first internal memory.
  • the image processing device is the image processing device according to any one of the third to sixth aspects, and in particular, the first internal memory has a plurality of memory banks and is arranged in a column direction.
  • the four unit luminance data arranged in a row and four in the row direction, and the two unit color difference data arranged in the column direction and two in the row direction are stored in different memory banks. Is.
  • the image processing apparatus of the seventh aspect four unit luminance data arranged in the column direction and four in the row direction, and two unit color differences arranged in the column direction and two in the row direction. Data is stored in different memory banks of the first internal memory. Accordingly, the four unit luminance data and the two unit color difference data can be simultaneously written into the first internal memory and can be simultaneously read out from the first internal memory.
  • the image processing device is the image processing device according to any one of the third to seventh aspects, and in particular, the first internal memory has a plurality of memory banks and is arranged in the column direction.
  • the four unit luminance data arranged in a row and two in the row direction, and the two unit color difference data arranged in the column direction and one in the row direction are stored in different memory banks. Is.
  • the image processing apparatus of the eighth aspect four unit luminance data arranged in the column direction and two in the row direction, and two unit color differences arranged in the column direction and one in the row direction. Data is stored in different memory banks of the first internal memory. Accordingly, the four unit luminance data and the two unit color difference data can be simultaneously written into the first internal memory and can be simultaneously read out from the first internal memory.
  • the image processing apparatus is an image processing apparatus according to any one of the third to eighth aspects, particularly based on the position coordinates of the unit luminance data and the unit color difference data in the pixel space.
  • the first internal memory further includes a first address setting unit for setting a memory bank in which each unit luminance data and each unit color difference data is to be stored among a plurality of memory banks included in the first internal memory. is there.
  • the first address setting unit includes a plurality of memory banks included in the first internal memory based on the position coordinates of the unit luminance data and the unit color difference data in the pixel space.
  • a memory bank to store each unit luminance data and each unit color difference data is set. Therefore, each unit luminance data and each unit color difference data can be stored in an appropriate memory bank.
  • the image processing device is the image processing device according to the ninth aspect, in which the first address setting unit further includes position coordinates of unit luminance data and unit color difference data in the pixel space. Based on the above, an address in the memory bank for storing each unit luminance data and each unit color difference data is set.
  • the first address setting unit stores each unit luminance data and each unit color difference data based on the position coordinates of the unit luminance data and the unit color difference data in the pixel space. Set the address in the memory bank. Accordingly, each unit luminance data and each unit color difference data can be stored at an appropriate address in the memory bank.
  • the image processing apparatus is the image processing apparatus according to any one of the third to tenth aspects, and in particular, reading and writing of data with respect to the first internal memory is performed in a time division manner. It is characterized by being performed.
  • reading and writing of data with respect to the first internal memory are performed in a time division manner. Therefore, since the first internal memory can be configured using a single port RAM, the circuit scale can be reduced.
  • the image processing device is the image processing device according to any one of the third to eleventh aspects, and particularly sets the size of the second image in the row direction in units of a predetermined number of rows.
  • one or a plurality of the second images can be stored in the first internal memory.
  • one or a plurality of second images are stored in the first internal memory by setting the size of the second image in the row direction in units of a predetermined number of rows. Is possible. Therefore, not only a motion search using one reference image but also a motion search using a plurality of reference images can be performed.
  • the image processing device is the image processing device according to any one of the third to twelfth aspects, particularly within a period during which a motion search for a certain current macroblock is performed.
  • luminance data and color difference data of an area necessary for processing for the next current macroblock are written in the first internal memory.
  • luminance data of a region required in processing for the next current macroblock within a period in which motion search for a certain current macroblock is performed is written to the first internal memory. Therefore, after the motion search for a certain current macroblock is completed, the process for the next current macroblock can be started without delay.
  • An image processing device is the image processing device according to any one of the third to thirteenth aspects, and in particular, the image creation unit is arranged in a column direction in the first internal memory.
  • One unit luminance data of 8 columns ⁇ 2 rows in the pixel space is created based on four unit luminance data arranged in two and two in the row direction, and the unit luminance data is stored in the second internal memory. It is characterized by being stored in the unit storage area.
  • the image creation unit is configured to generate a pixel space based on the four unit luminance data arranged in the column direction and in the row direction in the first internal memory.
  • One unit luminance data of 8 columns ⁇ 2 rows is created. Therefore, it is possible to easily create a reduced image obtained by reducing the image stored in the first internal memory to 1 ⁇ 4.
  • An image processing device is the image processing device according to the fourteenth aspect, in which the second internal memory has a plurality of memory banks, two in the column direction and two in the row direction.
  • the four unit luminance data arranged in four are stored in different memory banks.
  • eight unit luminance data arranged in the column direction and four in the row direction are stored in different memory banks of the second internal memory. Accordingly, these eight unit luminance data can be simultaneously written into the second internal memory and can be simultaneously read out from the first internal memory.
  • the image processing device is the image processing device according to the fourteenth or fifteenth aspect, in which the second internal memory has a plurality of memory banks, one in the column direction and Eight unit luminance data arranged in the row direction are stored in different memory banks.
  • eight unit luminance data arranged in the column direction and eight in the row direction are stored in different memory banks of the second internal memory. Accordingly, these eight unit luminance data can be simultaneously written into the second internal memory and can be simultaneously read out from the first internal memory.
  • the image processing apparatus is the image processing apparatus according to any one of the fourteenth to sixteenth aspects, particularly based on the position coordinates of the unit luminance data in the pixel space.
  • a second address setting unit for setting a memory bank in which each unit luminance data is to be stored among the plurality of memory banks included in the internal memory.
  • the second address setting unit is configured to select each of the plurality of memory banks included in the second internal memory based on the position coordinates of the unit luminance data in the pixel space.
  • a memory bank in which unit luminance data is to be stored is set. Accordingly, each unit luminance data can be stored in an appropriate memory bank.
  • the image processing device is the image processing device according to the seventeenth aspect, in which the second address setting unit is further based on the position coordinates of the unit luminance data in the pixel space.
  • An address in a memory bank for storing each unit luminance data is set.
  • the second address setting unit sets an address in the memory bank that stores each unit luminance data based on the position coordinates of the unit luminance data in the pixel space. Accordingly, each unit luminance data can be stored at an appropriate address in the memory bank.
  • An image processing device is the image processing device according to any one of the fourteenth to eighteenth aspects, and in particular, reading and writing of data with respect to the second internal memory is performed in a time-sharing manner. It is characterized by being performed.
  • reading and writing of data with respect to the second internal memory are performed in a time division manner. Therefore, since the second internal memory can be configured using a single port RAM, the circuit scale can be reduced.
  • the image processing device is the image processing device according to any one of the fourteenth to nineteenth aspects, and particularly sets the size of the third image in the row direction in units of a predetermined number of rows.
  • one or a plurality of the third images can be stored in the second internal memory.
  • the image processing device of the twentieth aspect by setting the size of the third image in the row direction in units of a predetermined number of rows, one or more third images are stored in the second internal memory. Is possible. Therefore, not only a motion search using one reference image but also a motion search using a plurality of reference images can be performed.
  • the image processing apparatus is the image processing apparatus according to any one of the fourteenth to twentieth aspects, particularly during a period in which a motion search for a certain current macroblock is being performed.
  • luminance data of an area necessary for processing for the next current macroblock is written in the second internal memory.
  • the luminance data of the area required in the processing for the next current macroblock within the period in which the motion search for the certain current macroblock is performed. are written into the second internal memory. Therefore, after the motion search for a certain current macroblock is completed, the process for the next current macroblock can be started without delay.
  • An image processing device is the image processing device according to any one of the third to twenty-first aspects, and in particular, the transfer processing unit is arranged in the column direction in the first internal memory.
  • Two unit luminance data for four columns ⁇ four rows in the pixel space are generated based on two unit luminance data for eight columns ⁇ two rows arranged in one row and two rows, and the unit luminance data Is stored in the unit storage area of the third internal memory.
  • the transfer processing unit is configured to store in the pixel space based on the two unit luminance data arranged in the column direction and in the row direction in the first internal memory. Two unit luminance data of 4 columns ⁇ 4 rows are generated. Therefore, it is possible to easily convert the unit luminance data for 8 columns ⁇ 2 rows into the unit luminance data for 4 columns ⁇ 4 rows.
  • An image processing device is the image processing device according to the twenty-second aspect, in which the third internal memory has a plurality of memory banks, and four in the column direction and in the row direction. The four 16 pieces of unit luminance data are stored in different memory banks.
  • the 16 unit luminance data arranged in the column direction and in the row direction are stored in different memory banks of the third internal memory. Accordingly, these 16 unit luminance data can be simultaneously written into the third internal memory and simultaneously read out from the third internal memory.
  • the third internal memory is based on the position coordinates of the unit luminance data in the pixel space.
  • a third address setting unit is further provided for setting a memory bank in which each unit luminance data is to be stored among the plurality of memory banks.
  • the third address setting unit is configured to select each of the plurality of memory banks included in the third internal memory based on the position coordinates of the unit luminance data in the pixel space.
  • a memory bank in which unit luminance data is to be stored is set. Accordingly, each unit luminance data can be stored in an appropriate memory bank.
  • the image processing device is the image processing device according to the twenty-fourth aspect, in which the third address setting unit is further based on the position coordinates of the unit luminance data in the pixel space, An address in a memory bank for storing each unit luminance data is set.
  • the third address setting unit sets an address in the memory bank for storing each unit luminance data based on the position coordinates of the unit luminance data in the pixel space. . Accordingly, each unit luminance data can be stored at an appropriate address in the memory bank.
  • An image processing device is the image processing device according to any one of the twenty-third to twenty-fifth aspects, and in particular, the plurality of memory banks included in the third internal memory include the first memory bank.
  • a plurality of memory banks belonging to the set and a plurality of memory banks belonging to the second set are included, and reading and writing of data with respect to each of the first set and the second set are performed in a time-sharing manner. It is what.
  • the third internal memory can be configured using a single-port RAM, so that the circuit scale can be reduced.
  • the image processing apparatus is the image processing apparatus according to the twenty-sixth aspect, in particular, the first set and the second set for performing a motion search for a certain current macroblock. Data necessary for performing a motion search for the next current macroblock is written to the other of the first set and the second set within a period in which data is read from one side. It is characterized by.
  • the image processing device of the twenty-seventh aspect in order to perform motion search for a certain current macroblock, the following is performed within a period in which data is read from one of the first set and the second set. Data necessary for performing motion search for the current macroblock is written in the other of the first set and the second set. Therefore, after the motion search for a certain current macroblock is completed, the process for the next current macroblock can be started without delay.
  • the image processing device is the macroblock part mode included in the search result by the second search processing unit, particularly in the image processing device according to any one of the twenty-second to twenty-seventh aspects. Accordingly, a predetermined number of unit luminance data is stored in the third internal memory.
  • a predetermined number of unit luminance data is stored in the third internal memory in accordance with the macroblock part mode included in the search result by the second search processing unit. Therefore, the motion search by the third search processing unit can be appropriately performed according to the macroblock part mode.
  • An image processing device is the image processing device according to any one of the twenty-second to twenty-eighth aspects, in particular, the third internal memory has a current macroblock in the pixel space. Based on the position, a reference image for Skip / Direct vector and a reference image for (0,0) vector are further stored.
  • the third internal memory further stores a reference image for Skip / Direct vector and a reference image for (0, 0) vector. Accordingly, it is possible to improve the accuracy of motion search by the third search processing unit.
  • FIG. 1 shows the structure of the encoder which concerns on embodiment of this invention. It is a figure which shows the internal structure of the motion search part shown in FIG. It is a figure which shows the structure of LSRAM. It is a figure which shows the 1st example of the image stored in LSRAM. It is a figure which shows the 2nd example of the image stored in LSRAM. It is a figure for demonstrating the arrangement
  • FIG. 10 is a diagram showing the luminance data shown in FIG. 8 and the color difference data shown in FIG. 9 side by side. It is a figure for demonstrating the setting method of the bank index of the luminance data by an address generation part. It is a figure for demonstrating the setting method of the bank index of the color difference data by an address generation part. It is a figure for demonstrating the update rule of the image data written in LSRAM from a frame memory. It is a figure for demonstrating the update rule of the image data written in LSRAM from a frame memory. It is a figure for demonstrating the update rule of the image data written in LSRAM from a frame memory. It is a figure for demonstrating the update rule of the image data written in LSRAM from a frame memory. It is a figure for demonstrating the update rule of the image data written in LSRAM from a frame memory. It is a figure for demonstrating the update rule of the image data written in LSRAM from a frame memory.
  • FIG. 1 is a diagram showing a configuration of an encoder 1 according to an embodiment of the present invention.
  • the encoder 1 is H.264.
  • the image processing apparatus is compliant with the H.264 standard and is connected to a frame memory 2 as an external memory.
  • the frame memory 2 is composed of, for example, a DRAM (Dynamic Random Access Memory) and can store one or a plurality of reference images.
  • the encoder 1 includes a motion search unit 4, a motion compensation unit 5, a deblocking filter 6, a processing unit 7, and an entropy encoding unit 8.
  • the processing unit 7 performs processing such as orthogonal transformation, quantization, and inverse quantization.
  • FIG. 2 is a diagram showing an internal configuration of the motion search unit 4 shown in FIG.
  • the motion search unit 4 includes three SRAMs (Static Random Access Memory) as internal memories.
  • the three SRAMs are referred to as “LSRAM 11”, “MSRAM 13”, and “SSRAM 17”, respectively, for easy discrimination.
  • the LSRAM 11, MSRAM 13, and SSRAM 17 can be accessed at a higher speed than the frame memory 2.
  • the motion search unit 4 includes an image creation unit 12, search processing units 14, 15, and 18, and a transfer processing unit 16.
  • the LSRAM 11 is written with a predetermined range of luminance and color difference images (second image) in the reference image (first image) stored in the frame memory 2 by DMA (Direct Memory Access) control.
  • the image creation unit 12 reads out an image having a predetermined range of luminance in the second image from the LSRAM 11, and creates a reduced image (third image) for coarse search by performing a 1/4 resize process on the image. To do.
  • the third image created by the image creation unit 12 is stored in the MSRAM 13.
  • the search processing unit 14 reads the third image from the MSRAM 13 and performs a motion search (reduced pixel search) based on the third image.
  • the result of the reduced pixel search by the search processing unit 14 is input to the search processing unit 15.
  • the search processing unit 15 reads an image having a predetermined range of luminance (fourth image) in the second image from the LSRAM 11, and based on the fourth image, the search processing unit 15 is more detailed than the reduced pixel search.
  • a motion search (integer precision pixel search) is performed.
  • the result of the integer precision pixel search by the search processing unit 15 is input to the transfer processing unit 16 and the search processing unit 18.
  • the transfer processing unit 16 reads an image having a predetermined range of luminance (fifth image) in the second image from the LSRAM 11 and stores the fifth image in the SSRAM 17.
  • the search processing unit 18 reads the fifth image from the SSRAM 17 and performs a motion search (decimal accuracy pixel search) that is more detailed than the integer accuracy pixel search based on the fifth image. In addition, the search processing unit 18 reads a complementary color difference image from the LSRAM 11. Note that the reduced pixel search by the search processing unit 14, the integer accuracy pixel search by the search processing unit 15, and the decimal accuracy pixel search by the search processing unit 18 are executed by macroblock pipeline processing.
  • FIG. 3 is a diagram showing the configuration of the LSRAM 11.
  • the LSRAM 11 is divided into a plurality of memory banks.
  • the LSRAM 11 is composed of a total of eight memory banks, ie, a 0th bank 220 to a seventh bank 227.
  • an input / output interface 21 having an address generation unit 23 is connected to each memory bank.
  • the LSRAM 11 is an image writing operation from the frame memory 2, an image reading operation to the image creating unit 12, an image reading operation to the search processing unit 15, an image reading operation to the transfer processing unit 16, and a search processing unit.
  • the image reading operation to 18 is switched in a time division manner and executed. Different memory banks can be accessed at the same time, and the number of divisions of the memory banks is set to a number that can execute the write operation and read operation in these time divisions without delay.
  • FIG. 4 is a diagram illustrating a first example of an image stored in the LSRAM 11.
  • the LSRAM 11 stores 1920 columns ⁇ 160 rows of image data (luminance data and color difference data) out of the 1920 columns ⁇ 1080 rows of the reference image 30.
  • the storage area 36 includes a search window 32 centered on the current macroblock 31, an overlap area 33 corresponding to the delay of the macroblock pipeline process, and a resizing process of an image used in the next macroblock processing time.
  • the necessary update area 34 is included.
  • An area 35 is image data written from the frame memory 2 to the LSRAM 11 in preparation for updating the current macroblock.
  • FIG. 5 is a diagram illustrating a second example of an image stored in the LSRAM 11.
  • the height (size in the row direction) of the search window 32 can be arbitrarily set in units of 8 rows with a maximum value of 160 rows. Therefore, when there are a plurality of reference images (two reference images 301 and 302 in the example of FIG. 5), the height of the search window 32 is set according to the number of the reference images, so The storage area 361 and the storage area 362 in the reference image 302 can be stored in the LSRAM 11.
  • FIG. 6 is a diagram for explaining an arrangement rule for luminance data stored in the LSRAM 11.
  • 6A shows a pixel space of 16 columns ⁇ 4 rows in the image
  • FIG. 6B shows a storage area for four words in the LSRAM 11 (that is, four unit storage areas). Show.
  • the unit storage area of the LSRAM 11 stores unit luminance data (hereinafter referred to as “8 ⁇ 2 pack words”) corresponding to luminance data of 8 columns ⁇ 2 rows in the pixel space. Since each luminance data is 8 bits in the example of the present embodiment, each 8 ⁇ 2 packed word and one word of the LSRAM 11 is 128 bits.
  • FIG. 7 is a diagram for explaining the arrangement rule of the color difference data stored in the LSRAM 11.
  • 7A shows a pixel space of 16 columns ⁇ 4 rows in the image
  • FIG. 7B shows a storage area for two words in the LSRAM 11 (that is, two unit storage areas). Show.
  • unit color difference data corresponding to color difference data for 8 columns ⁇ 4 rows in the pixel space is stored in the unit storage area of the LSRAM 11.
  • FIG. 8 is a diagram for explaining the distribution of the luminance data in the LSRAM 11 to the memory banks.
  • FIG. 8 shows 64 8 ⁇ 2 packed words included in a pixel space of 32 columns ⁇ 32 rows.
  • the numbers in the figure represent bank indexes assigned to the memory banks of the 0th bank 220 to the seventh bank 227.
  • any eight unit luminance data arranged in the column direction and eight in the row direction are stored in different memory banks.
  • Any eight unit luminance data arranged in a row and four in the row direction are stored in different memory banks.
  • FIG. 9 is a diagram for explaining the distribution of the color difference data in the LSRAM 11 to the memory banks.
  • FIG. 9 shows 32 8 ⁇ 2 packed words included in a pixel space of 32 columns ⁇ 32 rows corresponding to luminance. The numbers in the figure represent bank indexes. As shown in FIG. 9, by assigning the color difference data to each memory bank, any eight unit color difference data arranged in the column direction and four in the row direction are stored in different memory banks.
  • FIG. 10 is a diagram showing the luminance data shown in FIG. 8 and the color difference data shown in FIG. 9 side by side.
  • Eight unit luminance data (one in the column direction ⁇ 8 in the row direction) included in the region R1 can be read or written to the LSRAM 11 at the same time. Further, the eight unit luminance data (2 in the column direction ⁇ 4 in the row direction) included in the region R2 can be simultaneously read or written to the LSRAM 11. Further, the eight unit color difference data (2 in the column direction ⁇ 4 in the row direction) included in the region R3 can be simultaneously read or written to the LSRAM 11.
  • the four unit luminance data (2 in the column direction ⁇ 2 in the row direction) and two unit color difference data (2 in the column direction ⁇ 1 in the row direction) included in the region R4 are stored in the LSRAM 11 Can be read or written simultaneously.
  • the four unit luminance data (1 in the column direction ⁇ 4 in the row direction) and the two unit color difference data (1 in the column direction ⁇ 2 in the row direction) included in the region R5 are the LSRAM 11 Can be read or written simultaneously.
  • FIG. 11 is a diagram for explaining a method for setting a bank index of luminance data by the address generation unit 23.
  • the address generation unit 23 sets the bank index of each pack word based on the column direction coordinate (x coordinate) and the row direction coordinate (y coordinate) in the pixel space in the pixel space.
  • “%” means an operation for obtaining a remainder.
  • FIG. 12 is a diagram for explaining a method of setting the bank index of the color difference data by the address generation unit 23.
  • the address generation unit 23 sets an address (bank address BA) in the memory bank for storing each pack word based on the x coordinate and the y coordinate in pack word units in the pixel space.
  • FIGS. 13 to 16 are diagrams for explaining an update rule for image data written from the frame memory 2 to the LSRAM 11. Image data of an area necessary for processing for the next current macroblock is written from the frame memory 2 to the LSRAM 11 within a period in which motion search for the current current macroblock is performed.
  • the current macroblock 31 is located at the upper left corner of the reference image 30.
  • image data in an overlapping range (a hatched area) between the search window 32 and the reference image 30 is written from the frame memory 2 to the LSRAM 11.
  • the image data of the area 35 corresponding to one macro block in contact with the lower right corner of the search window 32 is Data is written from the memory 2 to the LSRAM 11.
  • FIG. 17 is a diagram showing the configuration of the MSRAM 13.
  • the MSRAM 13 is divided into a plurality of memory banks.
  • the MSRAM 13 is composed of a total of eight memory banks, ie, a 0th bank 420 to a seventh bank 427.
  • an input / output interface 41 having an address generation unit 43 is connected to each memory bank.
  • the MSRAM 13 switches the image writing operation from the image creating unit 12 and the image reading operation to the search processing unit 14 in a time-sharing manner. Different memory banks can be accessed at the same time, and the number of divisions of the memory banks is set to a number that can execute the write operation and read operation in these time divisions without delay.
  • FIG. 18 is a diagram illustrating a first example of an image stored in the MSRAM 13. As shown as a thick line storage area 51 in the figure, the MSRAM 13 stores luminance data obtained by reducing the images in the search window 32 and the update area 34 to 1 ⁇ 4 (1/2 in each direction of row and column).
  • the MSRAM 13 stores luminance data obtained by reducing the images in the search window 32 and the update area 34 to 1 ⁇ 4 (1/2 in each direction of row and column).
  • FIG. 19 is a diagram illustrating a second example of an image stored in the MSRAM 13.
  • the height of the search window 32 can be arbitrarily set in units of four lines with the maximum value being 80 lines. Therefore, when there are a plurality of reference images (two reference images 301 and 302 in the example of FIG. 19), the height of the search window 32 is set according to the number of the reference images, so The storage area 511 and the storage area 512 in the reference image 302 can be stored in the MSRAM 13.
  • FIG. 20 is a diagram showing image resizing processing by the image creating unit 12.
  • the image creating unit 12 reads four 8 ⁇ 2 packed words arranged in the pixel space with two in the column direction and two in the row direction from the LSRAM 11, and these four 8 ⁇ 2 packs. By performing processing such as filtering or pixel thinning on the word, one 8 ⁇ 2 packed word reduced to 1 ⁇ 4 is created. Then, the created 8 ⁇ 2 packed word is stored in the unit storage area of the MSRAM 13.
  • FIG. 21 is a diagram for explaining the distribution of the luminance data in the MSRAM 13 to the memory banks.
  • FIG. 21 shows 64 8 ⁇ 2 packed words included in a pixel space of 32 columns ⁇ 32 rows.
  • the numbers in the figure represent bank indexes assigned to the memory banks of the 0th bank 420 to the seventh bank 427.
  • the address generation unit 43 sets the bank index of each pack word based on the x coordinate and y coordinate in pack word units in the pixel space.
  • any eight unit luminance data arranged in the column direction and eight in the row direction are stored in different memory banks.
  • Any eight unit luminance data arranged in a row and four in the row direction are stored in different memory banks.
  • FIG. 22 is a diagram showing the luminance data shown in FIG. Eight unit luminance data (1 in the column direction ⁇ 8 in the row direction) included in the region R11 can be read or written to the MSRAM 13 simultaneously. Further, the eight unit luminance data (2 in the column direction ⁇ 4 in the row direction) included in the region R12 can be simultaneously read or written to the MSRAM 13.
  • the address generation unit 43 sets a bank address BA in a memory bank for storing each pack word based on the x coordinate and the y coordinate in pack word units in the pixel space.
  • FIG. 23 is a diagram showing a setting example of the bank address BA in the MSRAM 13.
  • FIG. 23 shows 64 8 ⁇ 2 packed words similar to FIG. The numbers in the figure represent the bank address BA.
  • FIGS. 24 to 28 are diagrams for explaining an update rule for image data written from the image creation unit 12 to the MSRAM 13. Image data of an area necessary for processing for the next current macroblock is written from the image creation unit 12 to the MSRAM 13 during a period in which motion search for the current current macroblock is performed.
  • the current macroblock 31 is located at the upper left corner of the reference image 30.
  • image data of an overlapping range (a hatched area) between the search window 32 and the reference image 30 is written from the image creation unit 12 to the MSRAM 13.
  • the image data in the region 34 that is in contact with the right side of the search window 32 is transferred from the image creation unit 12 to the MSRAM 13. Written.
  • FIG. 29 is a diagram showing the configuration of the SSRAM 17.
  • the SSRAM 17 is divided into a plurality of memory banks.
  • the total of the 0th bank 720 to 15th bank 72f belonging to the first set 74 and the 0th bank 730 to 15th bank 73f belonging to the second set 75 is the total. It is composed of 32 memory banks.
  • Each of the first set 74 and the second set 75 switches the image writing operation from the transfer processing unit 16 and the image reading operation to the search processing unit 18 by switching in a time division manner. Different memory banks can be accessed at the same time, and the number of divisions of the memory banks is set to a number that can execute the write operation and read operation in these time divisions without delay.
  • Writing image data to the 0th bank 720 to the 15th bank 72f belonging to the first set 74 and reading image data from the 0th bank 730 to the 15th bank 73f belonging to the second set 75 are performed simultaneously. Is possible. Similarly, reading of image data from the 0th bank 720 to the 15th bank 72f belonging to the first set 74 and writing of image data to the 0th bank 730 to the 15th bank 73f belonging to the second set 75 are performed. It is possible to do it at the same time.
  • the search processing unit 18 targets the subsequent second current macroblock during the period in which the reference image is read from the memory bank of the first set 74.
  • the reference image used in the motion search is written from the transfer processing unit 16 to the memory bank of the second set 75.
  • the search processing unit 18 reads a subsequent third current macroblock within a period during which the reference image is read from the memory bank of the second set 75.
  • the reference image used in the target motion search is written from the transfer processing unit 16 to the memory bank of the first set 74.
  • Each memory bank has a storage area for 32 words, the first 16 words are used for storing image data for forward prediction, and the last 16 words are used for storing image data for backward prediction.
  • an input / output interface 71 having an address generation unit 76 is connected to each memory bank.
  • FIG. 30 is a diagram illustrating an example of an image stored in the SSRAM 17.
  • the SSRAM 17 stores the luminance data of the reference macro block 81 and its surrounding storage area 82.
  • the reference macroblock 81 is a macroblock indicated by a motion vector MV obtained as a result of integer precision pixel search by the search processing unit 15.
  • the search processing unit 15 is a macro block part mode 1 using one block of 16 columns ⁇ 16 rows, a macro block part mode 2 using two blocks of 16 columns ⁇ 8 rows, and a block of 8 columns ⁇ 16 rows.
  • a motion search is performed for each of the macroblock part mode 3 using two blocks and the macroblock part mode 4 using four blocks of 4 columns ⁇ 4 rows, and the motion vector of one mode having the highest similarity among them. Is output as a search result.
  • the storage area 82 is one, and the motion vector of the macro block part mode 2 or the macro block part mode 3 is included.
  • the SSRAM 17 stores a reference image for a Skip / Direct vector and a reference image for a (0,0) vector.
  • the Skip / Direct vector is H.264. It is a general term for motion vectors in Skip / Direct macroblock mode defined in the H.264 standard, and is generated based on information about a plurality of blocks adjacent to the current macroblock.
  • the (0,0) vector is a motion vector of a macroblock at the same position as the current macroblock in the reference image.
  • FIG. 31 is a diagram showing pack word conversion by the transfer processing unit 16.
  • the transfer processing unit 16 transfers pixel data from the LSRAM 11 to the SSRAM 17
  • an 8 ⁇ 2 packed word corresponding to luminance data for 8 columns ⁇ 2 rows in the pixel space is stored in the pixel space.
  • Unit luminance data (hereinafter referred to as “4 ⁇ 4 pack words”) corresponding to luminance data of 4 columns ⁇ 4 rows is converted.
  • 4 ⁇ 4 pack words Unit luminance data corresponding to luminance data of 4 columns ⁇ 4 rows
  • two 8 ⁇ 2 packed words arranged in the column direction and two in the row direction are read from the LSRAM 11, and the boundary between the two packed words is changed to change the pixel space.
  • two 4 ⁇ 4 packed words arranged in the column direction and one in the row direction are converted.
  • each created 4 ⁇ 4 packed word is stored in the unit storage area of the SSRAM 17.
  • FIG. 32 is a diagram for explaining distribution of luminance data to the memory bank in the SSRAM 17.
  • FIG. 32 shows 256 4 ⁇ 4 packed words included in a pixel space corresponding to 64 columns ⁇ 64 rows.
  • the number on the left side of the frame represents the bank index BI, and the number on the right side represents the bank address BA.
  • a set of storage areas for 16 words in 16 memory banks is a group whose bank address BA is “0” “1” “2” “4” “5” “6” “8” “9” “a” G1, a group G2 whose bank address BA is “3” “7” “b” “c”, a group G3 whose bank address BA is “d”, and a bank address BA “e” “f” It is classified into group G4.
  • the group G1 stores reference images for decimal pixel search based on the result of integer pixel search by the search processing unit 15.
  • a reference image for Skip / Direct vector is stored.
  • the group G3 stores (0, 0) vector reference images.
  • the group G4 is a spare area that is not used.
  • the address generation unit 76 sets a bank index BI and a bank address BA where each pack word is to be stored based on the x coordinate and y coordinate in pack word units in the pixel space. As shown in FIG. 32, by distributing the luminance data to each memory bank, arbitrary 16 unit luminance data arranged in the column direction and four in the row direction are stored in different memory banks.
  • FIG. 33 is a diagram showing the luminance data shown in FIG. Arbitrary 16 unit luminance data (4 in the column direction ⁇ 4 in the row direction) included in the region R21 in the group G1 can be simultaneously read or written to the SSRAM 17. Similarly, any 16 unit luminance data included in the region R22 in the group G2 and 16 unit luminance data included in the region R23 in the group G3 can be simultaneously read or written to the SSRAM 17. is there.
  • 34 to 39 are diagrams each showing a storage area of the reference image in the SSRAM 17.
  • FIG. 34 shows an example in which the motion vector of the macro block part mode 1 is included in the search result by the search processing unit 15.
  • an integer accuracy image with a size of 21 columns ⁇ 21 rows is required. Since 4 columns ⁇ 4 rows of pixel data are stored in one word, if there are 6 storage areas in the column direction and 6 storage areas in the row direction, the size of 21 columns ⁇ 21 rows from any coordinate position An integer precision image can be obtained.
  • the reference image is stored in a storage area corresponding to 7 in the column direction and 7 in the row direction indicated by a thick line in the figure.
  • the search processing unit 18 reads the reference image from the SSRAM 17 by reading the pixel data in units of 13 columns ⁇ 13 rows four times with respect to the reference image storage area.
  • a motion search is performed on a block of 16 columns ⁇ 16 rows, each block of 16 columns ⁇ 8 rows, 8 columns ⁇ 16 rows, and 8 columns ⁇ 8 rows inherent in the block of 16 columns ⁇ 16 rows is used.
  • motion search in each of the macro block part mode 1, the macro block part mode 2, the macro block part mode 3, and the macro block part mode 4 is also performed.
  • FIG. 35 shows an example in which the motion vector of the macroblock part mode 2 is included in the search result by the search processing unit 15.
  • an integer accuracy image with a size of 21 columns ⁇ 13 rows is required. Since 4 columns ⁇ 4 rows of pixel data are stored in one word, if there are 6 storage regions in the column direction and 4 storage regions in the row direction, the size of 16 columns ⁇ 8 rows from any coordinate position An integer precision image can be obtained.
  • the reference images are stored in two storage areas of 7 in the column direction and 5 in the row direction indicated by the thick line in the drawing.
  • the search processing unit 18 reads the reference image from the SSRAM 17 by reading the pixel data in units of 13 columns ⁇ 13 rows twice for each of the two storage areas of the reference image.
  • macro block part mode is performed by evaluating each block of 8 columns ⁇ 8 rows inherent in the block of 16 columns ⁇ 8 rows.
  • the motion search in each mode of 2 and macroblock part mode 4 is also performed.
  • FIG. 36 shows an example in which the motion vector of the macro block part mode 3 is included in the search result by the search processing unit 15.
  • an integer accuracy image with a size of 13 columns ⁇ 21 rows is required. Since 4 columns ⁇ 4 rows of pixel data are stored in one word, if there are 4 storage regions in the column direction and 6 storage regions in the row direction, the size of 8 columns ⁇ 16 rows from any coordinate position An integer precision image can be obtained.
  • the reference images are stored in two storage areas of 5 in the column direction and 7 in the row direction indicated by the bold lines in the drawing.
  • the search processing unit 18 reads the reference image from the SSRAM 17 by reading the pixel data in units of 13 columns ⁇ 13 rows twice for each of the two storage areas of the reference image.
  • the macro block part mode is evaluated by evaluating each block of 8 columns ⁇ 8 rows inherent in the block of 8 columns ⁇ 16 rows.
  • the motion search in each mode of 3 and macroblock part mode 4 is also performed.
  • FIG. 37 shows an example in which the motion vector of the macro block part mode 4 is included in the search result by the search processing unit 15.
  • an integer accuracy image with a size of 13 columns ⁇ 13 rows is required. Since 4 columns ⁇ 4 rows of pixel data are stored in one word, if there are 4 storage regions in the column direction and 4 storage regions in the row direction, the size of 8 columns ⁇ 8 rows from any coordinate position An integer precision image can be obtained.
  • the reference images are stored in four storage areas of 5 in the column direction and 5 in the row direction indicated by the bold lines in the drawing.
  • the search processing unit 18 reads the reference image from the SSRAM 17 by reading the pixel data in units of 13 columns ⁇ 13 rows once for each of the four storage areas of the reference image. Then, a motion search in the macro block part mode 4 is performed on each block of 8 columns ⁇ 8 rows.
  • FIG. 38 shows the storage area of the reference image for Skip / Direct vector.
  • an integer accuracy image with a size of 21 columns ⁇ 21 rows is required. Since 4 columns ⁇ 4 rows of pixel data are stored in one word, if there are 6 storage areas in the column direction and 6 storage areas in the row direction, the size of 21 columns ⁇ 21 rows from any coordinate position An integer precision image can be obtained. Therefore, the reference image is stored in a storage area of 6 in the column direction indicated by the bold line in the figure ⁇ 6 in the row direction.
  • FIG. 39 shows the storage area for the (0,0) vector reference image.
  • the reference image is stored in a storage area corresponding to 4 columns in the column direction and 4 rows in the row direction shown in the figure.
  • the image creation unit 12 creates a reduced image for rough search based on the image read from the LSRAM 11.
  • the search processing unit 14 performs a reduced pixel search based on the reduced image read from the MSRAM 13.
  • the search processing unit 15 performs an integer precision pixel search based on the image read from the LSRAM 11.
  • both the LSRAM 11 and the MSRAM 13 are memories accessible at a higher speed than the frame memory 2. Accordingly, compared with the case where the image creation unit 12, the search processing unit 14, and the search processing unit 15 read out an image from the frame memory 2, the time required for reading is shortened, so that the motion search can be performed at high speed as a whole. It becomes possible.
  • the transfer processing unit 16 stores the image read from the LSRAM 11 in the SSRAM 17.
  • the search processing unit 18 performs a decimal precision pixel search based on the image read from the SSRAM 17.
  • the SSRAM 17 is a memory that can be accessed at a higher speed than the frame memory 2. Therefore, compared with the case where the transfer processing unit 16 and the search processing unit 18 read an image from the frame memory 2, the time required for reading is shortened, so that the motion search as a whole can be performed at high speed.
  • the unit storage area of the LSRAM 11 has unit luminance data corresponding to luminance data of 8 columns ⁇ 2 rows in the pixel space, or 8 columns in the pixel space ⁇
  • Unit color difference data corresponding to the color difference data for four rows is stored. Accordingly, unit luminance data for 8 columns ⁇ 2 rows to be stored in the unit storage area of the MSRAM 13 and unit luminance data for 4 columns ⁇ 4 rows to be stored in the unit storage area of the SSRAM 17 are stored in the unit storage area of the LSRAM 11. It can be easily created based on the stored unit luminance data.
  • eight unit luminance data arranged in two in the column direction and four in the row direction are stored in different memory banks of the LSRAM 11. Accordingly, these eight unit luminance data can be simultaneously written into the LSRAM 11 and can be simultaneously read from the LSRAM 11.
  • eight unit luminance data arranged in the column direction and eight in the row direction are stored in different memory banks of the LSRAM 11. Accordingly, these eight unit luminance data can be simultaneously written into the LSRAM 11 and can be simultaneously read from the LSRAM 11.
  • eight unit color difference data arranged in the column direction and four in the row direction are stored in different memory banks of the LSRAM 11. Accordingly, these eight unit color difference data can be simultaneously written into the LSRAM 11 and can be simultaneously read from the LSRAM 11.
  • the motion search unit 4 according to the present embodiment, four unit luminance data arranged in the column direction and four in the row direction, and two arranged in the column direction and two in the row direction. Are stored in different memory banks of the LSRAM 11. Therefore, these four unit luminance data and two unit color difference data can be simultaneously written into the LSRAM 11 and can be simultaneously read from the LSRAM 11.
  • the motion search unit 4 according to the present embodiment, four unit luminance data arranged in the column direction and two arranged in the row direction, and two arranged in the column direction and two arranged in the row direction. Are stored in different memory banks of the LSRAM 11. Therefore, these four unit luminance data and two unit color difference data can be simultaneously written into the LSRAM 11 and can be simultaneously read from the LSRAM 11.
  • the address generation unit 23 is based on the position coordinates of the unit luminance data and the unit color difference data in the pixel space, and among the plurality of memory banks included in the LSRAM 11. A memory bank in which each unit luminance data and each unit color difference data is to be stored is set. Therefore, each unit luminance data and each unit color difference data can be stored in an appropriate memory bank.
  • the address generation unit 23 stores each unit luminance data and each unit color difference data based on the position coordinates of the unit luminance data and unit color difference data in the pixel space. Set the address in the memory bank to store. Accordingly, each unit luminance data and each unit color difference data can be stored at an appropriate address in the memory bank.
  • the motion search unit 4 According to the motion search unit 4 according to the present embodiment, reading and writing of data with respect to the LSRAM 11 are performed in a time division manner. Therefore, since the LSRAM 11 can be configured using a single port RAM, the circuit scale can be reduced.
  • one or a plurality of reference images can be stored in the LSRAM 11 by setting the size of the search window 32 in the row direction in units of a predetermined number of rows. . Therefore, not only a motion search using one reference image but also a motion search using a plurality of reference images can be performed.
  • the image creating unit 12 in the pixel space based on the four unit luminance data arranged in the column direction and two in the row direction in the LSRAM 11.
  • One unit luminance data of 8 columns ⁇ 2 rows is created. Therefore, it is possible to easily create a reduced image obtained by reducing the image stored in the LSRAM 11 to 1 ⁇ 4.
  • eight unit luminance data arranged in the column direction and four in the row direction are stored in different memory banks of the MSRAM 13. Accordingly, these eight unit luminance data can be simultaneously written into the MSRAM 13 and simultaneously read from the MSRAM 13.
  • eight unit luminance data arranged in the column direction and eight in the row direction are stored in different memory banks of the MSRAM 13. Accordingly, these eight unit luminance data can be simultaneously written into the MSRAM 13 and simultaneously read from the MSRAM 13.
  • the address generation unit 43 uses the unit luminance data of the plurality of memory banks included in the MSRAM 13 based on the position coordinates of the unit luminance data in the pixel space. Set the memory bank to store. Accordingly, each unit luminance data can be stored in an appropriate memory bank.
  • the address generation unit 43 sets an address in the memory bank that stores each unit luminance data based on the position coordinates of the unit luminance data in the pixel space. To do. Accordingly, each unit luminance data can be stored at an appropriate address in the memory bank.
  • reading and writing of data with respect to the MSRAM 13 are performed in a time division manner. Therefore, since the MSRAM 13 can be configured using a single port RAM, the circuit scale can be reduced.
  • one or a plurality of reference images can be stored in the MSRAM 13 by setting the size of the search window 32 in the row direction in units of a predetermined number of rows. . Therefore, not only a motion search using one reference image but also a motion search using a plurality of reference images can be performed.
  • an area required for processing for the next current macroblock within a period in which motion search for a current macroblock is performed. are written in the MSRAM 13. Therefore, after the motion search for a certain current macroblock is completed, the process for the next current macroblock can be started without delay.
  • the transfer processing unit 16 includes two unit luminance data for 8 columns ⁇ 2 rows arranged in the LSRAM 11 in the column direction and in the row direction. Based on the above, two unit luminance data for 4 columns ⁇ 4 rows in the pixel space are generated. Therefore, it is possible to easily convert the unit luminance data for 8 columns ⁇ 2 rows into the unit luminance data for 4 columns ⁇ 4 rows.
  • 16 unit luminance data arranged in the column direction and 4 in the row direction are stored in different memory banks of the SSRAM 17. Accordingly, these 16 unit luminance data can be simultaneously written into the SSRAM 17 and simultaneously read from the SSRAM 17.
  • the address generation unit 76 uses the unit luminance data of the plurality of memory banks included in the SSRAM 17 based on the position coordinates of the unit luminance data in the pixel space. Set the memory bank to store. Accordingly, each unit luminance data can be stored in an appropriate memory bank.
  • the address generation unit 76 sets the address in the memory bank that stores each unit luminance data based on the position coordinates of the unit luminance data in the pixel space. To do. Accordingly, each unit luminance data can be stored at an appropriate address in the memory bank.
  • reading and writing of data with respect to each of the first set 74 and the second set 75 included in the SSRAM 17 are performed in a time division manner. Therefore, since the SSRAM 17 can be configured using a single port RAM, the circuit scale can be reduced.
  • data is read from one of the first set 74 and the second set 75 in order to perform motion search for a certain current macroblock.
  • Data necessary for performing a motion search for the next current macroblock is written to the other of the first set 74 and the second set 75 within the period. Therefore, after the motion search for a certain current macroblock is completed, the process for the next current macroblock can be started without delay.
  • a predetermined number of unit luminance data is stored in the SSRAM 17 in accordance with the macroblock part mode included in the search result by the search processing unit 15. Accordingly, it is possible to appropriately perform a motion search by the search processing unit 18 according to the macroblock part mode.
  • the SSRAM 17 further stores the reference image for Skip / Direct vector and the reference image for (0, 0) vector. Therefore, it is possible to improve the accuracy of motion search by the search processing unit 18.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　簡易な構成によって動き探索を高速に行うことが可能な画像処理装置を得る。画像処理装置は、第１画像内の所定範囲の第２画像を格納する、フレームメモリ（２）よりも高速にアクセス可能なＬＳＲＡＭ（１１）と、第２画像内の所定範囲の画像をＬＳＲＡＭ（１１）から読み出し、当該画像に基づいて粗探索用の第３画像を作成する画像作成部（１２）と、画像作成部（１２）によって作成された第３画像を格納する、フレームメモリ（２）よりも高速にアクセス可能なＭＳＲＡＭ（１３）と、ＭＳＲＡＭ（１３）から第３画像を読み出し、当該第３画像に基づいて第１の動き探索を行う探索処理部（１４）と、探索処理部（１４）による探索結果に基づいて第２画像内の所定範囲の第４画像をＬＳＲＡＭ（１１）から読み出し、当該第４画像に基づいて第１の動き探索よりも詳細な第２の動き探索を行う探索処理部（１５）と、を備える。

Description

画像処理装置
　本発明は、画像処理装置に関し、特に、外部メモリに格納されている参照画像を参照して動き探索を行う画像処理装置に関する。
　例えば下記特許文献１には、背景技術に係る画像処理装置が開示されている。当該画像処理装置は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）によって構成されたフレームメモリと、フレームメモリに接続された動き探索部とを備えている。フレームメモリには、符号化対象の画像、粗探索用の参照画像、及び密探索用の参照画像が格納されている。粗探索用の参照画像は、縮小処理によって予め作成されて、フレームメモリに格納されている。動き探索部は、まず、符号化対象の画像及び粗探索用の参照画像をフレームメモリから読み出し、これらの画像を用いて動き探索を行うことにより、粗探索の結果としての動きベクトルを求める。次に、動き探索部は、密探索用の参照画像のうち、当該動きベクトルの周辺領域の参照画像をフレームメモリから読み出し、符号化対象の画像と当該参照画像とを用いて動き探索を行うことにより、密探索の結果としての動きベクトルを求める。
特開２００７－９６６９６号公報
　しかしながら、上記特許文献１に開示された画像処理装置によると、動き探索部とフレームメモリとの間で大量のデータを授受する必要がある。しかも、フレームメモリは、動作速度の遅いＳＤＲＡＭによって構成されている。従って、動き探索部がフレームメモリにアクセスする際に待ち時間が発生する可能性が高く、その結果、全体として動き探索の所要時間が長くなるという問題がある。
　本発明はかかる問題を解決するために成されたものであり、簡易な構成によって動き探索を高速に行うことが可能な画像処理装置を得ることを目的とする。
　本発明の第１の態様に係る画像処理装置は、外部メモリに格納されている第１画像を参照して動き探索を行う画像処理装置であって、前記第１画像内の所定範囲の第２画像を格納する、前記外部メモリよりも高速にアクセス可能な第１の内部メモリと、前記第２画像内の所定範囲の画像を前記第１の内部メモリから読み出し、当該画像に基づいて粗探索用の第３画像を作成する画像作成部と、前記画像作成部によって作成された前記第３画像を格納する、前記外部メモリよりも高速にアクセス可能な第２の内部メモリと、前記第２の内部メモリから前記第３画像を読み出し、当該第３画像に基づいて第１の動き探索を行う第１の探索処理部と、前記第１の探索処理部による探索結果に基づいて前記第２画像内の所定範囲の第４画像を前記第１の内部メモリから読み出し、当該第４画像に基づいて前記第１の動き探索よりも詳細な第２の動き探索を行う第２の探索処理部と、を備えることを特徴とするものである。
　第１の態様に係る画像処理装置によれば、画像作成部は、第１の内部メモリから読み出した画像に基づいて第３画像を作成する。また、第１の探索処理部は、第２の内部メモリから読み出した第３画像に基づいて第１の動き探索を行う。また、第２の探索処理部は、第１の内部メモリから読み出した第４画像に基づいて第２の動き探索を行う。ここで、第１及び第２の内部メモリはいずれも、外部メモリよりも高速にアクセス可能なメモリである。従って、画像作成部、第１の探索処理部、及び第２の探索処理部が外部メモリから画像を読み出す場合と比較すると、読み出しの所要時間が短縮されるため、全体として動き探索を高速に行うことが可能となる。
　本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記外部メモリよりも高速にアクセス可能な第３の内部メモリと、前記第２の探索処理部による探索結果に基づいて前記第２画像内の所定範囲の第５画像を前記第１の内部メモリから読み出し、当該第５画像を前記第３の内部メモリに格納する転送処理部と、前記第３の内部メモリから前記第５画像を読み出し、当該第５画像に基づいて前記第２の動き探索よりも詳細な第３の動き探索を行う第３の探索処理部と、をさらに備えることを特徴とするものである。
　第２の態様に係る画像処理装置によれば、転送処理部は、第１の内部メモリから読み出した第５画像を第２の内部メモリに格納する。また、第３の探索処理部は、第３の内部メモリから読み出した第５画像に基づいて第３の動き探索を行う。ここで、第３の内部メモリは、外部メモリよりも高速にアクセス可能なメモリである。従って、転送処理部及び第３の探索処理部が外部メモリから画像を読み出す場合と比較すると、読み出しの所要時間が短縮されるため、全体として動き探索を高速に行うことが可能となる。
　本発明の第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において特に、前記第２画像は輝度データ及び色差データを含み、前記第１の内部メモリの単位記憶領域には、画素空間における８列×２行分の輝度データに相当する単位輝度データ、又は画素空間における８列×４行分の色差データに相当する単位色差データが格納されることを特徴とするものである。
　第３の態様に係る画像処理装置によれば、第１の内部メモリの単位記憶領域には、画素空間における８列×２行分の輝度データに相当する単位輝度データ、又は画素空間における８列×４行分の色差データに相当する単位色差データが格納される。従って、第２の内部メモリの単位記憶領域に格納すべき８列×２行分の単位輝度データ、及び第３の内部メモリの単位記憶領域に格納すべき４列×４行分の単位輝度データを、第１の内部メモリの単位記憶領域に格納されている単位輝度データに基づいて容易に作成することが可能となる。
　本発明の第４の態様に係る画像処理装置は、第３の態様に係る画像処理装置において特に、前記第１の内部メモリは複数のメモリバンクを有し、列方向に２個かつ行方向に４個並ぶ８個の単位輝度データは、異なるメモリバンクに格納されることを特徴とするものである。
　第４の態様に係る画像処理装置によれば、列方向に２個かつ行方向に４個並ぶ８個の単位輝度データは、第１の内部メモリの異なるメモリバンクに格納される。従って、これら８個の単位輝度データを、第１の内部メモリに同時に書き込むことができるとともに、第１の内部メモリから同時に読み出すことができる。
　本発明の第５の態様に係る画像処理装置は、第３又は第４の態様に係る画像処理装置において特に、前記第１の内部メモリは複数のメモリバンクを有し、列方向に１個かつ行方向に８個並ぶ８個の単位輝度データは、異なるメモリバンクに格納されることを特徴とするものである。
　第５の態様に係る画像処理装置によれば、列方向に１個かつ行方向に８個並ぶ８個の単位輝度データは、第１の内部メモリの異なるメモリバンクに格納される。従って、これら８個の単位輝度データを、第１の内部メモリに同時に書き込むことができるとともに、第１の内部メモリから同時に読み出すことができる。
　本発明の第６の態様に係る画像処理装置は、第３～第５のいずれか一つの態様に係る画像処理装置において特に、前記第１の内部メモリは複数のメモリバンクを有し、列方向に２個かつ行方向に４個並ぶ８個の単位色差データは、異なるメモリバンクに格納されることを特徴とするものである。
　第６の態様に係る画像処理装置によれば、列方向に２個かつ行方向に４個並ぶ８個の単位色差データは、第１の内部メモリの異なるメモリバンクに格納される。従って、これら８個の単位色差データを、第１の内部メモリに同時に書き込むことができるとともに、第１の内部メモリから同時に読み出すことができる。
　本発明の第７の態様に係る画像処理装置は、第３～第６のいずれか一つの態様に係る画像処理装置において特に、前記第１の内部メモリは複数のメモリバンクを有し、列方向に１個かつ行方向に４個並ぶ４個の単位輝度データ、及び列方向に１個かつ行方向に２個並ぶ２個の単位色差データは、異なるメモリバンクに格納されることを特徴とするものである。
　第７の態様に係る画像処理装置によれば、列方向に１個かつ行方向に４個並ぶ４個の単位輝度データ、及び列方向に１個かつ行方向に２個並ぶ２個の単位色差データは、第１の内部メモリの異なるメモリバンクに格納される。従って、これら４個の単位輝度データ及び２個の単位色差データを、第１の内部メモリに同時に書き込むことができるとともに、第１の内部メモリから同時に読み出すことができる。
　本発明の第８の態様に係る画像処理装置は、第３～第７のいずれか一つの態様に係る画像処理装置において特に、前記第１の内部メモリは複数のメモリバンクを有し、列方向に２個かつ行方向に２個並ぶ４個の単位輝度データ、及び列方向に２個かつ行方向に１個並ぶ２個の単位色差データは、異なるメモリバンクに格納されることを特徴とするものである。
　第８の態様に係る画像処理装置によれば、列方向に２個かつ行方向に２個並ぶ４個の単位輝度データ、及び列方向に２個かつ行方向に１個並ぶ２個の単位色差データは、第１の内部メモリの異なるメモリバンクに格納される。従って、これら４個の単位輝度データ及び２個の単位色差データを、第１の内部メモリに同時に書き込むことができるとともに、第１の内部メモリから同時に読み出すことができる。
　本発明の第９の態様に係る画像処理装置は、第３～第８のいずれか一つの態様に係る画像処理装置において特に、画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、前記第１の内部メモリが有する複数のメモリバンクのうち、各単位輝度データ及び各単位色差データを格納すべきメモリバンクを設定する第１のアドレス設定部をさらに備えることを特徴とするものである。
　第９の態様に係る画像処理装置によれば、第１のアドレス設定部は、画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、第１の内部メモリが有する複数のメモリバンクのうち、各単位輝度データ及び各単位色差データを格納すべきメモリバンクを設定する。従って、各単位輝度データ及び各単位色差データを、適切なメモリバンクに格納することが可能となる。
　本発明の第１０の態様に係る画像処理装置は、第９の態様に係る画像処理装置において特に、前記第１のアドレス設定部はさらに、画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、各単位輝度データ及び各単位色差データを格納するメモリバンク内のアドレスを設定することを特徴とするものである。
　第１０の態様に係る画像処理装置によれば、第１のアドレス設定部は、画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、各単位輝度データ及び各単位色差データを格納するメモリバンク内のアドレスを設定する。従って、各単位輝度データ及び各単位色差データを、メモリバンク内の適切なアドレスに格納することが可能となる。
　本発明の第１１の態様に係る画像処理装置は、第３～第１０のいずれか一つの態様に係る画像処理装置において特に、前記第１の内部メモリに対するデータの読み出し及び書き込みは、時分割で行われることを特徴とするものである。
　第１１の態様に係る画像処理装置によれば、第１の内部メモリに対するデータの読み出し及び書き込みは、時分割で行われる。従って、シングルポートのＲＡＭを用いて第１の内部メモリを構成できるため、回路規模を削減することが可能となる。
　本発明の第１２の態様に係る画像処理装置は、第３～第１１のいずれか一つの態様に係る画像処理装置において特に、行方向に関する前記第２画像のサイズを所定の行数単位で設定することにより、前記第１の内部メモリ内に一又は複数の前記第２画像を格納可能であることを特徴とするものである。
　第１２の態様に係る画像処理装置によれば、行方向に関する前記第２画像のサイズを所定の行数単位で設定することにより、第１の内部メモリ内に一又は複数の第２画像を格納可能である。従って、一の参照画像を用いた動き探索のみならず、複数の参照画像を用いた動き探索を行うことが可能となる。
　本発明の第１３の態様に係る画像処理装置は、第３～第１２のいずれか一つの態様に係る画像処理装置において特に、あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データ及び色差データが、前記第１の内部メモリに書き込まれることを特徴とするものである。
　第１３の態様に係る画像処理装置によれば、あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データ及び色差データが、第１の内部メモリに書き込まれる。従って、あるカレントマクロブロックを対象とする動き探索が完了した後に、次のカレントマクロブロックを対象とする処理を、滞りなく開始することが可能となる。
　本発明の第１４の態様に係る画像処理装置は、第３～第１３のいずれか一つの態様に係る画像処理装置において特に、前記画像作成部は、前記第１の内部メモリ内において列方向に２個かつ行方向に２個並ぶ４個の単位輝度データに基づいて、画素空間における８列×２行分の１個の単位輝度データを作成し、当該単位輝度データを前記第２の内部メモリの単位記憶領域に格納することを特徴とするものである。
　第１４の態様に係る画像処理装置によれば、画像作成部は、第１の内部メモリ内において列方向に２個かつ行方向に２個並ぶ４個の単位輝度データに基づいて、画素空間における８列×２行分の１個の単位輝度データを作成する。従って、第１の内部メモリに格納されている画像を１／４に縮小した縮小画像を、簡易に作成することが可能となる。
　本発明の第１５の態様に係る画像処理装置は、第１４の態様に係る画像処理装置において特に、前記第２の内部メモリは複数のメモリバンクを有し、列方向に２個かつ行方向に４個並ぶ８個の単位輝度データは、異なるメモリバンクに格納されることを特徴とするものである。
　第１５の態様に係る画像処理装置によれば、列方向に２個かつ行方向に４個並ぶ８個の単位輝度データは、第２の内部メモリの異なるメモリバンクに格納される。従って、これら８個の単位輝度データを、第２の内部メモリに同時に書き込むことができるとともに、第１の内部メモリから同時に読み出すことができる。
　本発明の第１６の態様に係る画像処理装置は、第１４又は第１５の態様に係る画像処理装置において特に、前記第２の内部メモリは複数のメモリバンクを有し、列方向に１個かつ行方向に８個並ぶ８個の単位輝度データは、異なるメモリバンクに格納されることを特徴とするものである。
　第１６の態様に係る画像処理装置によれば、列方向に１個かつ行方向に８個並ぶ８個の単位輝度データは、第２の内部メモリの異なるメモリバンクに格納される。従って、これら８個の単位輝度データを、第２の内部メモリに同時に書き込むことができるとともに、第１の内部メモリから同時に読み出すことができる。
　本発明の第１７の態様に係る画像処理装置は、第１４～第１６のいずれか一つの態様に係る画像処理装置において特に、画素空間内における単位輝度データの位置座標に基づいて、前記第２の内部メモリが有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する第２のアドレス設定部をさらに備えることを特徴とするものである。
　第１７の態様に係る画像処理装置によれば、第２のアドレス設定部は、画素空間内における単位輝度データの位置座標に基づいて、第２の内部メモリが有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する。従って、各単位輝度データを、適切なメモリバンクに格納することが可能となる。
　本発明の第１８の態様に係る画像処理装置は、第１７の態様に係る画像処理装置において特に、前記第２のアドレス設定部はさらに、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定することを特徴とするものである。
　第１８の態様に係る画像処理装置によれば、第２のアドレス設定部は、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定する。従って、各単位輝度データを、メモリバンク内の適切なアドレスに格納することが可能となる。
　本発明の第１９の態様に係る画像処理装置は、第１４～第１８のいずれか一つの態様に係る画像処理装置において特に、前記第２の内部メモリに対するデータの読み出し及び書き込みは、時分割で行われることを特徴とするものである。
　第１９の態様に係る画像処理装置によれば、第２の内部メモリに対するデータの読み出し及び書き込みは、時分割で行われる。従って、シングルポートのＲＡＭを用いて第２の内部メモリを構成できるため、回路規模を削減することが可能となる。
　本発明の第２０の態様に係る画像処理装置は、第１４～第１９のいずれか一つの態様に係る画像処理装置において特に、行方向に関する前記第３画像のサイズを所定の行数単位で設定することにより、前記第２の内部メモリ内に一又は複数の前記第３画像を格納可能であることを特徴とするものである。
　第２０の態様に係る画像処理装置によれば、行方向に関する前記第３画像のサイズを所定の行数単位で設定することにより、第２の内部メモリ内に一又は複数の第３画像を格納可能である。従って、一の参照画像を用いた動き探索のみならず、複数の参照画像を用いた動き探索を行うことが可能となる。
　本発明の第２１の態様に係る画像処理装置は、第１４～第２０のいずれか一つの態様に係る画像処理装置において特に、あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データが、前記第２の内部メモリに書き込まれることを特徴とするものである。
　第２１の態様に係る画像処理装置によれば、あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データが、第２の内部メモリに書き込まれる。従って、あるカレントマクロブロックを対象とする動き探索が完了した後に、次のカレントマクロブロックを対象とする処理を、滞りなく開始することが可能となる。
　本発明の第２２の態様に係る画像処理装置は、第３～第２１のいずれか一つの態様に係る画像処理装置において特に、前記転送処理部は、前記第１の内部メモリ内において列方向に１個かつ行方向に２個並ぶ８列×２行分の２個の単位輝度データに基づいて、画素空間における４列×４行分の２個の単位輝度データを生成し、当該単位輝度データを前記第３の内部メモリの単位記憶領域に格納することを特徴とするものである。
　第２２の態様に係る画像処理装置によれば、転送処理部は、第１の内部メモリ内において列方向に１個かつ行方向に２個並ぶ２個の単位輝度データに基づいて、画素空間における４列×４行分の２個の単位輝度データを生成する。従って、８列×２行分の単位輝度データから４列×４行分の単位輝度データへの変換を簡易に行うことが可能となる。
　本発明の第２３の態様に係る画像処理装置は、第２２の態様に係る画像処理装置において特に、前記第３の内部メモリは複数のメモリバンクを有し、列方向に４個かつ行方向に４個並ぶ１６個の単位輝度データは、異なるメモリバンクに格納されることを特徴とするものである。
　第２３の態様に係る画像処理装置によれば、列方向に４個かつ行方向に４個並ぶ１６個の単位輝度データは、第３の内部メモリの異なるメモリバンクに格納される。従って、これら１６個の単位輝度データを、第３の内部メモリに同時に書き込むことができるとともに、第３の内部メモリから同時に読み出すことができる。
　本発明の第２４の態様に係る画像処理装置は、第２２又は第２３の態様に係る画像処理装置において特に、画素空間内における単位輝度データの位置座標に基づいて、前記第３の内部メモリが有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する第３のアドレス設定部をさらに備えることを特徴とするものである。
　第２４の態様に係る画像処理装置によれば、第３のアドレス設定部は、画素空間内における単位輝度データの位置座標に基づいて、第３の内部メモリが有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する。従って、各単位輝度データを、適切なメモリバンクに格納することが可能となる。
　本発明の第２５の態様に係る画像処理装置は、第２４の態様に係る画像処理装置において特に、前記第３のアドレス設定部はさらに、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定することを特徴とするものである。
　第２５の態様に係る画像処理装置によれば、第３のアドレス設定部は、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定する。従って、各単位輝度データを、メモリバンク内の適切なアドレスに格納することが可能となる。
　本発明の第２６の態様に係る画像処理装置は、第２３～第２５のいずれか一つの態様に係る画像処理装置において特に、前記第３の内部メモリが有する複数のメモリバンクには、第１セットに属する複数のメモリバンクと、第２セットに属する複数のメモリバンクとが含まれ、前記第１セット及び前記第２セットの各々に対するデータの読み出し及び書き込みは、時分割で行われることを特徴とするものである。
　第２６の態様に係る画像処理装置によれば、第３の内部メモリが有する第１セット及び第２セットの各々に対するデータの読み出し及び書き込みは、時分割で行われる。従って、シングルポートのＲＡＭを用いて第３の内部メモリを構成できるため、回路規模を削減することが可能となる。
　本発明の第２７の態様に係る画像処理装置は、第２６の態様に係る画像処理装置において特に、あるカレントマクロブロックを対象とする動き探索を行うために前記第１セット及び前記第２セットの一方からデータの読み出しが行われている期間内に、次のカレントマクロブロックを対象とする動き探索を行うために必要となるデータが、前記第１セット及び前記第２セットの他方に書き込まれることを特徴とするものである。
　第２７の態様に係る画像処理装置によれば、あるカレントマクロブロックを対象とする動き探索を行うために第１セット及び第２セットの一方からデータの読み出しが行われている期間内に、次のカレントマクロブロックを対象とする動き探索を行うために必要となるデータが、第１セット及び第２セットの他方に書き込まれる。従って、あるカレントマクロブロックを対象とする動き探索が完了した後に、次のカレントマクロブロックを対象とする処理を、滞りなく開始することが可能となる。
　本発明の第２８の態様に係る画像処理装置は、第２２～第２７のいずれか一つの態様に係る画像処理装置において特に、前記第２の探索処理部による探索結果に含まれるマクロブロックパートモードに応じて、所定数の単位輝度データが前記第３の内部メモリに格納されることを特徴とするものである。
　第２８の態様に係る画像処理装置によれば、第２の探索処理部による探索結果に含まれるマクロブロックパートモードに応じて、所定数の単位輝度データが第３の内部メモリに格納される。従って、マクロブロックパートモードに応じて、第３の探索処理部による動き探索を適切に行うことが可能となる。
　本発明の第２９の態様に係る画像処理装置は、第２２～第２８のいずれか一つの態様に係る画像処理装置において特に、前記第３の内部メモリには、画素空間内におけるカレントマクロブロックの位置に基づいて、Ｓｋｉｐ／Ｄｉｒｅｃｔベクトル用参照画像、及び（０，０）ベクトル用参照画像がさらに格納されることを特徴とするものである。
　第２９の態様に係る画像処理装置によれば、第３の内部メモリには、Ｓｋｉｐ／Ｄｉｒｅｃｔベクトル用参照画像、及び（０，０）ベクトル用参照画像がさらに格納される。従って、第３の探索処理部による動き探索の精度を向上することが可能となる。
　本発明によれば、簡易な構成によって動き探索を高速に行うことが可能な画像処理装置を得ることができる。
　この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の実施の形態に係るエンコーダの構成を示す図である。 図１に示した動き探索部の内部構成を示す図である。 ＬＳＲＡＭの構成を示す図である。 ＬＳＲＡＭに格納される画像の第１の例を示す図である。 ＬＳＲＡＭに格納される画像の第２の例を示す図である。 ＬＳＲＡＭに格納する輝度データの配置ルールを説明するための図である。 ＬＳＲＡＭに格納する色差データの配置ルールを説明するための図である。 ＬＳＲＡＭにおける輝度データのメモリバンクへの振り分けを説明するための図である。 ＬＳＲＡＭにおける色差データのメモリバンクへの振り分けを説明するための図である。 図８に示した輝度データと図９に示した色差データとを並べて示す図である。 アドレス生成部による輝度データのバンクインデックスの設定手法を説明するための図である。 アドレス生成部による色差データのバンクインデックスの設定手法を説明するための図である。 フレームメモリからＬＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 フレームメモリからＬＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 フレームメモリからＬＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 フレームメモリからＬＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 ＭＳＲＡＭの構成を示す図である。 ＭＳＲＡＭに格納される画像の第１の例を示す図である。 ＭＳＲＡＭに格納される画像の第２の例を示す図である。 画像作成部による画像のリサイズ処理を示す図である。 ＭＳＲＡＭにおける輝度データのメモリバンクへの振り分けを説明するための図である。 図２１に示した輝度データを示す図である。 ＭＳＲＡＭにおけるバンクアドレスの設定例を示す図である。 画像作成部からＭＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 画像作成部からＭＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 画像作成部からＭＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 画像作成部からＭＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 画像作成部からＭＳＲＡＭに書き込まれる画像データの更新ルールを説明するための図である。 ＳＳＲＡＭの構成を示す図である。 ＳＳＲＡＭに格納される画像の例を示す図である。 転送処理部によるパックワード変換を示す図である。 ＳＳＲＡＭにおける輝度データのメモリバンクへの振り分けを説明するための図である。 図３２に示した輝度データを示す図である。 ＳＳＲＡＭ内における参照画像の格納領域をそれぞれ示す図である。 ＳＳＲＡＭ内における参照画像の格納領域をそれぞれ示す図である。 ＳＳＲＡＭ内における参照画像の格納領域をそれぞれ示す図である。 ＳＳＲＡＭ内における参照画像の格納領域をそれぞれ示す図である。 ＳＳＲＡＭ内における参照画像の格納領域をそれぞれ示す図である。 ＳＳＲＡＭ内における参照画像の格納領域をそれぞれ示す図である。
　以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
　図１は、本発明の実施の形態に係るエンコーダ１の構成を示す図である。エンコーダ１は、Ｈ．２６４規格に準拠した画像処理装置であり、外部メモリとしてのフレームメモリ２に接続されている。フレームメモリ２は、例えばＤＲＡＭ（Dynamic Random Access Memory）によって構成されており、一又は複数の参照画像を格納可能である。図１の接続関係で示すように、エンコーダ１は、動き探索部４、動き補償部５、デブロッキングフィルタ６、処理部７、及びエントロピー符号化部８を備えて構成されている。処理部７は、直交変換、量子化、及び逆量子化等の処理を行う。
　図２は、図１に示した動き探索部４の内部構成を示す図である。図２の接続関係で示すように、動き探索部４は、内部メモリとしての３個のＳＲＡＭ（Static Random Access Memory）を備えて構成されている。本実施の形態では、区別を容易にするために、３個のＳＲＡＭをそれぞれ「ＬＳＲＡＭ１１」、「ＭＳＲＡＭ１３」、及び「ＳＳＲＡＭ１７」と称する。ＬＳＲＡＭ１１、ＭＳＲＡＭ１３、及びＳＳＲＡＭ１７は、フレームメモリ２よりも高速にアクセス可能である。また、動き探索部４は、画像作成部１２、探索処理部１４，１５，１８、及び転送処理部１６を備えて構成されている。
　ＬＳＲＡＭ１１には、ＤＭＡ（Direct Memory Access）制御によって、フレームメモリ２に格納されている参照画像（第１画像）内の所定範囲の輝度及び色差の画像（第２画像）が書き込まれる。画像作成部１２は、第２画像内の所定範囲の輝度の画像をＬＳＲＡＭ１１から読み出し、当該画像に対して１／４のリサイズ処理を行うことにより粗探索用の縮小画像（第３画像）を作成する。画像作成部１２によって作成された第３画像は、ＭＳＲＡＭ１３に格納される。探索処理部１４は、ＭＳＲＡＭ１３から第３画像を読み出し、当該第３画像に基づいて動き探索（縮小画素探索）を行う。探索処理部１４による縮小画素探索の結果は探索処理部１５に入力される。探索処理部１５は、入力された探索結果に基づいて、第２画像内の所定範囲の輝度の画像（第４画像）をＬＳＲＡＭ１１から読み出し、当該第４画像に基づいて縮小画素探索よりも詳細な動き探索（整数精度画素探索）を行う。探索処理部１５による整数精度画素探索の結果は転送処理部１６及び探索処理部１８に入力される。転送処理部１６は、入力された探索結果に基づいて、第２画像内の所定範囲の輝度の画像（第５画像）をＬＳＲＡＭ１１から読み出し、当該第５画像をＳＳＲＡＭ１７に格納する。探索処理部１８は、ＳＳＲＡＭ１７から第５画像を読み出し、当該第５画像に基づいて整数精度画素探索よりも詳細な動き探索（小数精度画素探索）を行う。また、探索処理部１８は、補完用の色差の画像をＬＳＲＡＭ１１から読み出す。なお、探索処理部１４による縮小画素探索と、探索処理部１５による整数精度画素探索と、探索処理部１８による小数精度画素探索とは、マクロブロックパイプライン処理によって実行される。
　図３は、ＬＳＲＡＭ１１の構成を示す図である。ＬＳＲＡＭ１１は、複数のメモリバンクに分割されており、この例では第０バンク２２０～第７バンク２２７の合計８個のメモリバンクによって構成されている。また、アドレス生成部２３を有する入出力インタフェース２１が、各メモリバンクに接続されている。ＬＳＲＡＭ１１は、フレームメモリ２からの画像の書き込み動作、画像作成部１２への画像の読み出し動作、探索処理部１５への画像の読み出し動作、転送処理部１６への画像の読み出し動作、及び探索処理部１８への画像の読み出し動作を、時分割で切り替えて実行する。異なるメモリバンクには同時にアクセスすることが可能であり、メモリバンクの分割数は、これらの時分割での書き込み動作及び読み出し動作を遅滞なく実行可能な数に設定される。
　図４は、ＬＳＲＡＭ１１に格納される画像の第１の例を示す図である。図中太線の格納領域３６として示すように、ＬＳＲＡＭ１１には、１９２０列×１０８０行の参照画像３０のうち、１９２０列×１６０行分の画像データ（輝度データ及び色差データ）が格納される。格納領域３６には、カレントマクロブロック３１を中心とするサーチウインドウ３２と、マクロブロックパイプライン処理の遅延分に相当するオーバーラップ領域３３と、次のマクロブロック処理時間で使用する画像のリサイズ処理に必要なアップデート領域３４とが含まれる。また、領域３５は、カレントマクロブロックの更新に備えてフレームメモリ２からＬＳＲＡＭ１１に書き込まれる画像データである。
　図５は、ＬＳＲＡＭ１１に格納される画像の第２の例を示す図である。サーチウインドウ３２の高さ（行方向のサイズ）は、最大値を１６０行として８行単位で任意に設定可能である。従って、複数の参照画像（図５の例では２個の参照画像３０１，３０２）が存在する場合には、その個数に応じてサーチウインドウ３２の高さを設定することにより、参照画像３０１内の格納領域３６１と、参照画像３０２内の格納領域３６２とをＬＳＲＡＭ１１に格納することができる。
　図６は、ＬＳＲＡＭ１１に格納する輝度データの配置ルールを説明するための図である。図６の（Ａ）は画像内の１６列×４行分の画素空間を示しており、図６の（Ｂ）はＬＳＲＡＭ１１内の４ワード分の記憶領域（つまり４個の単位記憶領域）を示している。図６に示すように、ＬＳＲＡＭ１１の単位記憶領域には、画素空間における８列×２行分の輝度データに相当する単位輝度データ（以下「８×２パックワード」と称す）が格納される。本実施の形態の例において各輝度データは８ビットであるため、８×２パックワード及びＬＳＲＡＭ１１の１ワードはいずれも１２８ビットである。
　図７は、ＬＳＲＡＭ１１に格納する色差データの配置ルールを説明するための図である。図７の（Ａ）は画像内の１６列×４行分の画素空間を示しており、図７の（Ｂ）はＬＳＲＡＭ１１内の２ワード分の記憶領域（つまり２個の単位記憶領域）を示している。図７に示すように、ＬＳＲＡＭ１１の単位記憶領域には、画素空間における８列×４行分の色差データに相当する単位色差データが格納される。本実施の形態の例ではＹＵＶ４２０フォーマットの画像データを扱うため、輝度相当で８列×４行分の画素空間の中には１６個（１２８ビット）の色差データが存在する。
　図８は、ＬＳＲＡＭ１１における輝度データのメモリバンクへの振り分けを説明するための図である。図８には、３２列×３２行分の画素空間に含まれる６４個の８×２パックワードを示している。図中の数字は、第０バンク２２０～第７バンク２２７の各メモリバンクに付されるバンクインデックスを表している。図８に示したように輝度データを各メモリバンクに振り分けることにより、列方向に１個かつ行方向に８個並ぶ任意の８個の単位輝度データは異なるメモリバンクに格納され、また、列方向に２個かつ行方向に４個並ぶ任意の８個の単位輝度データは異なるメモリバンクに格納される。
　図９は、ＬＳＲＡＭ１１における色差データのメモリバンクへの振り分けを説明するための図である。図９には、輝度相当で３２列×３２行分の画素空間に含まれる３２個の８×２パックワードを示している。図中の数字はバンクインデックスを表している。図９に示したように色差データを各メモリバンクに振り分けることにより、列方向に２個かつ行方向に４個並ぶ任意の８個の単位色差データは異なるメモリバンクに格納される。
　図１０は、図８に示した輝度データと図９に示した色差データとを並べて示す図である。領域Ｒ１に含まれる８個の単位輝度データ（列方向に１個×行方向に８個）は、ＬＳＲＡＭ１１に対して同時に読み出し又は書き込みが可能である。また、領域Ｒ２に含まれる８個の単位輝度データ（列方向に２個×行方向に４個）は、ＬＳＲＡＭ１１に対して同時に読み出し又は書き込みが可能である。また、領域Ｒ３に含まれる８個の単位色差データ（列方向に２個×行方向に４個）は、ＬＳＲＡＭ１１に対して同時に読み出し又は書き込みが可能である。また、領域Ｒ４に含まれる４個の単位輝度データ（列方向に２個×行方向に２個）と２個の単位色差データ（列方向に２個×行方向に１個）とは、ＬＳＲＡＭ１１に対して同時に読み出し又は書き込みが可能である。また、領域Ｒ５に含まれる４個の単位輝度データ（列方向に１個×行方向に４個）と２個の単位色差データ（列方向に１個×行方向に２個）とは、ＬＳＲＡＭ１１に対して同時に読み出し又は書き込みが可能である。
　図１１は、アドレス生成部２３による輝度データのバンクインデックスの設定手法を説明するための図である。アドレス生成部２３は、画素空間におけるパックワード単位での列方向の座標（ｘ座標）及び行方向の座標（ｙ座標）に基づいて、各パックワードのバンクインデックスを設定する。なお、図中の「％」は剰余を求める演算を意味している。また、除算の剰余は切り捨てる。例えば、ある輝度データのパックワードをＬＳＲＡＭ１１に書き込むにあたり、ｙ座標を「４」で除算した値をさらに「２」で除算した際の剰余が「０」で、ｙ座標を「４」で除算した際の剰余が「０」で、ｘ座標を「２」で除算した際の剰余が「０」である場合には、そのパックワードにはバンクインデックスＢＩ＝「０」が設定され、当該パックワードはＬＳＲＡＭ１１の第０バンク２２０に格納される。
　図１１に示した関係を式で表すと、
　ＢＩ＝（（ｘ％２）＾（（ｙ／４）％２））＊４＋（ｙ％４）
となる。なお、式中の「＾」は排他的論理和を求める演算を意味している。
　図１２は、アドレス生成部２３による色差データのバンクインデックスの設定手法を説明するための図である。アドレス生成部２３は、画素空間におけるパックワード単位でのｘ座標及びｙ座標に基づいて、各パックワードのバンクインデックスを設定する。例えば、ある色差データのパックワードをＬＳＲＡＭ１１に書き込むにあたり、ｙ座標を「２」で除算した値をさらに「４」で除算した際の剰余が「１」で、ｘ座標を「２」で除算した際の剰余が「０」である場合には、そのパックワードにはバンクインデックスＢＩ＝「４」が設定され、当該パックワードはＬＳＲＡＭ１１の第４バンク２２４に格納される。
　図１２に示した関係を式で表すと、
　ＢＩ＝（（（（ｙ／４）％２）＝＝（ｘ％２））＜＜２）＋（（～（（ｙ／２）％２））＜＜１）＋（（ｙ／４）％２）
となる。なお、式中の「～」はビット単位の反転を意味している。
　また、アドレス生成部２３は、画素空間におけるパックワード単位でのｘ座標及びｙ座標に基づいて、各パックワードを格納するメモリバンク内のアドレス（バンクアドレスＢＡ）を設定する。各メモリバンクにおいて、前半２／３の領域（ＢＡ＝「０」～「２５５９」には輝度データが格納され、後半１／３の領域（ＢＡ＝「２５６０」～「３８３９」）には色差データが格納される。
　輝度データのバンクアドレスを設定するための式は、
　ＢＡ＝（ｘ／２）＋（ｙ／４）＊１２８
となる。
　色差データのバンクアドレスを設定するための式は、
　ＢＡ＝（ｘ／２）＋（ｙ／８）＊１２８＋２５６０
となる。
　図１３～１６は、フレームメモリ２からＬＳＲＡＭ１１に書き込まれる画像データの更新ルールを説明するための図である。現在のカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の画像データが、フレームメモリ２からＬＳＲＡＭ１１に書き込まれる。
　図１３を参照して、処理開始時には、カレントマクロブロック３１は参照画像３０の左上隅に位置している。この場合、サーチウインドウ３２と参照画像３０との重複範囲（斜線を付した領域）の画像データが、フレームメモリ２からＬＳＲＡＭ１１に書き込まれる。
　図１４を参照して、カレントマクロブロック３１が参照画像３０の上辺に接している時には、参照画像３０内でサーチウインドウ３２の右辺に接している領域３５の画像データが、フレームメモリ２からＬＳＲＡＭ１１に書き込まれる。
　図１５を参照して、サーチウインドウ３２の右辺が参照画像３０の右辺に接している時には、サーチウインドウ３２の下辺より１マクロブロックライン下で参照画像３０の左辺に接している１マクロブロック相当の領域３５の画像データが、フレームメモリ２からＬＳＲＡＭ１１に書き込まれる。
　図１６を参照して、カレントマクロブロック３１が参照画像３０の中央部に位置している通常更新時には、サーチウインドウ３２の右下隅に接している１マクロブロック相当の領域３５の画像データが、フレームメモリ２からＬＳＲＡＭ１１に書き込まれる。
　図１７は、ＭＳＲＡＭ１３の構成を示す図である。ＭＳＲＡＭ１３は、複数のメモリバンクに分割されており、この例では第０バンク４２０～第７バンク４２７の合計８個のメモリバンクによって構成されている。また、アドレス生成部４３を有する入出力インタフェース４１が、各メモリバンクに接続されている。ＭＳＲＡＭ１３は、画像作成部１２からの画像の書き込み動作、及び探索処理部１４への画像の読み出し動作を、時分割で切り替えて実行する。異なるメモリバンクには同時にアクセスすることが可能であり、メモリバンクの分割数は、これらの時分割での書き込み動作及び読み出し動作を遅滞なく実行可能な数に設定される。
　図１８は、ＭＳＲＡＭ１３に格納される画像の第１の例を示す図である。図中太線の格納領域５１として示すように、ＭＳＲＡＭ１３には、サーチウインドウ３２及びアップデート領域３４の画像を１／４（行及び列の各方向に１／２ずつ）に縮小した輝度データが格納される。
　図１９は、ＭＳＲＡＭ１３に格納される画像の第２の例を示す図である。ＭＳＲＡＭ１３に関しては、サーチウインドウ３２の高さは、最大値を８０行として４行単位で任意に設定可能である。従って、複数の参照画像（図１９の例では２個の参照画像３０１，３０２）が存在する場合には、その個数に応じてサーチウインドウ３２の高さを設定することにより、参照画像３０１内の格納領域５１１と、参照画像３０２内の格納領域５１２とをＭＳＲＡＭ１３に格納することができる。
　図２０は、画像作成部１２による画像のリサイズ処理を示す図である。図２０に示すように、画像作成部１２は、画素空間内で列方向に２個かつ行方向に２個並ぶ４個の８×２パックワードをＬＳＲＡＭ１１から読み出し、これら４個の８×２パックワードに対してフィルタリング又は画素間引き等の処理を行うことにより、１／４に縮小された１個の８×２パックワードを作成する。そして、作成した８×２パックワードをＭＳＲＡＭ１３の単位記憶領域に格納する。
　図２１は、ＭＳＲＡＭ１３における輝度データのメモリバンクへの振り分けを説明するための図である。図２１には、３２列×３２行分の画素空間に含まれる６４個の８×２パックワードを示している。図中の数字は、第０バンク４２０～第７バンク４２７の各メモリバンクに付されるバンクインデックスを表している。アドレス生成部４３は、画素空間におけるパックワード単位でのｘ座標及びｙ座標に基づいて、各パックワードのバンクインデックスを設定する。図２１に示したように輝度データを各メモリバンクに振り分けることにより、列方向に１個かつ行方向に８個並ぶ任意の８個の単位輝度データは異なるメモリバンクに格納され、また、列方向に２個かつ行方向に４個並ぶ任意の８個の単位輝度データは異なるメモリバンクに格納される。
　図２２は、図２１に示した輝度データを示す図である。領域Ｒ１１に含まれる８個の単位輝度データ（列方向に１個×行方向に８個）は、ＭＳＲＡＭ１３に対して同時に読み出し又は書き込みが可能である。また、領域Ｒ１２に含まれる８個の単位輝度データ（列方向に２個×行方向に４個）は、ＭＳＲＡＭ１３に対して同時に読み出し又は書き込みが可能である。
　また、アドレス生成部４３は、画素空間におけるパックワード単位でのｘ座標及びｙ座標に基づいて、各パックワードを格納するメモリバンク内のバンクアドレスＢＡを設定する。
　図２３は、ＭＳＲＡＭ１３におけるバンクアドレスＢＡの設定例を示す図である。図２３には、図２１と同様の６４個の８×２パックワードを示している。図中の数字はバンクアドレスＢＡを表している。この例では、列方向に１個かつ行方向に８個並ぶ８個のパックワードに対して、共通のバンクアドレスＢＡが設定されている。例えば、左上の８個のパックワードに対してＢＡ＝０が設定され、その右隣の８個のパックワードに対してＢＡ＝１が設定されている。
　図２４～２８は、画像作成部１２からＭＳＲＡＭ１３に書き込まれる画像データの更新ルールを説明するための図である。現在のカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の画像データが、画像作成部１２からＭＳＲＡＭ１３に書き込まれる。
　図２４を参照して、処理開始時には、カレントマクロブロック３１は参照画像３０の左上隅に位置している。この場合、サーチウインドウ３２と参照画像３０との重複範囲（斜線を付した領域）の画像データが、画像作成部１２からＭＳＲＡＭ１３に書き込まれる。
　図２５を参照して、カレントマクロブロック３１が参照画像３０の上辺に接している時には、参照画像３０内でサーチウインドウ３２の右辺に接している領域３４の画像データが、画像作成部１２からＭＳＲＡＭ１３に書き込まれる。
　図２６を参照して、サーチウインドウ３２の右辺が参照画像３０の右辺に接している時には、サーチウインドウ３２及びその下辺より１マクロブロックライン下で参照画像３０の左辺に接している領域３４の画像データが、画像作成部１２からＭＳＲＡＭ１３に書き込まれる。
　図２７を参照して、カレントマクロブロック３１が参照画像３０の中央部に位置している通常更新時には、サーチウインドウ３２の右辺に接している領域３４の画像データが、画像作成部１２からＭＳＲＡＭ１３に書き込まれる。
　図２８を参照して、カレントマクロブロック３１が参照画像３０の下辺に接している時には、参照画像３０内でサーチウインドウ３２の右辺に接している領域３４の画像データが、画像作成部１２からＭＳＲＡＭ１３に書き込まれる。
　図２９は、ＳＳＲＡＭ１７の構成を示す図である。ＳＳＲＡＭ１７は、複数のメモリバンクに分割されており、この例では第１セット７４に属する第０バンク７２０～第１５バンク７２ｆと第２セット７５に属する第０バンク７３０～第１５バンク７３ｆとの合計３２個のメモリバンクによって構成されている。第１セット７４及び第２セット７５の各々は、転送処理部１６からの画像の書き込み動作、及び探索処理部１８への画像の読み出し動作を、時分割で切り替えて実行する。異なるメモリバンクには同時にアクセスすることが可能であり、メモリバンクの分割数は、これらの時分割での書き込み動作及び読み出し動作を遅滞なく実行可能な数に設定される。
　第１セット７４に属する第０バンク７２０～第１５バンク７２ｆへの画像データの書き込みと、第２セット７５に属する第０バンク７３０～第１５バンク７３ｆからの画像データの読み出しとを、同時に行うことが可能である。同様に、第１セット７４に属する第０バンク７２０～第１５バンク７２ｆからの画像データの読み出しと、第２セット７５に属する第０バンク７３０～第１５バンク７３ｆへの画像データの書き込みとを、同時に行うことが可能である。第１のカレントマクロブロックを対象とする動き探索を行うために探索処理部１８が第１セット７４のメモリバンクから参照画像を読み出している期間内に、続く第２のカレントマクロブロックを対象とする動き探索で使用する参照画像が転送処理部１６から第２セット７５のメモリバンクに書き込まれる。次に、第２のカレントマクロブロックを対象とする動き探索を行うために探索処理部１８が第２セット７５のメモリバンクから参照画像を読み出している期間内に、続く第３のカレントマクロブロックを対象とする動き探索で使用する参照画像が転送処理部１６から第１セット７４のメモリバンクに書き込まれる。
　各メモリバンクは３２ワード分の記憶領域を有しており、前半の１６ワードは前方予測用の画像データの格納に使用され、後半の１６ワードは後方予測用の画像データの格納に使用される。また、アドレス生成部７６を有する入出力インタフェース７１が、各メモリバンクに接続されている。
　図３０は、ＳＳＲＡＭ１７に格納される画像の例を示す図である。ＳＳＲＡＭ１７には、参照マクロブロック８１及びその周辺の格納領域８２の輝度データが格納される。参照マクロブロック８１は、探索処理部１５による整数精度画素探索の結果として得られた動きベクトルＭＶで示されるマクロブロックである。
　探索処理部１５は、１６列×１６行のブロックを１個用いたマクロブロックパートモード１、１６列×８行のブロックを２個用いたマクロブロックパートモード２、８列×１６行のブロックを２個用いたマクロブロックパートモード３、及び４列×４行のブロックを４個用いたマクロブロックパートモード４のそれぞれについて動き探索を行い、その中で類似度の最も高い一つのモードの動きベクトルを探索結果として出力する。従って、探索処理部１５による探索結果にマクロブロックパートモード１の動きベクトルが含まれる場合には格納領域８２は１個となり、マクロブロックパートモード２又はマクロブロックパートモード３の動きベクトルが含まれる場合には格納領域８２は２個となり、マクロブロックパートモード４の動きベクトルが含まれる場合には格納領域８２は４個となる。
　また、図３０には示さないが、ＳＳＲＡＭ１７には、Ｓｋｉｐ／Ｄｉｒｅｃｔベクトル用参照画像、及び（０，０）ベクトル用参照画像が格納される。Ｓｋｉｐ／Ｄｉｒｅｃｔベクトルは、Ｈ．２６４規格で定義されているＳｋｉｐ／Ｄｉｒｅｃｔマクロブロックモードの動きベクトルの総称であり、カレントマクロブロックに隣接する複数のブロックに関する情報に基づいて生成される。また、（０，０）ベクトルは、参照画像内でカレントマクロブロックと同じ位置のマクロブロックの動きベクトルである。
　図３１は、転送処理部１６によるパックワード変換を示す図である。図３１に示すように、転送処理部１６は、ＬＳＲＡＭ１１からＳＳＲＡＭ１７に画素データを転送する際に、画素空間における８列×２行分の輝度データに相当する８×２パックワードを、画素空間における４列×４行分の輝度データに相当する単位輝度データ（以下「４×４パックワード」と称す）に変換する。具体的には、画素空間内で列方向に１個かつ行方向に２個並ぶ２個の８×２パックワードをＬＳＲＡＭ１１から読み出し、２個のパックワードの境界を変更することにより、画素空間内で列方向に２個かつ行方向に１個並ぶ２個の４×４パックワードに変換する。そして、作成した各４×４パックワードをＳＳＲＡＭ１７の単位記憶領域に格納する。
　図３２は、ＳＳＲＡＭ１７における輝度データのメモリバンクへの振り分けを説明するための図である。図３２には、６４列×６４行分に相当する画素空間に含まれる２５６個の４×４パックワードを示している。枠内の左側の数字はバンクインデックスＢＩを表しており、右側の数字はバンクアドレスＢＡを表している。
　１６個のメモリバンクの１６ワード分の記憶領域の集合は、バンクアドレスＢＡが「０」「１」「２」「４」「５」「６」「８」「９」「ａ」であるグループＧ１と、バンクアドレスＢＡが「３」「７」「ｂ」「ｃ」であるグループＧ２と、バンクアドレスＢＡが「ｄ」であるグループＧ３と、バンクアドレスＢＡが「ｅ」「ｆ」であるグループＧ４とに分類される。グループＧ１には、探索処理部１５による整数精度画素探索の結果に基づく小数精度画素探索用の参照画像が格納される。グループＧ２には、Ｓｋｉｐ／Ｄｉｒｅｃｔベクトル用参照画像が格納される。グループＧ３には、（０，０）ベクトル用参照画像が格納される。グループＧ４は使用されていない予備の領域である。アドレス生成部７６は、画素空間におけるパックワード単位でのｘ座標及びｙ座標に基づいて、各パックワードを格納すべきバンクインデックスＢＩ及びバンクアドレスＢＡを設定する。図３２に示したように輝度データを各メモリバンクに振り分けることにより、列方向に４個かつ行方向に４個並ぶ任意の１６個の単位輝度データは異なるメモリバンクに格納される。
　図３３は、図３２に示した輝度データを示す図である。グループＧ１内の領域Ｒ２１に含まれる任意の１６個の単位輝度データ（列方向に４個×行方向に４個）は、ＳＳＲＡＭ１７に対して同時に読み出し又は書き込みが可能である。同様に、グループＧ２内の領域Ｒ２２に含まれる任意の１６個の単位輝度データ、及びグループＧ３内の領域Ｒ２３に含まれる１６個の単位輝度データは、ＳＳＲＡＭ１７に対して同時に読み出し又は書き込みが可能である。
　図３４～３９は、ＳＳＲＡＭ１７内における参照画像の格納領域をそれぞれ示す図である。
　図３４には、探索処理部１５による探索結果にマクロブロックパートモード１の動きベクトルが含まれる場合の例を示している。この場合、１６列×１６行のサイズの画像に対する１／４画素精度の画像を６タップフィルタによって作成するためには、２１列×２１行のサイズの整数精度画像が必要となる。１ワードに４列×４行分の画素データが格納されているため、列方向に６個×行方向に６個の格納領域があれば、任意の座標位置から２１列×２１行のサイズの整数精度画像を得ることができる。また、±１．０の範囲での探索を考慮して、図中太線で示す列方向に７個×行方向に７個分の格納領域に参照画像を格納する。この場合、探索処理部１８は、参照画像の格納領域に対して１３列×１３行単位での画素データの読み出しを４回行うことにより、ＳＳＲＡＭ１７から参照画像を読み出す。そして、１６列×１６行のブロックに対する動き探索を行う際に、その１６列×１６行のブロックに内在する１６列×８行、８列×１６行、及び８列×８行の各ブロックに対しても評価を行うことにより、マクロブロックパートモード１、マクロブロックパートモード２、マクロブロックパートモード３、及びマクロブロックパートモード４の各モードでの動き探索を併せて行う。
　図３５には、探索処理部１５による探索結果にマクロブロックパートモード２の動きベクトルが含まれる場合の例を示している。この場合、１６列×８行のサイズの画像に対する１／４画素精度の画像を６タップフィルタによって作成するためには、２１列×１３行のサイズの整数精度画像が必要となる。１ワードに４列×４行分の画素データが格納されているため、列方向に６個×行方向に４個の格納領域があれば、任意の座標位置から１６列×８行のサイズの整数精度画像を得ることができる。また、±１．０の範囲での探索を考慮して、図中太線で示す列方向に７個×行方向に５個分の２個の格納領域に参照画像をそれぞれ格納する。この場合、探索処理部１８は、参照画像の２個の格納領域の各々に対して１３列×１３行単位での画素データの読み出しを２回行うことにより、ＳＳＲＡＭ１７から参照画像を読み出す。そして、１６列×８行のブロックに対する動き探索を行う際に、その１６列×８行のブロックに内在する８列×８行の各ブロックに対しても評価を行うことにより、マクロブロックパートモード２及びマクロブロックパートモード４の各モードでの動き探索を併せて行う。
　図３６には、探索処理部１５による探索結果にマクロブロックパートモード３の動きベクトルが含まれる場合の例を示している。この場合、８列×１６行のサイズの画像に対する１／４画素精度の画像を６タップフィルタによって作成するためには、１３列×２１行のサイズの整数精度画像が必要となる。１ワードに４列×４行分の画素データが格納されているため、列方向に４個×行方向に６個の格納領域があれば、任意の座標位置から８列×１６行のサイズの整数精度画像を得ることができる。また、±１．０の範囲での探索を考慮して、図中太線で示す列方向に５個×行方向に７個分の２個の格納領域に参照画像をそれぞれ格納する。この場合、探索処理部１８は、参照画像の２個の格納領域の各々に対して１３列×１３行単位での画素データの読み出しを２回行うことにより、ＳＳＲＡＭ１７から参照画像を読み出す。そして、８列×１６行のブロックに対する動き探索を行う際に、その８列×１６行のブロックに内在する８列×８行の各ブロックに対しても評価を行うことにより、マクロブロックパートモード３及びマクロブロックパートモード４の各モードでの動き探索を併せて行う。
　図３７には、探索処理部１５による探索結果にマクロブロックパートモード４の動きベクトルが含まれる場合の例を示している。この場合、８列×８行のサイズの画像に対する１／４画素精度の画像を６タップフィルタによって作成するためには、１３列×１３行のサイズの整数精度画像が必要となる。１ワードに４列×４行分の画素データが格納されているため、列方向に４個×行方向に４個の格納領域があれば、任意の座標位置から８列×８行のサイズの整数精度画像を得ることができる。また、±１．０の範囲での探索を考慮して、図中太線で示す列方向に５個×行方向に５個分の４個の格納領域に参照画像をそれぞれ格納する。この場合、探索処理部１８は、参照画像の４個の格納領域の各々に対して１３列×１３行単位での画素データの読み出しを１回行うことにより、ＳＳＲＡＭ１７から参照画像を読み出す。そして、その８列×８行の各ブロックに対してマクロブロックパートモード４での動き探索を行う。
　図３８には、Ｓｋｉｐ／Ｄｉｒｅｃｔベクトル用参照画像の格納領域を示している。この場合、１６列×１６行のサイズの画像に対する１／４画素精度の画像を６タップフィルタによって作成するためには、２１列×２１行のサイズの整数精度画像が必要となる。１ワードに４列×４行分の画素データが格納されているため、列方向に６個×行方向に６個の格納領域があれば、任意の座標位置から２１列×２１行のサイズの整数精度画像を得ることができる。従って、図中太線で示す列方向に６個×行方向に６個分の格納領域に参照画像を格納する。
　図３９には、（０，０）ベクトル用参照画像の格納領域を示している。この場合は１／４画素精度の画像の生成は不要であるため、１６列×１６行のサイズの画像を得るためには、１６列×１６行のサイズの整数精度画像があればよい。また、任意の座標位置からの画素選択も不要であるため、図中太線で示す列方向に４個×行方向に４個分の格納領域に参照画像を格納する。
　このように本実施の形態に係る動き探索部４によれば、画像作成部１２は、ＬＳＲＡＭ１１から読み出した画像に基づいて粗探索用の縮小画像を作成する。また、探索処理部１４は、ＭＳＲＡＭ１３から読み出した縮小画像に基づいて縮小画素探索を行う。また、探索処理部１５は、ＬＳＲＡＭ１１から読み出した画像に基づいて整数精度画素探索を行う。ここで、ＬＳＲＡＭ１１及びＭＳＲＡＭ１３はいずれも、フレームメモリ２よりも高速にアクセス可能なメモリである。従って、画像作成部１２、探索処理部１４、及び探索処理部１５がフレームメモリ２から画像を読み出す場合と比較すると、読み出しの所要時間が短縮されるため、全体として動き探索を高速に行うことが可能となる。
　また、本実施の形態に係る動き探索部４によれば、転送処理部１６は、ＬＳＲＡＭ１１から読み出した画像をＳＳＲＡＭ１７に格納する。また、探索処理部１８は、ＳＳＲＡＭ１７から読み出した画像に基づいて小数精度画素探索を行う。ここで、ＳＳＲＡＭ１７は、フレームメモリ２よりも高速にアクセス可能なメモリである。従って、転送処理部１６及び探索処理部１８がフレームメモリ２から画像を読み出す場合と比較すると、読み出しの所要時間が短縮されるため、全体として動き探索を高速に行うことが可能となる。
　また、本実施の形態に係る動き探索部４によれば、ＬＳＲＡＭ１１の単位記憶領域には、画素空間における８列×２行分の輝度データに相当する単位輝度データ、又は画素空間における８列×４行分の色差データに相当する単位色差データが格納される。従って、ＭＳＲＡＭ１３の単位記憶領域に格納すべき８列×２行分の単位輝度データ、及びＳＳＲＡＭ１７の単位記憶領域に格納すべき４列×４行分の単位輝度データを、ＬＳＲＡＭ１１の単位記憶領域に格納されている単位輝度データに基づいて容易に作成することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、列方向に２個かつ行方向に４個並ぶ８個の単位輝度データは、ＬＳＲＡＭ１１の異なるメモリバンクに格納される。従って、これら８個の単位輝度データを、ＬＳＲＡＭ１１に同時に書き込むことができるとともに、ＬＳＲＡＭ１１から同時に読み出すことができる。
　また、本実施の形態に係る動き探索部４によれば、列方向に１個かつ行方向に８個並ぶ８個の単位輝度データは、ＬＳＲＡＭ１１の異なるメモリバンクに格納される。従って、これら８個の単位輝度データを、ＬＳＲＡＭ１１に同時に書き込むことができるとともに、ＬＳＲＡＭ１１から同時に読み出すことができる。
　また、本実施の形態に係る動き探索部４によれば、列方向に２個かつ行方向に４個並ぶ８個の単位色差データは、ＬＳＲＡＭ１１の異なるメモリバンクに格納される。従って、これら８個の単位色差データを、ＬＳＲＡＭ１１に同時に書き込むことができるとともに、ＬＳＲＡＭ１１から同時に読み出すことができる。
　また、本実施の形態に係る動き探索部４によれば、列方向に１個かつ行方向に４個並ぶ４個の単位輝度データ、及び列方向に１個かつ行方向に２個並ぶ２個の単位色差データは、ＬＳＲＡＭ１１の異なるメモリバンクに格納される。従って、これら４個の単位輝度データ及び２個の単位色差データを、ＬＳＲＡＭ１１に同時に書き込むことができるとともに、ＬＳＲＡＭ１１から同時に読み出すことができる。
　また、本実施の形態に係る動き探索部４によれば、列方向に２個かつ行方向に２個並ぶ４個の単位輝度データ、及び列方向に２個かつ行方向に１個並ぶ２個の単位色差データは、ＬＳＲＡＭ１１の異なるメモリバンクに格納される。従って、これら４個の単位輝度データ及び２個の単位色差データを、ＬＳＲＡＭ１１に同時に書き込むことができるとともに、ＬＳＲＡＭ１１から同時に読み出すことができる。
　また、本実施の形態に係る動き探索部４によれば、アドレス生成部２３は、画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、ＬＳＲＡＭ１１が有する複数のメモリバンクのうち、各単位輝度データ及び各単位色差データを格納すべきメモリバンクを設定する。従って、各単位輝度データ及び各単位色差データを、適切なメモリバンクに格納することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、アドレス生成部２３は、画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、各単位輝度データ及び各単位色差データを格納するメモリバンク内のアドレスを設定する。従って、各単位輝度データ及び各単位色差データを、メモリバンク内の適切なアドレスに格納することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、ＬＳＲＡＭ１１に対するデータの読み出し及び書き込みは、時分割で行われる。従って、シングルポートのＲＡＭを用いてＬＳＲＡＭ１１を構成できるため、回路規模を削減することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、行方向に関するサーチウインドウ３２のサイズを所定の行数単位で設定することにより、ＬＳＲＡＭ１１内に一又は複数の参照画像を格納可能である。従って、一の参照画像を用いた動き探索のみならず、複数の参照画像を用いた動き探索を行うことが可能となる。
　また、本実施の形態に係る動き探索部４によれば、あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データ及び色差データが、ＬＳＲＡＭ１１に書き込まれる。従って、あるカレントマクロブロックを対象とする動き探索が完了した後に、次のカレントマクロブロックを対象とする処理を、滞りなく開始することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、画像作成部１２は、ＬＳＲＡＭ１１内において列方向に２個かつ行方向に２個並ぶ４個の単位輝度データに基づいて、画素空間における８列×２行分の１個の単位輝度データを作成する。従って、ＬＳＲＡＭ１１に格納されている画像を１／４に縮小した縮小画像を、簡易に作成することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、列方向に２個かつ行方向に４個並ぶ８個の単位輝度データは、ＭＳＲＡＭ１３の異なるメモリバンクに格納される。従って、これら８個の単位輝度データを、ＭＳＲＡＭ１３に同時に書き込むことができるとともに、ＭＳＲＡＭ１３から同時に読み出すことができる。
　また、本実施の形態様に係る動き探索部４によれば、列方向に１個かつ行方向に８個並ぶ８個の単位輝度データは、ＭＳＲＡＭ１３の異なるメモリバンクに格納される。従って、これら８個の単位輝度データを、ＭＳＲＡＭ１３に同時に書き込むことができるとともに、ＭＳＲＡＭ１３から同時に読み出すことができる。
　また、本実施の形態に係る動き探索部４によれば、アドレス生成部４３は、画素空間内における単位輝度データの位置座標に基づいて、ＭＳＲＡＭ１３が有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する。従って、各単位輝度データを、適切なメモリバンクに格納することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、アドレス生成部４３は、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定する。従って、各単位輝度データを、メモリバンク内の適切なアドレスに格納することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、ＭＳＲＡＭ１３に対するデータの読み出し及び書き込みは、時分割で行われる。従って、シングルポートのＲＡＭを用いてＭＳＲＡＭ１３を構成できるため、回路規模を削減することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、行方向に関するサーチウインドウ３２のサイズを所定の行数単位で設定することにより、ＭＳＲＡＭ１３内に一又は複数の参照画像を格納可能である。従って、一の参照画像を用いた動き探索のみならず、複数の参照画像を用いた動き探索を行うことが可能となる。
　また、本実施の形態に係る動き探索部４によれば、あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データが、ＭＳＲＡＭ１３に書き込まれる。従って、あるカレントマクロブロックを対象とする動き探索が完了した後に、次のカレントマクロブロックを対象とする処理を、滞りなく開始することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、転送処理部１６は、ＬＳＲＡＭ１１内において列方向に１個かつ行方向に２個並ぶ８列×２行分の２個の単位輝度データに基づいて、画素空間における４列×４行分の２個の単位輝度データを生成する。従って、８列×２行分の単位輝度データから４列×４行分の単位輝度データへの変換を簡易に行うことが可能となる。
　また、本実施の形態に係る動き探索部４によれば、列方向に４個かつ行方向に４個並ぶ１６個の単位輝度データは、ＳＳＲＡＭ１７の異なるメモリバンクに格納される。従って、これら１６個の単位輝度データを、ＳＳＲＡＭ１７に同時に書き込むことができるとともに、ＳＳＲＡＭ１７から同時に読み出すことができる。
　また、本実施の形態に係る動き探索部４によれば、アドレス生成部７６は、画素空間内における単位輝度データの位置座標に基づいて、ＳＳＲＡＭ１７が有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する。従って、各単位輝度データを、適切なメモリバンクに格納することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、アドレス生成部７６は、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定する。従って、各単位輝度データを、メモリバンク内の適切なアドレスに格納することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、ＳＳＲＡＭ１７が有する第１セット７４及び第２セット７５の各々に対するデータの読み出し及び書き込みは、時分割で行われる。従って、シングルポートのＲＡＭを用いてＳＳＲＡＭ１７を構成できるため、回路規模を削減することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、あるカレントマクロブロックを対象とする動き探索を行うために第１セット７４及び第２セット７５の一方からデータの読み出しが行われている期間内に、次のカレントマクロブロックを対象とする動き探索を行うために必要となるデータが、第１セット７４及び第２セット７５の他方に書き込まれる。従って、あるカレントマクロブロックを対象とする動き探索が完了した後に、次のカレントマクロブロックを対象とする処理を、滞りなく開始することが可能となる。
　また、本実施の形態に係る動き探索部４によれば、探索処理部１５による探索結果に含まれるマクロブロックパートモードに応じて、所定数の単位輝度データがＳＳＲＡＭ１７に格納される。従って、マクロブロックパートモードに応じて、探索処理部１８による動き探索を適切に行うことが可能となる。
　また、本実施の形態に係る動き探索部４によれば、ＳＳＲＡＭ１７には、Ｓｋｉｐ／Ｄｉｒｅｃｔベクトル用参照画像、及び（０，０）ベクトル用参照画像がさらに格納される。従って、探索処理部１８による動き探索の精度を向上することが可能となる。
　この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示的であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
　１　エンコーダ
　２　フレームメモリ
　４　動き探索部
　１１　ＬＳＲＡＭ
　１２　画像作成部
　１３　ＭＳＲＡＭ
　１４，１５，１８　探索処理部
　１６　転送処理部
　１７　ＳＳＲＡＭ
　２３，４３，７６　アドレス生成部
　７４　第１セット
　７５　第２セット

Claims (29)

  1. 　外部メモリに格納されている第１画像を参照して動き探索を行う画像処理装置であって、
    　前記第１画像内の所定範囲の第２画像を格納する、前記外部メモリよりも高速にアクセス可能な第１の内部メモリと、
    　前記第２画像内の所定範囲の画像を前記第１の内部メモリから読み出し、当該画像に基づいて粗探索用の第３画像を作成する画像作成部と、
    　前記画像作成部によって作成された前記第３画像を格納する、前記外部メモリよりも高速にアクセス可能な第２の内部メモリと、
    　前記第２の内部メモリから前記第３画像を読み出し、当該第３画像に基づいて第１の動き探索を行う第１の探索処理部と、
    　前記第１の探索処理部による探索結果に基づいて前記第２画像内の所定範囲の第４画像を前記第１の内部メモリから読み出し、当該第４画像に基づいて前記第１の動き探索よりも詳細な第２の動き探索を行う第２の探索処理部と、
    を備える、画像処理装置。
  2. 　前記外部メモリよりも高速にアクセス可能な第３の内部メモリと、
    　前記第２の探索処理部による探索結果に基づいて前記第２画像内の所定範囲の第５画像を前記第１の内部メモリから読み出し、当該第５画像を前記第３の内部メモリに格納する転送処理部と、
    　前記第３の内部メモリから前記第５画像を読み出し、当該第５画像に基づいて前記第２の動き探索よりも詳細な第３の動き探索を行う第３の探索処理部と、
    をさらに備える、請求項１に記載の画像処理装置。
  3. 　前記第２画像は輝度データ及び色差データを含み、
    　前記第１の内部メモリの単位記憶領域には、画素空間における８列×２行分の輝度データに相当する単位輝度データ、又は画素空間における８列×４行分の色差データに相当する単位色差データが格納される、請求項１又は２に記載の画像処理装置。
  4. 　前記第１の内部メモリは複数のメモリバンクを有し、
    　列方向に２個かつ行方向に４個並ぶ８個の単位輝度データは、異なるメモリバンクに格納される、請求項３に記載の画像処理装置。
  5. 　前記第１の内部メモリは複数のメモリバンクを有し、
    　列方向に１個かつ行方向に８個並ぶ８個の単位輝度データは、異なるメモリバンクに格納される、請求項３又は４に記載の画像処理装置。
  6. 　前記第１の内部メモリは複数のメモリバンクを有し、
    　列方向に２個かつ行方向に４個並ぶ８個の単位色差データは、異なるメモリバンクに格納される、請求項３～５のいずれか一つに記載の画像処理装置。
  7. 　前記第１の内部メモリは複数のメモリバンクを有し、
    　列方向に１個かつ行方向に４個並ぶ４個の単位輝度データ、及び列方向に１個かつ行方向に２個並ぶ２個の単位色差データは、異なるメモリバンクに格納される、請求項３～６のいずれか一つに記載の画像処理装置。
  8. 　前記第１の内部メモリは複数のメモリバンクを有し、
    　列方向に２個かつ行方向に２個並ぶ４個の単位輝度データ、及び列方向に２個かつ行方向に１個並ぶ２個の単位色差データは、異なるメモリバンクに格納される、請求項３～７のいずれか一つに記載の画像処理装置。
  9. 　画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、前記第１の内部メモリが有する複数のメモリバンクのうち、各単位輝度データ及び各単位色差データを格納すべきメモリバンクを設定する第１のアドレス設定部をさらに備える、請求項３～８のいずれか一つに記載の画像処理装置。
  10. 　前記第１のアドレス設定部はさらに、画素空間内における単位輝度データ及び単位色差データの位置座標に基づいて、各単位輝度データ及び各単位色差データを格納するメモリバンク内のアドレスを設定する、請求項９に記載の画像処理装置。
  11. 　前記第１の内部メモリに対するデータの読み出し及び書き込みは、時分割で行われる、請求項３～１０のいずれか一つに記載の画像処理装置。
  12. 　行方向に関する前記第２画像のサイズを所定の行数単位で設定することにより、前記第１の内部メモリ内に一又は複数の前記第２画像を格納可能である、請求項３～１１のいずれか一つに記載の画像処理装置。
  13. 　あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データ及び色差データが、前記第１の内部メモリに書き込まれる、請求項３～１２のいずれか一つに記載の画像処理装置。
  14. 　前記画像作成部は、前記第１の内部メモリ内において列方向に２個かつ行方向に２個並ぶ４個の単位輝度データに基づいて、画素空間における８列×２行分の１個の単位輝度データを作成し、当該単位輝度データを前記第２の内部メモリの単位記憶領域に格納する、請求項３～１３のいずれか一つに記載の画像処理装置。
  15. 　前記第２の内部メモリは複数のメモリバンクを有し、
    　列方向に２個かつ行方向に４個並ぶ８個の単位輝度データは、異なるメモリバンクに格納される、請求項１４に記載の画像処理装置。
  16. 　前記第２の内部メモリは複数のメモリバンクを有し、
    　列方向に１個かつ行方向に８個並ぶ８個の単位輝度データは、異なるメモリバンクに格納される、請求項１４又は１５に記載の画像処理装置。
  17. 　画素空間内における単位輝度データの位置座標に基づいて、前記第２の内部メモリが有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する第２のアドレス設定部をさらに備える、請求項１４～１６のいずれか一つに記載の画像処理装置。
  18. 　前記第２のアドレス設定部はさらに、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定する、請求項１７に記載の画像処理装置。
  19. 　前記第２の内部メモリに対するデータの読み出し及び書き込みは、時分割で行われる、請求項１４～１８のいずれか一つに記載の画像処理装置。
  20. 　行方向に関する前記第３画像のサイズを所定の行数単位で設定することにより、前記第２の内部メモリ内に一又は複数の前記第３画像を格納可能である、請求項１４～１９のいずれか一つに記載の画像処理装置。
  21. 　あるカレントマクロブロックを対象とする動き探索が行われている期間内に、次のカレントマクロブロックを対象とする処理において必要となる領域の輝度データが、前記第２の内部メモリに書き込まれる、請求項１４～２０のいずれか一つに記載の画像処理装置。
  22. 　前記転送処理部は、前記第１の内部メモリ内において列方向に１個かつ行方向に２個並ぶ２個の単位輝度データに基づいて、画素空間における４列×４行分の２個の単位輝度データを生成し、当該単位輝度データを前記第３の内部メモリの単位記憶領域に格納する、請求項３～２１のいずれか一つに記載の画像処理装置。
  23. 　前記第３の内部メモリは複数のメモリバンクを有し、
    　列方向に４個かつ行方向に４個並ぶ１６個の単位輝度データは、異なるメモリバンクに格納される、請求項２２に記載の画像処理装置。
  24. 　画素空間内における単位輝度データの位置座標に基づいて、前記第３の内部メモリが有する複数のメモリバンクのうち、各単位輝度データを格納すべきメモリバンクを設定する第３のアドレス設定部をさらに備える、請求項２２又は２３に記載の画像処理装置。
  25. 　前記第３のアドレス設定部はさらに、画素空間内における単位輝度データの位置座標に基づいて、各単位輝度データを格納するメモリバンク内のアドレスを設定する、請求項２４に記載の画像処理装置。
  26. 　前記第３の内部メモリが有する複数のメモリバンクには、第１セットに属する複数のメモリバンクと、第２セットに属する複数のメモリバンクとが含まれ、
    　前記第１セット及び前記第２セットの各々に対するデータの読み出し及び書き込みは、時分割で行われる、請求項２３～２５のいずれか一つに記載の画像処理装置。
  27. 　あるカレントマクロブロックを対象とする動き探索を行うために前記第１セット及び前記第２セットの一方からデータの読み出しが行われている期間内に、次のカレントマクロブロックを対象とする動き探索を行うために必要となるデータが、前記第１セット及び前記第２セットの他方に書き込まれる、請求項２６に記載の画像処理装置。
  28. 　前記第２の探索処理部による探索結果に含まれるマクロブロックパートモードに応じて、所定数の単位輝度データが前記第３の内部メモリに格納される、請求項２２～２７のいずれか一つに記載の画像処理装置。
  29. 　前記第３の内部メモリには、画素空間内におけるカレントマクロブロックの位置に基づいて、Ｓｋｉｐ／Ｄｉｒｅｃｔベクトル用参照画像、及び（０，０）ベクトル用参照画像がさらに格納される、請求項２２～２８のいずれか一つに記載の画像処理装置。
PCT/JP2012/081111 2011-12-22 2012-11-30 画像処理装置 WO2013094388A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/367,632 US9443319B2 (en) 2011-12-22 2012-11-30 Image processor for motion searches

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-281870 2011-12-22
JP2011281870A JP5917907B2 (ja) 2011-12-22 2011-12-22 画像処理装置

Publications (1)

Publication Number Publication Date
WO2013094388A1 true WO2013094388A1 (ja) 2013-06-27

Family

ID=48668287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/081111 WO2013094388A1 (ja) 2011-12-22 2012-11-30 画像処理装置

Country Status (3)

Country Link
US (1) US9443319B2 (ja)
JP (1) JP5917907B2 (ja)
WO (1) WO2013094388A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5917907B2 (ja) * 2011-12-22 2016-05-18 株式会社メガチップス 画像処理装置
JP5865696B2 (ja) * 2011-12-22 2016-02-17 株式会社メガチップス 画像処理装置
JP6490896B2 (ja) * 2013-12-17 2019-03-27 株式会社メガチップス 画像処理装置
CN110177279B (zh) * 2014-03-28 2021-10-08 联咏科技股份有限公司 视频处理装置与其视频处理电路

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072301A (ja) * 2002-08-05 2004-03-04 Matsushita Electric Ind Co Ltd 動きベクトル検出方法
JP2007189518A (ja) * 2006-01-13 2007-07-26 Matsushita Electric Ind Co Ltd 信号処理装置、撮像装置、ネットワークカメラシステム及び映像システム
JP2008022134A (ja) * 2006-07-11 2008-01-31 Megachips Lsi Solutions Inc 整数画素動き予測機構、１／４画素輝度用動き予測機構、１／４画素色差用動き予測機構、組合せ輝度用動き予測機構、組合せ輝度・色差用動き予測機構及び１／４画素輝度・色差用動き予測機構
JP2008141288A (ja) * 2006-11-30 2008-06-19 Fujitsu Ltd 動きベクトル検出装置および動きベクトル検出方法
WO2008136178A1 (ja) * 2007-04-26 2008-11-13 Panasonic Corporation 動き検出装置、動き検出方法、及び動き検出プログラム
JP2009284208A (ja) * 2008-05-22 2009-12-03 Renesas Technology Corp 動画像符号化装置及び動画像記録装置
JP2010119084A (ja) * 2008-11-11 2010-05-27 Korea Electronics Telecommun 高速動き探索装置及びその方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248024A (ja) * 2003-02-14 2004-09-02 Kanebo Ltd 画像処理装置
US7038612B2 (en) * 2003-08-05 2006-05-02 Raytheon Company Method for SAR processing without INS data
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
JP2007006381A (ja) * 2005-06-27 2007-01-11 Toshiba Corp 画像処理装置
JP4590335B2 (ja) 2005-09-28 2010-12-01 キヤノン株式会社 画像処理装置及び画像処理方法
JP2008052522A (ja) * 2006-08-25 2008-03-06 Fujitsu Ltd 画像データアクセス装置及び画像データアクセス方法
TWI506595B (zh) * 2011-01-11 2015-11-01 Altek Corp 全景影像產生方法及裝置
JP5865696B2 (ja) * 2011-12-22 2016-02-17 株式会社メガチップス 画像処理装置
JP5917907B2 (ja) * 2011-12-22 2016-05-18 株式会社メガチップス 画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072301A (ja) * 2002-08-05 2004-03-04 Matsushita Electric Ind Co Ltd 動きベクトル検出方法
JP2007189518A (ja) * 2006-01-13 2007-07-26 Matsushita Electric Ind Co Ltd 信号処理装置、撮像装置、ネットワークカメラシステム及び映像システム
JP2008022134A (ja) * 2006-07-11 2008-01-31 Megachips Lsi Solutions Inc 整数画素動き予測機構、１／４画素輝度用動き予測機構、１／４画素色差用動き予測機構、組合せ輝度用動き予測機構、組合せ輝度・色差用動き予測機構及び１／４画素輝度・色差用動き予測機構
JP2008141288A (ja) * 2006-11-30 2008-06-19 Fujitsu Ltd 動きベクトル検出装置および動きベクトル検出方法
WO2008136178A1 (ja) * 2007-04-26 2008-11-13 Panasonic Corporation 動き検出装置、動き検出方法、及び動き検出プログラム
JP2009284208A (ja) * 2008-05-22 2009-12-03 Renesas Technology Corp 動画像符号化装置及び動画像記録装置
JP2010119084A (ja) * 2008-11-11 2010-05-27 Korea Electronics Telecommun 高速動き探索装置及びその方法

Also Published As

Publication number Publication date
JP5917907B2 (ja) 2016-05-18
JP2013132002A (ja) 2013-07-04
US9443319B2 (en) 2016-09-13
US20140369562A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
US20200327079A1 (en) Data processing method and device, dma controller, and computer readable storage medium
US20180137414A1 (en) Convolution operation device and convolution operation method
US20200327078A1 (en) Data processing method and device, dma controller, and computer readable storage medium
JP5917907B2 (ja) 画像処理装置
EP3093757B1 (en) Multi-dimensional sliding window operation for a vector processor
CN106846255B (zh) 图像旋转实现方法及装置
US8953904B2 (en) Image processing apparatus and method of operating image processing apparatus
JP5865696B2 (ja) 画像処理装置
JP5035412B2 (ja) メモリコントローラ及びそれを使用したメモリシステム
CN116010299A (zh) 一种数据处理方法、装置、设备及可读存储介质
US11775809B2 (en) Image processing apparatus, imaging apparatus, image processing method, non-transitory computer-readable storage medium
JP4970378B2 (ja) メモリコントローラおよび画像処理装置
JP2016134005A (ja) 画像処理装置
JP6050583B2 (ja) 画像処理装置及びメモリアクセス制御方法
JP2008541259A (ja) ブロックアクセスが可能なバッファメモリを有する画像処理回路
CN101996142A (zh) 一种访问存储器的方法及装置
JP4170173B2 (ja) ブロックマッチング演算装置
US10726516B2 (en) Arithmetic logic unit (ALU)-centric operations in graphics processing units (GPUs)
JP7427972B2 (ja) 半導体記憶装置、コントローラ、及び方法
CN108833872B (zh) 一种yuy2颜色空间快速缩放或放大的方法
JP5605225B2 (ja) メモリ制御装置、メモリマッピング方法、及び、プログラム
KR20190055693A (ko) 영상의 해상도 변환을 위한 영상 처리 장치
CN118151863A (zh) 访问sram的方法、装置及芯片
JP2024072386A (ja) 画像処理装置及び画像処理方法
CN117742594A (zh) 数据存储方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12859705

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14367632

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12859705

Country of ref document: EP

Kind code of ref document: A1