WO2004017640A1 - 信号処理装置およびシステム - Google Patents

信号処理装置およびシステム Download PDF

Info

Publication number
WO2004017640A1
WO2004017640A1 PCT/JP2002/008236 JP0208236W WO2004017640A1 WO 2004017640 A1 WO2004017640 A1 WO 2004017640A1 JP 0208236 W JP0208236 W JP 0208236W WO 2004017640 A1 WO2004017640 A1 WO 2004017640A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cache
processing device
control unit
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2002/008236
Other languages
English (en)
French (fr)
Inventor
Yukifumi Kobayashi
Hiroshi Hatae
Hiromi Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Technology Corp
Original Assignee
Renesas Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Technology Corp filed Critical Renesas Technology Corp
Priority to JP2004528812A priority Critical patent/JPWO2004017640A1/ja
Priority to PCT/JP2002/008236 priority patent/WO2004017640A1/ja
Publication of WO2004017640A1 publication Critical patent/WO2004017640A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Definitions

  • the present invention relates to a signal processing device, and more particularly to a technology that is effective when applied to a control method of an image cache memory.
  • LSIs that realize compression and decompression processing of moving images such as MPEG-4 are being developed.
  • image memory has a large capacity, so large-capacity but slow-speed memory such as DRAM is often used. Therefore, a cache memory may be provided between the processor and the memory to improve speed.
  • the first problem is that the same cache control is performed in both the processing of an encoded image and the processing of a reference image. Normally, in image processing, the coded image and the reference image are accessed frequently, but the address of the pixel data of the coded image and the address of the pixel data of the reference image are far apart at that time. .
  • the entry is determined Since it is determined by the lower bits of the address, entry conflicts are more likely to occur when frequent access to distant locations in memory occurs. Therefore, if the access to the coded image and the access to the reference image are performed alternately, frequent access to a distant location in the memory may occur, causing frequent contention for the entry. is there. If an entry conflict occurs, the entry is replaced with newer data, and the cache hit rate decreases.
  • the coded image and the reference image have different access characteristics. For example, in motion vector detection in MPEG, encoding is performed for a coded image. Power that is frequently accessed for a block of 16 ⁇ 16 pixels s, and for a reference image, a block of a search range is searched. (For example, 48 x 48 pixels, assuming ⁇ 16 pixels in both X and Y directions). If the same control method is used for different access characteristics, there is a problem that the capacity is increased.
  • the second problem is that the cache memory uses an address to determine the data entry that stores data in units of blocks in order to increase the cache hit ratio of pixels in the vertical direction.
  • the size of the direction is limited to a power of two. If the horizontal size of the image is other than a power of two, entry conflicts will occur, and the vertical pixel cache hit rate will decrease.
  • a first object of the present invention is to solve the first problem and increase the cache hit rate by preventing entry conflicts between an encoded image and a reference image.
  • Another object of the present invention is to provide a signal processing device capable of performing optimal cache control for each image in terms of capacity, entry determination method, and the like, and a system using the same.
  • a second object of the present invention is to solve the second problem and increase the vertical hit ratio by preventing a rectangular block in the vertical direction from causing contention of an entry.
  • the present invention has a cache memory for an encoded image and its cache control unit, a cache memory for a reference image and its cache control unit, and is accessed by a selection circuit. It determines whether the image is a coded image or a reference image based on the address, and performs cache control for the coded image if access to the coded image, and cache control for the reference image if access to the reference image.
  • the data to be cached is stored in each independent entry. This control prevents entry conflicts between the encoded image and the reference image, and increases the cache hit rate.
  • cache control since cache control is performed independently, it is possible to perform optimal cache control for each image using the capacity and entry determination method.
  • one entry stores image data that is a rectangular block on an image, and specifies the pixel data to be accessed. Specifies the horizontal and vertical positions of the rectangular block, the horizontal and vertical pixel positions of the rectangular block ⁇ , and determines the entry based on the horizontal and vertical positions of the rectangular block. It is.
  • the cached unit is a rectangular block, neighboring pixels exist in the horizontal and vertical directions in one entry, and the cache hit ratio in the vertical direction can be increased.
  • the entry of pixel data to be accessed is determined using the horizontal position and the vertical position of the rectangular block.
  • the rectangular block in the vertical direction does not cause entry competition, so that the cache hit ratio in the vertical direction can be increased, and the size of the image can be freely selected.
  • the cache hit rate for image data can be improved. Therefore, the bus occupation ratio due to the transfer of image data can be reduced in an image processing apparatus employing the unified memory architecture. As a result, it is possible to realize high-speed processing and low power consumption.
  • FIG. 1 is a block diagram illustrating a cache system according to a first embodiment to which the signal processing device according to the present invention is applied
  • FIG. 2 is a flowchart illustrating an operation in the cache system according to the first embodiment
  • FIG. FIG. 4 is an explanatory diagram showing an access range upon detection of a motion vector
  • FIG. 4 is a block diagram showing a cache system according to a second embodiment to which the signal processing device according to the present invention is applied
  • FIG. 5 is a signal processing device according to the present invention.
  • FIG. 6 is a block diagram showing a cache system according to a third embodiment to which the present invention is applied
  • FIG. 6 is an explanatory diagram showing an address designation method in the third embodiment
  • FIG. 7 is an explanatory diagram showing an entry determination method
  • FIG. FIG. 9 is a block diagram showing a cache system according to a fourth embodiment to which the signal processing device according to the present invention is applied
  • FIG. 10 is a signal processing device according to the present invention. It is a block diagram showing a mobile phone system of the fifth embodiment according to the. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 shows a key according to the first embodiment to which the signal processing device according to the present invention is applied. An example of the configuration of the cache system will be described.
  • FIG. 1 shows a block diagram of a cache system according to the present embodiment.
  • the cache system is, for example, a system that realizes image compression / decompression processing, and includes a cache control unit 100 for controlling a cache operation of image data, and an image processing for processing image data. It comprises a device 101 and an image memory 102 for storing image data.
  • a cache control unit 100 functioning as a signal processing device is provided with a cache memory for an encoded image and a reference image and a cache control unit therefor, independently of each other. You.
  • the cache control unit 100 0 is a part that functions as a signal processing device, and includes a coded image cache control unit 110, a coded image cache memory 111, and a reference image cache control unit 112. It consists of image cache memory 113, control section selection circuit 114, signal line selection circuit 115, etc., and is connected to image processing apparatus 101 through a path from the image processing apparatus interface, and image memory Is connected to the image memory 102 through the bus from the user interface. In particular, in the cache control unit 100, the encoded image cache control unit 110 and the reference image cache control unit 112 are independently provided.
  • the image processing device 101 includes an encoded image cache control unit 110 in the cache control unit 100, a reference image cache control unit 112, and a control unit.
  • the selection circuit 114 is connected to the signal line selection circuit 115 through the address path 120, and is connected to the signal line selection circuit 115 through the data bus 122.
  • the image memory 102 is connected to the signal line selection circuit 115 in the cache control unit 100 through address and data paths.
  • the encoded image cache control unit 110, the reference image cache control unit 112, and the control unit selection circuit 114 are connected through a control line 122, and the control unit Selection circuit 1 1 4, Signal line selection The selection circuit 1 15 is connected through another control line 1 2 3. Also, between the coded image cache control unit 110 and the signal line selection circuit 115, between the reference image cache control unit 112 and the signal line selection circuit 115, and furthermore, the coded image cache Between the control unit 110 and the coded image cache memory 111, and between the reference image cache control unit 112 and the reference image cache memory 113 through address and data signal lines, respectively. It is connected.
  • FIG. 2 shows a flow chart of the operation in the cache system of the present embodiment.
  • encoding associated with image compression processing is performed between the image processing device 101, the cache memory for encoded image 111, and the cache memory for reference image 113. This is performed, and the data in the image memory 102 is used as needed.
  • the decoding accompanying the image decompression process is performed between the image processing device 101 and the image memory 102.
  • a description will be given of an encoding operation associated with image compression processing which is an object of the present invention.
  • the control section selection circuit 114 in the cache control section 100 has an address path 120. Since the connection is established, an address to be accessed through this address path 120 is input (step S 1).
  • the control unit selection circuit 114 has information on the start address of the encoded image, the image size of the encoded image, the start address of the reference image, and the image size of the reference image. From this information, it is determined whether the input address is an access to an encoded image, an access to a reference image, or an access to any other (steps S2 and S3). .
  • control is performed so that the encoded image cache control unit 110 performs a cache control operation. Controlled by line 122.
  • the signal line selection circuit 115 selects the coded image cache control unit 110 that has been accessed, and connects it to the image memory 102 and the image processing device 101 by controlling the signal line. Control is performed by 1 2 3 (Step S 4). Also, if the result of the determination is that the reference image is to be accessed, the reference image cache control unit 112 is controlled by the control line 12′2 so as to perform the cache control operation.
  • step S 5 When the reference image is cached, data to be cached is stored in the reference image cache memory 113.
  • the signal line selection circuit 115 selects the accessed reference image cache control unit 112 so that the control line is connected to the image memory 102 and the image processing device 101. Control is performed by 1 2 3 (step S 5).
  • step S6 the signal line selection circuit 1 15 is controlled.
  • the dedicated cache memories 1 1 1 1 and 1 1 3 and the cache controllers 1 1 0 and 1 1 2 are provided for the encoded image and the reference image, respectively, the encoded image and the reference image are Always stored in separate memory, no entry conflicts.
  • the cache operation is not performed, so that the coded image and the reference image are not evicted from the cache memories 111 and 113. As a result, each cache hit rate is improved.
  • FIG. Figure 3 shows an explanatory diagram of the access range when a motion vector is detected.
  • the coded image cache control unit 110 and the reference image cache control unit 112 operate independently of each other, their control methods may not be the same.
  • the motion vector detection is 16 x 1
  • the coding block requires 16 X 16 pixels
  • the reference image requires 48 X 48 pixels.
  • the cache capacity of the encoded image is 16 ⁇ 16 pixels and the cache capacity of the reference image is 48 ⁇ 48 pixels, the efficiency in terms of capacity is improved.
  • the coded image cache control unit 110 and the reference image cache control unit 112 are operated independently of each other, so that the coded image and the reference image are controlled. There is no entry conflict between the image and other data, and the cache hit rate is improved. Also, since independent control methods can be used for the coded image and the reference image, the capacity, the control method, and the like can be optimized according to the characteristics of the image.
  • FIG. 4 shows a block diagram of the cache system of the present embodiment.
  • the cache system according to the present embodiment is, for example, a system that realizes image compression / decompression processing.
  • a cache control unit 100 a, an image processing device 101 A difference from the first embodiment is that a cache memory for a reference image and its cache control unit are further referred to in forward prediction as an extended example of the first embodiment. In that it is divided into an image and a backward prediction reference image.
  • the cache control unit 100a functioning as a signal processing device includes: a coded image cache control unit 110; a coded image cache memory 111; Reference image cache control unit 210, forward reference image cache memory 211, backward reference image cache control unit 212, backward reference image cache memory 211, control unit selection circuit 114, Signal line selection circuit
  • a forward reference image cache control unit 210 and a backward reference image cache control unit 212 are independently provided as reference image cache control units.
  • the cache control unit 110 for encoded images the cache control unit 110 for encoded images
  • the cache control unit 210 for forward reference images the cache control unit 212 for backward reference images
  • the control unit selection The circuit 1 1 4 is connected through a control line 1 2 2
  • the control section selection circuit 1 1 4 and the signal line selection circuit 1 1 5 are connected through another control line 1 2 3.
  • Other connections between the devices are the same as in the first embodiment.
  • the coded image cache control unit 110 and the forward has its own cache memory 111, 211, 213, and operates independently. There is no entry conflict between the two, and the cache hit rate is improved.
  • the capacity and control method can be optimized according to the characteristics of each image.
  • FIG. 5 shows a block diagram of the cache system of the present embodiment.
  • the unit of data stored in one entry is a rectangular block that is continuous in the horizontal and vertical directions on the image, and the method of specifying pixel data depends on the block position and the position in the block. It is to be done.
  • the cache control of the reference image will be described as an example, but it goes without saying that the present invention can be similarly applied to the cache control of the encoded image.
  • the cache system is a system that realizes, for example, image compression / decompression processing. It comprises an image processing device 101, a cache control unit 112 for reference images and a cache memory 113, a control unit selection circuit 114, a main memory 300, and the like.
  • the main memory 300 corresponds to the image memory 102 of the first embodiment.
  • the reference image cache control unit 112 includes an entry determination circuit 310, a cache hit determination circuit 3111, a tag memory 3112, a memory controller 3113, and the like.
  • the entry determination circuit 310 has information on the starting address of the reference image and the image size in the X direction, and the address of the accessed pixel in the main memory 300 is determined by the block position and the position in the block. It can be calculated.
  • the upper 16 bits of the address specify whether the access is for the reference image or for an access other than the reference image. For example, assuming that the identification code of the reference image is H ': FF 00, if the upper 16 bits of the input address are H, FF 00, the access is to the reference image, otherwise, It is usually used as a non-cached access specified by 32 bits. For this reason, the address used for the identification code is a prohibited area in normal access.
  • the pixel to be accessed is specified by the block position of the pixel and the position in the block.
  • the size of the block is 16 X I 6 pixels.
  • the block position is specified by the register set of the entry decision circuit 310, and the position of the pixel in the block is specified by the lower 16 bits of the address.
  • the lower 16 bits of the address indicate the pixel position in the block.
  • the cache memory address is calculated by specifying the position, and the cache access is performed.
  • the position within the block is specified by the position in the X and Y directions.
  • the lower 8 bits are specified as the X direction position in the block, and the upper 8 bits are specified as the Y direction position in the block.
  • FIG. 6 shows an explanatory diagram of the address designation method.
  • FIG. 7 shows an explanatory diagram of the entry determination method.
  • the entry is determined by the following formula, assuming that the horizontal position of the rectangular block is X, the vertical position is y, and the number of entries is mXn.
  • Entry number ⁇ Remainder of (Xm) ⁇ + ⁇ Remainder of (y / n) ⁇ Xm (1)
  • the entry number is determined according to equation (1), the block on the image It will be described whether it is stored.
  • the entry number increases by one in the horizontal direction, and returns to the original state at the third. In the vertical direction, the entry number increases by three, and returns to the original state at the third.
  • the tag at this time is represented by the following equation.
  • Tag ⁇ quotient of (x / m) ⁇ + ⁇ quotient of (y / n) ⁇ X m (2)
  • the formula ( 2) is stored.
  • the X-direction block position and the Y-direction block position of the reference image to be accessed by the image processing apparatus 101 are set in the internal register of the entry determination circuit 310.
  • the control unit selection circuit 114 checks the upper 16 bits to determine whether the access is to the reference image or to an access other than the reference image. If the access is to the reference image, the reference image control selection signal is output to the entry decision circuit 310.
  • the entry determination circuit 310 determines the entry and tag according to the expressions (1) and (2) according to the value set in the internal register, and the cache hit determination circuit 310 1 Output to 1. Also, it calculates the address for the main memory at the time of a miss from the reference image start address, the X-direction image size, the block position, and the cache memory address from the position in the block, and outputs them to the memory controller 313.
  • the cache hit determination circuit 311 compares the value of the tag memory 312 corresponding to the input entry with the input tag. As a result of the comparison, a hit signal is output to the memory controller 3 13 if they match, and a mismatch signal is output if they do not match. In the case of a miss, the tag memory 3 1 2 is rewritten with the input tag.
  • the memory controller 3 1 when the hit determination, accessing Kiya' Shumemori 1 1 3 in accordance with key Yasshu memory for real Adoresu inputted from the entry determination circuits 3 1 0, and outputs the data to the data path 1 2 1 c In the case of a mishit determination, replace all 16 x 16 pixels of the corresponding entry, and then output the data.
  • FIG. Fig. 8 is an explanatory diagram of the operation during a miss.
  • the memory controller 3 13 accesses the main memory 3 0 0, and first transfers one line (16 bytes) of H 'OB 1 0, which is the first address, to the entry number 4 of the cache memory 1 13 from above. Store in order. The Y-direction increment value ( ⁇ 'BO) is added to the address of main memory 300, and the next address ( ⁇ '0BC0) is accessed, and the entry number of cache memory 113 is added. Store in order in 4. This is repeated for 16 lines. One block (16 x 16 pixels) is replaced. Then, it accesses the cache memory 113 according to the actual address for the cache memory, outputs data to the data bus 121, and completes the operation.
  • a rectangular block is stored in one entry, and the pixel is specified at the block position and the position in the block.
  • the cache hit ratio of nearby pixels is improved.
  • the size of the image can be freely selected.
  • FIG. 9 shows a block diagram of the cache system of the present embodiment.
  • a feature of the present embodiment is that a cache control unit for an image and a cache control unit for a normal arithmetic processing device are separately provided, and are connected to a main memory via a path.
  • the cache system includes an image processing device 101 for processing image data, an image cache control unit 400 for controlling the image data caching operation, and a cache operation image.
  • the image processing apparatus 101 performs processing relating to image data.
  • the image processing device 101 requests the image cache controller 400 to access the image data. If the image data is a cache hit, the cache control unit 400 accesses the image cache memory 401 and outputs the data to the image processing device 101. If it is a miss, the main memory 402 is accessed via the bus 420, the data is replaced with the data of the image cache memory 401, and the data is output to the image processing apparatus 101.
  • the control method of the cache adopts the method described in the first embodiment, and is suitable for an image.
  • the arithmetic processing unit 403 mainly handles data other than image data.
  • the arithmetic processing unit 403 issues a data access request to the arithmetic processing unit cache control unit 404.
  • the cache control unit 404 if the data is a cache hit, it is stored in the cache memory 405 for the arithmetic processing unit. And outputs data to the arithmetic processing unit 403. If it is a miss, the main memory 402 is accessed through the path 420, the data is replaced with the data in the cache memory for the processing unit 405, and the data is output to the processing unit 403.
  • the arithmetic processing unit 403 mainly handles data other than images, such as instruction codes, so that a conventional cache control suitable for such control is performed.
  • the image processing device 101 has the image cache control unit 400, and the arithmetic processing device 400 has the arithmetic processing device cache control unit 400.
  • a cache control method suitable for each process can be applied.
  • the cache hit rate increases in each process.
  • FIG. 10 shows a block diagram of the mobile phone system of the present embodiment.
  • the feature of this embodiment is that it is applied to a mobile phone system as a specific product.
  • the mobile phone system includes a mobile phone main unit 500 on which the main part of the mobile phone system is mounted, a microphone 501 for inputting voice, and a speaker for uttering voice. It is composed of a device 502, a camera 503 for capturing an image of an object, an LCD 504 for displaying an image, and the like.
  • the mobile phone main body 500 has an RF circuit 510 that has the function of modulating and demodulating transmitted and received signals, a baseband processor 511 that has a function of controlling transmission and reception, and stores data such as voice and images Main memory 511, Camera DSP 513 for digitally processing image signals captured by camera 503, Application processor 515 including cache memory 514 for executing various application processes, LCD 505 It is composed of an LCD interface 516 that controls the interface with the ing.
  • the main memory 512 is connected to the baseband processor 511 and the cache memory 514 via a path 520, and stores audio data, image data, and the like.
  • the basic operation during reception is as follows.
  • a radio wave received by an antenna is converted into an intermediate frequency signal via a filter, an amplifier, a mixer, and the like.
  • the baseband processor 511 the intermediate frequency signal is demodulated into a baseband signal, which is then decomposed by a channel codec, and the necessary channel audio signal is converted into an analog audio signal by an audio codec. It is uttered from 02.
  • the baseband processor 511 stores data in the main memory 512 at any time, reads out necessary data and executes each processing.
  • the basic operation at the time of transmission is as follows.
  • step 1 a signal input from microphone 501 and digitized by a voice codec is converted by a channel codec, and shaped into a waveform suitable for transmission by a waveform shaping circuit.
  • the baseband processor 511 stores data in the main memory 512 as needed, reads out necessary data, and executes each process. Thereafter, in the RF circuit 510, the signal is modulated at an intermediate frequency, further converted to a radio frequency via a mixer or the like, amplified by an amplifier, and then transmitted from an antenna via a filter.
  • the operations related to the image capturing function of the camera 503 and the display function on the LCD 504 are performed by digitally processing the image signal captured by the camera 503 by the camera DSP 513, and further by the application processor 515. It performs data processing for display on the LCD 504 and data processing for transmission on radio waves together with voice.
  • the application processor 515 stores data in the main memory 512 as needed, and stores necessary data in the cache memory 514 by a cache operation to execute each process.
  • the signal processed for display on the LCD 504 is displayed as an image on the LCD 504. Also, put it on the radio wave with the sound
  • the signal processed for transmission is transmitted from the antenna together with the voice, and displayed as an image on the other party's LCD.
  • the signal processing device is particularly applicable to a control system for an image cache memory, and further to a control system cache system in which an image cache memory and a normal operation device cache memory are separately provided. It is useful when applied, and can be widely applied to mobile terminal systems such as mobile phones.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

明 細 書
信号処理装置およびシステム 技術分野
本発明は、 信号処理装置に関し、 特に画像用キャッシュメモリの制御 方式に適用して有効な技術に関する。 背景技術
本発明者が検討したところによれば、 画像用の信号処理装置について は、 以下のような技術が考えられる。
現在、 M P E G— 4などの動画像の圧縮伸張処理を実現する L S Iが 開発されている。 この圧縮伸張処理を行う際には、 画像メモリと画像処 理用プロセッサとの間で大量のデータアクセスが生じる。 一般に、 画像 メモリは容量が大きいため、 D R AMなどの大容量だが速度が遅いメモ リが用いられることが多い。 そのため、 プロセッサとメモリとの間にキ ャッシュメモリを持ち、 速度の向上を図る場合がある。
なお、 このようなキャッシュメモリを持つキャッシュシステムに関す る技術としては、 たとえば特開平 5— 5 3 9 0 9号公報に記載される技 術などが挙げられる。 この公報には、 M P E G ·ハードウエア ·ァクセ ラレータ中に、 プロック単位でデータを格納するキャッシュメモリを持 つシステムが開示されている。 しかしながら、 この技術は、 キャッシュ メモリを一面のみしか持っていない。
ところで、 前記のようなキャッシュメモリを持つキヤッシュシステム を画像処理に適用した場合、 第 1の課題として、 符号化画像の処理も参 照画像の処理も同じキャッシュ制御が行われることが挙げられる。 通常、 画像処理のときは符号化画像と参照画像の近い位置に頻繁にアクセス するが、 そのときの符号化画像の画素データのァドレスと参照画像の画 素データのァドレスは大きく離れた位置となる。
よって、 前記のようなキャッシュシステムの場合、 エントリの決定は ァドレスの下位ビットによって決まるので、 メモリ上で離れた位置に頻 繁にアクセスする場合、 エントリの競合を起こしやすくなる。 そのため、 符号化画像へのアクセスと参照画像へのアクセスが交互に行われるよ うな場合、 メモリ上で離れた位置に頻繁にアクセスをすることになり、 頻繁にエン ト リ の競合を起こすことがある。 エント リの競合を起こした 場合、 当該エントリはより新しいデータでリプレースがされるため、 キ ャッシュヒ ッ ト率が低下する。
また、 符号化画像と参照画像ではアクセスされる性質が異なる。 たと えば、 M P E Gにおける動きべク トル検出では、 符号化画像の場合は符 号化を行う 1 6 X 1 6画素のプロックに対して頻繁に'ァクセスされる 力 s、 参照画像では探索範囲のプロック （たとえば X方向、 Y方向ともに ± 1 6画素だとすると 4 8 X 4 8画素） で頻繁にアクセスされる。 ァク セスの性質が異なるものに対して同じ制御方式をとると、 容量の増大を 招く問題がある。
第 2の課題として、 前記のキャッシュメモリでは縦方向の画素のキヤ ッシュヒッ ト率を上げるためにプロック単位でデータを格納している 力 エントリの決定にア ドレスを使用しているため、 画像の横方向のサ ィズが 2のべき乗に限定されてしまう。 画像の横方向のサイズを 2のべ き乗以外にすると、 エントリの競合を起こし、 縦方向の画素のキヤッシ ュヒ ッ ト率が低下する。
そこで、 本発明の第 1の目的は、 前記第 1の課題を解決し、 符号化画 像と参照画像との間でェントリの競合を起こさないようにして、 キヤッ シュヒ ッ ト率を上げることができ、 また容量、 エント リ決定方法などで 各画像に最適なキャッシュ制御を行うことができる信号処理装置、 およ びそれを用いたシステムを提供することにある。
また、 本発明の第 2の目的は、 前記第 2の課題を解決し、 縦方向に近 傍の矩形プロックがェントリの競合を起こさないようにして、 縦方向の キヤッシュヒッ ト率を上げることができ、 かつ画像のサイズを自由に選 択することができる信号処理装置、 およびそれを用いたシステムを提供 することにある。
本発明の前記ならぴにその他の目的と新規な特徴は、 本明細書の記述 および添付図面から明らかになるであろう。 発明の開示
本願において開示される発明のうち、 代表的なものの概要を簡単に説 明すれば、 次のとおりである。
本発明は、 前記第 1の目的を達成するため、 符号化画像用のキヤッシ ュメモリおよびそのキャッシュ制御部と、 参照画像用のキヤッシュメモ リおよびそのキャッシュ制御部とを持ち、 選択回路において、 アクセス されたァドレスにより符号化画像なのか参照画像なのかを判定し、 符号 化画像に対するアクセスであれば符号化画像用のキャッシュ制御、 参照 画像に対するアクセスであれば参照画像用のキヤッシュ制御を行い、 そ れぞれ独立したェントリにキヤッシュするデータを格納するようにし たものである。 この制御により、 符号化画像と参照画像との間でェント リの競合を起こすことがなくなり、 キヤッシュヒッ ト率を上げることが できるようになる。 また、 キャッシュ制御を独立に行うため、 容量、 ェ ントリ決定方法などで各画像に最適なキヤッシュ制御を行うことがで きるようになる。
また、 本発明は、 前記第 2の目的を達成するため、 それぞれのキヤッ シュ制御方式において、 1つのェントリには画像上で矩形プロックとな る画像データを格納し、 アクセスする画素データの指定は矩形プロック の横方向の位置と縦方向の位置と矩形プロック內の横方向の画素位置 と縦方向の画素位置で指定し、 矩形プロックの横方向の位置と縦方向の 位置によりエントリを決定するものである。 これにより、 キャッシュす る単位が矩形プロックとなるため、 1つのェントリに横方向と縦方向に 近傍の画素が存在することになり、 縦方向のキャッシュヒッ ト率を上げ ることができるようになる。 また、 アクセスする画素データを、 矩形プ ロックの横方向の位置と縦方向の位置を用いてェントリを決定するこ とにより、 縦方向に近傍の矩形プロックがェントリの競合を起こさない ため、 縦方向のキヤッシュヒット率を上げることができるようになり、 かつ画像のサイズも自由に選択することができる。
従って、 本発明により、 画像データに対するキャッシュヒ ッ ト率を向 上することができる。 よって、 ユニファイ ドメモリ 'アーキテクチャを 採用する画像処理装置で、 画像データの転送によるバス占有率を低減す ることができる。 この結果、 処理の高速化おょぴ低消費電力化を実現す ることが可能となる。 図面の簡単な説明
図 1は本発明による信号処理装置を適用した実施の形態 1のキヤッ シュシステムを示すプロック図、 図 2は実施の形態 1のキヤッシュシス テムにおける動作を示すフロー図、 図 3は実施の形態 1において、 動き べク トル検出時のアクセス範囲を示す説明図、 図 4は本発明による信号 処理装置を適用した実施の形態 2のキャッシュシステムを示すプロッ ク図、 図 5は本発明による信号処理装置を適用した実施の形態 3のキヤ ッシュシステムを示すプロック図、 図 6は実施の形態 3において、 アド レス指定方法を示す説明図、 図 7はエント リ決定方法を示す説明図、 図 8はミスヒ ッ ト時の動作を示す説明図、 図 9は本発明による信号処理装 置を適用した実施の形態 4のキャッシュシステムを示すブロック図、 図 1 0は本発明による信号処理装置を適用した実施の形態 5の携帯電話 システムを示すブロック図である。 発明を実施するための最良の形態
以下、 本発明の実施の形態を図面に基づいて詳細に説明する。 なお、 実施の形態を説明するための全図において、 同一機能を有する部材には 同一の符号を付し、 その繰り返しの説明は省略する。
(実施の形態 1 )
図 1により、 本発明による信号処理装置を適用した実施の形態 1のキ ャッシュシステムの構成の一例を説明する。 図 1は本実施の形態のキヤ ッシュシステムのブロック図を示す。
本実施の形態のキャッシュシステムは、 たとえば画像の圧縮伸長処理 を実現するシステムとされ、 画像データのキャッシュ動作を制御するた めのキャッシュ制御部 1 0 0と、 画像データを処理するための画像処理 装置 1 0 1と、 画像データを格納するための画像メモリ 1 0 2などから 構成されている。 特に、 本実施の形態の特徴は、 信号処理装置として機 能するキャッシュ制御部 1 0 0に、 符号化画像用と参照画像用のキヤシ ュメモリおよびそのキヤッシュ制御部をそれぞれ独立に備えた点であ る。
キャッシュ制御部 1 0 0は、 信号処理装置として機能する部分であり、 符号化画像用キャッシュ制御部 1 1 0、 符号化画像用キャッシュメモリ 1 1 1、 参照画像用キャッシュ制御部 1 1 2、 参照画像用キャッシュメ モリ 1 1 3、 制御部選択回路 1 1 4、 信号線選択回路 1 1 5などから構 成され、 画像処理装置用インタフェースからパスを通じて画像処理装置 1 0 1に接続され、 画像メモリ用インタフェースからバスを通じて画像 メモリ 1 0 2に接続されている。 特に、 このキヤッシュ制御部 1 0 0で は、 符号化画像用キャッシュ制御部 1 1 0と参照画像用キヤッシュ制御 部 1 1 2がそれぞれ独立に備えられている。
以上のように構成されるキャッシュシステムにおいて、 画像処理装置 1 0 1は、 キャッシュ制御部 1 0 0内の符号化画像用キャッシュ制御部 1 1 0、 参照画像用キャッシュ制御部 1 1 2、 制御部選択回路 1 1 4、 信号線選択回路 1 1 5とァドレスパス 1 2 0を通じて接続され、 また信 号線選択回路 1 1 5とデータバス 1 2 1を通じて接続されている。 また、 画像メモリ 1 0 2は、 キャッシュ制御部 1 0 0内の信号線選択回路 1 1 5とアドレス、 データの各パスを通じて接続されている。
キャッシュ制御部 1 0 0内において、 符号化画像用キャッシュ制御部 1 1 0、 参照画像用キャッシュ制御部 1 1 2、 制御部選択回路 1 1 4は 制御線 1 2 2を通じて接続され、 また制御部選択回路 1 1 4、 信号線選 択回路 1 1 5は別の制御線 1 2 3を通じて接続されている。 また、 符号 化画像用キャッシュ制御部 1 1 0と信号線選択回路 1 1 5の間、 参照画 像用キャッシュ制御部 1 1 2と信号線選択回路 1 1 5の間、 さらに符号 化画像用キャッシュ制御部 1 1 0と符号化画像用キャッシュメモリ 1 1 1の間、 参照画像用キャッシュ制御部 1 1 2と参照画像用キャッシュ メモリ 1 1 3の間はそれぞれ、 ア ドレス、 データの各信号線を通じて接 続されている。
次に、 図 2により、 本実施の形態のキャッシュシステムにおける動作 の一例を説明する。 図 2は本実施の形態のキヤッシュシステムにおける 動作のフロー図を示す。
本実施の形態のキヤッシュシステムにおいて、 画像の圧縮処理に伴う 符号化については、 画像処理装置 1 0 1と符号化画像用キャッシュメモ リ 1 1 1、 参照画像用キャッシュメモリ 1 1 3との間で行われ、 必要に 応じて画像メモリ 1 0 2のデータが用いられる。 また、 画像の伸長処理 に伴う復号化については、 画像処理装置 1 0 1 と画像メモリ 1 0 2との 間で行われる。 ここでは、 本発明の目的としている画像の圧縮処理に伴 う符号化の動作について説明する。
まず、 画像処理装置 1 0 1力ゝら、 キヤッシュ制御部 1 0 0に対してァ クセスが発生すると、 キャッシュ制御部 1 0 0内の制御部選択回路 1 1 4にはア ドレスパス 1 2 0が接続されているので、 このア ドレスパス 1 2 0を通じてアクセスするァドレスが入力される (ステップ S 1 )。 そして、 キャッシュ制御部 1 0 0内において、 制御部選択回路 1 1 4 は符号化画像の先頭アドレス、 符号化画像の画像サイズ、 参照画像の先 頭ア ドレス、 参照画像の画像サイズの情報を持っているので、 これらの 情報より、 入力されたアドレスが符号化画像へのアクセスなのか、 参照 画像へのアクセスなのか、 それ以外へのアクセスなのかを判定する （ス テツプ S 2， S 3 )。
この判定の結果により、 符号化画像へのアクセスであれば、 符号化画 像用キャッシュ制御部 1 1 0がキャッシュ制御動作を行うように制御 線 1 2 2により制御する。 この符号化画像のキャッシュ動作を行うとき は、 符号化画像用キャッシュメモリ 1 1 1にキャッシュするデータを格 納する。 また、 信号線選択回路 1 1 5が、 アクセスのあった符号化画像 用キヤッシュ制御部 1 1 0を選択して、 画像メモリ 1 0 2、 画像処理装 置 1 0 1 と接続するように制御線 1 2 3により制御する （ステップ S 4 )。 ； また、 判定の結果が、 参照画像へのアクセスであれば、 参照画像用キ ャッシュ制御部 1 1 2がキヤッシュ制御動作を行うように制御線 1 2 ' 2により制御する。 この参照画像のキャッシュ動作を行うときは、 参照 画像用キャッシュメモリ 1 1 3にキャッシュするデータを格納する。 ま た、 信号線選択回路 1 1 5が、 アクセスのあった参照画像用キャッシュ 制御部 1 1 2を選択して、 画像メモリ 1 0 2、 画像処理装置 1 0 1と接 続するように制御線 1 2 3により制御する （ステップ S 5 )。
また、 判定の結果により、 アクセスされたアドレスが符号化画像でも 参照画像でもない場合は、 キャッシュ動作を行わず、 アドレスパス 1 2 0とデータパス 1 2 1を画像メモリ 1 0 2と接続するように信号線選 択回路 1 1 5を制御する （ステップ S 6 )。
以上のように、 符号化画像用と参照画像用にそれぞれ、 専用のキヤッ シュメモリ 1 1 1， 1 1 3とキャッシュ制御部 1 1 0 , 1 1 2を持つの で、 符号化画像と参照画像は必ず別々のメモリに格納され、 エントリが 競合することがない。 また、 符号化画像でも参照画像でもないアクセス の場合はキャッシュ動作を行わないので、 符号化画像や参照画像が各キ ャッシュメモリ 1 1 1 , 1 1 3から追い出されることがない。 その結果、 それぞれのキヤッシュヒット率が向上する。
次に、 図 3により、 動きべク トル検出時のアクセス範囲の一例を説明 する。 図 3は動きべク トル検出時のアクセス範囲の説明図を示す。
符号化画像用キャッシュ制御部 1 1 0と参照画像用キャッシュ制御 部 1 1 2はそれぞれ独立で動作するため、 それぞれの制御方式は同じで なく とも良い。 たとえば、 図 3のように、 動きべク トル検出を 1 6 X 1 6画素の符号化画像プロックを X方向、 Y方向ともに土 1 6画素の範囲 で探索する場合、 符号化ブロックは 1 6 X 1 6画素、 参照画像は 4 8 X 4 8画素が必要になる。 この場合、 符号化画像のキャッシュ容量は 1 6 X 1 6画素分、参照画像のキヤッシュ容量は 4 8 X 4 8画素分にすると、 容量の面で効率が良くなる。
このように、 本実施の形態のキャッシュシステムによれば、 符号化画 像用キャッシュ制御部 1 1 0と参照画像用キャッシュ制御部 1 1 2を それぞれ独立に動作させることにより、 符号化画像と参照画像、 および それ以外のデータとの間でェントリの競合がなくなり、 キャッシュヒッ ト率が向上する。 また、 符号化画像用と参照画像用でそれぞれ独立した 制御方式をとれるので、 容量、 制御方式などを画像の性質に合わせて最 適化することができる。
(実施の形態 2 )
図 4により、 本発明による信号処理装置を適用した実施の形態 2のキ ャッシュシステムの構成の一例を説明する。 図 4は本実施の形態のキヤ ッシュシステムのブロック図を示す。
本実施の形態のキャッシュシステムは、 たとえば画像の圧縮伸長処理 を実現するシステムとされ、 前記実施の形態 1 と同様に、 キャッシュ制 御部 1 0 0 aと、 画像処理装置 1 0 1と、 画像メモリ 1 0 2などから構 成され、 前記実施の形態 1 との相違点は、 前記実施の形態 1の拡張例と して、 参照画像用のキヤシュメモリおよびそのキャッシュ制御部をさら に前方予測参照画像用と後方予測参照画像用に分けるようにした点で
■ ぁる
すなわち、 本実施の形態のキャッシュシステムにおいて、 信号処理装 置として機能するキャッシュ制御部 1 0 0 aは、 符号化画像用キヤッシ ュ制御部 1 1 0、 符号化画像用キャッシュメモリ 1 1 1、 前方参照画像 用キヤッシュ制御部 2 1 0、 前方参照画像用キャッシュメモリ 2 1 1、 後方参照画像用キャッシュ制御部 2 1 2、 後方参照画像用キャッシュメ モリ 2 1 3、 制御部選択回路 1 1 4、 信号線選択回路 1 1 5などから構 成され、 特に参照画像用キャッシュ制御部として前方参照画像用キヤッ シュ制御部 2 1 0と後方参照画像用キャッシュ制御部 2 1 2がそれぞ れ独立に備えられている。
また、 キャッシュ制御部 1 0 0 a内において、 符号化画像用キヤッシ ュ制御部 1 1 0、 前方参照画像用キャッシュ制御部 2 1 0、 後方参照画 像用キヤッシュ制御部 2 1 2、 制御部選択回路 1 1 4は制御線 1 2 2を 通じて接続され、 また制御部選択回路 1 1 4、 信号線選択回路 1 1 5は 別の制御線 1 2 3を通じて接続されている。 各装置間おょぴ他の接続は、 前記実施の形態 1と同様である。
よって、 本実施の形態のキャッシュシステムによれば、 前方予測参照 画像と後方予測参照画像の両方から動きべク トルを予測するような場 合に、 符号化画像用キャッシュ制御部 1 1 0と前方参照画像用キヤッシ ュ制御部 2 1 0と後方参照画像用キヤッシュ制御部 2 1 2がそれぞれ 専用のキャッシュメモリ 1 1 1， 2 1 1 , 2 1 3を持ち、 それぞれ独立 に動作するため、 各画像間でエントリの競合が起こらず、 キャッシュヒ ッ ト率が向上する。 また、 容量、 制御方式などを各画像の性質に合わせ て最適化することができる。
(実施の形態 3 )
図 5により、 本発明による信号処理装置を適用した実施の形態 3のキ ャッシュシステムの構成の一例を説明する。 図 5は本実施の形態のキヤ ッシュシステムのブロック図を示す。
本実施の形態の特徴は、 1つのエントリに格納されるデータの単位が 画像上で横方向と縦方向に連続した矩形プロックであり、 画素データの 指定方法がプロック位置とブロック内での位置により行われることで ある。 ここでは、 参照画像のキャッシュ制御を例に説明するが、 符号化 画像のキヤッシュ制御にも同様に適用可能であることはいうまでもな い。
すなわち、 本実施の形態のキャッシュシステムは、 たとえば画像の圧 縮伸長処理を実現するシステムとされ、 前記実施の形態 1と同様に、 画 像処理装置 1 0 1 と、 参照画像用のキヤッシュ制御部 1 1 2およびキヤ ッシュメモリ 1 1 3 と、 制御部選択回路 1 1 4と、 メインメモリ 3 0 0 などから構成されている。 メインメモリ 3 0 0は、 前記実施の形態 1の 画像メモリ 1 0 2に対応する。
参照画像用のキャッシュ制御部 1 1 2は、 エントリ決定回路 3 1 0、 キヤッシュヒット判定回路 3 1 1、 タグメモリ 3 1 2、 メモリコント口 ーラ 3 1 3などから構成されている。 エントリ決定回路 3 1 0は、 参照 画像の先頭ア ドレス、 X方向画像サイズの情報を持ち、 プロック位置と、 プロック内での位置により、 アクセスされた画素のメインメモリ 3 0 0 でのア ドレスが算出可能になっている。
次に、 本実施の形態のキャッシュシステムにおいて、 アクセス方法の 一例について説明する。
制御部選択回路 1 1 4は、 ァドレスバス 1 2 0が接続されているので、 ァドレスの上位 1 6 ビッ トにより参照画像に対するアクセスなのか、 そ れ以外のものに対するアクセスなのかを指定する。 たとえば、 参照画像 の識別コードを H '： F F 0 0とすると、 入力されたァドレスの上位 1 6 ビッ トが H， F F 0 0である場合、 参照画像へのアクセスであり、 それ 以外の場合、 通常の 3 2ビッ トで指定する非キャッシュアクセスである というふうに使用する。 このため、 識別コードに使用するア ドレスは通 常アクセスでは使用禁止領域とする。
ェントリ決定回路 3 1 0は、 ァ ドレスパス 1 2 0、 データパス 1 2 1 が接続されているので、 ここを通じて画像処理装置 1 0 1からレジスタ 設定が行われる。 アクセスしたい画素の指定は、 画素のプロック位置と、 ブロック内の位置により指定する。 ここでは、 プロックのサイズは 1 6 X I 6画素とする。 プロック位置の指定は、 エントリ決定回路 3 1 0の レジスタセッ トにより行い、 プロック内の画素の位置はァドレスの下位 1 6 ビッ トで指定する。
制御部選択回路 1 1 4から参照画像制御選択信号が出力された場合、 ァドレスの下位 1 6 ビッ トにはプロック内での画素位置が示され、 その 位置指定によりキャッシュメモリ用アドレスを算出し、 キャッシュァク セスが行われる。 プロック内の位置指定は、 X方向位置と Y方向位置に より行う。 ブロック内位置指定に使用するァドレスの下位 1 6ビッ トの うち下位 8ビッ トをプロック内 X方向位置、 上位 8ビッ トをプロック内 Y方向位置として指定する。
次に、 図 6により、 面像の位置とアドレスの指定方法の一例を説明す る。 図 6はアドレス指定方法の説明図を示す。
図 6のように、 ブロック位置が （1， 2)、 プロック内の位置が （2， 1) の画素をアクセスする場合、 ェントリ決定回路 3 1 0の内部レジス タに X方向プロック位置として 1、 Y方向プロック位置として 2をセッ トする。 その後、 ア ドレスには参照画像の識別コード H' F F O Oを上 位 1 6ビッ ト、 プロック内の Y方向画素位置 H' 0 1、 X方向画素位置 H， 0 2を下位 1 6ビットに割り合て、 アドレス = H， F F 0 0 0 1 0 2でアクセスする。
次に、 図 7により、 エントリの決定方法の一例について説明する。 図 7はェントリ決定方法の説明図を示す。
エントリの決定方法は、 矩形ブロックの横方向の位置を X、 縦方向の 位置を yとして、 エントリ数を mX nとした場合、 以下の式でエントリ 番号を決定する。
エントリ番号 = { ( X m)の余り } + { ( y/n)の余り } Xm ( 1 ) 図 7により、 式 （ 1) に従い、 エントリ番号を決定した場合に画像上 のプロックがどのエントリに格納されるかを説明する。 ここでは、 ェン トリ数を 3 X 3 (番号 0〜8) とした場合について示しており、 ブロッ ク位置 （6， 3) はエントリ番号 0、 ブロック位置 （5， 5) はェント リ番号 8になり、 それぞれのエントリ番号位置に格納される。 図 7で示 すように、 横方向は 1ずつエントリ番号が増え、 3つ目で元に戻る。 縦 方向は 3ずつエントリ番号が増え、 3つ目で元に戻る。
従って、 横方向、 縦方向ともに 3個以内の位置のプロックはエントリ の競合を起こさない。 すなわち、 横方向には m個以内、 縦方向には n個 以内の位置のプロックはエント リの競合を起こさない。 そのため、 横方 向と縦方向の両方に近傍の画素のキヤッシュヒッ ト率が向上する。
このときのタグは、 以下の式により表される。
タグ = {(x/m) の商 } + {(y/n) の商 } X m (2) タグメモリ 3 1 2の、 式 （ 1 ) で決定されたェントリに対応する位置 に、 式 （2) の値が格納される。
次に、 本実施の形態のキヤッシュシステムにおける動作の一例につい て説明する。
画像処理装置 1 0 1がアクセスしたい参照画像の X方向プロック位 置と Y方向ブロック位置を、 ェントリ決定回路 3 1 0の内部レジスタに 設定しておく。 制御部選択回路 1 1 4では、 ア ドレスバス 1 20からァ ドレスが入力されると、 上位 1 6ビッ トを見て参照画像へのアクセスな のか、 それ以外へのアクセスなのかを判断し、 参照画像へのアクセスで あった場合、 ェントリ決定回路 3 1 0に参照画像制御選択信号を出力す る。
ェントリ決定回路 3 1 0では、 参照画像制御選択信号が入力されると、 内部レジスタに設定された値により、 式 （ 1 )、 (2) に従いエントリ、 タグを決定し、 キャッシュヒッ ト判定回路 3 1 1に出力する。 また、 参 照画像先頭ァドレス、 X方向画像サイズ、 プロック位置より ミスヒ ッ ト 時のメインメモリ用ア ドレス、 プロック内位置よりキャッシュメモリ用 ア ドレスを算出し、 メモリ コントローラ 3 1 3に出力する。
キヤッシュヒッ ト判定回路 3 1 1では、 入力されたェントリに対応す るタグメモリ 3 1 2の値を入力されたタグと比較する。 比較の結果、 一 致していたらヒッ ト信号を、 不一致だったらミスヒッ ト信号をメモリコ ントローラ 3 1 3に出力する。 ミスヒ ッ トの場合、 タグメモリ 3 1 2を 入力されたタグに書き換える。
メモリコントローラ 3 1 3では、 ヒッ ト判定の場合、 エントリ決定回 路 3 1 0から入力されたキヤッシュメモリ用実ァドレスに従いキヤッ シュメモリ 1 1 3にアクセスし、 データパス 1 2 1にデータを出力する c ミスヒ ッ ト判定の場合、 該当するェント リの 1 6 X 1 6画素を全て置き 換え、 その後、 データを出力する。
次に、 図 8により、 ミスヒ ッ ト時の動作の一例を説明する。 図 8はミ スヒ ッ ト時の動作の説明図を示す。
ここでは、 （ 1 , 1 ) のブロックの画素にアクセスの際、 ミスヒ ッ ト が起こった場合について示している。 参照画像格納先頭ァドレスを H' 0 0 0 0、 画像の X方向サイズを 1 7 6画素とすると、 （ 1 , 1 ) の先 頭ァドレスは H' 0 B 1 0、 Y方向のインク リ メント値 （Y方向の次の ア ドレスの加算値） は H， B Oとなる。 これらの値は、 エント リ決定回 路 3 1 0から受け渡される。 ブロック位置 （1， 1) は前述した式 （1 ) よりエント リ番号 4に格納される。
メモリ コントローラ 3 1 3は、 メインメモリ 3 0 0にアクセスし、 ま ず先頭ァ ドレスである H' O B 1 0の 1ライン （ 1 6バイ ト） をキヤッ シュメモリ 1 1 3のェントリ番号 4に上から順番に格納する。 メインメ モリ 3 0 0のア ドレスに Y方向インク リメ ン ト値 （Η' B O) を加算し て、 次のア ドレス (Η' 0 B C 0) にアクセスをし、 キャッシュメモリ 1 1 3のェントリ番号 4に順番に格納する。 これを 1 6ライン繰り返し. 1ブロック分 （ 1 6 X 1 6画素） の置き換えが行われる。 その後、 キヤ ッシュメモリ用実ア ドレスに従いキャッシュメモリ 1 1 3にアクセス し、 データバス 1 2 1にデータを出力し、 動作を完了する。
このように、 本実施の形態のキャッシュシステムによれば、 1ェント リに矩形プロックを格納し、 画素の指定をプロック位置とブロック内の 位置で行うことにより、 画素の横方向と縦方向の両方に近傍の画素のキ ャッシュヒット率が向上する。 また画像のサイズも自由に選択すること ができる。
(実施の形態 4)
図 9により、 本発明による信号処理装置を適用した実施の形態 4のキ ャッシュシステムの構成の一例を説明する。 図 9は本実施の形態のキヤ ッシュシステムのプロック図を示す。 本実施の形態の特徴は、 画像用のキヤッシュ制御部と通常の演算処理 装置用のキャッシュ制御部がそれぞれ別々にあり、 パスを介してメイン メモリに接続されていることにある。
すなわち、 本実施の形態のキャッシュシステムは、 画像データを処理 するための画像処理装置 1 0 1と、 画像データのキャッシュ動作を制御 するための画像用キャッシュ制御部 4 0 0と、 キヤッシュ動作の画像デ ータを格納するための画像用キャッシュメモリ 4 0 1と、 画像データと 演算処理装置用のィンス トラクションコードやその他のデータを格納 するためのメインメモリ 4 0 2と、 演算処理装置用の他のデータを演算 処理するための演算処理装置 4 0 3と、 他のデータのキャッシュ動作を 制御するための演算処理装置用キヤッシュ制御部 4 0 4と、 キャッシュ 動作の他のデータを格納するための演算処理装置用キヤッシュメモリ 4 0 5などから構成されている。
次に、 本実施の形態のキヤッシュシステムの動作の一例について説明 する。
画像処理装置 1 0 1は、 画像データに関する処理を行う。 画像処理装 置 1 0 1力 S、 画像用キャッシュ制御部 4 0 0に画像データのアクセス要 求をする。 このキャッシュ制御部 4 0 0では、 画像データがキャッシュ ヒットであれば画像用キヤッシュメモリ 4 0 1にアクセスし、 画像処理 装置 1 0 1にデータを出力する。 ミスヒッ トであれば、 バス 4 2 0を通 じてメインメモリ 4 0 2にアクセスし、 データを画像用キャッシュメモ リ 4 0 1のデータと置き換え、 画像処理装置 1 0 1に出力する。 キヤッ シュの制御方法は、 前記実施の形態 1で説明した方式をとつており、 画 像に適した制御となっている。
次に、 演算処理装置 4 0 3の動作の一例について説明する。
演算処理装置 4 0 3では、 主に画像データ以外のデータを扱う。 演算 処理装置 4 0 3が、 演算処理装置用キヤッシュ制御部 4 0 4にデータの アクセス要求をする。 このキャッシュ制御部 4 0 4では、 データがキヤ ッシュヒッ トであれば演算処理装置用キヤッシュメモリ 4 0 5にァク セスし、 演算処理装置 4 0 3にデータを出力する。 ミスヒ ッ トであれば、 パス 4 2 0を通じてメインメモリ 4 0 2にアクセスし、 データを演算処 理装置用キャッシュメモリ 4 0 5のデータと置き換え、 演算処理装置 4 0 3に出力する。 演算処理装置 4 0 3では、 インストラクシヨンコード など、 主に画像以外のデータを取り扱うため、 それらの制御に適した従 来方式のキヤッシュ制御が行われている。
このように、 本実施の形態のキャッシュシステムによれば、 画像処理 装置 1 0 1には画像用キヤッシュ制御部 4 0 0、 演算処理装置 4 0 3に は演算処理装置用キヤッシュ制御部 4 0 4をそれぞれ独立に設けるこ とにより、 それぞれの処理に適したキャッシュ制御方式を適用すること ができる。 その結果、 それぞれの処理でキャッシュヒッ ト率が高くなる。
(実施の形態 5 )
図 1 0により、 本発明による信号処理装置を適用した実施の形態 5の 携帯電話システムの構成の一例を説明する。 図 1 0は本実施の形態の携 帯電話システムのプロック図を示す。
本実施の形態の特徴は、 具体的な製品として、 携帯電話システムに適 用していることにある。
すなわち、 本実施の形態の携帯電話システムは、 携帯電話システムの 主要部を搭載する携帯電話本体部 5 0 0と、 音声を入力するためのマイ ク 5 0 1と、 音声を発声するためのスピーカ 5 0 2と、 対象物を撮像す るためのカメラ 5 0 3と、 画像を表示するための L C D 5 0 4などから 構成されている。
携帯電話本体部 5 0 0は、 送受信信号を変調および復調する機能など を持つ R F回路 5 1 0、 送受信を制御する機能などを持つベースパンド プロセッサ 5 1 1、 音声および画像などのデータを記憶するメインメモ リ 5 1 2、 カメラ 5 0 3で撮像した画像信号をデジタル処理するカメラ D S P 5 1 3、 各種アプリケーション処理を実行するキヤッシュメモリ 5 1 4を含むアプリケーシヨ ンプロセッサ 5 1 5、 L C D 5 0 4 とのィ ンタフェースを司る L C Dインターフェイス 5 1 6などから構成され ている。 メインメモリ 5 1 2は、 パス 5 2 0を通じてベースバンドプロ セッサ 5 1 1、 キャッシュメモリ 5 1 4に接続され、 音声データ、 画像 データなどが格納されている。
受信時の基本動作は、 R F回路 5 1 0において、 アンテナで受信され た電波がフィルタ、 アンプ、 ミキサなどを介して中間周波数の信号に変 換される。 そして、 ベースバンドプロセッサ 5 1 1において、 中間周波 数の信号は復調されてベースバンド信号となり、 その後、 チャネルコー デックによって分解され、 必要なチヱネルの音声信号は音声コーデック によってアナログ音声信号となり、 スピーカ 5 0 2から発声される。 こ の際に、 ベースパンドプロセッサ 5 1 1では、 随時、 メインメモリ 5 1 2にデータを格納し、 また必要なデータを読み出して各処理を実行する 送信時の基本動作は、 ベースバンドプロセッサ 5 1 1において、 マイ ク 5 0 1から入り音声コーデックでデジタル化された信号がチャネル コーデックで変換され、 そして波形整形回路で伝送に適した波形に整形 される。 この際に、 ベースパンドプロセッサ 5 1 1では、 随時、 メイン メモリ 5 1 2にデータを格納し、 また必要なデータを読み出して各処理 を実行する。 その後、 R F回路 5 1 0において、 中間周波数で変調され、 さらにミキサなどを介して無線周波数に変換され、 アンプで増幅された 後にフィルタを経てアンテナから送信される。
また、 カメラ 5 0 3による撮像機能および L C D 5 0 4への表示機能 に関する動作は、 カメラ 5 0 3で撮像した画像信号をカメラ D S P 5 1 3でデジタル処理し、 さらにアプリケーションプロセッサ 5 1 5におい て、 L C D 5 0 4へ表示するためのデータ処理や、 音声とともに電波に 載せて送信するためのデータ処理などを行う。 この際に、 アプリケーシ ョンプロセッサ 5 1 5では、 随時、 メインメモリ 5 1 2にデータを格納 し、 また必要なデータはキヤッシュ動作によりキヤッシュメモリ 5 1 4 に格納して各処理を実行する。
そして、 L C D 5 0 4へ表示するためにデータ処理された信号は、 L C D 5 0 4に画像として表示される。 また、 音声とともに電波に載せて 送信するためにデータ処理された信号は、 音声とともにアンテナから送 信され、 相手側の L C Dに画像として表示される。
このように、 本実施の形態の携帯電話システムによれば、 キャッシュ システムを携帯電話システムに適用したことにより、 前記実施の形態 1 〜4と同様の効果を得ることができる。
以上、 本発明者によってなされた発明をその実施の形態に基づき具体 的に説明したが、 本発明は前記実施の形態に限定されるものではなく、 その要旨を逸脱しない範囲で種々変更可能であることはいうまでもな い。 産業上の利用可能性
以上のように、 本発明にかかる信号処理装置は、 特に画像用キヤッシ ュメモリの制御方式、 さらに画像用キャッシュメモリと通常の演算処理 装置用キヤッシュメモリをそれぞれ別々に設けた制御方式のキヤッシ ュシステムなどに適用して有用であり、 さらに携帯電話などの携帯端末 システムなどにも広く適用することができる。

Claims

請 求 の 範 囲
1 . 画像データの符号化画像用キャッシュメモリと、
前記符号化画像用キヤッシュメモリに対するキヤッシュ動作を制御 する符号化画像用キャッシュ制御部と、
前記画像データの参照画像用キヤッシュメモリと、
前記参照画像用キャッシュメモリに対するキャッシュ動作を制御す る参照画像用キャッシュ制御部と、
前記符号化画像用キヤッシュ制御部によるキヤッシュ制御と前記参 照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、 それ ぞれ独立した前記符号化画像用キャッシュメモリ と前記参照画像用キ ャッシュメモリのェントリにキヤッシュする画像データを格納する選 択回路とを有することを特徴とする信号処理装置。
2 . 請求項 1記載の信号処理装置において、
前記参照画像用キャッシュメモリは、 前方予測参照画像用キヤッシュ メモリと後方予測参照画像用キヤッシュメモリ とを有し、
前記参照画像用キャッシュ制御部は、 前方予測参照画像用キヤッシュ 制御部と後方予測参照画像用キヤッシュ制御部とを有し、
前記選択回路は、 前記前方予測参照画像用キャッシュ制御部によるキ ャッシュ制御と前記後方予測参照画像用キヤッシュ制御部によるキヤ ッシュ制御とを独立に行い、 それぞれ独立した前方予測参照画像用キヤ ッシュメモリ と前記後方予測参照画像用キヤッシュメモリのエントリ にキャッシュするデータを格納することを特徴とする信号処理装置。
3 . 請求項 1記載の信号処理装置において、
前記符号化画像用キヤッシュメモリおよび前記参照画像用キヤッシ ュメモリは、 1つのエントリに格納される画像データの単位が画像上で 矩形プロックであることを特徴とする信号処理装置。
4 . 請求項 3記載の信号処理装置において、
前記符号化画像用キヤッシュ制御部おょぴ前記参照画像用キヤッシ ュ制御部は、 アクセスする画素データを指定する際、 前記矩形ブロック の横方向の位置と縦方向の位置と前記矩形プロック内の横方向の画素 位置と縦方向の画素位置で指定し、 前記矩形ブロックの横方向の位置と 縦方向の位置によりエント リを決定することを特徴とする信号処理装
5 . 請求項 2記載の信号処理装置において、
前記符号化画像用キャッシュメモリ、 前記前方予測参照画像用キヤッ シュメモリおよび前記後方予測参照画像用キヤッシュメモリは、 1つの エント リに格納される画像データの単位が画像上で矩形プロックであ ることを特徴とする信号処理装置。
6 . 請求項 5記載の信号処理装置において、
前記符号化画像用キヤッシュ制御部、 前記前方予測参照画像用キヤッ シュ制御部おょぴ前記後方予測参照画像用キヤッシュ制御部は、 ァクセ スする画素データを指定する際、 前記矩形プロックの横方向の位置と縦 方向の位置と前記矩形プロック内の横方向の画素位置と縦方向の画素 位置で指定し、 前記矩形ブロックの横方向の位置と縦方向の位置により エントリを決定することを特徴とする信号処理装置。
7 . 請求項 1、 2、 3、 4、 5または 6記載の信号処理装置において、 前記画像データを格納する画像メモリを接続するための画像メモリ 用インタフェースと、
前記画像データを処理する画像処理装置を接続するための画像処理 装置用インタフェースとを有し、
前記信号処理装置は、 前記画像メモリ用インタフェースからパスを通 じて前記画像メモリに接続され、 前記画像処理装置用ィンタフェースか らバスを通じて前記画像処理装置に接続されることを特徴とする信号 処理装置。
8 . 請求項 1、 2、 3、 4、 5または 6記載の信号処理装置において、 前記画像データと他のデータとを共有して格納するメモリを接続す るためのメモリ用インタフェースと、
前記画像データを処理する画像処理装置を接続するための画像処理 装置用インタフェースと、
前記他のデータを処理する演算処理装置を接続するための演算処理 装置用ィンタフヱ一スとを有し、
前記信号処理装置は、 前記メモリ用インタフェースからバスを通じて 前記メモリに接続され、 前記画像処理装置用インタフェースからバスを 通じて前記画像処理装置に接続され、 前記演算処理装置用ィンタフエー スからバスを通じて前記演算処理装置に接続されることを特徴とする 信号処理装置。
9 . 画像データの符号化画像用キャッシュメモリ と、 前記符号化画像用 キャッシュメモリに対するキヤッシュ動作を制御する符号化画像用キ ャッシュ制御部と、 前記画像データの参照画像用キャッシュメモリと、 前記参照画像用キヤッシュメモリに対するキヤッシュ動作を制御する 参照画像用キヤッシュ制御部と、 前記符号化画像用キヤッシュ制御部に よるキャッシュ制御と前記参照画像用キャッシュ制御部によるキヤッ シュ制御とを独立に行い、 それぞれ独立した前記符号化画像用キヤッシ ュメモリ と前記参照画像用キヤッシュメモリのエントリ にキャッシュ する画像データを格納する選択回路とを有する信号処理装置と、
前記信号処理装置にパスを通じて接続され、 前記画像データを格納す る画像メモリ と、
前記信号処理装置にパスを通じて接続され、 前記画像データを処理す る画像処理装置とを有することを特徴とするシステム。
1 0 . 画像データの符号化画像用キャッシュメモリ と、 前記符号化画像 用キャッシュメモリに対するキヤッシュ動作を制御する符号化画像用 キャッシュ制御部と、 前記画像データの参照画像用キヤッシュメモリ と, 前記参照画像用キヤッシュメモリに対するキヤッシュ動作を制御する 参照画像用キャッシュ制御部と、 前記符号化画像用キャッシュ制御部に よるキャッシュ制御と前記参照画像用キャッシュ制御部によるキヤッ シュ制御とを独立に行い、 それぞれ独立した前記符号化画像用キヤッシ ュメモリ と前記参照画像用キヤッシュメモリのエントリにキャッシュ する画像データを格納する選択回路とを有する信号処理装置と、 前記信号処理装置にバスを通じて接続され、 前記画像データと他のデ ータとを共有して格納するメモリと、
前記信号処理装置にパスを通じて接続され、 前記画像データを処理す る画像処理装置と、
前記メモリにバスを通じて接続され、 前記他のデータを処理する演算 処理装置とを有することを特徴とするシステム。
PCT/JP2002/008236 2002-08-13 2002-08-13 信号処理装置およびシステム Ceased WO2004017640A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004528812A JPWO2004017640A1 (ja) 2002-08-13 2002-08-13 信号処理装置およびシステム
PCT/JP2002/008236 WO2004017640A1 (ja) 2002-08-13 2002-08-13 信号処理装置およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2002/008236 WO2004017640A1 (ja) 2002-08-13 2002-08-13 信号処理装置およびシステム

Publications (1)

Publication Number Publication Date
WO2004017640A1 true WO2004017640A1 (ja) 2004-02-26

Family

ID=31742926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/008236 Ceased WO2004017640A1 (ja) 2002-08-13 2002-08-13 信号処理装置およびシステム

Country Status (2)

Country Link
JP (1) JPWO2004017640A1 (ja)
WO (1) WO2004017640A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061151A (ja) * 2006-09-04 2008-03-13 Fujitsu Ltd 動画像処理装置及びプリフェッチ制御方法
WO2008102446A1 (ja) * 2007-02-22 2008-08-28 Fujitsu Limited 動画像符号化装置および動画像符号化方法
JP2009098822A (ja) * 2007-10-16 2009-05-07 Sony Corp データ処理装置及び共有メモリのアクセス方法
JP2011193453A (ja) * 2010-02-22 2011-09-29 Panasonic Corp 復号化装置及び復号化方法
JP2014513883A (ja) * 2011-03-07 2014-06-05 日本テキサス・インスツルメンツ株式会社 ビデオ符号化のためのキャッシュ方法およびシステム
CN107038127A (zh) * 2017-02-08 2017-08-11 阿里巴巴集团控股有限公司 应用系统及其缓存控制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0453389A (ja) * 1990-06-21 1992-02-20 Graphics Commun Technol:Kk 動ベクトル検出装置
JPH0553909A (ja) * 1991-08-23 1993-03-05 Pfu Ltd 画像データ処理におけるキヤツシユメモリ制御方式
JPH05300497A (ja) * 1992-04-21 1993-11-12 Mitsubishi Electric Corp 画像処理装置及びディジタル信号処理プロセッサ
JPH0856362A (ja) * 1994-04-27 1996-02-27 Sgs Thomson Microelectron Sa 動画像圧縮回路のキャッシュメモリにアドレス指定するための装置、動画像を圧縮する方法、およびキャッシュメモリにアドレス指定する方法
JPH09312857A (ja) * 1996-05-20 1997-12-02 Sony Corp 情報処理方法及び情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0453389A (ja) * 1990-06-21 1992-02-20 Graphics Commun Technol:Kk 動ベクトル検出装置
JPH0553909A (ja) * 1991-08-23 1993-03-05 Pfu Ltd 画像データ処理におけるキヤツシユメモリ制御方式
JPH05300497A (ja) * 1992-04-21 1993-11-12 Mitsubishi Electric Corp 画像処理装置及びディジタル信号処理プロセッサ
JPH0856362A (ja) * 1994-04-27 1996-02-27 Sgs Thomson Microelectron Sa 動画像圧縮回路のキャッシュメモリにアドレス指定するための装置、動画像を圧縮する方法、およびキャッシュメモリにアドレス指定する方法
JPH09312857A (ja) * 1996-05-20 1997-12-02 Sony Corp 情報処理方法及び情報処理装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061151A (ja) * 2006-09-04 2008-03-13 Fujitsu Ltd 動画像処理装置及びプリフェッチ制御方法
WO2008102446A1 (ja) * 2007-02-22 2008-08-28 Fujitsu Limited 動画像符号化装置および動画像符号化方法
JP2009098822A (ja) * 2007-10-16 2009-05-07 Sony Corp データ処理装置及び共有メモリのアクセス方法
JP2011193453A (ja) * 2010-02-22 2011-09-29 Panasonic Corp 復号化装置及び復号化方法
JP2014513883A (ja) * 2011-03-07 2014-06-05 日本テキサス・インスツルメンツ株式会社 ビデオ符号化のためのキャッシュ方法およびシステム
CN107038127A (zh) * 2017-02-08 2017-08-11 阿里巴巴集团控股有限公司 应用系统及其缓存控制方法和装置

Also Published As

Publication number Publication date
JPWO2004017640A1 (ja) 2005-12-08

Similar Documents

Publication Publication Date Title
US6339656B1 (en) Moving picture encoding decoding processing apparatus
CN110234008B (zh) 编码方法、解码方法及装置
US6842219B2 (en) Moving picture decoding processor for multimedia signal processing
US20010004385A1 (en) Motion vector detection system
US20050190976A1 (en) Moving image encoding apparatus and moving image processing apparatus
US8451373B2 (en) Frame rate converter and display apparatus equipped therewith
US8464006B2 (en) Method and apparatus for data transmission between processors using memory remapping
TWI297576B (en) Method of motion vector determination in digital video compression
CN116456102B (zh) 图像处理方法、处理设备及存储介质
WO2004017640A1 (ja) 信号処理装置およびシステム
US20260032276A1 (en) Image processing method, processing device and storage medium
JP2004048512A (ja) 動画像符号化方法と動画像符号化回路
KR101085799B1 (ko) 핸드헬드 디바이스에서의 이미지 처리 방법 및 장치
US6996185B2 (en) Image signal decoding apparatus
US7272184B2 (en) Programmable system for motion vector generation
CN115103196B (zh) 图像编码方法、电子设备以及介质
JP3701652B2 (ja) 可変幅命令のアライメント・エンジン
JP4669517B2 (ja) 動き推定の実現方法
US7502900B2 (en) Data processing integrated circuit including a memory transfer controller
US20080273805A1 (en) Semiconductor device and an image processor
CN112866710B (zh) 一种编码单元处理方法和相关装置
US7606996B2 (en) Array type operation device
JP2861963B2 (ja) 動きベクトル検出回路
US20250337892A1 (en) List construction method and terminal
CN100384216C (zh) 优化搜索算法的视频数据压缩方法及装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR SG US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004528812

Country of ref document: JP

122 Ep: pct application non-entry in european phase