WO2003081895A1 - Dispositif et procede de traitement d'images - Google Patents

Dispositif et procede de traitement d'images Download PDF

Info

Publication number
WO2003081895A1
WO2003081895A1 PCT/JP2003/003688 JP0303688W WO03081895A1 WO 2003081895 A1 WO2003081895 A1 WO 2003081895A1 JP 0303688 W JP0303688 W JP 0303688W WO 03081895 A1 WO03081895 A1 WO 03081895A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
storage unit
temporary storage
pixels
image
Prior art date
Application number
PCT/JP2003/003688
Other languages
English (en)
French (fr)
Inventor
Yoshimasa Okabe
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/508,776 priority Critical patent/US7573513B2/en
Priority to EP03712970A priority patent/EP1492326B1/en
Publication of WO2003081895A1 publication Critical patent/WO2003081895A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to an image processing device and an image processing method.
  • the present invention relates to an image processing apparatus and an image processing method suitable for a portable device such as a digital camera and a digital video.
  • the raw data (RGB data) obtained by A / D converting the output signal of the image sensor is first stored in a memory.
  • the raw data stored in the memory is converted to YC data by the image processing circuit.
  • the image processing circuit includes a temporary storage circuit for writing raw data read from the memory, and an arithmetic circuit for performing arithmetic processing using the raw data of a plurality of pixels read from the temporary storage circuit.
  • FIG. 38 shows an example of the order in which the raw data read from the memory for the conversion process is written to the temporary storage circuit. Specifically, raw data is sequentially read out for each horizontal pixel column (line) within one image 300.
  • the conversion process requires multiple pixels that are adjacent in the horizontal and Z or vertical directions. Therefore, when the writing order shown in FIG. 38 is adopted, a large-capacity line memory capable of storing pixels included in one line of the image 300 is required as a temporary storage circuit, and the image processing circuit is large. Become scale.
  • Japanese Patent Application Laid-Open No. 2000-35054193 discloses that an image 300 is divided into a plurality of blocks (image blocks 301) as shown in FIG. It describes that raw data is read from the memory and processed every time. If the reading method shown in FIG. 39 is adopted, the line memory only needs to have a storage capacity capable of storing the pixels included in one line of the image block 301. By reducing the storage capacity of the line memory, the scale of the image processing circuit can be reduced. Disclosure of the invention
  • one image 300 is divided into image blocks 301. This will increase the frequency of line updates. Further, when one image 300 is divided into image blocks 301, the image blocks 301 need to be updated. For example, assuming that the number of pixels in the vertical direction of the image 300 is 1,218, and the total number of image blocks 3 ⁇ 1 included in the image 300 is 476, FIG. The number of line updates in the process shown in Fig. 8 is 1 2 1 7 times, whereas the number of line updates in the process shown in Fig. 39 is the number of line updates in one image block 301 (65 times). It reaches 3 0 8 7 5 times, which is the product of the number of image blocks 3 0 1 (4 7 5).
  • the raw data read from the memory to the temporary storage circuit at the time of updating the line and at the time of updating the image block is obtained.
  • an object of the present invention is to eliminate processing loss at the time of updating a line and at the time of updating an image, thereby improving processing speed and reducing power consumption.
  • an image storage unit that stores an image, and an output pixel is generated by performing arithmetic processing on M horizontal pixels and N vertical pixels adjacent to each other included in the image.
  • M is an integer greater than or equal to 2 and N is an integer greater than or equal to 1; and an M-th pixel to a last pixel of each horizontal pixel column of the image are readable.
  • a second temporary storage unit that stores up to the first pixel in a readable manner, a pixel stored in the first temporary storage unit, and a pixel input from the second temporary storage unit
  • a third temporary storage unit for simultaneously outputting the M horizontal pixels and the N vertical pixels adjacent to each other to the arithmetic unit.
  • the image includes both an image for one frame and an image block obtained by dividing the image for one frame.
  • the image processing apparatus before the pixel used for generating the last output pixel of one horizontal pixel row is stored in the third temporary storage unit, starts from the first pixel of the next horizontal pixel row. Pixels used to generate the last output pixel corresponding to the one horizontal pixel row, reading up to the M_ 1st pixel from the image storage unit and writing it to the second temporary storage unit Is output from the third temporary storage unit to the arithmetic unit, the M- 1st pixel from the first pixel of the next line is read out from the second temporary storage unit, and the third temporary And a control unit for writing to the storage unit.
  • the third temporary storage unit store the data from the first pixel to the M-th pixel of the next horizontal pixel row.
  • the (M ⁇ 1) th pixel from the first pixel of the next horizontal pixel row is stored in the second temporary storage unit before the line is updated, And transferred from the second temporary storage means to the third temporary storage means. Therefore, even at the time of updating the line, the third temporary storage means can output the effective pixel set necessary for generating the output pixel to the calculation unit. In other words, it is possible to eliminate the processing loss at the time of updating the line.
  • the control unit calculates N pixels arranged in a vertical direction with respect to pixels belonging to first to Nth horizontal pixel columns of the image. It is preferable that the operation of sequentially reading from the storage unit and writing the data in the first temporary storage unit or the second temporary storage unit is repeated while moving the read position in the horizontal direction.
  • the first to Nth of the next image are stored in the third temporary storage means. Need to be stored.
  • the storage means can output a valid pixel set necessary for generating an output pixel to the arithmetic unit. In other words, the processing at the time of updating the image can be eliminated.
  • the arithmetic unit generates one output pixel per unit time
  • the first temporary storage unit includes N RAMs
  • the control unit performs a write operation before the RAM being written. If the write address is immediately before the previous read address, one pixel is read from the image storage unit and written to the RAM or the second temporary storage unit within the unit time, and the writing is being performed. If the previous write address of the RAM is one or more times before the immediately preceding read address, two pixels are read from the image storage unit within the unit time and the RAM and Z or the It is preferable to write the data in the temporary storage unit of 3.
  • an output pixel is generated by performing arithmetic processing on M pixels in the horizontal direction and N pixels adjacent to each other in the vertical direction included in the image stored in the image storage unit.
  • An image processing method wherein N is an integer of 1 or more, wherein a pixel is read out from the image storage unit while horizontally moving a read position from the image storage unit, and is written to a first temporary storage unit; Pixels are read out from the first temporary storage unit, written to the third temporary storage unit, and delayed by the third temporary storage unit, so that M pixels in the horizontal direction and N pixels in the vertical direction are adjacent to each other.
  • a pixel is output to a calculation unit, an output pixel is generated from the MXN pixels by the calculation circuit, and a pixel used for generating a last output pixel corresponding to one horizontal pixel row is the third pixel.
  • the next horizontal pixel before being stored in the temporary storage writes from the beginning of the pixel up to the M- 1 th pixel in the second temporary storage unit is read from the image storage unit, the one horizontal pixel rows
  • the second one-day storage unit starts the next line.
  • the third temporary storage unit stores the (M ⁇ 1) th pixel from the first pixel from the top of each horizontal pixel row previously stored in the second temporary storage unit and reads out the line before updating the line. Since the data is stored in the memory, it is possible to eliminate the processing loss at the time of updating the line, to improve the processing speed and reduce the power consumption. In addition, by reading a plurality of pixels belonging to the first to Nth horizontal pixel columns in the image in the vertical direction while moving the reading position in the horizontal direction, the processing loss at the time of updating the image is eliminated, and the processing speed is reduced. And power consumption can be reduced.
  • the memory capacity of the RAM can be efficiently increased without causing a problem in image processing.
  • FIG. 1 is a block diagram illustrating an image processing system of a digital camera including a YC processing circuit according to an embodiment of the present invention.
  • FIG. 2 is a flowchart for explaining the operation of the image processing system of FIG.
  • FIG. 3 is a circuit diagram showing a YC processing circuit.
  • FIG. 4 is a diagram showing an image for one frame.
  • FIG. 5 is a diagram showing assignment of coordinates to pixels.
  • FIG. 6 is a schematic diagram showing the structure of pixel data.
  • FIG. 7 is a schematic diagram showing the RAM.
  • 8A to 8C are diagrams for explaining a method of generating an output pixel.
  • FIG. 9 is a diagram for explaining a writing destination of pixel data of each pixel in an image block.
  • FIG. 10 is a diagram showing a writing order of pixel data of pixel data in an image block.
  • FIG. 11 is a diagram showing the output order of output pixels.
  • FIG. 12 is a flowchart for explaining the operation of the YC processing circuit.
  • FIG. 13 is a flowchart of the subroutine of step S12-1.
  • FIG. 14 is a tape table showing conditions for determining the method of mouthing the first and second storage units.
  • FIGS. 15 and 16 are tables for explaining the operation of the YC processing circuit from time t to time t + 1 43.
  • FIG. 15 and 16 are tables for explaining the operation of the YC processing circuit from time t to time t + 1 43.
  • FIG. 17 is a diagram showing the time when the pixel data of each pixel is transferred from the memory to the RAM. .
  • FIG. 18 is a diagram illustrating a time when pixel data stored in the RAM is transferred to the third temporary storage unit.
  • FIG. 19 is a diagram showing the generation time of each generated pixel.
  • FIG. 20 is a schematic diagram showing the pixel data held in the first and second temporary storage units immediately after time t.
  • FIG. 21 is a schematic diagram showing the pixel data stored in the first and second temporary storage units after reading the pixel data from the memory to the RAM at time t + 1.
  • FIG. 22 is a schematic diagram showing the pixel data stored in the third temporary storage unit before the shift of the register of the third one-B temple storage unit at time t + 1.
  • FIG. 23 is a schematic diagram illustrating the pixel data held in the third temporary storage unit after the register of the third temporary storage unit is shifted at time t + 1.
  • FIG. 24 is a schematic diagram illustrating the pixel data stored in the third temporary storage unit after the pixel data is transferred one pixel at a time t + 1 from the RAM to the third one-day storage unit.
  • FIG. 25 is a schematic diagram showing pixel data held in the third temporary storage unit when an output pixel is generated at time t + 1.
  • FIG. 26 shows the pixels stored in the first and second temporary storage units immediately after time t + 2. It is a schematic diagram which shows data.
  • FIG. 27 is a schematic diagram showing the pixel data stored in the first and second temporary storage units after reading out the pixel data from the memory to the RAM at time t + 3.
  • Figure 28 is the second one! ⁇
  • FIG. 29 is a schematic diagram showing the pixel data stored in the third one-B temple storage unit after transferring the pixel data by one pixel from the RAM to the third temporary storage unit at time t + 3.
  • FIG. 29 is a schematic diagram showing the pixel data stored in the third one-B temple storage unit after transferring the pixel data by one pixel from the RAM to the third temporary storage unit at time t + 3.
  • FIG. 30 is a schematic diagram showing the pixel data stored in the first and second one-B temple storage units immediately after time t + 3.
  • FIG. 31 is a schematic diagram showing the pixel data stored in the first and second temporary storage units after reading out the pixel data from the memory to the RAM at time t + 4.
  • FIG. 32 is a schematic diagram illustrating the pixel data held in the third temporary storage unit after the output pixel is generated at the time t + 4.
  • FIG. 33 is a schematic diagram showing the pixel data held in the first and second temporary storage units immediately after time t + 4.
  • FIG. 34 is a schematic diagram showing pixel data stored in the first and second temporary storage units after reading pixel data from the memory to the RAM and the register at time t + 5.
  • FIG. 35 is a schematic diagram illustrating the pixel data held in the third temporary storage unit after the output pixel is generated at the time t + 5.
  • FIG. 36 is a schematic diagram showing pixel data held in the first and second temporary storage units immediately after time t + 9.
  • FIG. 37 is a schematic diagram showing the pixel data stored in the first and second temporary storage units after the pixel data is read from the memory to the RAM and the register at time t + 10.
  • FIG. 38 is a schematic diagram showing the order of writing pixel data for one frame.
  • FIG. 39 is a schematic diagram showing the writing order of pixel data for each image block.
  • FIG. 40 is a schematic diagram for explaining a loss at the time of updating a line.
  • FIG. 41 is a schematic diagram for explaining a mouth when updating an image block.
  • FIG. 1 shows an image processing system 1 of a digital camera including a YC processing circuit 4 which is an embodiment of an image forming apparatus according to an embodiment of the present invention
  • FIG. 3 shows details of the YC processing circuit 4.
  • the image processing system 1 includes an imaging circuit 2 including a CCD or the like, a memory 3 including a DRAM or the like, a YC processing circuit 4, an SRAM 5, a resolution conversion circuit 6, a compression processing circuit 7 for performing a compression process such as a JPEG compression process. And a recording medium 8 such as an IC card, and a control circuit 9.
  • step S2-1 the raw data (RGB data) generated by the imaging circuit 2 is written into the memory 3.
  • step S2-2 the YC processing circuit 4 generates YC data based on the raw data read from the memory 3, and writes the generated YC data to the SRAM5.
  • step S2-3 the resolution in step S2-3,
  • the resolution conversion circuit 6 converts the resolution of the YC data.
  • the resolution-converted YC data is written to SRAM5 and memory 3. If the resolution conversion is not performed in step S2-2, the YC data generated by the YC processing circuit 4 is written to the SRAM 5 and the memory 3.
  • the compression processing circuit 7 performs a compression process on the YC data stored in the SRAM 5.
  • the compressed data created by the compression process is written to the memory 3.
  • the compressed data in the memory 3 is written to the recording medium 8.
  • the raw data stored in the memory 3 constitutes an image 11 for one frame with 1602 pixels in the horizontal direction and 1218 pixels in the vertical direction.
  • each pixel 12 on the image 11 is represented by an X coordinate and a Y coordinate as shown in FIG.
  • pixel 12 described as (67, 2) is the 67th pixel from the left end of image 11 and the second pixel from the upper end.
  • a horizontal pixel column is referred to as a line as necessary.
  • the YC processing circuit 4 converts the image 11 of one frame into an image block including 66 pixels 12 adjacent in the horizontal and vertical directions. Divide into 1 and 3 for processing.
  • the arithmetic circuit 20 generates YC data of an output pixel from pixel data of nine pixels 12 adjacent to each other in the horizontal direction and the vertical direction. Accordingly, two pixels 12 in the horizontal direction located at the boundary between two image blocks 13 adjacent in the horizontal direction are used for processing of both image blocks 13. Similarly, two pixels 12 in the vertical direction located at the boundary between two vertically adjacent image blocks 13 are used for processing both image blocks 13.
  • the image 11 for one frame includes 25 in the horizontal direction and 19 in the vertical direction, for a total of 475 image blocks 13.
  • the raw data (hereinafter, referred to as pixel data) of each pixel 12 has an even-odd bit 14b and a valid bit 14c as accompanying information of the pixel data section 14a.
  • the even-odd bit 14 b indicates whether or not the pixel 12 belongs to the even-numbered line / the odd-numbered line.
  • the valid bit 14c indicates whether or not the pixel data portion 14a of the pixel 12 is valid data.
  • the YC processing circuit 4 calculates an arithmetic circuit 20 for processing raw data of the pixel 12 stored in the memory 3 and a pixel data of the pixel 12 stored in the memory 3.
  • the first temporary storage unit 21, the second temporary storage unit 22, the third temporary storage unit 23, the first selection unit 26, and the second temporary storage unit 21 A selection unit 27 is provided.
  • the arithmetic circuit 20 performs weighted addition on the pixel data of nine pixels 12 adjacent to each other in three pixels in the horizontal direction and three pixels in the vertical direction. I do. For example, as shown in FIG. 8A, an output pixel of (1, 1) is obtained by weighted addition of nine pixels 12 from (1, 1) to (3, 3).
  • the arithmetic circuit 20 includes a multiplier 3 1 a, 31 b, 31 c and an adder 3 2 for summing the outputs of the multipliers 31 a to 31 c to perform the weighted addition. And The arithmetic circuit 20 generates one output pixel per unit time.
  • the first day storage unit 21 includes three RAMs 21 a, 21 b, and 21 c for storing pixel data read from the memory 3, respectively. As will be described in detail later, these three RAMs 21a to 21c have the third pixel 12 from the top of each line in each image block 13 to the last (the sixth and sixth), respectively. The pixel data of pixel 1 and 2 of It is remembered. As shown in FIG. 7, each of the RAMs 21a to 21c is provided with an address 33 from 1 to 64, and each address 33 can store pixel data of one pixel in a readable and writable manner. .
  • the second temporary storage unit 22 includes six registers 22 ad, 22 ae, 22 bd, 22 be, 22 cd, and 22 ce for storing raw data of one pixel 12. As detailed later in the from pixel 1 2 of these six registers 2 2 ad ⁇ 22 ce the beginning of each line in each image block 1 3 (1st) to the second pixel 1 2 It is for memorizing.
  • the registers 22 ad and '22 & 6 correspond to the RAM 21 a of the first temporary storage unit 21.
  • the registers 22 bd and 22 be correspond to the RAM 21 b. Furthermore, it corresponds to the register 22 cd, 22 ce power SRAM 21c.
  • the third one-day storage unit 23 stores nine registers 23 aa, 23 ab, 23 ac, 23 ba, 23 bb, 23 bc, and 23 ca for storing pixel data of one pixel 12 respectively. , 23 cb, 23 cc.
  • the registers 23 aa to 23 bb correspond to the RAM 21 a of the first temporary storage unit 21.
  • Registers 23ba to 23bc correspond to RAM 21b.
  • the registers 23 c a to 23 c c correspond to the RAM 21 c.
  • the first selector 26 can be switched between an upper position indicated by a solid line and a lower position indicated by a dotted line.
  • three registers 23 aa to 23 cc are connected in series.
  • registers 23 aa to 23 ac, registers 23 b a to 23 b c, and registers 23 c a to 23 c b are connected in series. Therefore, when the first selection unit 26 is in the upper position, the registers 23 aa to 23 ac, the registers 23 ba to 23 bc, and the registers 23 ca to 23 cb of the third temporary storage unit 23 are stored in the RAM 21 1 respectively.
  • the outputs from a to 21 c are delayed and output to the arithmetic circuit 20 via the second selector 27.
  • the third storage unit 23 is connected to the second temporary storage unit 22.
  • the registers 22 ad and 22 ae of the second temporary storage unit 22 are connected to the registers 23 ab and 23 ac of the third temporary storage unit 23.
  • the registers 22 bd and 22 be of the second temporary storage unit 22 store the third temporary storage. It is stored in the registers 23 bb and 23 bc of the storage unit 23.
  • the registers 22 cd and 22 ce of the second temporary storage unit 22 are connected to the registers 23 cb and 23 cc of the third temporary storage unit 23.
  • the registers 23 ab and 23 ac, the registers 23 bb and 23 bc, and the registers 23 cb and 23 cc of the third temporary storage 23 are register 22 ad the second temporary storage section 22, 22 ae s register 22 bd, 22 be, and pixel data are output from the register 22 cd, 22 ce.
  • the second selection unit 27 inputs the latest pixel data of the line to the multiplier 31a of the arithmetic circuit 20, inputs the pixel data of the line immediately before the latest line to the multiplier 31b, It has a function of switching the connection between the third temporary storage unit 23 and the arithmetic circuit 20 so that the pixel data of the line two lines before the latest line is input to the multiplier 31c.
  • the control circuit 9 controls the memory 9, the RAMs 21a to 21c, the registers 22ad to 22ce, the registers 23aa to 23cc, the first selector 26, and the second selector 27, Thereby, the pixel data is transferred from the memory 9 to the first temporary storage unit 21 and the second temporary storage unit 22, and the third temporary storage is performed from the first temporary storage unit 21 and the second temporary storage unit 22.
  • the transfer of the pixel data to the unit 23 and the transfer of the pixel data from the third IB storage unit 23 to the arithmetic circuit 20 are executed. Further, the control circuit 9 controls the arithmetic circuit 20 to execute arithmetic processing and transfer generated pixel data to the SRAM 5.
  • the pixel data is input to the clock control unit 9 a of the control circuit 9 via the third temporary storage unit 23.
  • the arithmetic control unit 9a Based on the even and odd bits 14b and the valid bits 14c, the arithmetic control unit 9a generates a valid output pixel based on the pixel data stored in the third temporary storage unit 23. Judge whether the force is possible or not.
  • the clock control unit 9a supplies the clock signal to the arithmetic circuit 20. Stops and disables the arithmetic processing by arithmetic circuit 20. This prevents the arithmetic circuit 20 from wastefully consuming power when invalid pixel data is input.
  • the YC processing circuit 4 converts the image 11 of one frame into the horizontal and vertical directions.
  • the image is divided into a total of 4 7 5 image blocks 13 consisting of 66 pixels 12 adjacent to and processed.
  • the processing order of the image blocks 13 is as shown by the arrow A in FIG. Specifically, the processing is started from the image block 13 at the upper left corner of the image 11, and the processing of the image block 13 is sequentially executed for each line.
  • the processing executed by the YC processing circuit 4 for each image block 13 can be roughly divided into three stages.
  • the first stage the pixel data read from the memory 3 is written to the first temporary storage unit 21 or the second one-day storage unit 22.
  • the second stage the pixel data read from the first temporary storage unit 21 or the second temporary storage unit 22 is written to the third temporary storage unit 23.
  • the arithmetic circuit 20 generates an output pixel based on the pixel data read from the third temporary storage unit 23.
  • the provision of the second temporary storage unit 22 eliminates the time loss at the time of updating the line.
  • the write destination of the pixel data read from the memory 3 in the first stage is as shown in FIG.
  • the pixel data of the first two pixels of each line that is, the pixel data of the first to second pixels 12 are written to the second storage unit 22.
  • the pixel data of the pixels 12 from the third to the last (sixth and sixth) of each line is written to the first temporary storage unit 21.
  • the order in which pixel data of the pixels 12 belonging to each image block 13 is read out from the memory 3 and written into the first temporary storage unit 21 or the second temporary storage unit 22 is as follows. As shown in FIG. More specifically, the fourth to sixth lines in the image block 13 are moved by one pixel in the horizontal direction for each line, as indicated by the arrow B, as shown by the arrow B. Pixel data is written to the first or second temporary storage section 22. On the other hand, for the first to third lines in the image block 13, as shown by the arrow C, three pixels 12 arranged in a vertical direction are sequentially read from the memory 3 and the first temporary storage is performed. The operation of writing to the unit 21 or the second temporary storage unit 22 is repeated while moving the reading position in the horizontal direction.
  • the pixel data is read out from the RAMs 21 a, 21 b, 21 c of the first temporary storage unit 21, and the corresponding register 23 aa of the third temporary storage unit 23 is read out.
  • 23 ba and 23 ca the address 33 of RAM 21 a to 21 c is moved in the horizontal direction as shown by arrow D in FIG.
  • RAMs 21a to 21c have addresses 1 to 64.
  • the read point is the address of the RAM 21a to 21c from which the pixel data has been read.
  • the write point is the address of the RAM in which pixel data newly read from the memory 3 is written.
  • the current write point cannot overtake the previous read point. For example, if the last read point is 61 as shown in Figure 7, the write point must be before 60. The reason is that the current write point overtakes the previous read point, which means that among the pixel data stored in RAMs 21a to 21c, they have not yet been used to generate output pixels. This is because the new pixel data read from the memory 3 is overwritten on the address 3 3. in which the pixel data is stored.
  • the write point can be delayed from the read point unless it overtakes the read point.
  • the read point is 61 as shown in FIG. 7, the write point should be before 60.
  • the force point, the write point, and the write point are close to the read point.
  • the write point is immediately before the read point.
  • the write point is ideally 60.
  • the fact that the write point is immediately before the read point means that the pixel data from the address 33 in RAM 21a to 21c is in the third temporary state. When output to the storage unit 23, it means that the address 33 is immediately overwritten with new pixel data read from the memory 3.
  • the room where the write point can lag behind the read point is the largest, and the storage capacity of the RAMs 21a to 21c is used most efficiently.
  • the speed at which pixel data is read out from the memory 3 and written to the RAMs 21 a to 21 c of the first temporary storage unit 21 and the registers 22 ad to 22 ce of the second temporary storage unit 22 depends on the write point and the read point. Determined based on conditions. Specifically, if the previous write point of the RAM being written is immediately before the previous read point, any of the RAMs 21a to 21c and the registers 22ad to 22ce will be The pixel data of one pixel 12 is written in each pixel.
  • the order in which the arithmetic circuit 20 generates output pixels and outputs the generated pixels to the SRAM 5 is as shown in FIG. More specifically, as shown by arrow E, output pixels are generated while moving one pixel in the horizontal direction for each image block 13.
  • the arithmetic processing circuit 21 generates output pixels from three adjacent pixels 12 in the horizontal direction and the vertical direction. Therefore, the number of pixels included in the pixel block 12 ′ of the output pixels is determined by the image 11 stored in the memory 3.
  • Pixel block 12 (see Fig. 4). Specifically, the pixel block 12 ′ of output pixels includes a total of 4096 output pixels, 64 in the horizontal and vertical directions.
  • step S12-1 is the first stage described above
  • steps S12-2 to S12-5 are the second stage.
  • steps S12-7 and 12-8 are the second stage.
  • Steps S12-6 correspond to the third stage, respectively.
  • the arithmetic circuit 20 generates one output pixel per unit time.
  • step S1221 of FIG. 12 a method of reading pixel data from the memory 3 is determined, and pixel data is read based on the determined reading method. Specifically, the read speed, the write destination of the read pixel data, and the read direction are determined.
  • step S13-1 it is determined whether or not the previous write point of the RAMs 21a to 21b being written is immediately before the previous read point (condition 1). If it is immediately before, the number of readout pixels per unit time is determined to be 1 in step S13-2 in step S13-2, and if it is not immediately before, the number of readout pixels in unit time is determined to be 2 in step S13-3. . As described above, the reading speed is determined based on the distance between the writing point and the reading point.
  • step S13-4 it is determined whether or not pixel data necessary for generating the first output pixel of the next line is stored in the registers 22ad to 22ce of the second temporary storage unit 22. (Condition 2). If the pixel data is stored, the pixel data read from the memory 3 is written to the RAMs 21 a to 21 c of the first temporary storage unit 21 in step S 13-5. On the other hand, if the pixel data is not stored, the pixel data read from the memory 3 is stored in the registers 2′2 ad to 22ce of the second temporary storage unit 22 in step S13-6. Or written in the registers 22 ad to 22 ce and the RAMs 21 a to 21 c of the first temporary storage unit 21. As described above, the writing destination of the pixel data is determined based on the pixel data stored in the second temporary storage unit 22.
  • step S13-7 the RAMs 21a to 21c of the first hour memory 21 and / or the registers 22ad to 22ad of the second temporary memory 22 are read out from the memory 3 last time. It is determined whether or not the pixel data written in ce is a pixel belonging to the first three lines of the image block 13 (condition 3). If the pixel data belongs to the first three lines, the reading direction is determined to be horizontal in step S13-8. On the other hand, the pixel data is stored in the first three lines. If not, in step SI3-9, the reading direction is determined to be vertical. In this way, the reading direction is determined based on whether or not the pixel 12 being read is a pixel of the first line of the image block.
  • FIG. 14 shows the relationship between the conditions 1, 2, and 3 and the read method, that is, the load method. Since there are two types of read speed, write destination, and read direction (load direction), there are a total of eight types of load methods A to H. For example, the last writing point of the RAM 21a to 21c being written is immediately before the previous reading point (condition 1), and the first output pixel of the next line is stored in the second temporary storage unit 22. The pixels required to generate the image are stored (Condition 2), and the pixel 1 2 previously written from the memory 3 to the RAM 21 a to 21 c is the pixel of the first three lines of the image block 13. If it is not 1.2 (Condition 3), the load method A is adopted and the pixel data of one pixel 1.2 is loaded in the horizontal direction from the memory 3 to the RAMs 21a to 21c.
  • step S12-2 After the reading from the memory 3 is executed in step S12-1, in step S12-2, whether the previously generated output pixel is the last output pixel of the line in the image block 13 or not is determined. That is, it is determined whether or not the line is being updated. If the output pixel is the last pixel of the line, that is, if there is no pixel at the time of updating the line, the process proceeds to step S12-7. On the other hand, if it is time to update the line, the flow shifts to step S12-3.
  • steps S 1 2-7 and S 1 2-8 are executed.
  • step S12-7 the pixel data in the third temporary storage unit 22 is shifted by one.
  • the pixel data of the register 22 aa is shifted to the register 22 ab
  • the pixel data of the register 22 ab is shifted to the register 22 ac.
  • step S12-8 the pixel data stored in the first temporary storage unit 21 is read out and stored in the third temporary storage unit 23.
  • pixel data is read from RAM 21 aa to 21 c and written to registers 23 aa, 23 ba, and 23 ca.
  • step S12-6 the pixel data stored in the third temporary storage unit 23 is output to the arithmetic circuit 20 via the second selection unit 27.
  • the pixel data is output from the nine registers 23 aa to 23 cc included in the temporary storage unit 23 to the multipliers 31 a to 31 c of the arithmetic circuit 20.
  • the arithmetic circuit 20 generates an output pixel from the input pixel data.
  • steps S12-3 through S12-5 are executed.
  • step S12-3 the first selection unit 26 is switched to the lower position, the pixel data stored in the second temporary storage unit 22 is read, and the pixel data is stored in the third temporary storage unit 23.
  • register 22 ad, 22 ae to register 23 ab, 23 ac, register 22 bd, 33 be to register 23 bb, 23 bc, or register 22 cd, 22 ce to register 23 cb, 23 cc
  • the image data is output.
  • step S12-4 the pixel data stored in the first temporary storage unit 21 is read out and stored in the third temporary storage unit 23.
  • the pixel data is read from the RAMs 21a to 21c and written to the registers 23aa, 23ba, .23c'a.
  • the second selector 27 is switched in step S12-5.
  • the second selection unit 27 inputs the pixel data of the latest line to the multiplier 31a of the arithmetic circuit 20, inputs the pixel data of the line immediately before the latest line to the multiplier 31b, In addition, switching is performed so that pixel data of the line two lines before the latest line is input to the multiplier 31c.
  • step S1 2-6 the pixel data stored in the third temporary storage unit 23 is output to the arithmetic circuit 20 via the second selection unit 27, and the arithmetic circuit 20 Generate output pixels from the data.
  • FIGS. 15 to 19 show an example in which the YC processing circuit 4 repeats the processing of the flowchart in FIG. 12 at unit time intervals and executes the YC processing on the pixel data stored in the memory 3.
  • FIGS. 15 and 16 show the operation state of the YC processing circuit 4 at each time from the time t to the time t + 143 when the (62, 63) output pixel of one frame image is generated.
  • item 1 shows a method of importing pixel data from the memory 3 to the RAMs 21 a to 21 c and the registers 22 ad to 22 ce.
  • Item 2 indicates the write destination of the pixel data read from the memory 3.
  • Item 3 is a pixel to be written from the memory 3 to the RAM 21a to 21c. Items 2 and 3 are used to read the pixel data of two pixels 12 per unit time. The write destination of the elementary data and the pixel to be read.
  • Item 6 and item 7 are the read and write points of RAM 21 a to 21 b at that time (see FIG. 7).
  • Item 8 is the switching state of the first selection unit 26.
  • Item 9 is the output pixel.
  • FIG. 17 shows that the pixel data is read from the memory 3 by the processing of step S12-1 in FIG. 12, and the RAMs 21a to 21c of the first storage unit 21 or the registers 22 of the second temporary storage unit 22 are read. The time to be written to ad to 22ce is shown.
  • FIG. 18 shows that the pixel data is read out from the RAMs 21 a to 21 c by the processing of steps S 12-4 and S 12-8 in FIG. 12, and the registers 23 aa and 23 ba of the third temporary storage unit 23 are read out.
  • 23 ca indicates the time of writing.
  • FIG. 19 shows a time at which an output pixel is generated by the processing of step S12-6 in FIG. In FIGS.
  • the numbers in the block indicating the pixel 12 indicate the time.
  • the number “4” displayed on the pixel 12 of (65, 1) indicates that this pixel is read from the memory 3 at time 4.
  • FIGS. 17 to 19 show the second image from time 1 when the output pixel of (63, 63) belonging to the first image block 13a, 13a (see FIGS. 4 and 11) is generated. This shows up to time 144 when an output pixel (78, 2) belonging to the image block 13b, 13b 'is generated. 17 to 19, the numbers in the blocks indicate the time.
  • the time of each pixel in FIG. 17 to FIG. 19 corresponds to the case where t is 0 in FIG. 15 and FIG.
  • the writing of pixel data from each of the RAMs 21 a to 21 c of the first temporary storage unit 21 to the third temporary storage unit 23 simply proceeds in the horizontal direction one pixel at a time.
  • the generation of output pixels by the arithmetic circuit 20 also proceeds in the horizontal direction one pixel at a time.
  • writing of pixel data from the memory 3 to each of the RAMs 21 a to 21 c of the first temporary storage unit 21 or the registers 22 ad to 22 ce of the second temporary storage unit 22 (step S 12 in FIG. 12). Since —1) is executed according to FIGS. 13 and 14, the read direction changes as shown in FIG. 17, and the read speed and read destination also change.
  • step S 12-2 the third temporary storage is performed in step S 12-3.
  • the pixel data written from the second temporary storage unit 22 to the third temporary storage unit 23 is transferred from the first temporary storage unit 21 to the third temporary storage unit 23 in step S12-4.
  • the pixel data is output to the arithmetic circuit 20 in step S12-6, and all the pixel data necessary for generating the output pixel is supplied to the arithmetic circuit 20.
  • the second temporary storage unit 22 is provided separately from the RAM 21 a to RAM 21 b of the first temporary storage unit 21, and the first line of the next line is updated before the line is updated.
  • step S13-7 in FIG. 13 and condition 3 in FIG. 14 the pixel data is read from the memory 3 to the first temporary storage unit 21 and the second temporary storage unit 22.
  • the exit direction is changed.
  • the pixel data previously written from the memory 3 to the first temporary storage unit 21 or the second temporary storage unit 22 is the pixel data of the pixels 12 in the first three lines or less. If not, the pixel data for two lines among the pixel data necessary for generating the next line has already been stored in the RAMs 21a to 21c. Therefore, in this case, even if the reading direction is kept horizontal, no loss occurs when updating the image block.
  • step S1 3-7 the pixel data previously written in the memory 3 or the first temporary storage 2 2
  • generation of the next line is generation for the next row of the image block 13, and pixels required for generation of the next line are It is not stored in RAM 21 aa to 21 b at all. Therefore, if the reading direction remains horizontal, a loss occurs when updating the image block. Therefore, in this case, the reading direction is changed to the vertical direction. In this way, by making the reading direction vertical in the lines within the first three lines of the image block 13, immediately after the generation of the last output pixel of the previous image block 13, the first Output pixels can be generated, and time loss at the time of updating an image block can be reduced. For example, as shown in FIG.
  • the last output pixel (64, 64) of the first image block 13a (see FIG. 11) is generated at time 66, and the time immediately after that is obtained.
  • the first output pixel (65, 1) of the second image block 13b is generated. This is possible because, as shown in Fig. 17, the pixel data of pixel 12 belonging to the first three lines of the second image block 13b 'is read vertically after date 4. Has become.
  • steps S 13-1 to S 13-3 in FIG. 13 and condition 1 in FIG. 14 according to the distance between the write point and the read point of RAM 21 a to 21 c, The speed at which pixel data is read from the memory 3 and written to the RAMs 21a to 21c or the registers 22ad to 22ce is changed to 1 pixel or 2 pixels per unit time. If the read point is immediately before the write point in step S13-1 in Fig. 13, ideally the storage capacity of RAM 21a to 21c is used most efficiently as described above. It is a typical state. Therefore, to prevent the read point from approaching the write point any more, the RAM 3 outputs RAM 21a to 21c at one pixel per unit time (the same speed as the output pixel generation speed of the arithmetic circuit 20).
  • the write point is behind the read point, so that the write point catches up with the read point and
  • the pixel data is read from the memory 3 to the RAMs 21a to 21c at two pixels (two times the output pixel generation speed of the arithmetic circuit 20).
  • the image block 13 has 66 pixels in the horizontal direction, while the RAMs 21a to 21c have a smaller number of 64 addresses 33. The write point will force the read point without the write point overtaking the read point.
  • FIG. 20 shows the data stored in the RAMs 21 a to 21 c of the first temporary storage unit 21 and the registers 22 ad to 22 ce of the second storage unit 22 B immediately before step S 12-1 in FIG. 2 shows pixel data.
  • the RAM 21a holds pixel data of pixels (3, 64) to (66, 64).
  • the RAM 21 b holds pixel data of the pixel 12 of the pixels (3, 65) to (66, 65).
  • the RAM 21c holds the pixel data of the pixel 12 of the pixels (64, 63) to (66, 63) and the pixels (3, 66) to (6.3, 66).
  • the registers 22 ad to 22 ce hold pixel data of six pixels (1, 64) to (2, 66).
  • step S12-1 in FIG. 12 the address of the pixel (64, 66) read from the memory 3 is stored in the address 33 of the RAM 21c that stores the pixel data of the pixel (64, 63). Data is overwritten.
  • FIG. 21 shows the pixel data stored in the RAMs 21 a to 21 c and the registers 22 ad to 22 c after this overwriting.
  • This overwriting is determined by FIG. First, for condition 1, the last write point of the RAM 21 c being written is the address for storing the pixel (63, 66), and the previous read point is the address for storing the pixel (64, 63). The write point is immediately before the read point. Regarding the condition 2, the pixels (1, 64) to (2, 66) necessary for generating the next line (the 64th line) are already stored in the second temporary storage unit 22. For condition 3, the pixel (64, 66) read from memory 3 is not a pixel in the first three rows of image block 13. Therefore, the loading method A is selected, and the pixel data of the pixel (64, 66) is read from the memory 3 and written to the RAM 21c.
  • the pixel (64, 66) By overwriting the data, the data of the pixel (64, 63) is erased from the RAM 21c, but since this pixel (64, 63) is not used again for generating the output pixel, the disadvantage is as follows. Absent.
  • FIG. 22 shows a state immediately after the pixel data of the pixel (64, 66) is written from the memory 3 to the RAM 21 c at the step S 12-1 at time t + 1, that is, immediately before the third temporary storage means 23 is shifted.
  • the state of the pixel data stored in the third one-day temple storage means 23 is shown.
  • FIG. 23 shows the state of the pixel data held in the third temporary storage means 23 immediately after shifting the third temporary storage section 23 in step S12-7 at time t. + 1.
  • the pixel (62, 63) generated at the previous time (time t) does not correspond to the last pixel (64, 63) of the line (63 lines) of the image block 13 (step S12). — 2). Therefore, the value of the third temporary storage unit 23 is shifted in step S12-8. Specifically, the pixel data of the register 23 ab is shifted to the register 23 ac, and the pixel data of the register 23 aa is shifted and rewritten to the register 23 ab. Similarly, the pixel data of the other registers 23 b b, 23 b c, 23 c b and 23 c c are rewritten.
  • FIG. 24 shows the state of the pixel data held in the third temporary storage unit 23 immediately after step S12_8 at time t + 1.
  • step S12-8 pixel (65, 63) is read from RAM 21c and written to register 23ca, pixel (65, 64) is read from RAM 21a and written to register 23aa, R Read pixel (65, 64) from AM21 b and write to register 23 ba. Since the six pixels (63, 64) to (64, 65) have already been stored in the third temporary storage unit 23 in step S12-7, the nine pixels (63, 64)-( 65, 6
  • FIG. 25 shows the output pixel generated at time t + 1 and the state of the pixel data held in the third temporary storage unit 23, that is, the state immediately after step S12-6. .
  • step S 1 2-6 the pixel data of the nine pixels (63, 6.5) to (65, 65) stored in the third temporary storage unit 23 is processed by the arithmetic circuit via the second selection unit 27.
  • Registers 23 aa to 23 ac store the pixels in the 64th row
  • registers 23 ba to 23 bc store the pixels in the 65th row
  • registers 23 ca to 23 cc store the pixels in the 63rd row. Is stored.
  • the second selector 22 connects the registers 23 aa to 23 ac to the multiplier 31 b, connects the registers 23 ba to 23 bc to the multiplier 31 c, and connects the registers 23 ca to 23 cc to the multiplier 31 c. Connect to multiplier 31c.
  • the operation at time t + 2 is the same as the operation at time t + 1.
  • FIG. 26 shows a holding state of the pixel data immediately after the pixel (64, 63) is generated at the time t + 2, that is, a state immediately before the step S12-1 at the time t + 3.
  • RA M2 la holds pixel data of pixels (3, 64) to (66, 64)
  • RA M2 lb holds pixel data of pixels (3, 65) to (66, 65)
  • the RAM 21c holds pixel data of the pixels (66, 63) to (66, 63) and the pixels (3, .66) to (65, 66).
  • the second temporary storage unit 22 holds pixel data of six pixels (1, 64) to (2, 66).
  • FIG. 27 shows the state of the pixel data stored in the first temporary storage unit 21 and the second temporary storage unit 22 immediately after step S12-1 at time t + 3.
  • step S12 based on the judgment results of conditions 1 to 3, the memory area of RAM21c where the pixel data of the pixel (66, 63) was stored is read from the memory 3c. The pixel data of the output pixel (66, 66) is overwritten.
  • FIG. 28 shows that the six pixels (1, 6 :) to (2, 66) stored in the second temporary storage unit 22 are read out at step S12-3 at time t + 3 and the third Temporary The state of the pixel data stored in the third temporary storage unit 23 immediately after writing to the storage unit 23 is shown.
  • the pixel (64, 63) generated at the previous time (time t + 2) corresponds to the last pixel (64, 63) of the line (63 lines) of the image block 13. Accordingly, pixel data is loaded from the second temporary storage unit 22 to the third temporary storage unit 23 in step S12-3 according to step S12-2.
  • the first selector 26 is switched to the lower position, and the pixel data of the register 22 ad is stored in the register 23 ab, the pixel data of the register 22 ae is stored in the register 23 ac, and the pixel data of the register 22 bd is stored in the register 22 bd.
  • FIG. 29 shows the pixel data of three pixels (3, 64) to (3, 66) from RAM 21 a to 21 c of the first temporary storage unit 21 at step S 12-4 at time t + 3.
  • 3 shows the state of the pixel data stored in the third temporary storage unit 23 immediately after reading out and writing the third temporary storage unit 23.
  • the second selection unit 27 is switched in step S12-5. Specifically, registers 23 aa to 23 ac are connected to multiplier 31 a, registers 23 ba to 23 bc are connected to multiplier 31 b, and registers 23 ca to 23 cc are connected to multiplier 31 c. Switch the second selection unit 27 as described above.
  • step S12-6 the pixel data of the nine pixels stored in the third temporary storage unit 23 is made to the arithmetic circuit 20, and the output pixel (1, 64) is generated.
  • the setting of the first selection section 26 is returned to the upper position.
  • FIG. 30 shows the first temporary storage unit 21 and the second temporary storage unit immediately after the pixel (1, 64) is generated at the time t + 3, that is, immediately before the step S12—1 at the time t + 4. This shows the state of storage of the pixel data in the storage unit 22.
  • RAM2 1a contains pixels (3, 6
  • the pixel data of (66, 66) is held.
  • the second temporary storage unit 22 holds pixel data of six pixels (1, 64) to (2, 66).
  • FIG. 31 shows the first temporary storage unit 21 and the first temporary storage unit 21 immediately after step S12-1 at time t + 4.
  • the state of the pixel data stored in the second temporary storage unit 22 is shown.
  • step S12-1 the pixel data of the pixel (65, 1) read from the memory 3 is overwritten on the register 22ae storing the pixel (1, 64).
  • the readout speed, readout destination, and readout direction of the pixel data are determined according to FIGS.
  • the last writing point of the RAM 21c being written is the address for storing the pixel data of the pixel (66, 66), and the previous reading point is the pixel (3, 66). Since this is an address for storing pixel data, the write point is immediately before the read point.
  • condition 2 the second temporary storage unit 22 stores the pixels required to generate the next line (first line).
  • the pixel (66, 66) read from the memory 3 and written into the RAM 21c is not a pixel in the first three rows of the image block 13. Therefore, the loading method B is selected, and the pixel data of the pixel (65, 1) is read from the memory 3 and written to the register 22 ae.
  • FIG. 32 shows the state of the pixel data stored in the third temporary storage unit 23 immediately after the output pixel (2, 64) is generated at step S12-6 at time t + 4. .
  • step S12-2 at time t + 4, it is determined that the previously generated pixel (1, 64) does not correspond to the last pixel of the line of the image block 13.
  • step S12-7 the pixel data in the third temporary storage unit 23 is shifted.
  • step S12-8 the pixels (4, 64) to (4, 66) are loaded. Thereafter, in step S12-6, the pixel data of the nine pixels stored in the third temporary storage unit 23 is input to the arithmetic circuit 20, and output pixels (2, 64) are generated.
  • FIG. 33 shows the state of the pixel data held in the first temporary storage unit 21 and the second temporary storage unit 22 immediately before step S12-1 at time t + 5
  • FIG. 34 shows the state at time t + 5.
  • the state of the pixel data held in the first temporary storage unit 21 and the second temporary storage unit 22 immediately after step S12-1 in step 5 is shown.
  • the read speed, read destination, and read direction of pixel data from memory 3 are shown in Fig. 13 and And Figure 14.
  • the previous write point of the RAM 21 c being written is the address for storing the pixel (66, 66), and the previous read point is the address for storing the pixel (4, 66). The write point is not immediately before the read point.
  • the pixel data of the pixels (65, 1) to (66, 3) necessary for generating the next line (first row) is not yet stored in the second temporary storage unit 22.
  • the pixel (65, 1) previously read from the memory 3 and written into the register 22ae is a pixel in the first three rows of the image block 13. Therefore, the loading method H is selected, the pixel data of the pixel (65, 2) is read from the memory 3 and written into the register 22be, and the pixel data of the pixel (67, 1) is read from the memory 3 and read from the RAM 21 Write to a.
  • FIG. 35 shows the state of the pixel data stored in the third temporary storage unit 23 immediately after the output pixel (3, 64) is generated in step S12-6 at time t + 5.
  • step S12-2 at time t + 5, it is determined that the pixel (2, 64) generated last time does not correspond to the last pixel of the line of the image block 13.
  • step S12_7 the pixel data in the first temporary storage unit 21 is shifted. Then, in step S12_8, the pixels from each of the RAMs 21a to 21c are
  • the pixel data of (5, 64) to (5, 66) is read out and written to the third temporary storage unit 23. Thereafter, in step S12-6, the pixel data of the nine pixels stored in the third temporary storage unit 23 is input to the arithmetic circuit 20, and output pixels (3, 64) are generated.
  • step S12-1 at time t + 10 the loading method G is selected according to FIG. 13 and FIG. 14, and the pixels (68, 3), (69, 1 ) Is stored in the RAM 21a. Since the pixel (7, 64) generated last time in step S12-2 is not the last pixel of the line, the value of the first temporary storage unit 21 is shifted in step S12-7, , The pixel data of the pixels (10, 64) to (10, 66) is read from each of the RAMs 21 a to 21 c and stored in the registers 23 aa and 23 ba N 23 ca. Finally, in step S12-6, the arithmetic circuit 20 outputs the pixel (10) based on the pixel data of the nine pixels (8, 64) to (10, 66) stored in the third temporary storage unit 23. , 64).
  • the present invention has been described by taking as an example a case where an output pixel is generated from three adjacent pixels in the horizontal direction and three adjacent pixels in the vertical direction (see FIGS. 8A to 8C).
  • M is an integer greater than or equal to 2
  • N is an integer greater than or equal to 2.
  • the first temporary storage unit is The second temporary storage unit readablely stores the data from the Mth pixel to the last pixel of each line, and the second temporary storage unit stores the data from the first pixel to the M-1st pixel of each line. Should be fine.
  • the pixels belonging to the first to Nth lines of the image block are vertically shifted from the memory to the first and second temporary storage units as indicated by arrow C in FIG. Just load the data.
  • the present invention is not limited to the above embodiment, and various modifications are possible.
  • the present invention can be applied to the resolution conversion circuit 6 in the image processing system 1 in FIG.
  • the present invention can be applied to an image processing system provided in another device such as a digital video other than the digital camera.
  • the present invention can be applied to a case where one frame image is processed without being divided into image blocks.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Description

明 細 書
画像処理装置及び画像処理方法
技術分野
本発明は、 画像処理装置及び画像処理方法に関する。 特に、 本発明はデジタル カメラゃデジタルビデオのような携帯機器に適した画像処理装置及び画像処理方 法に関する。 背景技術
デジタル力メラやデジタルビデオのような撮影装置では、 撮像素子の出力信号 を A/D変換して得られた生データ （R G Bデータ） は、 まずメモリに格納され る。 メモリに格納された生データは、 画像処理回路により Y Cデータに変換され る。 画像処理回路は、 メモリから読み出した生データを書き込むための一時記憶 回路と、 一時記憶回路から読み出した複数画素の生データを使用して演算処理を 行う演算回路とを備えている。 図 3 8は、 変換処理のためにメモリから読み出し た生データを一時記憶回路に書き込む順序の一例を示している。 詳細には、 1つ の画像 3 0 0内で水平方向画素列 （ライン） 毎に生データが順次読み出される。 変換処理には、 水平方向及び Z又は垂直方向に隣接する複数の画素が必要となる。 従って、 図 3 8に示す書き込み順序を採用する場合、 一時記憶回路として、 画像 3 0 0の 1ラインに含まれる画素を記憶可能な大容量のラインメモリが必要とな り、 画像処理回路は大規模になる。
特開 2 0 0 0— 3 5 4 1 9 3号公報には、 図 3 9に示すように画像 3 0 0を複 数のプロック （画像プロック 3 0 1 ) に分割し、 画像ブロック 3 0 1毎にメモリ から生データを読み出して処理することが記載されている。 この図 3 9に示す読 み出し方法を採用すれば、 ラインメモリは画像プロック 3 0 1の 1ラインに含ま れる画素を記憶可能な記憶容量を有していればよい。 このラインメモリの記憶容 量低減により、 画像処理回路の規模を縮小することができる。 発明の開示
しかし、 図 3 9に示すように 1つの画像 3 0 0を画像プロック 3 0 1に分割す ると、 ライン更新の頻度が増加する。 また、 1つの画像 3 0 0を画像プロック 3 0 1に分割すると、 画像プロック 3 0 1の更新が必要となる。 例えば、 画像 3 0 0の垂直方向の画素数が 1 2 1 8個であり、 かつ画像 3 0 0に含まれる画像プロ ック 3◦ 1の総数が 4 7 6個であるとすると、 図 3 8に示す処理におけるライン 更新回数は 1 2 1 7回であるのに対し、 図 3 9に示す処理におけるライン更新回 数は、 1個の画像ブロック 3 0 1のライン更新回数 （6 5回） と画像ブロック 3 0 1の総数 （4 7 5個） の積である 3 0 8 7 5回に達する。
個々の画像プロック 3 0 1における生データの読み出しを、 図 3 9に示すよう に単にライン毎に行うと、 ライン更新時及ぴ画像ブロック更新時にメモリから一 時記憶回路に読み出された生データに変換処理が不可能な組合せが生じる。 一時 記憶回路に記憶された生データが変換処理不可能な組合せである間、 演算回路は 有効な出力画素を生成することができず、 単に一時記憶回路を構成するラインメ モリやレジスタの値がシフトされる。
水平方向に 3個、 垂直方向に 3個の画素を使用して変換処理を実行する場合を 例とすると、 ライン更新時には、 少なくとも図 4 0に示すように新しいラインの 先頭から 3個目の画素 3 0 2を一時記憶回路に書き込むまで、 変換処理を行うこ とができない。 また、 画像プロック 3 0 1の更新時には、 少なくとも図 4 1に示 すように第 3番目のラインの先頭から 3個目の画素 3 0 2を書き込むまで、 変換 処理を行うことができない。 前述のように画像 3 0 0を画像プロック 3 0 1に分 割した場合、 多数のライン更新及び画像ブロック更新が行われる。 従って、 この ラィン更新及び画像プロック更新時の処理の時間的口スは無視できない程度で.あ り、 処理速度を低下させ、 消費電力を増大させる。
そこで、 本発明は、 ライン更新時及ぴ画像更新時の処理ロスをなくし、 それに よって処理速度の向上と消費電力の低減を図ることを課題としている。
本発明の第 1の態様は、 画像を記憶する画像記憶部と、 前記画像に含まれる水 平方向に M個で垂直方向に N個の互いに隣接する画素を演算処理して出力画素を 生成し、 Mは 2以上の整数で、 Nは 1以±の整数である演算部と、 前記画像の各 水平方向画素列の第 M番目の画素から最後尾の画素までを、 読み出し可能に記'慮 する第 1の一時記憶部と、 前記画像の各水平方向画素列の先頭の画素から第 M— 1番目の画素までを、 読み出し可能に記憶する第 2の一時記憶部と、 前記第 1の 一時記憶部に記憶された画素を遅延させると共に、 前記第 2の一時記憶部から画 素が入力され、 前記水平方向に M個で垂直方向に N個の互いに隣接する画素を前 記演算部に同時に出力する第 3の一時記憶部とを備える、 画像処理装置を提供す る。
前記画像は、 1フレーム分の画像と、 1フレーム分の画像を分割した画像プロ ックの両方を含む。
画像処理装置は、 1つの水平方向画素列の最後尾の出力画素の生成に使用され る画素が前記第 3の一時記憶部に記憶される前に、 次の水平方向画素列の先頭の 画素から第 M_ 1番目の画素までを前記画像記憶部から読み出して前記第 2の一 時記憶部に書き込み、 かつ前記 1つの水平方向画素列に対応する最後尾の出力画 素の生成に使用される画素が前記第 3の一時記憶部から前記演算部に出力される と、 前記次のラインの先頭の画素から第 M— 1番目の画素を前記第 2の一時記憶 部から読み出して前記第 3の一時記憶部に書き込む、 制御部をさらに備える。 ライン更新時、 すなわち 1つの水平方向画素列に対応する最後尾の出力画素が 生成された後、 次の水平方向画素列に対応する最初の出力画素を演算部が生成す る時には、 第 3の一時記憶部に次の水平方向画素列の先頭の画素から第 M番目の 画素までがすでに記憶されている必要がある。 本発明の第 1の態様では、 ライン 更新前に、 次の水平方向画素列の先頭の画素から第 M— 1番目の画素はライン更 新前に第 2の一時記憶手段に記憶され、 力、つ第 2の一時記憶手段から第 3の一時 記憶手段に転送される。 従って、 ライン更新時であっても、 第 3の一時記憶手段 は演算部に対して出力画素の生成に必要な有効な画素の組を出力することができ る。 換言すれば、 ライン更新時の処理のロスを解消することができる。
また、 前記 Nは 2以上の整数であり、 前記制御部は、 前記画像の第 1番目から 第 N番目の水平方向画素列に属する画素に対して、 垂直方向に並ぶ N個の画素を 前記画像記憶部から順次読み出して前記第 1の一時記憶部又は前記第 2の一時記 憶部に書き込む操作を、 読み出し位置を水平方向に移動しつつ繰り返すことが好 ましい。
画像更新時. すなわち 1つの画像中の最後の水平方向画素列に対応する最後尾 の出力画素が生成された後、 次の画像中の最初の水平方向画素列に対応する出力 画素が生成される時には、 第 3の一時記憶手段に次の画像の第 1番目から第 N番 目の水平画素列に属する画素が記憶されている必要がある。 画像の第 1番目から 第 N番目の水平方向画素列を、 前述のように読み出して第 2及び第 3の一時記憶 部に書き込むことにより、 画像更新時であっても、 第 3の一 B寺記憶手段は演算部 に対して出力画素の生成に必要な有効な画素の組を出力することができる。 換言 すれば、 画像更新時の処理の口スを解消することができる。
さらに、 前記演算部は単位時間毎に 1個の出力画素を生成し、 前記第 1の一時 記憶部は N個の R AMを備え、 前記制御部は、 書き込み中である前記 R AMの前 回の書き込みァドレスが前回の読み出しァドレスの直前であれば、 前記単位時間 内に 1個の画素を、 前記画像記憶部から読み出して前記 R AM又は前記第 2の一 時記憶部に書き込み、 書き込み中である前記 RAMの前回の書き込みァドレスが 前回の読み出しァドレスの直前より 1つ以上前であれば、 前記単位時間内に 2個 の画素を、 前記画像記憶部から読み出して前記 R AM及び Z又は前記第 3の一時 記憶部に書き込むことが好ましい。
R AMの書き込みァドレスと読み出しアドレスをこのように制御することで、 画像処理に不具合を生じることなく、 R AMの記憶容量を効率的に利用すること ができる。
本発明の第 2の態様は、 画像記憶部に記憶された画像に含まれる水平方向に M 個で垂直方向に N個の互いに隣接する画素を演算処理して出力画素を生成し、 M は 2以上の整数で、 Nは 1以上の整数である、 画像処理方法であって、 前記画像 記憶部から読み出し位置を水平方向に移動しつつ画素を読み出して第 1の一時記 記憶部に書き込み、 前記第 1の一時記憶部から画素を読み出して、 第 3の一時記 憶手段に書き込み、 前記第 3の一時記憶手段で遅延させて、 前記水平方向に M個 で垂直方向に N個の互いに隣接する画素を演算部に出力し、 前記演算回路により 前記 MX N個の画素から出力画素を生成し、 1つの水平方向画素列に対応する 最後尾の出力画素の生成に使用される画素が前記第 3の一時記憶部に記憶される 前に、 次の水平方向画素列の先頭の画素から第 M— 1番目の画素までを前記画像 記憶部から読み出して第 2の一時記憶部に書き込み、 前記 1つの水平方向画素列 に対応する最後尾の出力画素の生成に使用される画素が前記第 3の一時記憶部か ら前記演算部に出力されると、 前記第 2の一日き記憶部から前記次のラインの先頭 の画素から第 M_ 1番目の画素までを読み出して前記第 3の一時記憶部に書き込 む、 画像処理方法を提供する。
本発明では、 予め第 2の一時記憶手段に記憶した各水平方向画素列の先頭の画 素から先頭より第 M— 1番目の画素を記憶し、 ライン更新前に読み出して第 3の 一時記憶手段に記憶させるので、 ライン更新時の処理ロスをなくし、 処理速度の 向上と消費電力の低減を図ることができる。 また、 画像の第 1番目から第 N番目 の水平画素列に属する複数の画素を、 水平方向に読み出し位置を移動させつつ垂 直方向に読み出すことで、 画像更新時の処理ロスをなくし、 処理速度の向上と消 費電力の低減を図ることができる。 さらに、 第 1の記憶手段である RAMに対す る画素の書き込み速度を、 書き込みァドレスと読み出しァドレスの距離に応じて 異ならせることにより、 画像処理に不具合を生じることなく、 RAMの記憶容量 . を効率的に利用することができる。 図面の簡単な説明
本発明の他の目的及び特徴は、 添付図面を参照した好適な実施例に関する以下 の説明により明らかとなる。
図 1は、 本発明の実施形態に係る Y C処理回路を備えるデジタルカメラの画像 処理システムを示すブロック図である。
図 2は、 図 1の画像処理システムの動作を説明するためのフローチャートであ る。
図 3は、 Y C処理回路を示す回路図である。
図 4は、 1フレーム分の画像を示す図である。
図 5は、 画素に対する座標の割り当てを示す図である。
図 6は、 画素データの構造を示す概略図である。
図 7は、 R AMを示す概略図である。
図 8 Aから図 8 Cは、 出力画素の生成方法を説明するための図である。
図 9は、 画像ブロック中の各画素の画素データの書き込み先を説明するための 図である。
図 1 0は、 画像ブロック中での画素データの画素データの書き込み順序を示す 図である。
図 1 1は、 出力画素の出力順序を示す図である。
図 1 2は、 Y C処理回路の動作を説明するためのフローチャートである。 図 1 3は、 ステップ S 1 2— 1のサブルーチンのフローチヤ一トである。 図 1 4は、 第 1及び第 2の記憶部に対する口一ド方法の決定条件を示すテープ ノレである。
図 1 5及び図 1 6は、 時刻 tから時刻 t + 1 4 3までの Y C処理回路の動作を 説明するためのテーブルである。
図 1 7は、 各画素の画素データがメモリから RAMへ転送される時刻を示す図 である。 . .
図 1 8は、 RAMに記憶された画素データが第 3の一時記憶部に転送される時 刻を示す図である。
図 1 9は、 各生成画素の生成時刻を示す図である。
図 2 0は、 時刻 t直後に第 1及び第 2の一時記憶部に保持されている画素デー タを示す模式図である。
図 2 1は、 時刻 t + 1においてメモリから RAMへ画素データを読み出した後 に第 1及び第 2の一時記憶部に保持されている画素データを示す模式図である。 図 2 2は、 時刻 t + 1における第 3の一 B寺記憶部のレジスタのシフト前に第 3 の一時記憶部に保持されている画素データを示す模式図である。
図 2 3は、 時刻 t + 1における第 3の一時記憶部のレジスタのシフト後に第 3 の一時記憶部に保持されている画素データを示す模式図である。
図 2 4は、 時刻 t + 1において R AMから第 3の一日き記憶部に 1画素分ずつ画 素データを転送した後に第 3の一時記憶部に保持されている画素データを示す模 式図である。
図 2 5は、 時刻 t + 1において出力画素を生成する際の第 3の一時記憶部に保 持されている画素データを示す模式図である。
図 2 6は、 時刻 t + 2直後に第 1及び第 2の一時記憶部に保持されている画素 データを示す模式図である。
図 2 7は、 時刻 t + 3においてメモリから R AMへ画素データを読み出した後 に第 1及び第 2の一時記憶部に保持されている画素データを示す模式図である。 図 2 8は、 第 2の一！^記憶部から第 3の一時記憶部に画素データを転送した後 に第 3の一時記憶部に保持されている画素データを示す模式図である。
図 2 9は、 時刻 t + 3において R AMから第 3の一時記憶部に 1画素分ずつ画 素データを転送した後に第 3の一 B寺記憶部に保持されている画素データを示す模 式図である。
図 3 0は、 時刻 t + 3直後に第 1及び第 2の一 B寺記憶部に保持されている画素 データを示す模式図である。
図 3 1は、 時刻 t + 4においてメモリから R AMへ画素データを読み出した後 に第 1及び第 2の一時記憶部に保持されている画素データを示す模式図である。 図 3 2.は、 日き刻 t + 4において出力画素を生成した後に第 3の一時記憶部に保 持されている画素データを示す模式図である。
図 3 3は、 時刻 t + 4直後に第 1及び第 2の一時記憶部に保持されている画素 データを示す模式図である。
図 3 4は、 時刻 t + 5においてメモリから R AM及びレジスタへ画素データを 読み出した後に第 1及び第 2の一時記憶部に保持されている画素データを示す模 式図である。
図 3 5は、 日寺刻 t + 5において出力画素を生成した後に第 3の一時記憶部に保 持されている画素データを示す模式図である。
図 3 6は、 時刻 t + 9直後に第 1及び第 2の一時記憶部に保持されている画素 データを示す模式図である。
図 3 7は、 時刻 t + 1 0においてメモリから RAM及びレジスタへ画素データ を読み出した後に第 1及び第 2の一時記憶部に保持されている画素データを示す 模式図である。
図 3 8は、 1フレーム分の画素データの書き込み順序を示す模式図である。 図 3 9は、 画像プロック毎の画素データの書き込み順序を示す模式図である。 図 4 0は、 ライン更新時のロスを説明するための模式図である。 図 41は、 画像ブロック更新時の口スを説明するための模式図である。 発明を実施するための最良の形態
図 1は本発明の実施形態に係る画像形成装置の実施形態である YC処理回路 4 を備えるデジタルカメラの画像処理システム 1を示し、 図 3は YC処理回路 4の 詳細を示している。 この画像処理システム 1は、 CCD等を備える撮像回路 2、 DRAM等からなるメモリ 3、 YC処理回路 4、 SRAM5、 解像度変換回路 6、 J PE G圧縮処理のような圧縮処理を行う圧縮処理回路 7、 I Cカード等の記録 媒体 8、 及び制御回路 9を備えている。
この画像処理 ステム 1の動作を図 2を参照して説明すると、 まず、 ステップ S 2— 1において撮像回路 2で生成された生データ （RGBデータ） がメモリ 3 に書き込まれる。 次に、 ステップ S 2— 2において YC処理回路 4がメモリ 3力、 ら読み出した生データに基づいて Y Cデータを生成し、 生成した Y Cデータを S R AM5に書き込む。 ステップ S 2— 3で解像度変化を行う場合には、
S 2-4において解像度変換回路 6が Y Cデータを解像度変換する。
2—5において、 解像度変換された YCデータが SRAM5とメモリ 3に書き込 まれる。 ステップ S 2— 2において解像度変換を実行しない場合には、 YC処理 回路 4で生成された YCデータが SRAM5とメモリ 3に書き込まれる。 ステツ プ S 2— 6において、 圧縮処理回路 7が SRAM 5に記憶された YCデータに圧 縮処理を行う。 圧縮処理で作成された圧縮データはメモリ 3に書き込まれる。 ス テツプ S 2— 7において、 メモリ 3内の圧縮データが記録媒体 8に書き込まれる。 本実施形態では、 図 4に示すように、 メモリ 3に記憶されている生データは、 水平方向に 1602個で垂直方向に 1218個の画素で 1フレーム分の画像 11 を構成している。 以下の説明では、 図 5に示すように各画素 12の画像 11上の 位置を X座標と Y座標で表記する。 例えば、 （67, 2) と表記された画素 12 は画像 1 1の左端から 67番目で上端から 2番目の画素である。 また、 以下の説 明において、 水平方向画素列を必要に応じてラインと呼ぶ。
また、 YC処理回路 4は、 図 4及び図 5に示すように、 1フレーム分の画像 1 1を、 水平方向及ぴ垂直方向に隣接する 66個の画素 12からなる画像ブロック 1 3に分割して処理する。 後述するように、 演算回路 2 0は水平方向及び垂直方 向に 3個の互いに隣接する 9個の画素 1 2の画素データから出力画素の Y Cデー タを生成する。 従って、 水平方向に隣接する 2つの画像ブロック 1 3の境界に位 置する水平方向の 2個の画素 1 2が、 両方の画像ブロック 1 3の処理に使用され る。 同様に、 垂直方向に隣接する 2つの画像ブロック 1 3の境界に位置する垂直 方向に 2個の画素 1 2が両方の画像ブロック 1 3の処理に使用される。 1フレー ム分の画像 1 1には水平方向に 2 5個、 垂直方向に 1 9個で、 合計 4 7 5個の画 像ブロック 1 3が含まれている。
図 6に示すように、 各画素 1 2の生データ （以下、 画素データという。 ） は、 画素データ部 1 4 aの付随情報として偶奇ビット 1 4 bと有効ビット 1 4 cを備 えている。 偶奇ビット 1 4 bは、 その画素 1 2が偶数番目のラインに属するの力 \ 奇数番目のラインに属するのかを示す。 有効ビット 1 4 cは、 その画素 1 2の画 素データ部 1 4 aが有効なデータである力否かを示す。
図 3を参照すると、 Y C処理回路 4は、 メモリ 3に記憶された画素 1 2の生デ ータを演算処理する演算回路 2 0と、 メモリ 3に記憶された画素 1 2の画素デー タを演算可能な組合せで出力するための、 第 1の一時記憶部 2 1、 第 2の一時記 憶部 2 2、 第 3の一時記憶部 2 3、 第 1の選択部 2 6、 及び第 2の選択部 2 7を 備えている。
演算回路 2 0は、 図 8 Aから図 8 Cに示すように、 水平方向に 3個で垂直方向 に 3個の互いに隣接する 9個の画素 1 2の画素データに対して重み付け加算を実 行する。 例えば、 図 8 Aに示すように、 （1， 1 ) から （3， 3 ) までの 9個の 画素 1 2の重み付け加算により、 （1， 1 ) の出力画素が得られる。 演算回路 2 0は、 この重み付け加算を実行するために、 乗算器 3 1 a , 3 1 b , 3 1 cと、 これらの乗算器 3 1 a〜3 1 cの出力を合計する加算器 3 2とを備えている。 演 算回路 2 0は単位時間毎に 1個の出力画素を生成する。
第 1の一日き記憶部 2 1は、 それぞれメモリ 3から読み出された画素データを記 憶する 3個の R AM 2 1 a , 2 1 b , 2 1 cを備えている。 後に詳述するように、 これら 3個の R AM 2 1 a〜2 1 cには各画像プロック 1 3中の各ラインの先頭 から第 3番目の画素 1 2から最後尾 （第 6 6番目） の画素 1 2の画素データが記 憶記憶される。 図 7に示すように、 各 RAM 21 a〜2 1 cは 1番から 64番ま でのァドレス 3 3を備え、 各ァドレス 33に 1画素分の画素データを読み書き可 能に記憶することができる。
第 2の一時記憶部 22は、 それぞれ 1個の画素 1 2の生データを記憶する 6個 のレジスタ 22 a d, 22 a e , 22 b d, 22 b e , 22 c d, 22 c eを備 えている。 後に詳述するように、 これらの 6個のレジスタ 2 2 a d~22 c eは 各画像ブロック 1 3中の各ラインの先頭 （第 1番目） の画素 1 2から第 2番目の 画素 1 2までを記憶するためのものである。 レジスタ 22 a d，' 22 & 6が第1 の一時記憶部 2 1の RAM 21 aに対応している。 また、 レジスタ 22 b d, 2 2 b eが RAM2 1 bに対応している。 さらに、 レジスタ 22 c d, 22 c e力 S RAM2 1 cに対応している。
第 3の一日き記憶部 23は、 それぞれ 1個の画素 1 2の画素データを記憶する 9 個のレジスタ 2 3 a a， 2 3 a b, 23 a c , 23 b a, 23 b b, 23 b c , 23 c a , 23 c b, 23 c cを備えている。 レジスタ 23 a a〜 23 b bが第 1の一時記憶部 2 1の RAM2 1 aに対応している。 また、 レジスタ 23 b a〜 23 b cが RAM21 bに対応している。 さらに、 レジスタ 23 c a〜 23 c c が RAM 2 1 cに対応している。
第 1の選択部 26は、 実線で示す上位置と、 点線で示す下位置とに切り替え可 能である。 第 1の選択部 26が上位置にある時には、 レジスタ 23 a a〜23 c cが 3個ずつ直列に接続される。 具体的には、 レジスタ 23 a a〜23 a c、 レ ジスタ 23 b a〜23 b c、 及びレジスタ 23 c a~23 c bが直列に接続され る。 従って、 第 1の選択部 26が上位置にある時には、 第 3の一時記憶部 23の レジスタ 23 a a〜23 a c、 レジスタ 23 b a〜23 b c、 及びレジスタ 23 c a〜23 c bは、 それぞれ RAM 2 1 a〜21 cからの出力を遅延させて第 2 の選択部 27を介して演算回路 20に出力する。
第 1の選択部 26が下位置にある時には、 第 3の一 Bき記憶部 23は第 2の一時 記憶部 22に接続される。 具体的には、 第 2の一時記憶部 22のレジスタ 22 a d, 22 a eが第 3の一時記憶部 23のレジスタ 23 a b， 23 a cに接続され る。 また、 第 2の一時記憶部 22のレジスタ 22 b d, 22 b eが第 3の一時記 憶部 23のレジスタ 23 b b， 23 b cに記憶される。 さらに、 第 2の一時記憶 部 22のレジスタ 22 c d, 22 c eが第 3の一時記憶部 23のレジスタ 23 c b, 23 c cに接続される。 従って、 第 1の選択部 26が下位置に切り替えられ ると、 第 3の一時記憶部 23のレジスタ 23 a b， 23 a c、 レジスタ 23 b b , 23 b c、 及びレジスタ 23 c b， 23 c cに対して、 第 2の一時記憶部 22の レジスタ 22 a d, 22 a es レジスタ 22 b d, 22 b e、 及びレジスタ 22 c d, 22 c eから画素データが出力される。
第 2の選択部 27は、 最新のラインの画素データを演算回路 20の乗算器 3 1 aに入力し、 最新のラインの 1つ前のラインの画素データを乗算器 3 1 bに入力 し、 力つ最新のラインの 2つ前のラインの画素データを乗算器 3 1 cに入力する ように、 第 3の一時記憶部 23と演算回路 20との接続を切り替える機能を有す る。
制御回路 9は、 メモリ 9、 RAM 2 1 a〜 21 c、 レジスタ 2 2 a d〜22 c e、 レジスタ 23 a a〜23 c c、 第 1の選択部 26、 及ぴ第 2の選択部 27を 制御し、 それによってメモリ 9から第 1の一時記憶部 21及び第 2の一時記憶部 22への画素データの転送、 第 1の一時記憶部 2 1及び第 2の一時記憶部 22か ら第 3の一時記憶部 23への画素データの転送、 及び第 3の一 Bき記憶部 23から 演算回路 20への画素データの転送を実行する。 また、 制御回路 9は演算回路 2 0を制御して演算処理と生成された画素データの S R AM 5への転送を実行する。 また、 制御回路 9のクロック制御部 9 aには、 第 3の一時記憶部 23を介して 画素データが入力される。 ク口ック制御部 9 aは、 偶奇ビット 14 b及び有効ビ ット 14 cに基づいて、 第 3の一時記憶部 23に記憶された画素データにより演 算回路 20が有効な出力画素を生成可能である力、否かを判断する。 第 3の一時記 憶部 23に記憶された画素データにより演算回路 20が有効な出力画素を生成可 能でなレヽと判断した場合、 クロック制御部 9 aは演算回路 20に対するクロック 信号の供給を停止し、 演算回路 20による演算処理を禁止する。 これにより無効 な画素データが入力された時に、 演算回路 20が無駄に電力を消費するのを防止 している。
次に、 YC処理回路 4は、 1フレーム分の画像 1 1を、 水平方向及ぴ垂直方向 に隣接する 6 6個の画素 1 2からなる合計 4 7 5個の画像プロック 1 3に分割し て処理する。 画像プロック 1 3の処理順序は、 図 4において矢印 Aで示す通りで ある。 詳細には、 画像 1 1の左上隅の画像ブロック 1 3から処理を開始し、 ライ ン毎に画像プロック 1 3の処理を順次実行する。
各画像ブロック 1 3に対して Y C処理回路 4により実行される処理は、 3つの 段階に大別することができる。 第 1の段階では、 メモリ 3から読み出された画素 データが第 1の一時記憶部 2 1又は第 2の一日き記憶部 2 2に書き込まれる。 第 2 の段階では、 第 1の一時記憶部 2 1又は第 2の一時記憶部 2 2から読み出された 画素データが第 3の一時記憶部 2 3に書き込まれる。 第 3の段階では第 3の一時 記憶部 2 3から読み出された画素データに基づいて、 演算回路 2 0が出力画素を 生成する。 後に詳述するように、 本実施形態では、 第 2の段階において、 第 2の 一時記憶部 2 2を設けることでライン更新時の時間的ロスを解消している。 第 1の段階におけるメモリ 3から読み出された画素データの書き込み先は、 図 9に示す通りである。 詳細には、 各ラインの先頭の 2画素、 すなわち第 1番目'か ら第 2番目の画素 1 2の画素データは、 第 2の一 Bき記憶部 2 2に書き込まれる。 一方、 各ラインの第 3番目から最後 （第 6 6番目） までの画素 1 2の画素データ は、 第 1の一時記憶部 2 1に書き込まれる。
第 1の段階において、 各画像プロック 1 3に属する画素 1 2の画素データをメ モリ 3から読み出して第 1の一時記憶部 2 1又は第 2の一時記憶部 2 2に書き込 む順序は、 図 1 0に示す通りである。 詳細には、 画像プロック 1 3内の第 4番目 から第 6 6番目のラインについては、 矢印 Bで示すように、 各ライン毎に水平方 向に 1画素移動しつつ第 1の一時記憶部 2 1又は第 2の一時記憶部 2 2に画素デ ータが書き込まれる。 一方、 画像ブロック 1 3内の第 1番目から第 3番目のライ ンについては、 矢印 Cで示すように、 垂直方向に並ぶ 3個の画素 1 2をメモリ 3 から順次読み出して第 1の一時記憶部 2 1又は第 2の一時記憶部 2 2に書き込む 操作が、 読み出し位置を水平方向に移動しつつ繰り返される。 後に詳述するよう に、 本実施形態では、 各画像ブロック 1 3の処理開始時に、 水平方向ではなく垂 直方向に画素データの読み出すことで、 画像プロック更新時の時間的ロスを解消 している。 第 1の段階において、 メモリ 3から画素データを読み出して、 対応する RAM 2 1 a〜2 1 cに書き込む順序は、 図 7において矢印 Dに示すように R AM 2 1 a〜 2 1 cのァドレス 3 3を水平方向に移動する。
第 2の段階において第 1の一時記憶部 2 1の R AM 2 1 a , 2 1 b , 2 1 c力 ら画素データを読み出して、 第 3の一時記憶部 2 3の対応するレジスタ 2 3 a a， 2 3 b a , 2 3 c aに書き込む順序は、 図 7において矢印 Dに示すように R AM 2 1 a〜 2 1 cのアドレス 3 3を水平方向に移動する。
ここで図 7を参照して、 第 1の一時記憶部 2 1の RAM 2 1 a〜 2 1 cにおけ る読み出しポイントと書き込みボイントの関係を説明する。 前述のように R AM 2 1 a〜2 1 cの番地は 1番から 6 4番まである。 読み出しポイントとは、 画素 データを読み出した RAM 2 1 a〜2 1 cのアドレスである。 また、 書き込みポ イントとはメモリ 3から新たに読み出した画素データを書き込んだ RAMのァド レスである。
各 R AM 2 1 a〜2 1 cにおいて、 今回の書き込みポイントが前回の読み出し ポイントを追い越すことはできない。 例えば、 図 7に示すように前回の読み出し ボイ.ントが 6 1番である場合、 書き込みポイントは 6 0番より前である必要があ る。 その理由は、 今回の書き込みポイントが前回の読み出しポイントを追い越す ということは、 R AM 2 1 a〜2 1 cに記憶されている画素 ータの内、 未だ出 力画素の生成に使用されていない画素データが記憶されているァドレス 3 3.に対 して、 メモリ 3·から読み出された新たな画素データを上書きすることになるから である。
書き込みポイントは、 読み出しポイントを追い越さない限り、 読み出しポイン トから遅れてもよレ、。 例えば、 図 7に示すように読み出しポイントが 6 1番であ る場合、 書き込みポインは 6 0番より前であればよい。 し力、じ、 書き込みポイン トが読み出しポイントに近付いていることが好ましい。 理想的には、 書き込みポ イントが読み出しポイントの直前であることが好ましい。 例えば、 図 7に示すよ うに、 読み出しポイントが 6 1番である場合、 書き込みポイントが 6 0番である ことが理想的である。 書き込みポイントが読み出しポイントの直前であるという ことは、 RAM 2 1 a〜2 1 cのあるァドレス 3 3から画素データが第 3の一時 記憶部 23に出力されると、 直ぐにそのァドレス 33に対してメモリ 3から読み 出された新たな画素データが上書きされる状態であることを意味する。 この状態 では、 書き込みボイントが読み込みボイントに対して遅れることができる余地が 最大であり、 RAM21 a~21 cの記憶容量が最も効率的に利用されている。 メモリ 3から画素データを読み出して第 1の一時記憶部 21の RAM 21 a〜 21 cや第 2の一時記憶部 22のレジスタ 22 a d〜22 c eに書き込む速度は、 前記の書き込みボイントと読み出しボイントに関する条件に基づいて決定される。 具体的には、 書き込み中である RAMの前回の書き込みポイントが前回の読み出 しポイントの直前の場合には、 単位時間内に RAM 21 a〜21 c及ぴレジスタ 22 a d〜22 c eのいずれか 1個に 1個の画素 12の画素データが書き込まれ る。 一方、 書き込み中である RAMの前回の書き込みポイントが前回の読み込み ポイントの直前でない場合には、 RAM 21 a〜21 cのいずれか 2個、 又は R AM 21 a〜21 cのいずれか 1個とレジスタ 22 a d〜22 c eのいずれ力、.1 個に対して、 単位時間内にメモリ 3から読み出された画素データが書き込まれる。 以上のような各 RAM21 a〜21 cにおけるァドレス管理と、 RAM21 a 〜 21 c及びレジスタ 22 a d〜22 c eに対する単位時間当たりの画素数の書 き込み速度の調整は制御回路 9により実行される。
第 3の段階において、 演算回路 20が出力画素を生成して SRAM 5に出力す る順序は、 図 1 1に示す通りである。 詳細には、 矢印 Eで示すように、 各画像ブ ロック 13毎に水平方向に 1画素移動しつつ出力画素が生成される。 演算処理回 路 21は、 水平方向及び垂直方向に 3個の隣接する画素 12から出力画素を生成 するので、 出力画素の画素ブロック 12' に含まれる画素数は、 メモリ 3に記憶 された画像 11の画素ブロック 12 (図 4参照） の画素数から減少している。 詳 細には、 出力画素の画素ブロック 12' には、 水平方向及ぴ垂直方向に 64個で 合計 4096個の出力画素が含まれる。
次に、 YC処理回路 4の動作を説明する。 図 12のフローチャートは単位時間 毎の YC処理回路 4の動作を示している。 制御回路 9によりこの動作が実行され る。 図 12において、 ステップ S 12— 1が前述の第 1の段階、 ステップ S 12 一 2から S 12— 5、 及びステップ S 12-7, 12— 8が第 2の段階、 ステッ プ S 12— 6が第 3の段階にそれぞれ対応している。 前述のように単位時間毎に 演算回路 20が 1個の出力画素を生成する。
図 12のステップ S 12二 1において、 メモリ 3からの画素データの読み出し 方法が決定され、 決定された読み出し方法に基づいて画素データの読み出しが実 行される。 詳細には、 読み出し速度、 読み出した画素データの書き込み先、 及び 読み出し方向が決定される。
図 13を参照すると、 まずステップ S 13— 1において、 書き込み中の RAM 21 a〜21 bの前回の書き込みポイントが前回の読み出しポイントの直前であ るか否かが判断される （条件 1) 。 直前であれば、 ステップ S 13— 2において 単位時間内の読み出し画素数は 1個に決定され、 直前でない場合にはステップ S 13— 3において単位時間内の読み出し画素数は 2個に決定される。 このように 書き込みボイントと読み出しボイントの距離に基づいて、 読み出し速度が決定さ れる。
次に、 ステップ S 13— 4において、 第 2の一時記憶部 22のレジスタ 22 a d〜22 c eに次のラインの最初の出力画素の生成に必要な画素データが記憶さ れているか否かが判断される （条件 2) 。 当該画素データが記憶されている場合 には、 ステップ S 13— 5において、 メモリ 3から読み出された画素データは第 1の一時記憶部 21の RAM 21 a〜 21 cに書き込まれる。 一方、 当該画素デ ータが記憶されていない場合には、 ステップ S 13— 6において、 メモリ 3から 読み出された画素データは、 第 2の一時記憶部 22のレジスタ 2'2 a d〜22 c eに書き込まれ、 又はレジスタ 22 a d〜22 c eと第 1の一時記憶部 21の R AM 21 a〜21 cに書き込まれる。 このように第 2の一時記憶部 22の記憶さ れる画素データに基づいて、 画素データの書き込み先が決定される。
続いて、 ステップ S 13— 7において、 前回にメモリ 3から読み出し、 第 1の —時記憶部 21の R AM 21 a〜 21 c及び/又は第 2の一時記憶部 22のレジ スタ 22 a d〜22 c eに書き込んだ画素データが、 画像ブロック 13の最初の 3行のラインに属する画素である力否かが判断される （条件 3) 。 当該画素デー タが最初の 3行のラインに属する場合には、 ステップ S 13— 8において読み出 し方向は水平方向に決定される。 一方、 当該画素データが最初の 3行のラインに 属さない場合には、 ステップ S I 3— 9において読み出し方向は垂直は方向に決 定される。 このように読み出し中の画素 1 2が画像ブロックの最初のラインの画 素である力否かに基づいて、 読み出し方向が決定される。
図 1 4は、 条件 1、 2、 及び 3と読み出し方法、 すなわちロード方法の関係を 示している。 読み出し速度、 書き込み先、 及び読み出し方向 （ロード方向） がそ れぞれ 2種類存在するので、 合計 8種類のロード方法 A~Hが存在する。 例えば、 書き込み中の R AM 2 1 a〜2 1 cの前回の書き込みポイントが前回の読み出し ボイントの直前であり （条件 1 ) 、 第 2の一時記憶部 2 2に次ラインの最初の出 力画素の生成に必要な画素が記憶され （条件 2 ) 、 かつ前回メモリ 3から R AM 2 1 a〜2 1 c等に書き込んだ画素 1 2が画像ブロック 1 3の最初の 3行のライ ンの画素 1. 2でない場合 （条件 3 ) 、 ロード方法 Aが採用されてメモリ 3から R AM 2 1 a〜2 1 cに対して 1個の画素 1. 2の画素データが水平方向にロードさ れる。
ステップ S 1 2— 1においてメモリ 3からの読み出しを実行した後、 ステップ S 1 2— 2において、 前回生成した出力画素が画像プロック 1 3， 中のラインの 最後尾の出力画素であるか否か、 すなわちライン更新時であるか否かが判断され る。 当該出力画素がラインの最後尾の画素である場合、 すなわちライン更新時で 'ない場合には、 ステップ S 1 2— 7に移行する。 一方、 ライン更新時である場合 には、 ステップ S 1 2— 3に移行する。
ライン更新時でない場合はステップ S 1 2— 7及ぴ S 1 2— 8力 S実行される。 まず、 ステップ S 1 2— 7において、 第 3の一時記憶部 2 2の画素データを 1つ シフトする。 例えば、 レジスタ 2 2 a a〜2 2 a cについては、 レジスタ 2 2 a aの画素データがレジスタ 2 2 a bにシフトされ、 レジスタ 2 2 a bの画素デー タがレジスタ 2 2 a cにシフトされる。 次に、 ステップ S 1 2— 8において、 第 1の一時記憶部 2 1に記憶された画素データを読み出して、 第 3の一時記憶部 2 3に記憶させる。 詳細には、 R AM 2 1 a〜2 1 cから画素データを読み出し、 レジスタ 2 3 a a , 2 3 b a , 2 3 c aに書き込む。
次に、 ステップ S 1 2— 6において、 第 3の一時記憶部 2 3に記憶された画素 データが第 2の選択部 2 7を介して演算回路 2 0に出力される。 詳細には、 第 3 の一時記憶部 23が備える 9個のレジスタ 2 3 a a〜23 c cから演算回路 20 の乗算器 3 1 a〜3 1 cに画素データが出力される。 演算回路 20は入力された 画素データから出力画素を生成する。
ライン更新時はステップ S 1 2— 3からステップ S 1 2— 5が実行される。 ま ず、 ステップ S 1 2— 3では、 第 1の選択部 26を下位置に切り替えて、 第 2の 一時記憶部 22に記憶された画素データを読み出し、 第 3の一時記憶部 23に記 憶させる。 詳細には、 レジスタ 22 a d, 22 a eからレジスタ 23 a b, 23 a cへ、 レジスタ 22 b d， 33 b eからレジスタ 23 b b， 23 b cへ、 又は レジスタ 22 c d, 22 c eからレジスタ 2 3 c b， 23 c cへ、 画像データが 出力される。 次に、 ステップ S 1 2— 4で第 1の一時記憶部 2 1に記憶された画 素データを読み出し、 第 3の一時記憶部 23に記憶させる。 詳細には、 RAM 2 1 a〜21 cから画素データを読み出し、 レジスタ 23 a a， 23 b a,. 23 c ' aに書き込む。 次に、 ステップ S 1 2— 5で第 2の選択部 2 7を切り替える。 第 2の選択部 27は、 最新のラインの画素データを演算回路 20の乗算器 3 1 aに 入力し、 最新のラインの 1つ前のラインの画素データを乗算器 3 1 bに入力し、 かつ最新のラインの 2つ前のラインの画素データを乗算器 3 1 cに入力するよう に切り替えられる。 その後、 ステップ S 1 2— 6において、 第 3の一時記憶部 2 3に記憶された画素データを第 2の選択部 2 7を介して演算回路 20に出力し、 演算回路 20は入力された画素データから出力画素を生成する。
図 1 5から図 1 9は、 YC処理回路 4が図 1 2のフローチャートの処理を単位 時間間隔で繰り返して、 メモリ 3内に記憶された画素データに対して YC処理を 実行した例である。
まず、 図 1 5及び図 1 6は、 1フレームの画像の （62， 6 3) の出力画素が 生成される時刻 t力 ら時刻 t + 143までの各時刻における YC処理回路 4の動 作状態を示している。 図 1 5及び図 1 6において、 項目 1はメモリ 3から RAM 21 a〜 2 1 cやレジスタ 22 a d〜22 c eへの画素データの口一ド方法を示 している。 項目 2はメモリ 3から読み出した画素データの書き込み先を示してい る。 項目 3はメモリ 3から RAM21 a〜2 1 c等に書き込む画素である。 項目 2及び項目 3は、 単位時間に 2個の画素 1 2の画素データを読み出す場合の、 画 素データの書き込み先と読み出される画素である。 項目 6及び項目 7は、 その時 刻の RAM21 a~21 bの読み出しポイント及び書き込みポイント （図 7参 照） である。 項目 8は第 1の選択部 26の切替状態である。 項目 9は出力画素で ある。
図 17は、 図 12のステップ S 12—1の処理により、 画素データがメモリ 3 から読み出され、 第 1の記憶部 21の RAM 21 a〜21 c又は第 2の一時記憶 部 22のレジスタ 22 a d〜22 c eに書き込まれる時刻を示している。 また、 図 18は、 図 12のステップ S 12-4, S 12— 8の処理により、 画素データ が RAM21 a〜21 cから読み出され、 第 3の一時記憶部 23のレジスタ 23 a a , 23 b a , 23 c aに書き込まれる時刻を示している。 さらに、 図 19は、 図 12のステップ S 12— 6の処理により、 出力画素が生成される時刻を示して いる。 これら図 17から図 19では、 画素 1 2を示すブロック内の数字が時刻を 示している。 例えば、 図 17において （65, 1) の画素 12に表示された数字 "4" は、 この画素が時刻 4にメモリ 3から読み出されることを示している。 ま た、 図 17から図 19は、 1番目の画像ブロック 13 a， 13 a， （図 4及び図 1 1参照） に属する （63, 63) の出力画素が生成される時刻 1から、 2番目 の画像ブロック 13 b, 13 b' に属する （78， 2) の出力画素が生成される '時刻 144までを示している。 図 17から図 19において、 ブロック内の数字が 時刻を示している。 図 17から図 19における各画素の時刻は、 図 15及び図 1 6において tが 0である場合に対応している。
図 18に示すように、 第 1の一時記憶部 21の各 RAM21 a〜21 cから第 3の一時記憶部 23への画素データの書き込みは、 単に水平方向に 1画素ずつ進 行する。 また、 図 19に示すように、 演算回路 20により出力画素の生成も水平 方向に 1画素ずつ進行する。 これに対し、 メモリ 3から第 1の一時記憶部 21の 各 RAM21 a〜21 c、 又は第 2の一時記憶部 22のレジスタ 22 a d〜22 c eへの画素データの書き込み （図 12のステップ S 12— 1) は、 図 13及び 図 14に従って実行されるので、 図 1 7に示すように読み出し方向が変化し、 読 み出し速度や、 読み出し先も変化する。
図 13のステップ S 13— 4からステップ S 13— 6、 及ぴ図 14における条 件 2により、 第 2の一時記憶部 2 2に次のラインの最初の出力画素の生成に必要 な画素が記憶されていない場合には、 第 2の一時記憶部 2 2のレジスタ 2 2 a d 〜2 2 c eに次のラインの先頭の画素 1 2から第 2番目の画素 1 2の画素データ が記憶される。 例えば、 図 1 5から図 1 7において、 時刻 4〜9、 時刻 6 8、 6 9、 1 3 2、 及び 1 3 3では、 メモリ 3から読み出したラインの第 1番目又は第 2番目の画素 1 2の画素データを、 そのラインに対応する R AM 2 0 a ~ 2 0 c ではなく、 レジスタ 2 2 a d〜2 2 c eを書き込んでいる。 そして、 レジスタ 2 2 a d〜2 2 c eに記憶された画素データは、 図 1 2のステップ S 1 2— 2にお いてライン更新時であれば、 ステップ S 1 2— 3において第 3の一時記憶部 2 3 に書き込まれる。 第 2の一時記憶部 2 2から第 3の一時記憶部 2 3に書き込まれ た画素データは、 ステップ S 1 2— 4において第 1の一時記憶部 2 1から第 3の 一時記憶部 2 3に書き込まれた次ラインの第 3番目の画素と共に、 ステップ S 1 2— 6において演算回路 2 0に出力され、 演算回路 2 0に出力画素の生成に必要 なすべての画素データが供給される。 このように第 1の一時記憶部 2 1の R AM 2 1 a〜R AM 2 1 bとは別に第 2の一時記憶部 2 2を設け、 ライン更新よりも 前に、 次のラインの第 1番目と第 2番目の画素の画素データを第 2の一時記憶部 2 2に予め記憶させておくことにより、 ライン更新時の時間的ロスを解消するこ とができる。
図 1 3のステップ S 1 3— 7、 及び図 1 4における条件 3に基づいて、 メモリ 3力、ら第 1の一時記憶部 2 1及び第 2の一時記憶部 2 2への画素デーダの読み出 す方向が変更される。 ステップ S 1 3— 7において、 前回にメモリ 3から第 1の 一時記憶部 2 1又は第 2に一時記憶部 2 2に書き込んだ画素データが最初の 3行 以内のラインの画素 1 2の画素データでない場合、 次ラインの生成に必要な画素 データのうち 2行のライン分の画素データは RAM 2 1 a〜2 1 cに既に記憶さ れている。 従って、 この場合は読み出し方向を水平に維持しても、 画像ブロック 更新時のロスは生じない。 し力: >し、 ステップ S 1 3— 7において、 前回にメモリ 3力、ら第 1の一時記憶部 2 1又は第 2に一時記憶部 2 2に書き込んだ画素データ が最初の 3行以内のラインの画素 1 2の画素データの場合、 次ラインの生成は次 の画像プロック 1 3の行についての生成であり、 次ラインの生成に必要な画素は 未だまったく R AM 2 1 a 〜 2 1 bに記憶されていない。 従って、 読み出し方向 が水平のままであると画像ブロック更新時のロスが発生する。 そこで、 この場合 には読み出し方向を垂直方向に変更する。 このように画像プロック 1 3の最初の 3行以内のラインで読み出し方向を垂直とすることにより、 前の画像ブロック 1 3の最後の出力画素の生成後、 直ちに次の画像ブロック 1 3の最初の出力画素を 生成することができ、 画像プロック更新時の時間的ロスを低減することができる。 例えば、 図 1 9に示すように、 第 1の画像プロック 1 3 a， （図 1 1参照） の最 後の出力画素 （6 4 , 6 4 ) が時刻 6 6に生成され、 その直後の時刻 6 7に第 2 の画像ブロック 1 3 b， の最初の出力画素 （6 5， 1 ) が生成されている。 これ は図 1 7に示すように、 日き刻 4以降に第 2の画像プロック 1 3 b ' の最初の 3行 のラインに属する画素 1 2の画素データを垂直方向に読み出したことにより可能 となっている。
図 1 3のステップ S 1 3—1からステップ S 1 3— 3、 及び図 1 4における条 件 1により、 R AM 2 1 a ~ 2 1 cの書き込みポイントと読み出しポイントの距 離に応じて、 メモリ 3から画素データを読み出して RAM 2 1 a 〜 2 1 c又はレ ジスタ 2 2 a d〜 2 2 c e へ書き込む速度が、 単位時間当たり 1画素と 2画素に 変更される。 図 1 3のステップ S 1 3 - 1において読み出しポイントが書き込み ポイントの直前の場合には、 前述のように R AM 2 1 a 〜 2 1 cの記憶容量が最 も効率的に利用されている理想的な状態である。 従って、 これ以上読み出しボイ ントが書き込みポイントに接近しないように、 単位時間当たりに 1画素 （演算回 路 2 0の出力画素生成速度と同じ速度） でメモリ 3から R AM 2 1 a 〜 2 1 cに 画素データを読み出す。 一方、 図 1 3のステップ S 1 3—1において読み出しポ イントが書き込みポイントの直前でない場合には、 書き込みポイントは読み出し ボイントから遅れているので、 書き込みボイントが読み出しボイントに追いつく ように、 単位時間当たりに 2画素 （演算回路 2 0の出力画素生成速度の 2倍の速 度） でメモリ 3から RAM 2 1 a 〜 2 1 cに画素データを読み出す。 画像ブロッ ク 1 3は水平方向に 6 6個の画素を備えるのに対し、 RAM 2 1 a 〜 2 1 cはそ れよりも少ない 6 4個のアドレス 3 3を有する。 し力 し、 書き込みポイントが読 み出しボイントを追い越すことなく、 力つ書き込みボイントが読み出しボイント に近付くように RAM 21 a〜 21 cへの書き込み速度を制御することで、 RA M21 a~21 cの記憶容量が効率的に利用し、 それによつて前述のライン更新 時や画像プロック更新時に時間的ロスが生じない処理を実現することができる。 次に、 図 12、 及び図 20から図 37を参照して、 図 15の時刻 t + 1から時 刻 t + 10 (図 17から図 19の時刻 1から時刻 11 ) までの間の YC処理回路 4の動作を詳細に説明する。
図 20は図 12のステップ S 12— 1の直前に第 1の一時記憶部 21の RAM 21 a〜21 c及び第 2の一 Bき記憶部 22のレジスタ 22 a d〜22 c eに記憶 されている画素データを示している。 RAM21 aには画素 （3， 64) 〜 (6 6, 64) の画素データが保持されている。 また、 RAM21 bには画素 （3, 65) 〜 （66， 65) の画素 12の画素データが保持されている。 さらに、 R AM 21 cには画素 （64， 63) 〜 （66， 63) 、 及び画素 （ 3， 66 ) 〜 (6.3， 66) の画素.12の画素データが保持されている。 レジスタ 22 a d〜 22 c eには、 6個の画素 （1， 64) 〜 （2， 66) の画素データが保持され ている。
図 12のステップ S 12— 1において、 画素 （64， 63) の画素データを記 憶している RAM21 cのァドレス 33に対して、 メモリ 3から読み出された画 素 （64， 66) の画素データが上書きされる。 図 21はこの上書き後に RAM 21 a〜21 c及びレジスタ 22 a d〜22 c eに保持されている画素データを 示している。
この上書きは図 14により決定されている。 まず、 条件 1ついては、 書込中の RAM21 cの前回の書き込みポイントは画素 （63， 66) を記憶するァドレ スであり、 前回の読み出しポイントは画素 （64, 63) を記憶するアドレスで あるため、 書き込みポイントは読み出しポイントの直前にある。 条件 2について は、 第 2の一時記憶部 22には次ライン （第 64行） の生成に必要な画素 （1， 64) 〜 （2， 66) は既に記憶されている。 条件 3については、 メモリ 3から 読み出す画素 （64， 66) は画像ブロック 13の最初の 3行内の画素ではない。 従って、 ロード方法 Aが選択され、 画素 （64， 66) の画素データをメモリ 3 から読み出して、 RAM21 cに書き込んでいる。 なお、 画素 （64， 66) の データを上書きすることにより、 画素 （64， 6 3) のデータは RAM2 1 cか ら消去されるが、 この画素 （64， 6 3) は再度出力画素生成に使用することは ないので、 不都合はない。
図 22は、 時刻 t+ 1のステップ S 1 2— 1において画素 （64， 66) の画 素データをメモリ 3から RAM 21 cに書き込んだ直後、 すなわち第 3の一時記 憶手段 23をシフトする直前の第 3の一日寺記憶手段 23に保持されている画素デ ータの状態を示すしている。 レジスタ 23 a a~23 a cには画素 （6 2， 6
4) 〜 （64， 64) が保持され、 レジスタ 23 b a〜23 b cには画素 （62, 65) 〜 （64, 65) が保持され、 レジスタ 23 c a〜23 c cには画素 （6 2, 63) 〜 （64， 63) が保持されている。 演算回路 20は、 時刻 tにおい て、 これらの 9画素の画素データから画素 （62， 63) を新たに生成して出力 している。
図 23は、 時刻 t.+ 1のステップ S 1 2— 7において第 3の一時記憶部 23を シフトした直後に第 3の一時記憶手段 23に保持されている画素データの状態を 示している。 前回 （時刻 t) において生成した画素 （6 2， 6 3) は、 画像ブロ ック 1 3のライン （63行） の最後尾の画素 （64, 63) には該当しない （ス テツプ S 1 2— 2) 。 従って、 ステップ S 1 2— 8で第 3の一時記憶部 23の値 をシフトする。 具体的には、 レジスタ 23 a bの画素データをレジスタ 23 a c にシフトし、 レジスタ 23 a aの画素データをレジスタ 23 a bにシフトして書 き換える。 同様に他のレジスタ 23 b b、 2 3 b c、 23 c b、 23 c cの画素 データも書き換える。
図 24は、 時刻 t + 1のステップ S 1 2 _ 8直後に第 3の一時記憶部 23に保 持されている画素データの状態を示している。 ステップ S 1 2— 8では、 RAM 2 1 cから画素 （65, 6 3) を読み出してレジスタ 23 c aに書き込み、 RA M2 1 aから画素 （65， 64) を読み出してレジスタ 23 a aに書き込み、 R AM21 bから画素 （65， 64) を読み出してレジスタ 23 b aに書き込む。 ステップ S 1 2— 7で 6個の画素 （6 3， 64) 〜 （64， 65) が既に第 3の 一時記憶部 23に記憶済みであるので、 9個の画素 （63， 64) - (65, 6
5) が第 3の一時記憶部 23に記憶されたことになる。 画素 （65, 6 3) の画 素データを RAM21 cから読み出すのはこれが最後なので、 以後画素 （6 5， 6 3) の画素データを RAM21 cに記憶しておく必要はない。 すなわち、 画素 (6 5, 63) の画素データを上書きによって消去しても以後の画像処理上支障 をきたすことはない。
図 25は、 時刻 t + 1において生成される出力画素と、 第 3の一時記'慮部 23 に保持されている画素データの状態、 すなわちステップ S 1 2— 6の直後の状態 を示している。 ステップ S 1 2— 6では、 第 3の一時記憶部 23に記憶されてい る 9個の画素 （63, 6.5) 〜 （65， 65) の画素データを第 2の選択部 27 を介して演算回路 20に入力し、 演算回路 20で出力画素 （63, 63) を生成 する。 レジスタ 23 a a〜23 a cには 64行目の画素が記憶され、 レジスタ 2 3 b a〜23 b cには 6 5行目の画素が記憶され、 レジスタ 23 c a~23 c c には 6 3行目の画素が記憶されている。 従って、 第 2の選択部 22は、 レジスタ 23 a a〜23 a cを乗算器 3 1 bに接続し、 レジスタ 23 b a〜 23 b cを乗 算器 3 1 cに接続し、 レジスタ 23 c a〜23 c cを乗算器 31 cに接続する。 時刻 t + 2における動作は、 時刻 t + 1における動作と同様である。 図 26は、 時刻 t + 2において画素 （64， 63) を生成した直後の画素データの保持状態、 すなわち時刻 t + 3におけるステップ S 1 2— 1直前の状態を示している。 RA M2 l aには画素 （3, 64) ~ (6 6， 64) の画素データが保持され、 RA M2 l bには画素 （3, 6 5) 〜 （6 6， 6 5) の画素データが保持され、 RA M 2 1 cには画素 （66， 63) 〜 （66， 6 3) 及び画素 （ 3 , .66) 〜 (6 5, 66) の画素データが保持されている。 また、 第 2の一時記憶部 22には 6 個の画素 （1,. 64) 〜 （2, 66) の画素データが保持されている。
図 27は、 時刻 t + 3におけるステップ S 1 2— 1直後の第 1の一時記憶部 2 1及び第 2の一時記憶部 22に保持されている画素データの状態を示している。 ステップ S 1 2— 1では、 条件 1〜 3の判定結果に基づいて、 画素 （ 66， 6 3) の画素データを記憶していた RAM2 1 cの記憶領域に対して、 メモリ 3力、 ら読み出された画素 （66， 66) の画素データが上書きされる。
図 28は、 時刻 t + 3のステップ S 1 2— 3において第 2の一時記憶部 22に 記憶されている 6個の画素 （1， 6 ：) 〜 （2， 66) を読み出して第 3の一時 記憶部 23に書き込んだ直後の、 第 3の一時記憶部 23に保持されている画素デ ータの状態を示している。 前回 （時刻 t + 2) に生成した画素 （64， 6 3) は、 画像ブロック 1 3のライン （63行） の最後尾の画素 （64， 6 3) に相当する。 従って、 ステップ S 1 2— 2に従い、 ステップ S 1 2— 3において第 2の一時記 憶部 22力ゝら第 3の一時記憶部 23へ画素データがロードされる。 具体的には、 第 1の選択部 26が下位置に切り替えられ、 レジスタ 22 a dの画素データをレ ジスタ 23 a bに、 レジスタ 22 a eの画素データをレジスタ 23 a c.に、 レジ スタ 22 b dの画素データをレジスタ 23 b bに、 レジスタ 22 b eの画素デー タをレジスタ 23 b cに、 レジスタ 22 c dの画素データをレジスタ 2 3 c bに、 レジスタ 22 c eの画素データをレジスタ 23 c cに、 それぞれ書き込む。
図 29は、 時刻 t + 3のステップ S 1 2-4において第 1の一時記億部 21の RAM2 1 a〜21 cから 3個の画素 （3， 64) 〜 （3, 66) の画素データ を読み出して第 3の一時記憶部 23に書き込んだ直後の、 第 3の一時記憶部 23 に保持されている画素データの状態を示している。 第 3の一時記憶部 23の画素 データが図 27の状態とになった後、 ステップ S 1 2— 5において第 2の選択部 27を切り替える。 具体的には、 レジスタ 23 a a〜23 a cを乗算器 3 1 aに、 レジスタ 23 b a~23 b cを乗算器 3 1 bに、 レジスタ 23 c a〜23 c cを 乗算器 3 1 cに、 それぞれ接続するように第 2の選択部 27を切り替える。 その 後、 ステップ S 1 2— 6において、 第 3の一時記憶部 23に記憶された 9個の画 素の画素データが演算回路 20にされ、 出力画素 （1， 64) が生成される。 な お、 上記の動作終了後、 第 1の選択部 26の設定は上位置に戻される。
図 30は、 時刻 t + 3において画素 （ 1， 64) を生成した直後、 すなわち時 刻 t +4のステップ S 1 2— 1の直前の第 1の一時記憶部 2 1及ぴ第 2の一時記 憶部 22の画素データの保持状態を示している。 RAM2 1 aには画素 （3, 6
4) 〜 (66， 64) の画素データが保持され、 RAM2 1 bには画素 （3, 6
5) 〜 （66， 65) の画素データが保持され、 RAM2 1 cには画素 （3， 6
6) 〜 （66, 66) の画素データが保持されている。 第 2の一時記憶部 22に は 6個の画素 （1, 64) 〜 （2, 66) の画素データが保持されている。
図 3 1は、 時刻 t + 4のステップ S 1 2- 1直後の第 1の一時記憶部 2 1及び 第 2の一時記憶部 22に保持されている画素データの状態を示している。 ステツ プ S 12— 1では、 画素 （1， 64) を記憶していたレジスタ 22 a eに対して、 メモリ 3から読み出された画素 （65, 1) の画素データが上書きされる。 画素 データの読み出し速度、 読み出し先、 及び読み出し方向は、 図 13及び図 14に 従って決定される。 まず、 条件 1については、 書込中の RAM 21 cの前回の書 き込みポイントは画素 （66， 66) の画素データを記憶するアドレスであり、 前回の読み出しポイントは画素 （3， 66) の画素データを記憶するアドレスで あるため、 書き込みポイントは読み出しポイントの直前にある。 また、 条件 2に ついては、 第 2の一時記憶部 22には次ライン （第 1行） の生成に必要な画素
(65， 1) 〜 （66， 3) は未だ記憶されていない。 さらに、 条件 3について は、 前記メモリ 3から読み出して RAM21 cに書き込んだ画素 （66, 66) は画像ブロック 13の最初の 3行内の画素ではない。 従って、 ロード方法 Bが選 択され、 画素 （65, 1) の画素データをメモリ 3から読み出して、 レジスタ 2 2 a eに書き込んでいる。
図 32は、 時刻 t + 4のステップ S 12— 6において、 出力画素 （2， 64) を生成した直後の第 3の一時記憶部 23に保持されている画素データの状態を示 . している。 時刻 t + 4のステップ S 1 2— 2では、 前回生成した画素 （1, 6 4) は画像ブロック 13のラインの最後尾の画素に該当しないことが判定される。 また、 ステップ S 12— 7において、 第 3の一時記憶部 23の画素データがシフ トされ、 ステップ S 12— 8において、 各 RAM21 a〜21 cから第 3の一時 記憶部 23に画素 （4， 64) 〜 （4， 66) の画素データがロードされる。 そ の後、 ステップ S 12— 6において、 第 3の一時記憶部 23に記憶された 9個の 画素の画素データが演算回路 20に入力され、 出力画素 （2， 64) が生成され る。
図 33は時刻 t + 5のステップ S 12-1の直前における第 1の一時記憶部 2 1及び第 2の一時記憶部 22に保持されている画素データの状態を示し、 図 34 は時刻 t + 5のステップ S 12— 1の直後における第 1の一時記憶部 21及び第 2の一時記憶部 22に保持されている画素データの状態を示している。 メモリ 3 からの画素データの読み出し速度、 読み出し先、 及び読み出し方向は、 図 13及 び図 14に従って決定される。 条件 1についは、 書込中の RAM21 cの前回の 書き込みポイントは画素 （66, 66) を記憶するアドレスであり、 前回の読み 出しポイントは画素 （4， 66) を記憶するアドレスであるため、 書き込みボイ ントは読み出しポイントの直前ではない。 また、 条件 2については、 第 2の一時 記憶部 22に次ライン （第 1行） の生成に必要な画素 （65， 1) 〜 （66, 3) の画素データは未だ記憶されていない。 さらに、 条件 3についは、 前回にメ モリ 3から読み出してレジスタ 22 a eに書き込んだ画素 （65, 1 ) は画像ブ ロック 13の最初の 3行内の画素である。 従って、 ロード方法 Hが選択され、 画 素 （65， 2) の画素データをメモリ 3から読み出してレジスタ 22 b eに書き 込むと共に、 画素 （67， 1) の画素データをメモリ 3から読み出して RAM2 1 aに書き込む。
図 35は、 時刻 t + 5のステップ S 12— 6において出力画素 （3, 64) を 生成した直後の第 3の一時記憶部 23に保持されている画素データの状態を示し ている。 時刻 t + 5のステップ S 12— 2では、 前回生成した画素 （2, 64) は画像プロック 13のラインの最後尾の画素に該当しないことが判定される。 ま た、 ステップ S 12 _ 7において、 第 1の一時記憶部 21の画素データをシフト する。 そしてステップ S 12_8において、 各 RAM 21 a〜21 cから画素
(5, 64) 〜 （5， 66) の画素データを読み出して第 3の一時記憶部 23に 書き込む。 その後、 ステップ S 12— 6において、 第 3の一時記憶部 23に記憶 された 9個の画素の画素データが演算回路 20に入力され出力画素 （3， 64) が生成される。
時刻 t + 6〜 t + 9では、 時刻 t + 5と同様に、 メモリ 3力 ら第 1及び第 2の 一時記憶部 21, 22に対して垂直方向に読み出された画素データが書きこまれ る （図 10の矢印 C参照） 。 また、 時刻 T+6〜T+9間に、 4個の出力画素
(4, 67) 〜 （7, 64) が生成される。 図 36に示すように、 時刻 t + 10 のステップ S 12— 1直前では、 6個の画素 （65, 1) 〜 （65, 3) の画素 データが第 2の一時記憶部 22に記憶されている。 また、 画素 （67， 1) 、
(68， 1) が RAM21 aに、 画素 （67, 2) 、 （68， 2) が RAM 21 bに、 画素 （67， 3) が RAM 21 cに、 それぞれ記憶されている。 時刻 t + 10のステップ S 12-1では、 図 13及び図 14に従ってロード方 法 Gが選択され、 図 37に示すようにメモリ 3から読み出された画素 （68, 3) 、 （69, 1) が RAM21 aに記憶される。 ステップ S 12— 2において 前回生成した画素 （7， 64) はラインの最後尾の画素ではないので、 ステップ S 12— 7において第 1の一時記憶部 21の値をシフトし、 ステップ S 12— 8 において、 各 RAM21 a〜21 cから画素 （10, 64) 〜 （10, 66) の 画素データを読み出してレジスタ 23 a a、 23 b aN 23 c aに記憶する。 最 後に、 ステップ S 12— 6において、 第 3の一時記憶部 23に記憶された 9個の 画素 （8， 64) 〜 （10， 66) の画素データに基づいて演算回路 20で出力 画素 （10， 64) を生成する。
前記実施形態では、 水平方向に 3個で垂直方向に 3個の互いに隣接する 9個の 画素から出力画素を生成する場合を例に本発明を説明した （図 8 Aから図 8 C参 照） 。 Mは 2以上の整数で、 Nは 2以上の整数であり、 演算回路が水平方向に M 個で垂直方向に N個の画素から出力画素を生成する場合には、 第 1の一時記憶部 は各ラインの第 M番目の画素から最後尾の画素までを読み出し可能に記憶し、 第 2の一時記憶部は各ラインの先頭の画素から第 M— 1番目の画素までを読み出し 可能に記憶するものであればよい。 また、 この場合、 画像ブロックの第 1番目力 ら第 N番目のラインに属する画素について、 図 10の矢印 Cで示すようにメモリ から第 1及び第 2の一時記憶部に対して垂直方向に画素データをロードすればよ い。
本発明は、 前記実施形態に限定されず、 種々の変形が可能である。 例えば、 図 1の画像処理システム 1において解像度変換回路 6に本発明を適用することがで きる。 また、 デジタルカメラ以外の、 デジタルビデオ等の他の機器が備える画像 処理システムに本発明を適用することができる。 また、 1フレームの画像を画像 ブロックに分割することなく処理する場合にも本発明を適用することができる。 添付図面を参照して本宪明を完全に説明したが、 当業者にとって種々の変更及 ぴ変形が可能である。 従って、 そのような変更及び変形は本発明の意図及び範囲 力ら離れない限り、 本発明に含まれると解釈されなければならない。

Claims

請 求 の 範 囲
1 . 画像を記憶する画像記憶部と、
前記画像に含まれる水平方向に M個で垂直方向に N個の互いに隣接する画素を 演算処理して出力画素を生成し、 Mは 2以上の整数で、 Nは 1以上の整数である 演算部と、
前記画像の各水平方向画素列の第 M番目の画素から最後尾の画素までを、 読み 出し可能に記憶する第 1の一時記憶部と、
前記画像の各水平方向画素列の先頭の画素から第 M— 1番目の画素までを、 読 み出し可能に記憶する第 2の一時記憶部と、
前記第 1の一時記憶部に記憶された画素を遅延させると共に、 前記第 2の一時 記憶部から画素が入力され、 前記水平方向に M個で垂直方向に N個の互いに隣接 する画素を前記演算部に同時に出力する第 3の一時記憶部と .
を備える、 画像処理装置。
2 . 1つの水平方向画素列の最後尾の出力画素の生成に使用される画素が前記 第 3の一時記憶部に記憶される前に、 次の水平方向画素列の先頭の画素から第 M _ 1番目の画素までを前記画像記憶部から読み出して前記第 2の一時記憶部に書 き込み、 かつ
前記 1つの水平方向画素列に対応する最後尾の出力画素の生成に使用される画 素が前記第 3の一時記憶部から前記演算部に出力されると、 前記次のラインの先 頭の画素から第 M_ 1番目の画素を前記第 2の一時記憶部から読み出して前記第 3の一時記憶部に書き込む、 制御部をさらに備える、 請求項 1に記載の画像処理
3 . 前記 Nは 2以上の整数であり、
前記制御部は、 前記画像の第 1番目から第 N番目の水平方向画素列に属する画 素に対して、 垂直方向に並ぶ N個の画素を前記画像記憶部から順次読み出して前 記第 1の一時記憶部又は前記第 2の一時記憶部に書き込む操作を、 読み出し位置 を水平方向に移動しつつ繰り返す、 請求項 2に記載の画像処理装置。
4. 前記演算部は単位時間毎に 1個の出力画素を生成し、
前記第！_の一時記憶部は N個の R AMを備え、 前記制御部は、 書き込み中である前記 RAMの前回の書き込みァドレスが前回 の読み出しアドレスの直前であれば、 前記単位時間内に 1個の画素を、 前記画像 記憶部から読み出して前記 R AM又は前記第 2の一時記憶部に書き込み、 書き込 み中である前記 R AMの前回の書き込みァドレスが前回の読み出しァドレスの直 前より 1つ以上前であれば、 前記単位時間内に複数個の画素を、 前記画像記憶部 から読み出して前記 R AM及ぴ Z又は前記第 3の一時記憶部に書き込む、 請求項 3に記載の画像処理装置。
5 . 画像記憶部に記憶された画像に含まれる水平方向に M個で垂直方向に N個 の互いに隣接する画素を演算処理して出力画素を生成し、 Mは 2以上の整数で、 Nは 1以上の整数である、 画像処理方法であって、
前記画像記憶部から読み出し位置を水平方向に移動しつつ画素を読み出して第 1の一時記記憶部に書き込み、
前記第 1の一時記憶部から画素を読み出して、 第 3の一時記憶手段に書き込み、 前記第 3の一時記憶手段で遅延させて、 前記水平方向に M個で垂直方向に N個 の互いに隣接する画素を演算部に出力し、
前記演算回路により前記 M X N個の画素から出力画素を生成し、
1つの水平方向画素列に対応する最後尾の出力画素の生成に使用される画素が 前記第 3の一時記憶部に記憶される前に、 次の水平方向画素列の先頭の画素から 第 M— 1番目の画素までを前記画像記憶部から読み出して第 2の一日寺記憶部に書 き込み、
前記 1つの水平方向画素列に対応する最後尾の出力画素の生成に使用される画 素が前記第 3の一時記憶部から前記演算部に出力されると、 前記第 2の一時記憶 部から前記次のラィンの先頭の画素から第 M— 1番目の画素までを読み出して前 記第 3の一時記憶部に書き込む、 画像処理方法。
6 . 前記 Nは 2以上の整数であり、
前記画像の第 1番目から第 N番目の水平画素列に属する複数の画素に対して、 垂直方向に並ぶ N個の画素を前記画像記憶部から順次読み出して前記第 1の一時 記憶部又は前記第 2の一時記憶部に書き込む操作を、 読み出し位置を水平方向に 移動しつつ繰り返す、 請求項 5に記載の画像処理方法。
7 . 前記演算部は単位時間毎に 1個の出力画素を生成し、
前記第 1の記憶部は N個の R AMを備え、
書き込み中である前記 R AMの前回の書き込みァドレスが前回の読み出しァド レスの直前であれば、 前記単位時間内に 1個の画素を、 前記画像記憶部から読み 出して前記第 2の一時記憶部又は前記第 3の一時記憶部に書き込み、
書き込み中である R AMの前回の書き込みァドレスが前回の読み出しァドレス の直前より 1つ以上前であれば、 前記単位時間内に複数個の画素を、 前記画像記 憶部から読み出して前記 R AM又は前記第 3の一時記憶部に書き込む、
請求項 5に記載の画像処理方法。
PCT/JP2003/003688 2002-03-27 2003-03-26 Dispositif et procede de traitement d'images WO2003081895A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/508,776 US7573513B2 (en) 2002-03-27 2003-03-26 Image processing device and image processing method
EP03712970A EP1492326B1 (en) 2002-03-27 2003-03-26 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-87854 2002-03-27
JP2002087854 2002-03-27

Publications (1)

Publication Number Publication Date
WO2003081895A1 true WO2003081895A1 (fr) 2003-10-02

Family

ID=28449407

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/003688 WO2003081895A1 (fr) 2002-03-27 2003-03-26 Dispositif et procede de traitement d'images

Country Status (5)

Country Link
US (1) US7573513B2 (ja)
EP (1) EP1492326B1 (ja)
CN (1) CN100391227C (ja)
TW (1) TW200306741A (ja)
WO (1) WO2003081895A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101556931B1 (ko) * 2009-02-24 2015-10-02 삼성전자주식회사 영상 데이터 처리 장치 및 방법
KR101608347B1 (ko) * 2009-11-02 2016-04-01 삼성전자주식회사 디지털 영상 신호 처리 장치 및 방법
JP5639436B2 (ja) * 2010-10-18 2014-12-10 株式会社メガチップス 画像処理装置、および画像処理装置の動作方法
JP6446887B2 (ja) * 2014-07-23 2019-01-09 株式会社ジェイテクト 転がり軸受装置及び給油ユニット

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0223790A (ja) * 1988-07-13 1990-01-25 Hitachi Ltd 撮像装置
JPH06125565A (ja) * 1992-10-09 1994-05-06 Canon Inc 固体撮像装置
JP2001257886A (ja) * 2000-03-09 2001-09-21 Canon Inc 画像データ処理装置および方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5138460A (en) * 1987-08-20 1992-08-11 Canon Kabushiki Kaisha Apparatus for forming composite images
JP2560410B2 (ja) 1988-05-06 1996-12-04 日本電気株式会社 無線電話装置
DE68926637T2 (de) 1988-07-13 1997-01-23 Hitachi Ltd Konvergenzfehler-Korrektur für Festkörperbildaufnahmegeräte
US5648818A (en) * 1992-10-09 1997-07-15 Canon Kabushiki Kaisha Image pickup apparatus having color separation matrix
TW330273B (en) * 1996-02-13 1998-04-21 Sanyo Electric Co The image-processing device and method for mapping image memory
JPH10341437A (ja) * 1997-06-06 1998-12-22 Canon Inc 画像処理方法及び装置
US6943834B1 (en) * 1998-02-06 2005-09-13 Canon Kabushiki Kaisha Apparatus and method of converting image data to video signals
US6335728B1 (en) * 1998-03-31 2002-01-01 Pioneer Corporation Display panel driving apparatus
JP2000350168A (ja) * 1999-06-02 2000-12-15 Seiko Epson Corp 画像信号処理方法および画像信号処理装置
US6961084B1 (en) * 1999-10-07 2005-11-01 Ess Technology, Inc. Programmable image transform processor
TW515195B (en) * 1999-10-13 2002-12-21 Canon Denshi Kk Document reading apparatus and method
US7064783B2 (en) * 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
US6469801B1 (en) * 2000-05-17 2002-10-22 Heidelberger Druckmaschinen Ag Scanner with prepress scaling mode
JP2002247593A (ja) * 2001-02-16 2002-08-30 Olympus Optical Co Ltd 画像処理装置
US20040135903A1 (en) * 2002-10-11 2004-07-15 Brooks Lane C. In-stream lossless compression of digital image sensor data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0223790A (ja) * 1988-07-13 1990-01-25 Hitachi Ltd 撮像装置
JPH06125565A (ja) * 1992-10-09 1994-05-06 Canon Inc 固体撮像装置
JP2001257886A (ja) * 2000-03-09 2001-09-21 Canon Inc 画像データ処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1492326A4 *

Also Published As

Publication number Publication date
EP1492326B1 (en) 2011-08-03
EP1492326A4 (en) 2007-06-20
US20050140796A1 (en) 2005-06-30
TW200306741A (en) 2003-11-16
CN100391227C (zh) 2008-05-28
CN1643890A (zh) 2005-07-20
EP1492326A1 (en) 2004-12-29
US7573513B2 (en) 2009-08-11

Similar Documents

Publication Publication Date Title
JP4772281B2 (ja) 画像処理装置及び画像処理方法
WO2005010818A1 (ja) 画像処理装置、画像処理方法及び歪補正方法
JP3278756B2 (ja) 画像処理方法及び装置
US7034872B1 (en) Image processing apparatus and method
US4680643A (en) Image display apparatus
JPH11103407A (ja) Ｃｃｄデータ画素補間回路およびこのｃｃｄデータ画素 補間回路を備えたデジタルスチルカメラ
JP2005018730A (ja) 色補間用ラインバッファおよびラインデータ提供装置および方法
WO2003081895A1 (fr) Dispositif et procede de traitement d'images
US6542429B2 (en) Method of controlling line memory
US7808539B2 (en) Image processor that controls transfer of pixel signals between an image sensor and a memory
US5543835A (en) Electronic camera featuring single image processing
JP4155856B2 (ja) 画像処理装置及び画像処理方法
US5253062A (en) Image displaying apparatus for reading and writing graphic data at substantially the same time
JP2000311241A (ja) 画像処理装置
JPH07105907B2 (ja) 画像信号処理装置及びその処理方法
JP2001061058A (ja) 画像処理装置
JP4008400B2 (ja) 画像処理装置、画像処理方法、画像読取装置、および画像形成装置
JP3630587B2 (ja) 映像編集方法及びその装置
JP2001109442A (ja) 映像信号処理回路
JP2002049914A (ja) 画像処理装置
JP2002237951A (ja) 映像信号処理回路
JPH09128475A (ja) 情報読み出し装置
JPH1127488A (ja) データ処理装置
JP2001186455A (ja) デジタル画像処理装置及びデジタル画像処理方法。
JPH06131447A (ja) ディジタル画像記憶装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003712970

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20038066483

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 10508776

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2003712970

Country of ref document: EP