WO1998043440A1 - Image processing device and still image pickup device, and method for processing image - Google Patents

Image processing device and still image pickup device, and method for processing image Download PDF

Info

Publication number
WO1998043440A1
WO1998043440A1 PCT/JP1998/001214 JP9801214W WO9843440A1 WO 1998043440 A1 WO1998043440 A1 WO 1998043440A1 JP 9801214 W JP9801214 W JP 9801214W WO 9843440 A1 WO9843440 A1 WO 9843440A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fixed
image signal
signal
pixel
Prior art date
Application number
PCT/JP1998/001214
Other languages
English (en)
French (fr)
Inventor
Narihiro Matoba
Masayuki Saito
Original Assignee
Mitsubichi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubichi Denki Kabushiki Kaisha filed Critical Mitsubichi Denki Kabushiki Kaisha
Priority to EP98909793A priority Critical patent/EP0907294A4/en
Priority to US09/171,100 priority patent/US6269183B1/en
Publication of WO1998043440A1 publication Critical patent/WO1998043440A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • H04N11/044—Codec means involving transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Definitions

  • the present invention relates to an image processing apparatus, a still image capturing apparatus, and an image processing method for encoding, compressing, and storing in a memory an output signal of a predetermined number of pixels, which is output by mixing a plurality of color components.
  • a still image pickup device is provided to obtain three color image signals.
  • pixel interpolation processing is performed using signals of adjacent pixels in order to obtain three color image signals for each pixel.
  • pixel interpolation processing it is easier to process data as a digital signal, but if the image signal is digitized as it is, the amount of information will be enormous.
  • the compression capacity and the storage capacity of the encoding memory for recording image signals and the signal transmission time are reduced.
  • an encoding circuit is provided for each color. The signal compression is performed by the encoding circuit.
  • FIG. 18 is a diagram showing a method of extracting a color signal of the still image pickup device disclosed in Japanese Patent Application Laid-Open No. 4-170886, in which 20 is a stripe of three colors.
  • An image sensor with a color filter on the surface 21 a extracted only the R component in the output signal of the image sensor 20, 21 b extracted only the G component in the output signal of the image sensor 20
  • Reference numeral 21c denotes a signal obtained by extracting only the B component from the output signal of the image sensor 20.
  • this conventional still image pickup device takes out the output signal of the image pickup device 20 for each of the R, G, and B color components, converts them into digital signals, and then converts the signals into one system.
  • the compression circuit sequentially compresses the signal for each color component and records it for each color in an encoding memory such as a floppy disk or IC card.
  • the conventional still image pickup device is configured as described above, it is necessary to read the image signal directly from the image pickup device for each color, and a dedicated image pickup device capable of reading each color individually and dedicated hardware therefor. Had to be provided.
  • the encoding circuit requires only one system and can be simplified, there is a problem that a large memory capacity is required because the encoding memory must store all the color signal components for one frame. Was.
  • a still image capturing device when configured using an image processing device, it takes a certain amount of time to encode and decode the image signal, so that it takes some time to display the captured image. There was a problem that would be hung.
  • the present invention has been made to solve the above problems, and provides a still image pickup apparatus that can read color image signals for each color with a normal image pickup device without using a special image pickup device.
  • the purpose is to:
  • Another object of the present invention is to provide an image processing apparatus and an image processing method that can be realized by using a single-system encoding circuit and a small-capacity encoding memory.
  • Still another object of the present invention is to obtain a still image pickup device capable of high-speed continuous shooting.
  • Still another object of the present invention is to obtain a still image pickup device capable of obtaining a high-definition reproduced image.
  • Still another object of the present invention is to provide a still image pickup device capable of displaying an image pickup screen at high speed. Disclosure of the invention
  • An image processing apparatus includes: a pixel rearranging unit configured to rearrange an image signal of a predetermined number of pixels in which a plurality of color components are mixed into a set of unit blocks composed of image signal components of the same color; A fixed-length encoding unit that performs fixed-length encoding on the image signal rearranged by the rearranging unit for each unit block; and an image signal that is fixed-length encoded by the fixed-length encoding unit. And an encoding memory for storing the code.
  • an image signal in which a plurality of color components in a block are mixed is arranged only in a small-capacity line buffer memory that can be combined into a unit block for each single color component existing in a close position.
  • coding can be performed using only color image signal data for each color, and furthermore, there is an effect that it can be realized using a single block coding circuit and a small capacity coding memory.
  • a large amount of image data can be stored in the encoding memory without increasing the capacity of the special encoding memory, which has the effect of enabling high-speed continuous shooting.
  • the fixed-length encoding means performs fixed-length encoding at a different compression ratio for each color component.
  • An image processing apparatus is provided with a selector for selecting and outputting a fixed-length encoded image signal and a non-fixed-length encoded image signal at a stage preceding an encoding memory.
  • the pixel rearranging means when the unit block is configured as a block of pixels composed of m rows and n columns (m and n are natural numbers), the pixel rearranging means has 2 m lines. It has a number of line buffer memories.
  • m is 4.
  • m is 2a (a is a natural number), and the pixel rearranging means rearranges the image signals so that the unit block includes a rows and 2 n columns.
  • 111 is 2 & (a is a natural number), and the pixel rearranging means rearranges the red image signal and the blue image signal so that the unit block is composed of a rows and 2 n columns.
  • the green image signals are rearranged such that the unit blocks are composed of 2a rows and n columns.
  • An image processing apparatus comprises: fixed-length decoding means for reading out an image signal stored in an encoding memory and performing fixed-length decoding; and reordering means for sorting the image signal decoded by the fixed-length decoding means.
  • Pixel reverse rearrangement means for rearranging in the reverse order to restore the original image signal, and signal processing means for performing signal processing on the original image signal restored by the pixel reverse rearrangement means.
  • the image processing device further includes a frame memory for storing the image signal processed by the signal processing means.
  • the image processing apparatus further includes display means for displaying an image signal processed by the signal processing means.
  • the signal processing unit reads out only a part of the fixed-length-encoded image signal stored in the encoding memory and displays it on the display unit without performing decoding. Things.
  • a still image capturing apparatus includes: a single-panel or single-tube imaging unit that captures an image of an object having a plurality of color components and outputs an image signal in which a plurality of color components are mixed; A pixel rearrangement unit that rearranges an image signal of a predetermined number of pixels output from the imaging unit into a set of unit blocks composed of image signal components of the same color; and an image signal rearranged by the pixel rearrangement unit.
  • Fixed-length coding means for performing fixed-length coding for each of the unit blocks, and a coding memory for storing an image signal fixed-length coded by the fixed-length coding means.
  • a still image capturing apparatus arranges a fixed-length decoding unit that reads an image signal stored in an encoding memory and performs fixed-length decoding, and an image signal decoded by the fixed-length decoding unit.
  • a pixel reverse rearrangement means for rearranging in the reverse order of the rearrangement means to restore the image signal in the original order; and a signal for performing signal processing on the image signal in the original order restored by the pixel reverse rearrangement means Processing means.
  • the still image capturing apparatus further includes a frame memory for storing the image signal subjected to the signal processing by the signal processing means.
  • each processing of fixed-length decoding, reverse pixel reordering, signal processing, and variable-length coding can be realized by software, which makes it possible to implement hardware in terms of versatility, flexibility, and cost. There is an effect that can be more advantageous than processing.
  • An image processing method includes a pixel rearranging step of rearranging an image signal of a predetermined number of pixels in which a plurality of color components are mixed into a set of unit blocks composed of image signal components of the same color.
  • An image processing method includes: a fixed-length decoding step of performing fixed-length decoding on an image signal fixed-length coded by a fixed-length coding step; And a signal processing step of rearranging the image signal decoded by the fixed-length decoding step in the reverse order of the rearrangement step to restore the output signal in the original order.
  • FIG. 1 is a configuration diagram showing a still image capturing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing a color arrangement of a color filter formed on the front surface of the imaging light incidence surface of the imaging device according to the first embodiment of the present invention.
  • FIG. 3 is a configuration diagram showing an internal configuration of the pixel rearrangement circuit according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing a state of a block where the pixel rearranging circuit according to the first embodiment of the present invention rearranges.
  • FIG. 5 is a diagram showing a result of rearrangement by the pixel rearrangement circuit according to the first embodiment of the present invention.
  • FIG. 6 is a diagram showing addresses when the color image signals in the unit block rearranged by the pixel rearranging circuit according to the first embodiment of the present invention are encoded by a fixed-length encoding circuit. .
  • FIG. 7 is a diagram showing a quantization level at which the intensity of the image signal of each pixel is hierarchized by the pixel rearranging circuit according to the first embodiment of the present invention.
  • FIG. 8 is a flowchart showing an encoding procedure according to the first embodiment of the present invention.
  • FIG. 9 is a flowchart showing an encoding procedure according to the first embodiment of the present invention.
  • FIG. 10 is a diagram showing a state in which image data for each unit block encoded by the fixed-length encoding circuit according to Embodiment 1 of the present invention is stored in an encoding memory.
  • FIG. 11 is a diagram showing the storage state of each block in FIG. 9 for the entire image of one field.
  • FIG. 12 is a diagram showing a memory capacity required for storing data encoded by the fixed-length encoding circuit according to the first embodiment of the present invention in an encoding memory.
  • FIG. 13 is a diagram showing a memory capacity necessary for storing one frame of image signal in an encoding memory conforming to the VGA standard according to the first embodiment of the present invention.
  • FIG. 14 is a flowchart showing the operation of the fixed-length decoding circuit according to the first embodiment of the present invention.
  • FIG. 15 is a diagram showing a result of rearranging color image data in a line buffer of a rearranging circuit of a still image capturing apparatus according to Embodiment 2 of the present invention.
  • FIG. 16 is a diagram showing a result of rearranging empty image data in a line buffer of a rearranging circuit of a still image capturing apparatus according to Embodiment 3 of the present invention.
  • FIG. 17 is a configuration diagram of a still image capturing apparatus according to Embodiment 4 of the present invention.
  • FIG. 18 is a diagram showing a method of extracting a color signal of a conventional still image pickup device.
  • FIG. 1 is a configuration diagram showing a still image capturing apparatus according to Embodiment 1 of the present invention.
  • reference numeral 1 denotes a CCD or the like which includes color filters of a plurality of colors and outputs pixel signals in a dot-sequential manner.
  • 2 is an analog signal processing circuit for amplifying and filtering the output signal of the image sensor 1
  • 3 is an analog signal output from the analog signal processing circuit 2.
  • the A / D converter that converts the signal to a digital signal
  • 4 is the color conversion by rearranging the output signals of the pixels that have the R, G, and B color components output from the A / D converter 3.
  • Reference numeral 7 denotes a fixed-length decoding circuit (fixed-length decoding means) for reading encoded data from the encoding memory 6 and performing fixed-length decoding
  • 8 denotes a data decoded by the fixed-length decoding circuit 7.
  • the pixel rearrangement circuit 4 performs an inverse rearrangement process on the data rearranged by the pixel rearrangement circuit 4 and rearranges the pixel signals in the same order as when the pixel signals are read out in the scanning line direction.
  • signal processing circuits signal processing means
  • a frame memory for storing the signal corrected by the signal processing circuit 9, 11 is for reading the data stored in the frame memory 10, and JPEG (Joint P hotographic) for secondary storage.
  • Code using a variable-length coding method such as the 12 is a display device (display means) such as a CRT that displays the data read from the frame memory 9 as an image
  • 13 is a floppy disk, hard disk, flash memory, etc.
  • Analog signal processing circuit 2 A / D converter 3, pixel rearranging circuit 4, fixed-length encoding circuit 5, encoding memory 6, fixed-length decoding circuit 7, pixel reverse rearranging circuit 8, signal processing circuit 9,
  • the frame memory 10 constitutes the image processing device 14.
  • FIG. 2 is a diagram showing a color array of color filters formed on the front surface of the image pickup light incident surface of the image pickup device 1 according to the first embodiment of the present invention, wherein each color of G, R, and B is shown.
  • the components are arranged in a mosaic shape, and the minimum unit of the color array pattern is composed of 4 pixels, 2 pixels vertically and 2 pixels horizontally.
  • FIG. 3 is a configuration diagram showing an internal configuration of the pixel rearranging circuit 4.
  • 41 is a line buffer A (line buffer memory) capable of storing eight lines of image data
  • 42 is a line buffer B (similarly capable of storing eight lines of image data).
  • the line buffers A41 and B42 constitute a toggle line buffer.
  • Reference numeral 43 denotes a line buffer controller for controlling the write and read operations of the line buffers A41 and B42.
  • the imaging device 1 captures an image of a subject, and outputs an image signal corresponding to the incident light filtered by the color filter shown in FIG. 2 in a dot-sequential manner in the scanning line direction for each pixel.
  • This color image signal is amplified by the analog signal processing circuit 2 and is filtered to remove a noise component.
  • it is converted into a digital signal by the A / D converter 3 and input to the pixel rearranging circuit 4.
  • FIG. 4 is a diagram showing a state of a block for performing the rearrangement.
  • the screen of the image pickup device 1 has eight blocks each of eight pixels in the vertical and horizontal directions as one block.
  • the processed image signals for eight pixels in the vertical direction are input to the line buffers A41 and B42 as a group of image signals.
  • FIG. 5 is a diagram showing a result of the sorting by the pixel sorting circuit 4.
  • the G component is collected and arranged in the upper left address and lower right address of the block, and the B component is in the lower left address and the R component is in the upper right address. Collected and arranged.
  • FIG. 6 is a diagram showing addresses when the color image signals in the unit blocks rearranged by the pixel rearranging circuit 4 are encoded by the fixed-length encoding circuit 5.
  • Fig. 6 shows a unit block that is a block of image signals of the same color for each of 4 pixels in the vertical and horizontal directions. This indicates that a quantization level described later is added to the address image signal.
  • FIG. 7 shows a quantization level at which the pixel rearrangement circuit 4 hierarchizes (quantizes) the intensity of the image signal of each pixel.
  • L min is the minimum value in the image signal intensity of the four pixels shown in FIG. 6
  • L max is the maximum value in the image signal intensity of the same four pixels
  • P 1 is the maximum value L max and the minimum value L min and 1/8 values from the bottom
  • P 2 is the 1/8 value from the top
  • Q 1 is the average value of pixels with signal strength between L min
  • P 1 8 is an average value of pixels having a signal intensity equal to or less than L max and greater than P 2.
  • LD is a gradation width index in a unit block, and is equal to Q8-Q1.
  • L1 to L7 are the values obtained by dividing the gradation width index LD into eight equal parts, arranged in ascending order. It is.
  • LA is the average level of image data in a unit block (Q 1 + Q
  • ⁇ i j k represents a quantization level for each pixel.
  • FIGS. 8 and 9 are flowcharts showing an encoding procedure according to Embodiment 1 of the present invention. Hereinafter, the encoding procedure will be described with reference to this flowchart.
  • the fixed-length encoding circuit 5 reads the image data in the unit block rearranged by the pixel rearranging circuit 4 as shown in (2) of FIG. 5 (step ST1).
  • the signal intensities of the read image data of 4 ⁇ 4 pixels are calculated, and P 1, P 2, Q 1, Q 8, LA, LD, L 1 to L are sequentially calculated according to the following equations. Find the value of 7 (Step ST2 to Step ST1 3)
  • LA (Q l + Q 8) / 2
  • the expression of Ql means to calculate the average value of pixels with signal strength of Lmin or more and PI or less
  • the expression of Q8 means to calculate average value of pixels with signal strength of Lmax or less and P2 or more. I do.
  • the quantization level ⁇ ijk of this pixel is set to a binary number of 0000 (step ST17).
  • m is incremented by 1 (step ST31), and it is determined whether or not m is 4 or less (step ST32). If m is 4 or less, the pixel value of that pixel is compared again with L1 (step ST16).
  • n is incremented by 1 (step ST33), and it is determined whether or not the incremented n is 4 or less (step ST34). . If n is 4 or less, the pixel value of that pixel is compared again with L1 (step ST16).
  • step ST18 it is determined whether or not the pixel value is smaller than L2 (step ST18). If the pixel value Xmn is smaller than L2, the quantization of this pixel is performed. Set the level ⁇ ijk to binary 0 0 1 (step ST 19). Next, m is incremented by 1 (step ST31), and it is determined whether or not m is 4 or less (step ST32). If m is 4 or less, the pixel value of that pixel is compared again with L 1 (step ST 16). If m is greater than 4, n is incremented by 1 (step ST33), and it is determined whether or not the incremented n is 4 or less (step ST34). If n is 4 or less, the pixel value of that pixel is compared with L 1 again (step ST 16).
  • the pixel values are L1 to L2, L2 to L3, L3 to LA, LA to L5, L5 to L6, and L6 to L7.
  • the encoded data of the unit block are L A, L D, and ⁇ ijk for each pixel.
  • FIG. 10 is a diagram showing a state where the image data of each unit block encoded by the fixed-length encoding circuit 5 is stored in the encoding memory 6.
  • the image data of one block rearranged by the pixel rearranging circuit 4 as shown in (1) in FIG. 10 is encoded data (each image) in color units as shown in (2) in FIG.
  • the number of the signal is indicated by adding an e (for example, the encoded data of the image signal G 1 is indicated by G 1 e).
  • Fig. 11 shows the storage state of this block unit for the whole image of one field.
  • FIG. 12 is a diagram showing a memory capacity required for storing data encoded by the fixed-length encoding circuit 5 in the encoding memory 6.
  • the encoded data has the average level LA Is 8 bits (1 byte), gradation width index LD is 8 bits (1 byte), quantization level 0 ijk is 3 bits X 16 pixels (number of pixels in 1 unit block) is 4 Since it is 8 bits (6 bytes), one unit block requires only a total of 64 bits (8 bytes).
  • 8 X 16 1 2 8 (16 bytes) of memory is required, and the data compression ratio is 1/2.
  • the encoded 1 unit block A 10-byte memory capacity is required to store the image data.
  • a 3-byte memory capacity is required for the average level LA and the gradation width index LD.
  • the required memory capacity is 9 bytes.
  • FIG. 13 is a diagram showing the memory capacity required to store one frame of image signal in the encoding memory 6 corresponding to the VGA (VariableGraphicsArray) standard.
  • the image data of one pixel is represented by 8 bits.
  • the total memory capacity required for storing the encoded data is 1228800 bits (153600 bytes) in total.
  • the total memory capacity required to store the encoded data is 192000 bytes.
  • the memory capacity required to store the encoded data The total is 17 28 00 bytes.
  • the color image signals are rearranged by color, encoded by one encoding circuit, and the image data stored in the encoding memory 6 is reproduced and displayed.
  • the image data must be read and decoded by the fixed-length decoding circuit 7.
  • FIG. 14 is a flowchart showing the operation of the fixed-length decoding circuit 7.
  • the fixed-length decoding operation of the fixed-length decoding circuit 7 will be described with reference to this flowchart.
  • the fixed-length decoding circuit 7 When the fixed-length decoding operation is started, the fixed-length decoding circuit 7 first sets the vertical coordinate value n to 1 (step ST40), and then sets the horizontal coordinate value m to 1. (Step ST41). That is, the address of the coordinate value (1, 1) in a certain unit block is designated by the operations of steps ST40 and ST41.
  • the fixed-length decoding circuit 7 determines the number of quantization levels ⁇ ijk of the specified address (steps ST 42, ST 44, ST 46, ST 48, ST 50, ST 52, ST 54), the signal intensity ⁇ mn (coordinate value (1, 1)) of the pixel based on the average value level LA and the gradation width index LD according to each determined quantization level ⁇ ijk If the pixel is the pixel of the above, Y11) is obtained (steps ST43, ST45, ST47, ST49, ST51, ST53, S ⁇ 55, ST56).
  • step ST57, ST58 After obtaining the signal strength of the pixel (1, 1), the pixel is moved horizontally by one (step ST57, ST58), and the signal strength of the pixel (2, 1) is calculated in the same procedure. Decryption is performed (step ST42 to ST56).
  • step ST58 After decoding the signal intensity for the uppermost pixel in the unit block in this way (step ST58), the vertical coordinate value is incremented by 1 (step ST59). Then, the signal strength of the next pixel is decoded in the same manner (steps ST42 to ST58).
  • the signal intensities are decoded for all the pixels in the unit block (steps ST41 to ST60), and the decoding operation ends.
  • the data decoded by the fixed-length decoding circuit 7 is subjected to reverse rearrangement processing on the data rearranged by the pixel rearrangement circuit 4, and the pixel signal is converted. Sort in the same order as when reading in the scanning line direction.
  • the image data whose arrangement order is restored by the pixel reverse rearrangement circuit 8 is subjected to various kinds of image processing such as pixel interpolation, gradation correction, and error correction in a signal processing circuit 9.
  • the image signals that are arranged in the same manner as the original image signals in the dot sequence in the scanning line direction and subjected to image processing are stored in the frame memory 10.
  • the image signal stored in the frame memory 10 is read out to the display device 12 and displayed as an image.Then, the signal is compressed again by the variable length coding circuit 11 and stored in the secondary storage device 13 for storage. Is done.
  • an image sensor capable of special reading as the image sensor 1 and image signals are transmitted in a normal dot-sequential manner.
  • An image sensor that outputs signals can be used, and encoding can be performed using only the color image signal data for each color in the block. Encoding can be performed without receiving the signal. Further, an effect that can be realized by using a single-system coding circuit and a small-capacity coding memory is obtained.
  • the image data is stored in the encoding memory after signal compression, a large amount of image data can be stored in the encoding memory without increasing the capacity of the special encoding memory. Evening can be stored, which has the effect of enabling high-speed continuous shooting.
  • the image before and after the continuous shooting during continuous shooting is optically shifted by 1 / c (c is an integer of 2 or more) pixels, and the number of pixels is increased by pixel interpolation or the like to increase the number of pixels.
  • c is an integer of 2 or more
  • the processing by each of the fixed-length decoding circuit 7, the pixel reverse-parallel conversion circuit 8, the signal processing circuit 9, and the variable-length coding circuit 11 is realized by hardware.
  • each of these processes does not necessarily require real-time processing, it may be realized by software processing. Processing by software is more advantageous than hardware processing in terms of versatility, flexibility, and cost.
  • the frame memory 10 is necessarily provided. It is not necessary, and the encoding memory 6 can function as the frame memory 10. That is, fixed-length coding By using the method, an effect that the frame memory 10 can be reduced can be obtained.
  • the gradation width index LD is divided into eight equal parts and encoded.
  • the quantization level ⁇ ijk may be changed for each color.
  • the quantization level of G may be 8 steps of 3 bits, R and B may be 4 steps of 2 bits, or the quantization level of G may be 8 steps of 3 bits, and R B may have two stages of 1 bit.
  • the quantization level of G may be 4 levels of 2 bits;; and B may be 2 levels of 1 bit, or the quantization level may be 4 bits or more.
  • the arrangement of the unit blocks shown in FIGS. 4, 5, and 10 in a block of 8 pixels in length and width is merely an example, and it is a matter of course that other arrangements may be made.
  • the fixed-length coding method is only an example here, and the same effect can be obtained even if the method of calculating the threshold value or the method of calculating the quantization level is different. What is important in the coding method of the present invention is that the coding method is completed within a block and the code length is fixed.
  • the signal intensities of all the pixels in the unit block are averaged at a level LA. If the image is displayed only with the luminance signal, the resolution of the displayed image will be reduced to 1/16, but the decoding and the pixels in the block will be performed.
  • Embodiment 2 This eliminates the need for overnight sorting, making it possible to display images at extremely high speed. Furthermore, if the unit block is processed as a signal of one pixel whose signal strength is the average value level LA, the image captured as one frame image is displayed at 1/16 the size of the display screen of the display device 11. This allows 16-screen multi-screen display. In these displays, the color information, resolution information, etc. are reduced, but this is effective for applications where only the rough contents of the image need to be known. The effect is obtained that can be used as a short display mode.
  • Embodiment 2 Embodiment 2
  • FIG. 15 is a diagram showing a result of rearranging empty images in a line buffer of a rearranging circuit of a still image capturing apparatus according to Embodiment 2 of the present invention.
  • the other parts of the second embodiment are the same as those of the first embodiment, and a description thereof will be omitted.
  • the unit block is composed of 2 ⁇ 8 pixels
  • the line buffer needs to be four lines at a time, and the effect of reducing the capacity of the line buffer can be obtained.
  • the fixed-length encoding / decoding processing is the same as that of the first embodiment except that the reference position (coordinate calculation) of the pixel in the unit block is 4 ⁇ 4 pixels.
  • FIG. 16 is a diagram showing a result of rearrangement of all images in the line buffer of the rearrangement circuit of the still image capturing apparatus according to Embodiment 3 of the present invention.
  • the other parts of the third embodiment are the same as those of the first embodiment, and a description thereof will not be repeated.
  • the unit block of the R signal and the B signal is composed of 2 ⁇ 8 pixels
  • the unit block of the G signal, in which the image quality is conspicuous is composed of 4 ⁇ 4.
  • encoding / decoding is performed by two types of unit blocks. Two systems are required according to the size (4 x 4 and 2 x 8), but the effect of using a line buffer with a small capacity is only 4 lines each as in the second embodiment. In addition, by performing a 4 ⁇ 4 unit block process on the G signal in which the image quality is conspicuous, an effect of obtaining a display image with little image quality deterioration can be obtained.
  • FIG. 17 is a configuration diagram of a still image capturing apparatus according to Embodiment 4 of the present invention.
  • the same components as those of the still image capturing apparatus according to Embodiment 1 in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • reference numerals 15 and 16 denote selectors for selecting and outputting one input signal from a plurality of input signals.
  • selectors 15 and 16 for selecting and outputting an input signal are provided so that a case where fixed length coding is performed and a case where fixed length coding is not performed can be selected.
  • the fixed-length coding When the fixed-length coding is not performed, one frame of image signal is stored in the coding memory 6 so that it can be used particularly for photographing that does not require high speed.
  • image signals for two frames are stored in the encoding memory 6 for one frame.
  • the effect of enabling high-speed continuous shooting can be obtained.
  • the read-out image data is decoded to a fixed-length by the fixed-length decoding circuit 7 and the pixel is rearranged by the pixel rearrangement circuit 8. Do.
  • the capacity of the encoding memory 6 is increased, or another memory such as a floppy disk or a hard disk is provided together with the encoding memory. May be provided.
  • the access speed of memories such as floppy disks and hard disks is slower than that of semiconductor memories, and it is difficult to directly store the output signal from the image sensor 1 that is output at high speed. By doing so, the amount of data is reduced and the apparent transfer rate is reduced, so that storage becomes easier. In this case, continuous capture of at least a large number of images is prioritized, and this is effective for applications where image processing and display are secondary.
  • the fourth embodiment it is possible to obtain an effect that the display method on the display device 11 can be changed depending on whether or not high-speed continuous shooting is performed.
  • an R, G, B image signal system has been described as an example of an image signal to be encoded.
  • the present invention is not limited to other image signals such as a complementary color image signal system and a luminance image signal system. Similar effects can be obtained for signal-based image processing.
  • an example in which the image processing apparatus is applied to a still image capturing apparatus as a still camera has been described.
  • the application field of the image processing apparatus is not limited to this, and a predetermined mixed image including a plurality of color components is used. Any device that outputs an output signal of the number of pixels may be used.
  • the present invention can be applied to devices such as a facsimile device, a copier device, and a printer. Industrial applicability
  • the image processing apparatus the still image capturing apparatus, and the image processing method according to the present invention provide an apparatus for encoding, compressing, and storing an image signal having a plurality of color components in a memory. It is suitable for realizing high-speed continuous shooting, high-definition high-speed reproduction, etc. using elements and small-capacity memory.

Description

明 細 書 画像処理装置及び静止画像撮像装置並びに画像処理方法 技術分野
この発明は、 複数のカラ一成分が混在して出力される所定の画素数の 出力信号を符号化して圧縮し、 メモリに記憶せしめる画像処理装置及び 静止画像撮像装置並びに画像処理方法に関するものである。 背景技術
従来から、 単板または単管の撮像装置に赤色 （以下、 Rと略記する） , 緑色 （以下、 Gと略記する） ， 青色 （以下、 Bと略記する） の 3色の カラーフ ィル夕を設けて 3色のカラー画像信号を得る静止画像撮像装置 が用いられている。 このような静止画像撮像装置においては、 各画素に つき 3色のカラ一画像信号を得るために、 隣接する画素の信号を用いて 画素補間処理を行っている。 画素補間処理にあたっては、 データをデジ タル信号として処理した方が処理し易いが、 画像信号をそのままデジ夕 ル化すると情報量が膨大になってしまうため、 ビデオ信号の冗長性を利 用した信号圧縮を行い、 画像信号を記録する符号化メモリの記憶容量や 信号伝送時間の節約が図られている。 画素補間処理を行うには、 特性の 異なる 3色のカラー画像信号を各色毎に纏めて処理する方が効率的であ り、 信号圧縮においても各色毎に符号化回路を設けて、 すなわち 3系統 の符号化回路で信号圧縮を行っていた。
ところで、 このような静止画像撮像装置の場合には、 信号圧縮のため に複雑な演算処理を行わなければならず、 演算時間、 消費電力が大き く なってしまう という問題があり、 このような問題を解消するために、 特 開平 4 一 1 7 0 8 8 6号公報に示された静止画像撮像装置では、 カラー 画像信号を色毎にまとめて取り出した後、 1系統の符号化回路で信号圧 縮を行う という方法を用いている。
第 1 8図はこの特開平 4 - 1 7 0 8 8 6号公報に開示された静止画像 撮像装置のカラー信号の取り出し方法を示す図であり、 図において、 2 0は 3色のス トライプ状カラ一フィル夕を表面に備えた撮像素子、 2 1 aは撮像素子 2 0の出力信号中 R成分のみを取り出したもの、 2 1 bは 撮像素子 2 0の出力信号中 G成分のみを取り出したもの、 2 1 cは撮像 素子 2 0の出力信号中 B成分のみを取り出したものである。
この従来の静止画像撮像装置は、 第 1 8図のごと く、 撮像素子 2 0の 出力信号を R , G , Bの各カラー成分毎に取り出し、 それぞれデジタル 信号に変換した後、 1系統の符号化回路で各カラー成分毎に順次信号圧 縮して、 フロッピ一ディスク， I Cカード等の符号化メモリに各カラー 別に記録するものである。
従来の静止画像撮像装置は以上のように構成されているので、 画像信 号を撮像素子から直接カラー毎に読み取る必要があり、 カラ一毎に読み 出せる専用の撮像素子及びそのための専用のハー ドウエアを備えなけれ ばならないという課題があった。
また、 符号化回路は 1系統で済み簡略化されるが、 符号化メモリには 1 フレーム分の全てのカラ一信号成分を蓄えなければならず、 大きなメ モリ容量が要求されるという課題があった。
また、 画像処理装置を用いて静止画像撮像装置を構成した場合、 符号 化メモリに保持し得るデータ容量が限定されているため、 大量のデータ を次々と処理することができず、 高速連写撮影ができないという課題が あった。
さらに、 同様に画像処理装置を用いて静止画像撮像装置を構成した場 合、 C C D ( C h a r g e C o u l e d D e v i c e ) 等を用レヽ た撮像装置の 1画素の面積を小さ く し得る程度にも限界があるため、 高 精細な再生画像を得られないという課題もあった。
さらに、 画像処理装置を用いて静止画像撮像装置を構成した場合、 画 像信号の符号化， 復号化に所定の時間がかかってしまうため、 撮像画面 を表示するのにどう してもある程度の時間が掛かってしまう という課題 があった。
この発明は上記のような課題を解決するためになされたもので、 特殊 な撮像素子を用いなく とも、 通常の撮像素子でカラ一画像信号をカラ一 毎に読み出せる静止画像撮像装置を提供することを目的とする。
また、 この発明は、 1系統の符号化回路で且つ小容量の符号化メモリ を用いて実現できる画像処理装置及び画像処理方法を得ることを目的と する。
さらに、 この発明は、 高速連写が可能な静止画像撮像装置を得ること を目的とする。
さらに、 この発明は、 高精細な再生画像を得られる静止画像撮像装置 を得ることを目的とする。
さらに、 この発明は、 撮像画面の高速表示が可能な静止画像撮像装置 を得ることを目的とする。 発明の開示
この発明に係る画像処理装置は、 複数のカラー成分が混在する所定の 画素数の画像信号を同一色の画像信号成分により構成される単位プロッ クの集合に並べ替える画素並べ替え手段と、 この画素並べ替え手段によ り並べ替えられた画像信号を単位プロック毎に固定長符号化する固定長 符号化手段と、 この固定長符号化手段によ り固定長符号化された画像信 号を格納する符号化メモリ とを備えたものである。
このことにより、 ブロック内の複数のカラ一成分が混在する画像信号 を、 近接した位置に存在する単一のカラ一成分毎に単位プロックに纏め られるだけの小容量のライ ンバッファメモリのみで並べ替えを行うこと ができ、 またカラ一毎のカラー画像信号データのみを用いて符号化でき 、 さらに単位プロック 1系統の符号化回路で且つ小容量の符号化メモリ を用いて実現できる効果がある。 また、 特別符号化メモリの容量を増や さずに符号化メモリに大容量の画像データを格納でき、 これによ り高速 の連写が可能となる効果がある。
この発明に係る画像処理装置は、 固定長符号化手段がカラー成分毎に 異なる圧縮率で固定長符号化を行うものである。
このことにより、 カラ一成分の特性に応じた効率的な符号化ができ、 符号化メモリの容量を更に削減できる効果がある。
この発明に係る画像処理装置は、 固定長符号化された画像信号と固定 長符号化されていない画像信号とを選択して出力するセレク夕を符号化 メモリの前段に備えたものである。
このことにより、 高速連写を行う場合と行わない場合とで表示装置上 の表示方式を替えることができる効果がある。
この発明に係る画像処理装置は、 単位ブロックが m行 n列 （m , nは 自然数） からなる画素のプロックとして構成されるときに、 画素並べ替 え手段はライ ン数が 2 mである 2個のライ ンバッファメモリを有してい るものである。
このことにより、 ライ ンバッファの容量が少なくて済むという効果が ある。
この発明に係る画像処理装置は、 mが 4であるものである。
このことにより、 ライ ンバッファの容量が少なくて済むという効果が ある。
この発明に係る画像処理装置は、 mが 2 a ( aは自然数） であり、 画 素並べ替え手段が画像信号を単位プロックが a行 2 n列からなるように 並べ替えるものである。
このことにより、 ライ ンバッファの容量が更に少なくて済むという効 果がぁる。
この発明に係る画像処理装置は、 111が 2 & ( aは自然数） であり、 画 素並べ替え手段が赤色画像信号及び青色画像信号は単位プロックが a行 2 n列からなるように並べ替え、 緑色画像信号は単位プロックが 2 a行 n列からなるように並べ替えるものである。
このことによ り、 表示画像の劣化を招かずにライ ンバッファの容量を 更に少なくできるという効果がある。
この発明に係る画像処理装置は、 符号化メモリに格納された画像信号 を読み出して固定長復号化する固定長復号化手段と、 この固定長復号化 手段により復号化された画像信号を並べ替え手段の逆の順序で並べ替え て元の順序の画像信号に復元する画素逆並べ替え手段と、 この画素逆並 ベ替え手段により復元された元の順序の画像信号に信号処理を施す信号 処理手段とを更に備えたものである。
このことにより、 固定長符号化された画像信号を再生表示することが できる効果がある。
この発明に係る画像処理装置は、 信号処理手段によ り信号処理された 画像信号を格納するフレームメモリを更に備えたものである。
このことにより、 固定長復号化， 画素逆並べ替え， 信号処理， 可変長 符号化の各処理をソフ トウェアによって実現でき、 これによ り、 汎用性 , 柔軟性， コス ト等の面からハー ドウェア処理よ り有利にできる効果が ある。 この発明に係る画像処理装置は、 信号処理手段によ り信号処理された 画像信号を表示する表示手段を更に備えたものである。
このことにより、 再生画像を直ちに表示手段上で見ることができる効 果がある。
この発明に係る画像処理装置は、 信号処理手段が、 符号化メモリに格 納された固定長符号化された画像信号の一部のみを読み出して、 復号化 を行わずに表示手段上に表示するものである。
このことによ り、 極めて高速な画像表示が可能となり、 またマルチ画 面表示が可能となる効果がある。
この発明に係る静止画像撮像装置は、 複数色のカラ一フィル夕を備え た被撮像物を撮像し複数のカラ一成分が混在した画像信号を出力する単 板または単管式撮像手段と、 この撮像手段から出力される所定の画素数 の画像信号を同一色の画像信号成分により構成される単位プロックの集 合に並べ替える画素並べ替え手段と、 この画素並べ替え手段により並べ 替えられた画像信号を前記単位プロック毎に固定長符号化する固定長符 号化手段と、 この固定長符号化手段によ り固定長符号化された画像信号 を格納する符号化メモリ とを備えたものである。
このことにより、 撮像装置として特殊な読み出し方のできる撮像装置 を用いる必要がなく、 またプロック内の力ラー毎の力ラー画像信号デー 夕のみにより符号化でき、 さらに 1系統の符号化回路で且つ小容量の符 号化メモリを用いて実現できる効果がある。 また、 特別符号化メモリの 容量を増やさずに符号化メモリに大容量の画像データを格納でき、 これ により高速の連写が可能となる効果がある。 さらに、 連写時に連続的に 撮影した前後の画像を 1 / c画素分だけずらせて画素数を増やすことに より、 撮像装置の解像度を c倍にしたのと同等の効果が得られ、 高精細 な画像を得ることができる効果がある。 この発明に係る静止画像撮像装置は、 符号化メモリに格納された画像 信号を読み出して固定長復号化する固定長復号化手段と、 この固定長復 号化手段により復号化された画像信号を並べ替え手段の逆の順序で並べ 替えて元の順序の画像信号に復元する画素逆並べ替え手段と、 この画素 逆並べ替え手段によ り復元された元の順序の画像信号に信号処理を施す 信号処理手段とを更に備えたものである。
このことにより、 固定長符号化された画像信号を再生表示することが できる効果がある。
この発明に係る静止画像撮像装置は、 信号処理手段により信号処理さ れた画像信号を格納するフレームメモリを更に備えたものである。
このことによ り、 固定長復号化， 画素逆並べ替え， 信号処理， 可変長 符号化の各処理をソフ トウェアによって実現でき、 これにより、 汎用性 ， 柔軟性， コス ト等の面からハードウェア処理より有利にできる効果が ある。
この発明に係る画像処理方法は、 複数のカラ一成分が混在する所定の 画素数の画像信号を同一色の画像信号成分により構成される単位プロッ クの集合に並べ替える画素並べ替えステップと、 この画素並べ替えステ ップにより並べ替えられた画像信号を前記単位プロック毎に固定長符号 化する固定長符号化ステップとを備えたものである。
このことにより、 ブロック内の力ラ一毎の力ラ一画像信号デ一夕のみ によ り符号化でき、 また 1系統の符号化回路で且つ小容量の符号化メモ リを用いて実現できる効果がある。 また、 特別符号化メモリの容量を増 やさずに符号化メモリに大容量の画像データを格納でき、 これによ り高 速の連写が可能となる効果がある。
この発明に係る画像処理方法は、 固定長符号化ステツプによ り固定長 符号化された画像信号を固定長復号化する固定長復号化ステツプと、 こ の固定長復号化ステツプによ り復号化された画像信号を並べ替えステツ プの逆の順序で並べ替えて元の順序の出力信号に復元する信号処理ステ ップとを更に備えたものである。
このことによ り、 固定長符号化した画像信号を再生表示できる効果が ある。 図面の簡単な説明
第 1図は、 この発明の実施の形態 1 による静止画像撮像装置を示す構 成図である。
第 2図は、 この発明の実施の形態 1の撮像素子の撮像光入射面前面に 塗布形成されたカラ一フィル夕のカラー配列を示す図である。
第 3図は、 この発明の実施の形態 1の画素並べ替え回路の内部の構成 を示す構成図である。
第 4図は、 この発明の実施の形態 1の画素並べ替え回路が並べ替えを 行うブロックの状態を示す図である。
第 5図は、 この発明の実施の形態 1の画素並べ替え回路によ り並べ替 えられた結果を示す図である。
第 6図は、 この発明の実施の形態 1の画素並べ替え回路により並べ替 えられた単位プロック内のカラ一画像信号を固定長符号化回路で符号化 する場合のア ドレスを示す図である。
第 7図は、 この発明の実施の形態 1の画素並べ替え回路により各画素 の画像信号の強度を階層化する量子化レベルを表す図である。
第 8図は、 この発明の実施の形態 1の符号化手順を示すフローチヤ一 トである。
第 9図は、 この発明の実施の形態 1の符号化手順を示すフローチヤ一 トである。 第 1 0図は、 この発明の実施の形態 1の固定長符号化回路によ り符号 化された単位プロック毎の画像データが符号化メモリに格納される様子 を示す図である。
第 1 1図は、 第 9図のブロ ック単位の格納状態を 1 フィール ドの画像 全体について示した図である。
第 1 2図は、 この発明の実施の形態 1の固定長符号化回路で符号化し たデータを符号化メモリに格納するのに必要とされるメモリ容量を表す 図である。
第 1 3図は、 この発明の実施の形態 1の V G A規格に対応した符号化 メモリに 1 フレーム分の画像信号を格納するのに必要なメモリ容量を示 す図である。
第 1 4図は、 この発明の実施の形態 1の固定長復号化回路の動作を示 すフローチヤ一トである。
第 1 5図は、 この発明の実施の形態 2による静止画像撮像装置の並び 替え回路のライ ンバッファにおけるカラー画像デ一夕の並べ替えの結果 を示す図である。
第 1 6図は、 この発明の実施の形態 3による静止画像撮像装置の並び 替え回路のライ ンバッファにおけるカラ一画像データの並べ替えの結果 を示す図である。
第 1 7図は、 この発明の実施の形態 4による静止画像撮像装置の構成 図である。
第 1 8図は、 従来の静止画像撮像装置の色信号の取り出し方法を示す 図である。 発明を実施するための最良の形態
以下、 この発明をよ り詳細に説明するために、 この発明を実施するた めの最良の形態について、 添付の図面に従って説明する。
実施の形態 1.
第 1図は、 この発明の実施の形態 1による静止画像撮像装置を示す構 成図であり、 図において、 1は複数色のカラーフ ィル夕を備え画素信号 が点順次で出力される C C D等の単板式撮像素子 （撮像装置） 、 2は撮 像素子 1の出力信号の増幅， フィル夕 リ ング等を行うアナ口グ信号処理 回路、 3はアナ口グ信号処理回路 2から出力されるアナログ信号をデジ タル信号に変換する A/Dコンバ一夕、 4は A/Dコンパ一夕 3から出 力される R , G, Bの各カラ一成分を有する画素の出力信号を並べ替え てカラー成分毎に符号化の単位プロックとして纏めて出力する画素並べ 替え回路 （画素並べ替え手段） 、 5は画素並べ替え回路 4により並べ替 えられたカラー信号ブロック毎に F B T C ( F i x e d B l o c k T r u n c a t i o n C o d i n g) 方式の固定長符号化を行う固定 長符号化回路 （固定長符号化手段） 、 6は固定長符号化回路 5から出力 される符号化されたデータを保存する符号化メモリである。
また、 7は符号化メモリ 6から符号化されたデータを読み出して固定 長復号化する固定長復号化回路 （固定長復号化手段） 、 8は固定長復号 化回路 7により復号化されたデ一夕に、 画素並べ替え回路 4で並べ替え たデータに逆の並べ替え処理を施して画素信号を走査線方向に読み出し たときと同一の順序に並べ替える画素逆並べ替え回路 （画素逆並べ替え 手段） 、 9は画素逆並べ替え回路 8で並び順序が復元された画像デ一夕 に画素補間， 階調補正， ァ ー補正等の補正を施す信号処理回路 （信号処 理手段） 、 1 0は信号処理回路 9によ り補正された信号を保存するフ レ —ムメモリ、 1 1はフ レームメモリ 1 0に記憶されたデ一夕を読み出し て 2次記憶のために J P E G ( J o i n t P h o t o g r a p h i c
E x p e r t s G r o u p ) 方式等の可変長符号化方式により符号 化する可変長符号化回路、 1 2はフ レームメモリ 9から読み出したデー 夕を画像として表示する C R T等の表示装置 （表示手段） 、 1 3はフロ ツビ一ディスク， ハー ドディスク， フラッシュメモリ等の 2次記憶装置 である。 アナログ信号処理回路 2 ， A / Dコ ンバータ 3， 画素並べ替え 回路 4， 固定長符号化回路 5， 符号化メモリ 6 , 固定長復号化回路 7 ， 画素逆並べ替え回路 8 , 信号処理回路 9 , フ レームメモ リ 1 0は画像処 理装置 1 4を構成する。
第 2図は、 この発明の実施の形態 1の撮像素子 1の撮像光入射面前面 に塗布形成されたカラ一フィル夕のカラ一配列を示す図であり、 G , R , Bの各カラ一成分がモザイ ク状に配列され、 縦横 2画素づつの 4画素 でカラー配列パターンの最小単位を構成している。 また、 第 3図は、 画 素並べ替え回路 4の内部の構成を示す構成図である。 第 3図において、 4 1は 8ライ ン分の画像データを格納できるライ ンバッファ A (ライ ン バッファメモリ） 、 4 2は同じく 8ライ ン分の画像デ一夕を格納できる ライ ンノ ッ ファ B (ライ ンノ 'ッ フ ァメモ リ ） で、 ライ ンバッ フ ァ A 4 1 及び B 4 2は トグルラィ ンバッファを構成している。 4 3はライ ンバッ ファ A 4 1及び B 4 2の書き込み読み出し動作を制御するライ ンバッフ アコン トローラである。
次に動作について説明する。
まず、 撮像素子 1は被写体の画像を撮像し、 第 2図に示すカラーフ ィ ル夕でフィルタ リ ングされた入射光に対応する画像信号を画素毎に走査 線方向に点順次に出力する。 このカラー画像信号はアナログ信号処理回 路 2で増幅され、 また雑音成分を除去するためにフィルタ リ ングされる 。 次に、 A / Dコンパ一夕 3でデジタル信号に変換され、 画素並べ替え 回路 4に入力される。
画素並べ替え回路 4においては、 ライ ンバッファ A 4 1 , B 4 2の一 方で 1走査線分の画像データを走査線方向に順次書き込み転送する間に 、 他方のライ ンバッファから読み出しァ ドレスを変えながら画像デ一夕 を読み出して画素並べ替えを行う。 第 4図は、 この並べ替えを行うプロ ックの状態を示す図であり、 第 4図の （ 1 ) に示すように、 撮像素子 1 の画面は縦横 8画素ずつを一つのブロ ックとして処理され、 この縦方向 の 8画素分の画像信号がライ ンバッファ A 4 1 , B 4 2に一纏ま りの画 像信号として入力される。
第 5図は、 画素並べ替え回路 4によ り並べ替えられた結果を示す図で ある。 並べ替え後の画像信号は、 ブロックの左上方向のア ドレスと右下 方向のァ ドレスに G成分が集められて配列され、 左下方向のァ ドレスに B成分、 右上方向のア ドレスに R成分が集められて配列される。
第 6図は、 画素並べ替え回路 4によ り並べ替えられた単位プロック内 のカラー画像信号を固定長符号化回路 5で符号化する場合のァ ドレスを 示す図である。 すなわち、 第 6図は縦横 4画素分ずつの同一カラーの画 像信号の塊である単位ブロックのうち縦方向 m行横方向 n列 （m , nは 0 < m , n≤ 4の自然数） のア ドレスの画像信号に後述する量子化レべ ルを付すことを表している。
第 7図は、 画素並べ替え回路 4により各画素の画像信号の強度を階層 化 （量子化） する量子化レベルを表す。 第 7図において、 L m i nは第 6図に示した 4画素の画像信号強度中の最小値、 L m a xは同じ 4画素 の画像信号強度中の最大値、 P 1は最大値 L m a xと最小値 L m i nと の間を 8等分した下から 8分の 1の値、 P 2は上から 8分の 1の値、 Q 1は L m i n以上 P 1以下の信号強度の画素の平均値、 Q 8は L m a x 以下 P 2 より大きい信号強度の画素の平均値である。
また、 L Dは単位ブロック内の階調幅指標で、 Q 8— Q 1に等しい。 L 1〜 L 7は階調幅指標 L Dを 8等分した値を小さい方から並べたもの である。 L Aは単位ブロック内の画像データ平均値レベルで （Q 1 +Q
8 ) / 2に等しい。 ø i j kは画素毎の量子化レベルを表す。
第 8図， 第 9図は、 この発明の実施の形態 1による符号化手順を示す フローチャートである。 以下、 このフローチャー トを参照しながら符号 化手順を説明する。
まず、 固定長符号化回路 5は画素並べ替え回路 4によ り第 5図の （ 2 ) のように並べ替えられた単位ブロ ック内の画像デ一夕を読み込む （ス テツプ S T 1 ) 。 次に、 読み込んだ 4 X 4画素分の画像デ一夕の信号強 度を演算し、 以下の各式に従って順次 P 1 , P 2 , Q 1 , Q 8 , LA, LD, L 1〜； L 7の値を求める （ステップ S T 2〜ステップ S T 1 3 )
P l = (Lmax+rLmi n) /8
P 2 = (て Lmax+Lmi n) / 8
Q 1 = A v e (Xmn≤ P 1 )
Q 8 = A v e (Xmn > P 2 )
LA= (Q l +Q 8 ) /2
LD =Q 8 -Q 1
L 1 = LA - 3 LD/8
L 2 = LA— LD/4
L 3 = LA_LD/8
L 5 =LA+LD/8
L 6 = LA+LD/4
L 7 = LA+ 3 LD/8
なお、 Q lの式は Lmi n以上 P I以下の信号強度の画素の平均値を 求めることを意味し、 Q 8の式は Lmax以下 P 2より大きい信号強度 の画素の平均値を求めることを意味する。 このようにして順次 P I , P 2 , Q 1 , Q 8 , L A， L D , L 1〜L 7の値を求めた後、 固定長符号化回路 5は、 n = l， m= l とおいて （ ステップ S T 1 4 , 1 5 ) 、 このときのア ドレス （m， n) の画素の信 号強度 （以後、 画素値と称する） Xmn (すなわち画素値 X 1 1 ) が 1以下であるか否かを判別する （ステップ S T 1 6 ) 。
画素値 X 1 1が L 1以下である場合には、 この画素の量子化レベル ø i j kを 2進数の 0 0 0 と設定する （ステップ S T 1 7 ) 。 次に、 mを 1だけイ ンク リメ ン ト し （ステップ S T 3 1 ) 、 mが 4以下であるか否 かを判別する （ステップ S T 3 2 ) 。 mが 4以下である場合は、 その画 素の画素値を再び L 1 と比較する （ステップ S T 1 6 ) 。
mが 4よ り大きい場合には、 nを 1だけイ ンク リメ ン ト し （ステップ S T 3 3 ) 、 イ ンク リメン ト した nが 4以下であるか否かを判別する （ ステップ S T 3 4 ) 。 nが 4以下である場合は、 その画素の画素値を再 び L 1 と比較する （ステップ S T 1 6 ) 。
画素値 Xmnが L 1よ り大きい場合には、 L 2以下であるか否かを判 別し （ステップ S T 1 8 ) 、 画素値 Xmnが L 2以下である場合には、 この画素の量子化レベル ø i j kを 2進数の 0 0 1 と設定する （ステツ プ S T 1 9 ) 。 次に、 mを 1だけイ ンク リメン ト し （ステップ S T 3 1 ) 、 mが 4以下であるか否かを判別する （ステップ S T 3 2 ) 。 mが 4 以下である場合は、 その画素の画素値を再び L 1 と比較する （ステップ S T 1 6 ) 。 mが 4より大きい場合には、 nを 1だけイ ンク リメン ト し (ステップ S T 3 3 ) 、 イ ンク リメ ン ト した nが 4以下であるか否かを 判別する （ステップ S T 3 4 ) 。 nが 4以下である場合は、 その画素の 画素値を再び L 1 と比較する （ステップ S T 1 6 ) 。
以下、 同様に、 画素値が L 1〜： L 2間、 L 2〜L 3間、 L 3〜L A間 、 L A〜L 5間、 L 5〜L 6間、 L 6〜 L 7間のいずれの値を有するか を判別し （ステップ S T 1 6， S T 1 8 , S T 2 0 , S T 2 2 , S Τ 2 4 , S T 2 6 , S T 2 8 ) 、 その値に応じてそれぞれ量子化レベル 0 i j k = 0 0 0 , 0 0 1， 0 1 0 , O i l , 1 0 0 , 1 0 1 , 1 1 0 , 1 1 1を当該画素に割り振る （ステップ S T 1 7， S Τ 1 9 , S Τ 2 1， S T 2 3 , S T 2 5 , S T 2 7 , S T 2 9 ) 。
このようにして、 同一単位プロック内の全画素に量子化レベルを割り 振って符号化を終了する。 単位ブロックの符号化デ一夕は L A， L D , 各画素毎の ø i j kである。
これらの処理は、 画面全体に対して単位プロック数分繰り返す。
第 1 0図は、 固定長符号化回路 5により符号化された単位ブロック毎 の画像デ一夕が符号化メモリ 6に格納される様子を示す図である。 第 1 0図の （ 1 ) のように画素並べ替え回路 4で並べ替えられた 1プロック の画像デ一夕は、 第 1 0図の （ 2 ) のように色単位に符号化データ （各 画像信号の番号の後ろに eを付けて表す。 例えば、 画像信号 G 1の符号 化デ一夕は G 1 eで表す） が区分けされて格納される。 第 1 1図は、 こ のプロック単位の格納状態を 1 フィール ドの画像全体について示したも のである。
第 1 2図は、 固定長符号化回路 5で符号化したデータを符号化メモリ 6に格納するのに必要とされるメモリ容量を表す図である。
第 1 2図の （ 1 ) の左端欄及び第 1 2図の （ 2 ) の上段に示すように 、 1画素の画像データを 8ビッ トで表現した場合、 符号化データでは、 平均値レベル L Aが 8ビッ ト （ 1バイ ト） 、 階調幅指標 L Dが 8 ビッ ト ( 1ノ'ィ ト） 、 量子化レベル 0 i j kが 3 ビッ ト X 1 6画素 （ 1単位ブ ロック内画素数） で 4 8 ビッ ト （ 6バイ ト） であり、 1単位ブロックあ たり合計 6 4ビッ ト （ 8ノ イ ト） で済むこととなる。 これに対して、 符 号化していない原画像デ一夕を格納する場合には、 8 X 1 6 = 1 2 8 ビ ッ ト （ 1 6バイ ト） のメモリ容量が必要となり、 データ圧縮率は 1 / 2 となる。
画像信号を信号処理するにあたって A/Dコンバ一夕 3からの出力信 号における 1画素の画像デ一夕が 1 0ビッ トの場合、 第 1 2図の （ 1 ) の中央欄及び第 1 2図の （ 2 ) の中段に示すように、 平均値レベル L A 及び階調幅指標 L Dにそれぞれ 2バイ トづっメモリ容量を用意してビッ ト詰めを行わない場合には、 符号化した 1単位プロック分の画像デ一夕 を格納するのには 1 0バイ 卜のメモリ容量が必要となる。 この場合には 、 符号化していない原画像の格納に必要なメモリ容量は、 2バイ ト X I 6画素二 3 2バイ 卜の容量が必要であり、 デ一夕圧縮率は 1 0 / 3 2 と なる （なお、 符号化していない原画像の方をビッ ト詰めした場合のデー 夕圧縮率は 1 0 / ( 1 0 1 6/ 8 ) = 1 0/ 2 0となる） 。
また、 第 1 2図の （ 1 ) の右端欄及び第 1 2図の （ 2 ) の下段に示す ように、 平均値レベル L Aと階調幅指標 L Dとに対して 3バイ 卜のメモ リ容量を用意し、 この 3バイ トの容量中に平均値レベル L Aのデータと 階調幅指標 L Dのデ一夕とをビッ ト詰めして格納する場合には、 1単位 ブロックの符号化データの格納に必要なメモリ容量は 9バイ トとなる。 この場合には、 符号化していない原画像の格納に必要なメモリ容量は、 1 0 ビッ ト X 1 6画素/ 8 = 2 0バイ トであり、 デ一夕圧縮率は 9/ 2 0 となる （なお、 原画像の方をビッ 卜詰めしない場合のデ一夕圧縮率は 9 / 3 2 となる） 。
第 1 3図は、 V GA (V a r i a b l e G r a p h i c s A r r a y ) 規格に対応した符号化メモリ 6に 1 フレーム分の画像信号を格納 するのに必要なメモリ容量を示す図である。
この場合単位ブロ ックは 1 フレーム中に、 6 4 0 x 4 8 0 / ( 4 4 ) = 1 9 2 0 0個存在するので、 1画素の画像デ一夕を 8 ビッ 卜で表現 する場合には、 平均値レベル L Aに必要なメモリ容量は 8ビッ ト X 1 9 2 00 = 1 53 6 0 0ビッ ト （ 1 9 2 0 0バイ ト） 、 階調幅指標 L Dに 必要なメモリ容量は 8ビッ ト X 1 9 20 0 = 1 5 3 6 00ビッ ト （ 1 9 2 00バイ ト） 、 量子化レベル ø i j kに必要なメモリ容量は 48ビヅ ト x l 9 200 = 9 2 1 60 0ビッ ト （ 1 1 5 200バイ ト） となり、 符号化デ一夕格納に必要なメモリ容量は合計 1 2 28 800ビッ ト （ 1 53 6 0 0バイ ト） となる。 これに対して、 符号化を行わない原画像デ —夕を 1フ レーム分格納するのに必要なメモリ容量は 1 28ビッ ト X 1 9 200 = 24 5 7 6 00ビッ ト （ 3 0 7 2 00バイ ト） となる。
1画素の画像データを 1 0ビッ トで表現しビッ ト詰めを行わない場合 には、 平均値レベル L Aを格納するのに必要なメモリ容量は 2バイ ト X 1 9 2 0 0 = 38400バイ ト、 階調幅指標 L Dを格納するのに必要な メモリ容量は 2バイ ト x l 9 200 = 3 8400バイ ト、 量子化レベル ø i j kを格納するのに必要なメモリ容量は 6バイ ト X 1 9 200 = 1 1 5 200バイ ト となり、 符号化データ格納に必要なメモリ容量は合計 1 9 20 00バイ ト となる。 これに対して、 符号化を行わない原画像デ 一夕を 1フレーム分格納するのに必要なメモリ容量は 3 2バイ ト X 1 9 200 = 6 1 4400バイ ト となる。
1画素の画像デ一夕を 1 0ビッ 卜で表現しビッ ト詰めを行う場合には 、 平均値レベル L Aと階調幅指標 L Dとを格納するのに必要なメモリ容 量は 3バイ ト x l 9 200 = 57 600バイ ト、 量子化レベル ø i j k を格納するのに必要なメモリ容量は 6バイ ト x l 9 200 = 1 1 5 20 0バイ トとなり、 符号化デ一夕格納に必要なメモリ容量は合計 1 7 2 8 0 0バイ ト となる。 これに対して、 符号化を行わない原画像デ一夕を 1 フ レーム分格納するのに必要なメモリ容量は 2 0バイ ト X 1 9 20 0 = 384000バイ ト となる。 このようにして画像処理装置 1 4において、 カラ一画像信号を色別に 並べ替えて 1系統の符号化回路で符号化し、 符号化メモリ 6に格納され た画像デ一夕を再生して表示するには、 まず固定長復号化回路 7で画像 データを読み出して復号化しなければならない。
第 1 4図は、 固定長復号化回路 7の動作を示すフローチャー トである 。 以下、 このフローチャー トを参照しながら固定長復号化回路 7の固定 長復号化動作を説明する。
固定長復号化動作が開始されると、 固定長復号化回路 7は、 まず、 縦 方向座標値 nを 1に設定し （ステップ S T 4 0 ) 、 次に横方向座標値 m を 1に設定する （ステップ S T 4 1 ) 。 すなわち、 ステップ S T 4 0及 びステップ S T 4 1の動作によってある単位ブロック中の座標値 （ 1 , 1 ) のア ド レスが指定される。
次に、 固定長復号化回路 7は、 指定したア ド レスの量子化レベル ø i j kがいくつであるか判定し （ステップ S T 4 2 , S T 44 , S T 4 6 ， S T 4 8 , S T 5 0 , S T 5 2 , S T 5 4 ) 、 判定した各量子化レベ ル ø i j kに応じて平均値レベル L Aと階調幅指標 L Dとに基づいてそ の画素の信号強度 γ m n (座標値 （ 1 , 1 ) の画素であるならば Y 1 1 ) を求める （ステップ S T 4 3， S T 4 5 , S T 4 7 , S T 4 9 , S T 5 1 , S T 5 3 , S Τ 5 5 , S T 5 6 ) 。
各ステップにおいて平均値レベル L Αと階調幅指標 L Dとから信号強 度 Ymnを求めるには、 それぞれ次の演算式に従う。
Ymn = L A— L D/ 2 (ステップ S T 4 3 )
Ymn二 L A— 5 L D/ 1 4 (ステップ S T 4 5 )
Ymn = L A— 3 L D/ 1 4 (ステップ S T 4 7 )
Ymn = L A— L D/ 1 4 (ステップ S T 4 9 )
Ymn= L A+ L D/ l 4 (ステップ S T 5 1 ) Ymn二 L A+ 3 L D/ 1 4 (ステップ S T 5 3 )
Ymn二 L A+ 5 L D/ 1 4 (ステップ S T 5 5 )
Ymn= L A + L D/ 2 (ステップ S T 5 6 )
画素 （ 1 , 1 ) の信号強度を求めたら、 次に横方向に画素を 1つ移動 し （ステップ S T 5 7 , S T 5 8 ) 、 同一の手順で画素 （ 2 , 1 ) の信 号強度を復号化する （ステッ プ S T 4 2〜 S T 5 6 ) 。
このようにして単位プロ ック内の最上段の画素について信号強度を復 号化した後 （ステップ S T 5 8 ) 、 縦方向の座標値を 1だけイ ンク リメ ン ト し （ステップ S T 5 9 ) 、 次の段の画素について同様にして信号強 度を復号化する （ステ ップ S T 4 2 ~ S T 5 8 ) 。
このようにして単位ブロック内の全画素について信号強度を復号化し て （ステップ S T 4 1〜 S T 6 0 ) 復号化動作を終了する。
次に、 画素逆並べ替え回路 8においては、 固定長復号化回路 7によ り 復号化されたデータに、 画素並べ替え回路 4で並べ替えたデータに逆の 並べ替え処理を施して画素信号を走査線方向に読み出したときと同一の 順序に並べ替える。
この画素逆並べ替え回路 8で並び順を復元された画像データは、 信号 処理回路 9で、 画素補間， 階調補正， ァ ー補正等の各種画像処理が施さ れる。
このようにして原画像信号と同様な走査線方向の点順次に配列され、 画像処理された画像信号は、 フレームメモリ 1 0に格納される。
フ レームメモリ 1 0に格納された画像信号は表示装置 1 2に読み出さ れて画像として表示され、 また、 可変長符号化回路 1 1で再び信号圧縮 されて 2次記憶装置 1 3に格納され保存される。
以上のように、 この実施の形態 1によれば、 撮像素子 1 として特殊な 読み出し方のできる撮像素子を用いる必要がなく通常の点順次で画像信 号を出力する撮像素子を用いることができ、 またブロ ック内のカラー毎 のカラー画像信号デ一夕のみによ り符号化でき、 周りの他のカラ一の力 ラ一画像信号データの影響を受けずに符号化を行うことができる。 さら に 1系統の符号化回路で且つ小容量の符号化メモリを用いて実現できる 効果が得られる。
また、 この実施の形態 1 によれば、 信号圧縮して符号化メモリに画像 デ一夕を格納しているので、 特別符号化メモリの容量を増やさずに符号 化メモリに大容量の画像デ一夕を格納でき、 これによ り高速の連写が可 能となる効果が得られる。
さらに、 連写時に連続的に撮影した前後の画像を光学的に 1 / c ( c は 2以上の整数） 画素分だけずらせて画素補間等の手法により画素数を 増やすことによ り、 撮像素子 1の解像度を c倍にしたのと同等の効果が 得られ、 高精細な画像を得ることができる効果が得られる。 この場合、 連続的に撮影する画像のフレームの時間間隔は短い方が被写体の動き等 の外乱の影響を受けにくいため、 高速連写が可能であるというこの実施 の形態 1の性能が効果を発揮する。
なお、 この実施の形態 1 においては、 固定長復号化回路 7， 画素逆並 ベ替え回路 8 , 信号処理回路 9 ， 可変長符号化回路 1 1の各回路による 処理はハードウェアによって実現しているが、 これらの各処理は必ずし も リアルタイム性が要求されないため、 ソフ トウェア処理によって実現 してもよい。 ソフ トウェアによ り処理した方が、 汎用性， 柔軟性， コス ト等の面からハー ドウェア処理より有利である。 さらに、 固定長復号化 回路 7 , 画素逆並べ替え回路 8， 信号処理回路 9 , 可変長符号化回路 1 1の各回路による処理をハー ドウェアによって実現する場合には、 フレ ームメモリ 1 0は必ずしも設ける必要はなく、 符号化メモリ 6をフレー ムメモリ 1 0 として機能させることができる。 すなわち、 固定長符号化 方式を用いることにより、 フレームメモリ 1 0を削減できる効果も得ら れる。
また、 この実施の形態 1においては、 階調幅指標 L Dを 8等分して符 号化したが、 色毎に量子化レベル ø i j kを変えてもよい。 例えば、 G の量子化レベルを 3 ビヅ 卜の 8段階とし、 Rと Bは 2 ビッ トの 4段階と してもよいし、 Gの量子化レベルを 3 ビッ トの 8段階とし、 Rと Bは 1 ビッ トの 2段階としてもよい。 さらに、 Gの量子化レベルを 2 ビッ トの 4段階とし、 ； と Bは 1 ビッ トの 2段階としてもよいし、 量子化レベル を 4 ビッ ト以上としてもよい。 つま り、 解像度情報が多く画質劣化が目 立ちやすい色信号の量子化レベルを多く取り、 画質劣化の目立ち難い色 信号の量子化レベルを少なく取ることにより、 画像全体の画質劣化を最 小限に抑えて、 ト一タルの符号量を抑えることができる。
また、 縦横 8画素のブロック内における第 4， 5 , 1 0図に示した単 位プロ ックの配置は一例に過ぎず、 他の配置であってもよいことは勿論 である。 さらに、 固定長符号化方式についても、 ここでは一例を示した だけであり、 閾値の算出方法や量子化レベルの算出方法が異なっても同 様な効果が得られる。 本発明の符号化方式で重要なことは、 ブロック内 で完結する符号化方式であって符号長が固定されているという点である また、 単位プロック内の全画素の信号強度を平均値レベル L Aで置き 換えてプロック単位での並び替えのみを行い、 例えば輝度信号のみで画 像を表示すれば、 表示された画像の解像度は 1 / 1 6に低下するが、 復 号化及びブロック内の画素デ一夕の並べ替えを行わずに済み、 極めて高 速な画像表示が可能となる。 さらに、 単位ブロックを信号強度が平均値 レベル L Aである 1画素の信号として処理すれば、 1 フレームの画像と して撮像した画像を表示装置 1 1の表示画面の 1 / 1 6のサイズで表示 でき、 これによ り 1 6画面のマルチ画面表示が可能となる。 これらの表 示では、 カラー情報， 解像度情報等が低下するが、 画像の大まかな内容 が分かればよい用途には効果があり、 特に復号化以下の処理をソフ トゥ エアで行うシステムでは、 処理時間の短い表示モー ドとして使用できる 効果が得られる。 実施の形態 2 .
第 1 5図は、 この発明の実施の形態 2による静止画像撮像装置の並び 替え回路のライ ンバッファにおけるカラ一画像デ一夕の並べ替えの結果 を示す図である。 この実施の形態 2の他の部分は実施の形態 1 と同様で あるので、 その説明を省略する。
この実施の形態 2においては、 単位プロ ックは 2 X 8画素によって構 成され、 ライ ンバッファは 4ライ ンずつで済み、 ライ ンノ ッファの容量 が少なくて済むという効果が得られる。 固定長符号化/復号化処理は、 単位ブロック内の画素の参照位置 （座標計算） が 4 X 4画素の場合と異 なるだけで、 他の点は実施の形態 1 と同様である。 実施の形態 3 .
第 1 6図は、 この発明の実施の形態 3による静止画像撮像装置の並び 替え回路のライ ンバッファにおけるカラ一画像デ一夕の並べ替えの結果 を示す図である。 この実施の形態 3の他の部分は実施の形態 1 と同様で あるので、 その説明を省略する。
この実施の形態 3においては、 R信号と B信号の単位プロックは 2 X 8画素によつて構成され、 画質の劣化が目立ちやすい G信号の単位プロ ヅクは 4 X 4で構成される。
この実施の形態 3によれば、 符号化/復号化は 2種類の単位プロック サイズ （ 4 x 4及び 2 x 8 ) に対応して 2系統必要となるが、 実施の形 態 2 と同様にライ ンバッファが 4ライ ンずつで済み容量の小さいライ ン バッファを用いることができる効果が得られると共に、 画質の劣化の目 立ちやすい G信号を 4 x 4の単位プロック処理することによ り、 画質劣 化の少ない表示画像が得られる効果が得られる。 実施の形態 4 .
第 1 7図は、 この発明の実施の形態 4の静止画像撮像装置の構成図で ある。 図において、 第 1図の実施の形態 1の静止画像撮像装置の構成要 素と同一の構成要素には同一の番号を付し、 その説明を省略する。
第 1 7図において、 1 5 , 1 6は複数の入力信号から 1個の入力信号 を選択して出力するセレクタである。
この実施の形態 4においては、 入力信号を選択して出力するセレクタ 1 5 , 1 6を設け、 固定長符号化を行う場合と行わない場合とを選択で きるようにしている。
固定長符号化を行わない場合には、 符号化メモリ 6に 1 フレーム分の 画像信号を格納して、 特に高速性が要求されない撮影に適した用い方が できる。 また、 固定長符号化を行う場合には、 例えば圧縮率が 1 0 / 2 0の符号化方式を用いた場合には、 1 フレーム分の符号化メモリ 6に 2 フレーム分の画像信号を格納することができ、 高速連写撮影が可能とな る効果が得られる。 なお、 固定長符号化を行った画像データを読み出し て表示する場合には、 読み出した画像データを固定長復号化回路 7で固 定長復合化し、 画素逆並べ替え回路 8で画素逆並べ替えを行う。
なお、 この実施の形態 4において連写枚数を多く したい場合には、 符 号化メモリ 6の容量を多くするか、 またはフロッピ一ディスクやハー ド ディスク等の他のメモリを符号化メモリ と併設して設けてもよい。 通常 フロッピーディスクやハー ドディスク等のメモリのアクセス速度は半導 体メモリに比べて遅く、 高速で出力される撮像素子 1からの出力信号を 直接格納することは難しいが、 画像信号を固定長符号化することによ り 、 データ量が削減され、 見かけ上の転送レートが下がっているため格納 が容易になる。 この場合は、 少なく とも多くの画像の連続取り込みが優 先され、 画像処理や表示等は二次的であるような用途に有効である。
この実施の形態 4によれば、 高速連写を行う場合と行わない場合とで 表示装置 1 1上の表示方式を替えることができる効果が得られる。
なお、 以上の実施の形態においては、 符号化を行う画像信号として R ， G , B画像信号系を例にとって説明したが、 本発明は、 補色画像信号 系や輝度画像信号系等の他の画像信号系の画像処理に対しても同様な効 果が得られるものである。 また、 画像処理装置をスチルカメラとしての 静止画像撮像装置に適用した例について説明したが、 画像処理装置の適 用分野はこれに限定されるものではなく、 複数のカラ一成分が混在した 所定の画素数の出力信号を出力する装置であれば良く、 例えばファクシ ミ リ装置， 複写機装置， プリ ン夕等の装置にも適用できるものである。 産業上の利用可能性
以上のように、 この発明に係る画像処理装置及び静止画像撮像装置並び に画像処理方法は、 複数のカラー成分を有する画像信号を符号化して圧 縮してメモリに記憶せしめる装置において、 通常の撮像素子と小容量の メモリを用いて、 高速連写、 高精細高速再生等を実現するのに適してい る。

Claims

請 求 の 範 囲
1 . 複数のカラー成分が混在する所定の画素数の画像信号を同一色の画 像信号成分によ り構成される単位プロックの集合に並べ替える画素並べ 替え手段と、
該画素並べ替え手段により並べ替えられた画像信号を前記単位プロッ ク毎に固定長符号化する固定長符号化手段と、
該固定長符号化手段によ り固定長符号化された画像信号を格納する符 号化メモリ とを備えたことを特徴とする画像処理装置。
2 . 固定長符号化手段がカラ一成分毎に異なる圧縮率で固定長符号化を 行うことを特徴とする請求の範囲第 1項記載の画像処理装置。
3 . 固定長符号化された画像信号と固定長符号化されていない画像信号 とを選択して出力するセレクタを符号化メモリの前段に備えたことを特 徴とする請求の範囲第 1項記載の画像処理装置。
4 . 単位ブロックが m行 n列 （m， nは自然数） からなる画素のブロッ クとして構成されるときに、 画素並べ替え手段はライ ン数が 2 mである 2個のライ ンバッファメモリを有していることを特徴とする請求の範囲 第 1項記載の画像処理装置。
5 . mが 4であることを特徴とする請求の範囲第 4項記載の画像処理装
6 . mが 2 a ( aは自然数） であり、 画素並べ替え手段が画像信号を単 位ブロックが a行 2 n列からなるように並べ替えることを特徴とする請 求の範囲第 4項記載の画像処理装置。
7 . 111が 2 & ( aは自然数） であり、 画素並べ替え手段が赤色画像信号 及び青色画像信号は単位プロックが a行 2 n列からなるように並べ替え 、 緑色画像信号は単位ブロックが 2 a行 n列からなるように並べ替える ことを特徴とする請求の範囲第 4項記載の画像処理装置。
8 . 符号化メモリに格納された画像信号を読み出して固定長復号化する 固定長復号化手段と、
該固定長復号化手段により復号化された画像信号を前記並べ替え手段 の逆の順序で並べ替えて元の順序の画像信号に復元する画素逆並べ替え 手段と、
該画素逆並べ替え手段により復元された元の順序の画像信号に信号処 理を施す信号処理手段とを更に備えたことを特徴とする請求の範囲第 1 項記載の画像処理装置。
9 . 信号処理手段により信号処理された画像信号を格納するフレ一ムメ モリを更に備えたことを特徴とする請求の範囲第 8項記載の画像処理装
1 0 . 信号処理手段によ り信号処理された画像信号を表示する表示手段 を更に備えたことを特徴とする請求の範囲第 8項記載の画像処理装置。
1 1 . 信号処理手段が、 符号化メモリに格納された固定長符号化された 画像信号の一部のみを読み出して、 復号化を行わずに表示手段上に表示 することを特徴とする請求の範囲第 1 0項記載の画像処理装置。
1 2 . 複数色のカラーフィル夕を備え、 被撮像物を撮像し複数のカラ一 成分が混在した画像信号を出力する単板または単管式撮像手段と、 該撮像手段から出力される所定の画素数の画像信号を同一色の画像信 号成分により構成される単位プロックの集合に並べ替える画素並べ替え 手段と、
該画素並べ替え手段により並べ替えられた画像信号を前記単位プロッ ク毎に固定長符号化する固定長符号化手段と、
該固定長符号化手段により固定長符号化された画像信号を格納する符 号化メモリ とを備えたことを特徴とする静止画像撮像装置。
1 3 . 符号化メモリに格納された画像信号を読み出して固定長復号化す る固定長復号化手段と、
該固定長復号化手段によ り復号化された画像信号を並べ替え手段の逆 の順序で並べ替えて元の順序の画像信号に復元する画素逆並べ替え手段 と、
該画素逆並べ替え手段により復元された元の順序の画像信号に信号処 理を施す信号処理手段とを更に備えたことを特徴とする請求の範囲第 1 2項記載の静止画像撮像装置。
1 4 . 信号処理手段により信号処理された画像信号を格納するフレーム メモリを更に備えたことを特徴とする請求の範囲第 1 3項記載の静止画
1 5 . 複数のカラー成分が混在する所定の画素数の画像信号を同一色の 画像信号成分によ り構成される単位プロックの集合に並べ替える画素並 ベ替えステップと、
該画素並べ替えステツプにより並べ替えられた画像信号を前記単位プ 口ック毎に固定長符号化する固定長符号化ステツプとを備えたことを特 徴とする画像処理方法。
1 6 . 固定長符号化ステツプにより固定長符号化された画像信号を固定 長復号化する固定長復号化ステツプと、
該固定長復号化ステツプによ り復号化された画像信号を並べ替えステツ プの逆の順序で並べ替えて元の順序の出力信号に復元する信号処理ステ ップとを更に備えたことを特徴とする請求の範囲第 1 5項記載の画像処 理方法。
PCT/JP1998/001214 1997-03-21 1998-03-20 Image processing device and still image pickup device, and method for processing image WO1998043440A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP98909793A EP0907294A4 (en) 1997-03-21 1998-03-20 IMAGE PROCESSING DEVICE, FIXED SHOOTING DEVICE AND IMAGE PROCESSING METHOD
US09/171,100 US6269183B1 (en) 1997-03-21 1998-03-20 Image processing device and still image pickup device, and method for processing image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP9/68788 1997-03-21
JP6878897A JPH10271529A (ja) 1997-03-21 1997-03-21 画像処理装置及び静止画像撮像装置並びに画像処理方法

Publications (1)

Publication Number Publication Date
WO1998043440A1 true WO1998043440A1 (en) 1998-10-01

Family

ID=13383822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/001214 WO1998043440A1 (en) 1997-03-21 1998-03-20 Image processing device and still image pickup device, and method for processing image

Country Status (5)

Country Link
US (1) US6269183B1 (ja)
EP (1) EP0907294A4 (ja)
JP (1) JPH10271529A (ja)
CN (1) CN1119031C (ja)
WO (1) WO1998043440A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3289712B2 (ja) * 1999-09-24 2002-06-10 日本電気株式会社 ディジタル画像データの圧縮方法及びその装置
TW508940B (en) * 2000-03-28 2002-11-01 Omnivision Tech Inc Method and apparatus for color image date processing and compression
US7188778B2 (en) * 2001-09-17 2007-03-13 Codemagic Machine-readable symbol and related method
US7102789B2 (en) * 2001-09-17 2006-09-05 Sharp Laboratories Of America, Inc. Method for rendering an image comprising multi-level pixels
JP3956360B2 (ja) * 2002-09-30 2007-08-08 株式会社リコー 撮像装置及び画像処理方法
AU2002368463A1 (en) * 2002-12-18 2004-07-09 Nokia Corporation Image data compression device and decompression device and image data compression program and decompression program
JP4189252B2 (ja) * 2003-04-02 2008-12-03 パナソニック株式会社 画像処理装置及びカメラ
KR100834439B1 (ko) * 2004-05-29 2008-06-04 삼성전자주식회사 그래픽 데이터 압축 및 복원 장치와 그 방법
JP4079122B2 (ja) * 2004-06-10 2008-04-23 三菱電機株式会社 液晶駆動用画像処理回路、および液晶駆動用画像処理方法
JP4151684B2 (ja) * 2005-01-26 2008-09-17 ソニー株式会社 符号化装置、符号化方法および符号化プログラム、並びに撮像装置
US7719579B2 (en) * 2005-05-24 2010-05-18 Zoran Corporation Digital camera architecture with improved performance
JP4508132B2 (ja) * 2006-02-27 2010-07-21 ソニー株式会社 撮像装置、撮像回路、および撮像方法
JP4494490B2 (ja) * 2008-04-07 2010-06-30 アキュートロジック株式会社 動画処理装置及び動画処理方法、動画処理プログラム
US8942490B2 (en) * 2008-07-08 2015-01-27 Yin-Chun Blue Lan Method of high performance image compression
EP2613552A3 (en) * 2011-11-17 2016-11-09 Axell Corporation Method for moving image reproduction processing and mobile information terminal using the method
JP6053321B2 (ja) * 2012-05-16 2016-12-27 オリンパス株式会社 固体撮像装置
CN107018297B (zh) * 2015-11-27 2020-10-13 钰立微电子股份有限公司 图像获取装置
CN110996127B (zh) * 2019-11-25 2022-12-09 西安万像电子科技有限公司 图像编解码方法、设备及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170886A (ja) * 1990-11-05 1992-06-18 Canon Inc 撮像装置及び記録再生方式
JPH0654209A (ja) * 1992-08-03 1994-02-25 Mitsubishi Electric Corp 画像圧縮・伸長回路
JPH0690435A (ja) * 1992-09-07 1994-03-29 Canon Inc 画像再生装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734779A (en) * 1990-11-05 1998-03-31 Canon Kabushiki Kaisha Image pickup device having a plurality of pickup element regions and a color filter
JPH04298170A (ja) 1991-03-27 1992-10-21 Konica Corp ディジタルスチルビデオカメラ
JPH057340A (ja) 1991-06-20 1993-01-14 Canon Inc 撮像装置
US5764373A (en) 1993-03-16 1998-06-09 Mitsubishi Denki Kabushiki Kaisha Image data compression-expansion circuit
JPH07274006A (ja) 1994-03-28 1995-10-20 Mitsubishi Electric Corp 画像処理装置及びスキャナ装置及びプリンタ装置及びディジタル複写機及びディスプレイ装置
JPH07322075A (ja) 1994-03-29 1995-12-08 Mitsubishi Electric Corp 画像処理装置及びスキャナ装置及びプリンタ装置及びディジタル複写機及びディスプレイ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170886A (ja) * 1990-11-05 1992-06-18 Canon Inc 撮像装置及び記録再生方式
JPH0654209A (ja) * 1992-08-03 1994-02-25 Mitsubishi Electric Corp 画像圧縮・伸長回路
JPH0690435A (ja) * 1992-09-07 1994-03-29 Canon Inc 画像再生装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0907294A4 *

Also Published As

Publication number Publication date
EP0907294A1 (en) 1999-04-07
EP0907294A4 (en) 2004-05-26
CN1119031C (zh) 2003-08-20
CN1220806A (zh) 1999-06-23
US6269183B1 (en) 2001-07-31
JPH10271529A (ja) 1998-10-09

Similar Documents

Publication Publication Date Title
WO1998043440A1 (en) Image processing device and still image pickup device, and method for processing image
KR100347508B1 (ko) 촬상 장치
US5912710A (en) System and method for controlling a display of graphics data pixels on a video monitor having a different display aspect ratio than the pixel aspect ratio
KR101226877B1 (ko) 부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상장치
JPH05207517A (ja) 多ビットディジタルピクセルデータの圧縮拡張方法及び装置
US5719624A (en) Image recording apparatus with arithmetic processing
KR100483191B1 (ko) 전자 줌기능을 갖는 디지털 카메라 및 이미지 처리방법
EP1763238B1 (en) Image processor, imaging device, and image processing system
US5014127A (en) Method of generating a series of DPCM code words, method of storing color image data, optical disc whereon image data are stored, and display apparatus
JP4683678B2 (ja) 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置
JPH1188700A (ja) カラー画像信号の符号化方法、復号化方法およびカラー画像処理装置
JPH06326997A (ja) 再編成変換装置、ブロックベース画像圧縮装置、画像復号装置及び画素変換方法
US20050062860A1 (en) Frame memory device and method
JP3352288B2 (ja) 撮像ユニットおよび撮像信号処理装置
JP4092830B2 (ja) 画像データ圧縮方法
JPH1169377A (ja) 画像情報符号化装置及びそれを応用した装置
JP4330042B2 (ja) 画像処理装置
JP4720494B2 (ja) 撮像装置、撮像方法およびプログラム、並びに記録媒体
JP4122753B2 (ja) 画像処理装置
JP2000078514A (ja) 画像高速表示装置及び画像高速表示方法
JP2798025B2 (ja) 動画像符号化方法及び装置
EP0392616A2 (en) Method of generating an array of DPCM delta codes, method of storing image data, optical disk whereon image data are stored, and display apparatus
JP3038856B2 (ja) 画像データ処理方法
JPH0283578A (ja) 画像データ表示装置と画像データ表示方法
JP3718239B2 (ja) 画像信号処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 98800338.4

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 09171100

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1998909793

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1998909793

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: CA

WWW Wipo information: withdrawn in national office

Ref document number: 1998909793

Country of ref document: EP