WO2004066637A1 - 撮像システムおよび画像処理プログラム - Google Patents

撮像システムおよび画像処理プログラム Download PDF

Info

Publication number
WO2004066637A1
WO2004066637A1 PCT/JP2004/000395 JP2004000395W WO2004066637A1 WO 2004066637 A1 WO2004066637 A1 WO 2004066637A1 JP 2004000395 W JP2004000395 W JP 2004000395W WO 2004066637 A1 WO2004066637 A1 WO 2004066637A1
Authority
WO
WIPO (PCT)
Prior art keywords
interpolation
video signal
signal
unit
color
Prior art date
Application number
PCT/JP2004/000395
Other languages
English (en)
French (fr)
Inventor
Takao Tsuruoka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to US10/543,079 priority Critical patent/US7570291B2/en
Publication of WO2004066637A1 publication Critical patent/WO2004066637A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Definitions

  • the present invention relates to an imaging system and an image processing program for obtaining a high-quality video signal by interpolating missing color signals by adaptively combining a plurality of interpolation methods.
  • This single-plate CCD has a color filter arranged on the front surface, and is roughly classified into a complementary color system and a primary color system depending on the type of the color filter.
  • Japanese Unexamined Patent Application Publication No. 7-236147 and Japanese Unexamined Patent Application Publication No. Hei 8-289670 detect a correlation or an edge and detect the correlation.
  • a technique for performing an interpolation process in a high direction or a flat direction with a low edge strength is described.
  • Japanese Patent Application Laid-Open No. 2000-1599-189 states that when performing the enlargement processing, cubic interpolation is used for the R signal and the G signal, and the two-ares Naper interpolation is used for the B signal.
  • Techniques for combining different interpolation methods such as the use of
  • Japanese Patent Application Laid-Open No. 2000-222461 describes a technique for adaptively switching between trapping based on hue correlation and linear trapping.
  • Means for selecting a direction and interpolating as described in Japanese Patent Application Laid-Open No. 7-23616 / 1995 and Japanese Patent Application Laid-Open No. 8-289670 / 1994 is a method in which a video signal has a single edge structure. Forces that function well when configured If there are multiple edge structures, such as a texture image, the direction selection may fail and capture accuracy may decrease.
  • interpolation based on color correlation as described in the above-mentioned Japanese Patent Application Laid-Open No. 2000-224601 is applied to a single edge structure even if there are a plurality of edge structures such as a texture.
  • highly accurate interpolation is possible.
  • estimation of color correlation fails and artifacts may occur.
  • Means for combining different interpolation methods as described in the above-mentioned Japanese Patent Application Laid-Open No. 2000-151918 is to perform interpolation processing in a region in which each of them is good, so that the overall Thus, while there is an advantage that higher-precision interpolation can be performed, the issue is how to properly control the switching of the interpolation processing.
  • the switching method described in Japanese Patent Application Laid-Open No. 2000-151589 is fixed, for example, when the B (blue) signal has a complicated edge structure, the accuracy is low. In some cases, it was not possible to make full use of the advantages of each interpolation method.
  • the interpolation method is switched based on an original signal in which one or more color signals are missing. Since the switching control is performed, there is a problem that the control method becomes complicated and the processing time becomes longer.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging system and an image processing program that can more accurately interpolate missing color signals in a video signal. ing. Disclosure of the invention
  • An imaging system is an imaging system that processes a video signal in which a predetermined number of color signals, which are a plurality of video signals of each pixel, are missing according to a pixel position.
  • a first interpolation unit for interpolating the missing color signal from the video signal by a first interpolation method based on edge detection; and a video signal and a color signal interpolated by the first interpolation unit.
  • a second interpolation method based on a color correlation different from that of the first interpolation method when the missing color signal is determined to be insufficient.
  • a second interpolation unit for interpolating from the video signal.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging system according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing a color arrangement of a color filter according to the first embodiment.
  • FIG. 3 is a block diagram showing the configuration of the first interpolation unit in the first embodiment.
  • FIG. 4 is a diagram for explaining an interpolation method based on an edge direction in the first embodiment.
  • FIG. 5 is a block diagram showing the configuration of the verification unit according to the first embodiment.
  • Figure 6 In the first embodiment, the color correlation The figure for explaining regression.
  • FIG. 7 is a block diagram showing the configuration of the second interpolation unit in the first embodiment.
  • FIG. 8 is a flowchart showing interpolation processing by the image processing program according to the first embodiment.
  • FIG. 9 is a block diagram showing a configuration of an imaging system according to the second embodiment of the present invention.
  • FIG. 10 is a block diagram showing one configuration example and another configuration example of the separation unit in the second embodiment.
  • FIG. 11 A diagram for explaining edge extraction in the second embodiment.
  • FIG. 12 is a block diagram illustrating a configuration of a first interpolation unit according to the second embodiment.
  • FIG. 13 is a block diagram showing the configuration of the verification unit in the second embodiment.
  • FIG. 14 A table for explaining hue classes in the second embodiment.
  • Fig. 15 Flowchart showing interpolation processing by the image processing program in the second embodiment.
  • FIG. 16 is a block diagram showing the configuration of the imaging system according to the third embodiment of the present invention.
  • Fig. 17 Block diagram showing the configuration of the verification unit in the third embodiment.
  • FIG. 18 A flowchart showing the interpolation processing by the image processing program in the third embodiment.
  • FIGS. 1 to 8 show a first embodiment of the present invention.
  • Fig. 1 is a block diagram showing the configuration of the imaging system
  • Fig. 2 is a diagram showing the color arrangement of the color finletter
  • Fig. 3 is a block diagram showing the configuration of the first interpolation unit
  • Fig. 4 is interpolation based on the edge direction.
  • Fig. 5 is a block diagram showing the structure of the verification unit
  • Fig. 6 is a diagram for explaining the color correlation to the linear form
  • Fig. 7 is the second interpolation.
  • FIG. 8 is a block diagram showing the configuration of the unit
  • FIG. 8 is a flowchart showing interpolation processing by the image processing program.
  • this imaging system includes a lens system 1 for forming an image of a subject and a lens system 1 which is disposed in the lens system 1 and defines a light beam passing range in the lens system 1.
  • the optical subject image formed through the aperture 2 of the lens, the mouth-pass filter 3 for removing unnecessary high-frequency components from the imaged light beam by the lens system 1 and the low-pass filter 3
  • a CCD 4 which is an image sensor that converts and outputs an electric video signal
  • an A / D converter 5 that converts an analog video signal output from the CCD 4 into a digital signal
  • an A / D converter 5 converts an analog video signal output from the CCD 4 into a digital signal
  • An image buffer 6 for temporarily storing the digital image data output from the / D converter 5 and a photometric evaluation of the subject based on the image data stored in the image buffer 6 and the evaluation result is obtained.
  • a photometric evaluation unit 7 for controlling D 4 and a focus point detection unit 8 that performs AF detection based on the image data stored in the image buffer 6 and drives an AF motor 9 based on the detection result, which will be described later.
  • An AF motor 9 controlled by the in-focus detection unit 8 to drive a focus lens and the like included in the lens system 1 and image data recorded in the image buffer 6 will be described in detail later.
  • the first interpolating unit 10 is a first interpolating unit that performs an interpolating process of a missing color signal based on an edge direction, and the image data is transferred from the image buffer 6 via the first interpolating unit 10.
  • the original image data and the interpolated data relating to the missing color processed by the first interpolation unit 10 are temporarily stored and processed by a second interpolation unit 13 described later. missing A work buffer for temporarily storing the color interpolation data overwritten on the missing color interpolation data processed by the first interpolation unit 10.
  • An accuracy verification unit for verifying an area where a single color correlation is established based on the original image data stored in the work buffer 11 and the interpolation data by the first interpolation unit 10.
  • the original image data is read from the image buffer 6 for the verification unit 12 and the area determined to have a single color correlation by the verification unit 12 and will be described in detail later.
  • the second interpolator 13 is a second interpolator that performs an interpolating process for a missing color signal based on such a color correlation, and is output from the working buffer 11 after the processing by the second interpolator 13 is completed.
  • a signal processing unit 14 for performing known enhancement processing and compression processing on the interpolated image data, and an output for outputting the image data from the signal processing unit 14 for recording on, for example, a memory card or the like.
  • the external IZF unit 17 as an information acquisition means with an interface to a mode switch for switching between various shooting modes and image quality modes, and a switch for switching interpolation processing, and the like.
  • the data is obtained from the photometry evaluation unit 7 and the focus detection unit 8, and the first interpolation unit 10, verification unit 12, second interpolation unit 13, signal processing unit 14, and output unit 15 are used.
  • External] A control means consisting of a microcomputer, etc., which is bidirectionally connected to the F section 17 and integrally controls the imaging system including these, and also serves as information acquisition means and judgment means. And a control unit 16.
  • an imaging system having a single-plate primary color system color filter is assumed.
  • a primary color bay as shown in FIG.
  • This primary color Bayer type color filter has two G (green) pixels arranged diagonally, as shown in Fig. 2 (A), and R (red) in the other two pixels.
  • B (blue) has a basic arrangement of 2 X 2 pixels, each of which is arranged, and this basic arrangement is repeated two-dimensionally in the vertical and horizontal directions to cover each pixel on the CCD 4. As a result, the filter is arranged as shown in Fig. 2 (B).
  • the user can set image quality modes such as compression ratio and image size, shooting modes such as character image shooting and video shooting, and switching of interpolation processing via the external IZF unit 17. After these settings are made, the user enters the pre-shooting mode by half-pressing the shutter button consisting of a two-stage push button switch.
  • the video signal captured and output by the CCD 4 via the lens system 1, the aperture 2, and the low-pass filter 3 is converted to a digital signal by the A / D converter 5 and transferred to the image buffer 6. You.
  • the video signal in the image buffer 6 is then transferred to the photometric evaluation unit 7 and the focus detection unit 8.
  • the photometric evaluation unit 7 obtains the luminance level in the image, and controls the aperture value of the aperture 2 and the electronic shutter speed of the CCD 4, etc., so that appropriate exposure is obtained.
  • the in-focus detection unit 8 detects the edge intensity in the image, controls the AF motor 9 so that the edge intensity is maximized, and Get.
  • the preparation for the main shooting is completed, and then, it is detected via the external I / F unit 17 that the shutter button is fully pressed. The main shooting is performed.
  • This actual photographing is performed based on the exposure conditions obtained by the photometric evaluation unit 7 and the focusing conditions obtained by the focus point detecting unit 8, and these photographing conditions are controlled by the control unit. Transferred to 6.
  • the video signal is transferred to the image buffer 6 and stored in the same manner as in the pre-shooting.
  • the first interpolation unit 10 reads out the video signal related to the actual shooting stored in the image buffer 6 under the control of the control unit 16 and performs an interpolation process based on the edge direction.
  • the edge direction As described above, in the present embodiment, since a single-chip imaging system in which primary color filters are arranged in front of the CCD 4 is assumed, two color signals are lost for one pixel. I have. Therefore, in this trapping process, two missing color signals are generated and output as interpolation signals.
  • the first interpolation unit 10 transfers the interpolation signal obtained by the interpolating process and the original signal read from the image buffer 6 to the working buffer 11. In this way, when the interpolated signal and the original signal are stored in the working buffer 11, a three-plate signal in which three RGB signals are arranged for one pixel is obtained.
  • the verification unit 12 uses the three-plate signal stored in the work buffer 11 as a unit of a predetermined local area (for example, 5 ⁇ 5 pixels). Read sequentially. Then, the verification unit 12 regresses the correlation in the local area as a linear form, verifies whether a single color correlation is established, and compares the verification result with the second interpolation unit.
  • a predetermined local area for example, 5 ⁇ 5 pixels.
  • the second interpolation unit 13 Based on the control of the control unit 16, the second interpolation unit 13 generates an original signal corresponding to the local region determined by the verification unit 12 to have a single color correlation.
  • the signal is read from the image buffer 6 and interpolation processing based on color correlation is performed.
  • the interpolation signal from the second interceptor 13 is transferred to the work buffer 11 and recorded so as to overwrite the interpolation result from the first interpolator 10.
  • a local area determined by the verification unit 12 to have a single hue relationship is replaced with an interpolation signal from the second interpolation unit 13.
  • the control unit 16 performs the verification by the verification unit 12 and the interpolation by the second interpolation unit 13 that is performed only when necessary according to the verification result, and performs the processing for all the signals in the work buffer 11. After that, the control is performed so that the three-plate signal in the work buffer 11 is transferred to the signal processing unit 14.
  • the signal processing unit 14 performs known enhancement processing and compression processing on the interpolated video signal based on the control of the control unit 16 and transfers the signal to the output unit 15.
  • the output unit 15 outputs the image data from the signal processing unit 14 for recording on, for example, a memory card.
  • the first interpolation unit 10 includes an extraction unit 21 as extraction means for sequentially extracting a region of a predetermined size from the image data stored in the image buffer 6, and an extraction unit 21.
  • An area buffer 22 for storing image data of the area, an edge extraction unit 23 as an edge extraction means for calculating an edge component of the area stored in the area buffer 22, and an edge extraction unit 23
  • a weight calculation unit 24 as weight calculation means for normalizing the edge components thus calculated and calculating weight coefficients; a weight buffer 25 for storing the weight coefficients calculated by the weight calculation unit 24;
  • An interpolation signal calculating method for calculating a color difference component as an interpolation signal for a pixel of interest in an area stored in the area buffer 22.
  • a step interpolation unit 26 an interpolation value buffer 27 storing the color difference components calculated by the interpolation unit 26, a color difference component stored in the interpolation value buffer 27 and the weight buffer 25
  • a calculation unit 28 as calculation means for calculating a missing color component at the pixel position of interest from the weighting factors stored in the area buffer 22 and outputting the missing color component to the area buffer 22 and the work buffer 11. ing.
  • the interpolation unit 2 is used to interpolate the missing component related to another color using the calculated missing color component.
  • the calculation result obtained by the step 8 is also stored in the area buffer 22.
  • the control unit 16 is bidirectionally connected to the extraction unit 21, the edge extraction unit 23, the weight calculation unit 24, the interpolation unit 26, and the calculation unit 28, and controls these units. To do so.
  • the extraction unit 21 sequentially extracts a region of a predetermined size (for example, 6 ⁇ 6 pixel size) from the image buffer 6 based on the control of the control unit 16 and transfers the region to the region buffer 22.
  • a predetermined size for example, 6 ⁇ 6 pixel size
  • the first interpolation unit 10 performs interpolation processing of the central 2 ⁇ 2 pixel position using such a 6 ⁇ 6 pixel size area.
  • the extraction unit 21 extracts a 6 ⁇ 6 pixel size area
  • the extraction unit 21 Alternatively, the position in the Y direction is shifted by two pixels, and the pixels are sequentially extracted while overlapping in the X direction or the ⁇ direction by four pixels each.
  • the edge extraction unit 23 and the interpolation unit 26 precede the interpolation processing for the missing component G22 at the R22 position and the missing component G33 at the ⁇ 33 position based on the control of the control unit 16. Do it.
  • the edge extraction unit 23 uses the values of the peripheral pixels as shown in FIG. 4 (B) for the R22 pixel, and calculates the edge components in four directions (up, down, left, and right) by the following equation (1). And transfer it to the weight calculator 24.
  • the edge components in the four directions calculated by the edge extraction unit 23 are divided by the sum total to calculate a normalized weight coefficient as shown in the following Expression 3, and the weight buffer 25 is calculated. Transfer to and memorize.
  • the interpolating unit 26 interpolates the color difference components in the four directions (up, down, left, and right) for the R22 pixel as shown in the following Expression 4, and transfers the result to the interpolation value buffer 27 for storage.
  • the G 33 at the B 33 position is calculated as shown in FIG. C)
  • the value is calculated using the values of the peripheral pixels as shown in (C), and transferred to the area buffer 22 and the work buffer 11 for storage.
  • Equations 6 to 10 corresponding to Equations 1 to 5 above when calculating G33 are as follows.
  • the difference from the above G 22 when calculating this G33 is that in the case of the above G 22, the color difference components in four directions are In contrast to the C r component (G ⁇ R), the G 33 has a C b component (G ⁇ B).
  • the interpolating process for the G signal as described above is performed for all the signals on the image buffer 6 by sequentially extracting the area of 6 ⁇ 6 pixel size, and the area buffer 22 and the working buffer 1 and 1 store the interpolated all G signals.
  • the control unit 16 sequentially extracts a region of 6 ⁇ 6 pixel size again, and sends the missing components R 32 and B 32 at the G 32 position to the edge extraction unit 23 and the interpolation unit 26.
  • the interpolation process of the missing components R23 and B23 at the G23 position, the remaining missing component B22 at the R22 position, and the remaining missing component R33 at the B33 position is shown in FIG. This is performed as shown in Fig. 4 (G).
  • the processes are performed using the G signal calculated as described above.
  • FIG. 4 (D) is a diagram illustrating a peripheral pixels used in interpolating the R2 3, B 23 of the G23 position.
  • FIG. 4 (E) shows the state of the peripheral pixels used when capturing R32 and BS2 at the G32 position.
  • Equations 21 to 25 corresponding to Equations 1 to 5 above when calculating R32 are as follows.
  • R 32 G 32- ⁇ C r kWk
  • FIG. 4 (F) are diagrams showing a state of peripheral pixels used in interpolating a B 2 2 of R 22 positions.
  • Formulas 31 to 35 corresponding to Formulas 1 to 5 above when calculating B22 are as follows.
  • FIG. 4 (G) shows the state of the peripheral pixels used when interpolating R33 at position B33.
  • Equations 36 to 40 corresponding to Equations 1 to 5 above when calculating R33 are as follows.
  • the verification unit 12 is extracted by the extraction unit 31 as extraction means for sequentially extracting a region of a predetermined size from the three-plate image data stored in the work buffer 11, and extracted by the extraction unit 31.
  • Area buffer 32 for storing image data of the area stored in the area buffer
  • a correlation calculation section 33 as correlation calculation means for calculating a linear form indicating the color correlation of the area stored in the area buffer 32
  • this correlation calculation section A coefficient buffer 34 for storing a bias term for determining whether or not it is a single hue area in the linear expression calculated by 33, and a coefficient buffer 34 for storing the coefficient
  • the absolute value of the bias term compared with the predetermined threshold value is compared with a predetermined threshold value. When the absolute value of the bias term is equal to or smaller than the threshold value, the correlation information is transferred to the second interpolation unit 13. It is configured as follows.
  • the control unit 16 is bidirectionally connected to the extraction unit 31, the correlation calculation unit 33, and the correlation verification unit 35, and controls them.
  • the extraction unit 31 sequentially extracts a predetermined size area (for example, a 5 ⁇ 5 pixel size area) from the work buffer 11 based on the control of the control unit 16 and transfers it to the area buffer 32.
  • a predetermined size area for example, a 5 ⁇ 5 pixel size area
  • the correlation calculation unit 33 returns the correlation between the RGB signals to the area stored in the area buffer 32 in a linear form based on the known least square approximation for the area stored in the area buffer 32 under the control of the control unit 16. .
  • Fig. 6 ( ⁇ ) shows an input image composed of a single hue
  • Fig. 6 ( ⁇ ) shows a linear form of the color correlation between the R and G signals for the input image composed of a single hue. Shows the return to In addition, in both cases of returning to the linear form of the color correlation between the G— ⁇ signals and returning to the linear form of the hue relationship between the R— ⁇ signals, as shown in FIG. This is performed in the same way as shown in (2).
  • the input image is composed of a plurality of hues (for example, a first hue region A and a second hue region B in the illustrated example) as shown in FIG. 6 (C).
  • a plurality of hues for example, a first hue region A and a second hue region B in the illustrated example
  • FIG. 6 (D) multiple linear forms indicating the color correlation are required, and when this is regressed to one linear form, the bias term] 3 deviates from a value near 0 It will be.
  • the input image here, the input area
  • the correlation calculator 33 calculates the bias term shown in Expression 41 and transfers the calculated bias term j3 to the coefficient buffer 34.
  • the correlation verification unit 35 compares the absolute value of the pulse term j3 stored in the coefficient buffer 34 with a predetermined threshold value, and when the absolute value of the bias term becomes equal to or smaller than the threshold value, The position information of the corresponding area is transferred to the second interpolation unit 13. Thereafter, the correlation verification unit 35 receives from the control unit 16 information indicating that the interpolation processing in the second interpolation unit 13 has been completed. Then, it moves to the next area and performs the processing as described above.
  • the correlation verification unit 35 shifts to the next area without transferring anything to the second interpolation unit 13 and described above. Perform such processing.
  • the verification unit 12 performs such processing for all signals on the work buffer 11 while sequentially shifting the area.
  • the second interpolation unit 13 sequentially extracts an area of a predetermined size determined as a single hue area by the verification unit 12 from the image data stored in the image buffer 6.
  • An extracting unit 41 serving as a means, an area buffer 42 for storing image data of an area extracted by the extracting unit 41, and a linear format indicating a color correlation of the area stored in the area buffer 42
  • a color signal missing from the original signal stored in the area buffer 42 is calculated using the correlation calculation section 43 for calculating the And an operation unit 44 for outputting to the application buffer 11.
  • the control unit 16 is bidirectionally connected to the extraction unit 41, the correlation calculation unit 43, and the calculation unit 44, and controls them.
  • the extraction unit 41 extracts the region from the image buffer 6 when the position information of the region determined to be a single hue region is transferred from the verification unit 12 based on the control of the control unit 16. To the area buffer 42.
  • the correlation calculation unit 43 regresses the correlation as a linear form from the single-plate original signal on the area buffer 42.
  • the correlation calculation section 43 finds a linear form as shown in the equation 42 between the respective signals of R ⁇ G, G ⁇ B, and R_B, and transfers the result to the calculation section 44.
  • the operation unit 44 calculates a missing color signal based on the linear format as shown in Expression 42 and the original signal on the area buffer 42, and transfers the missing color signal to the work buffer 11.
  • the interpolation value obtained by the first interpolation unit 10 and stored in the work buffer 11 is overwritten by the interpolation value obtained by the second interpolation unit 13 as described above. Will be done.
  • the calculation unit 44 After calculating all the missing color signals in the area, the calculation unit 44 notifies the control unit 16 that the processing has been completed.
  • the present invention is not limited to such a configuration.
  • the signal from the CCD 4 is regarded as raw (Raw) data that has not been processed. It is also possible to output after adding filter information and image size as header information, and to process it with an external computer or the like using an image processing program which is a separate software.
  • an original signal consisting of Raw data, header information, and are read (step S1), and the original signal is extracted in units of a block area of a predetermined size (step S1). S 2). Then, for the extracted region, an edge component for each direction is calculated as shown in Equation 1 above (Step S 3), and as shown in Equations 2 and 3 above, each edge component is calculated for each direction.
  • the weight coefficient is calculated (step S4).
  • step S5 the interpolation value of the color difference signal for each direction is obtained as shown in the above equation 4 and the like. Subsequently, based on the weighting factor obtained in step S4 and the interpolated value obtained in step S5, a G signal is calculated and output as shown in Equation 5 above (step S5). 6).
  • step S7 It is determined whether or not such processing has been completed in all the block areas extracted corresponding to all signals (step S7), and if not completed, the flow returns to step S2. Then, the processing described above is repeatedly performed for the next block area.
  • step S9 an edge component for each direction is calculated (step S9), and a weight coefficient for each direction is calculated (step S10).
  • step S11 an interpolation value of the color difference signal for each direction is obtained for the area extracted in step S8 (step S11). Subsequently, based on the weighting factor obtained in step S10 and the interpolation value obtained in step S11, the missing R signal and B signal are calculated and output as described above (step S 1 2).
  • step S13 It is determined whether or not such processing has been completed in all the block areas extracted corresponding to all the signals (step S13), and if not completed, the process returns to step S8. The next block area Then, the above-described processing is repeatedly performed.
  • step S6 the first interpolation signal output in step S6 and step S12 is replaced with a block of a predetermined size. Extraction is performed for each area (step S14), and a linear equation indicating the correlation between the color signals is obtained as shown in the above equation 41 (step S15).
  • step S15 The absolute value of the linear pass term obtained in step S15 is compared with a predetermined threshold value Th (step S16), and if the bias term is equal to or less than the threshold value Th, Then, the original signal is extracted for each block area of a predetermined size (step S17), and a linear form indicating the correlation between the color signals is obtained as shown in the above equation 42 (step S17).
  • step S19 the missing color signal is calculated and output based on the linear form (step S19). This output overwrites the G signal output in step S6 and the RB signal output in step S12.
  • step S16 if the bias term is larger than the threshold value Th, or if the processing in step S19 is completed, all the block areas extracted for all signals It is determined whether or not the processing in (1) is completed (step S20). If not completed, the process returns to step S14, and the next block area is set as described above. Repeat the process.
  • step S21 the interpolation signal is output (step S21), and the processing in step is ended.
  • the processing is always performed by combining the first interpolation processing and the second interpolation processing, but the present invention is not limited to this.
  • an image mode with a high compression rate that does not require high-definition capture processing is selected via the external I / F section 17, or a movie that requires high-speed processing
  • a shooting mode such as It is also possible to perform only the first interpolation processing without performing the second interpolation processing.
  • the operation of the verification unit 12 may be stopped, and the control unit 16 may control the signal so as not to be transferred to the second interpolation unit 13.
  • the control unit 16 determines whether or not to perform the second interpolation processing, the image quality information relating to the image quality of the video signal such as the compression ratio and the image size, and the imaging system such as character image shooting and moving image shooting are used.
  • the image quality information relating to the image quality of the video signal such as the compression ratio and the image size, and the imaging system such as character image shooting and moving image shooting are used.
  • the primary color Bayer type single plate CCD has been described as an example, but the present invention is not limited to this.
  • the present invention can be similarly applied to a single-chip CCD having a complementary color filter, or to a two-chip imaging system or a three-chip imaging system in which pixels are shifted.
  • the number of color signals is not limited to this, and for example, a color signal that is used in a system that performs more accurate color reproduction is used.
  • Six colors may be used, and broadly, a predetermined number of two or more colors may be used. However, it is well known that the predetermined number, which is plural, needs to be 3 or more in order to obtain an image that is recognized as a normal color image by the metadata mechanism. .
  • the first embodiment it is possible to adaptively switch between the first interpolation processing for performing the interpolation processing based on the edge direction and the second interpolation processing for performing the interpolation processing based on the color correlation. This makes it possible to perform highly accurate interpolation processing.
  • the switching of the capture processing is performed using a signal in a three-plate state without missing color signals using both the original signal and the first interpolation signal, it is possible to perform a high-accuracy and high-speed switching processing. It becomes possible.
  • High-precision interpolation processing can be performed in a region having a single edge structure. Further, by performing the interpolation processing based on the color correlation, it is possible to perform the high-precision interpolation processing in a region consisting of a single hue.
  • This correlation has a high affinity with the interpolation method using the color correlation, and is suitable for controlling switching between the interpolation method using the color correlation and the other interpolation method.
  • the interpolation is performed again to obtain information such as when high-precision interpolation is not required due to high compression or when high-speed processing is prioritized in video shooting.
  • the control of whether or not to perform can be automated, and operability is improved.
  • the degree of freedom regarding the processing is improved.
  • a high-precision interpolation process can be performed because a plurality of interpolation means are adaptively combined.
  • both the original signal and the interpolated color signal are used in combination for switching control of a plurality of interpolation means, high-precision and high-speed switching is possible.
  • FIGS. 9 to 15 show a second embodiment of the present invention.
  • FIG. 9 is a block diagram showing a configuration of an imaging system.
  • FIG. 10 is an example of a configuration of a separation unit and another configuration.
  • Block diagram showing configuration example Fig. 11 is a diagram for explaining edge extraction
  • Fig. 12 is a block diagram showing the configuration of the first interpolation unit
  • Fig. 13 shows the configuration of the verification unit
  • FIG. 14 is a block diagram illustrating a hue class
  • FIG. 15 is a flowchart illustrating interpolation processing by an image processing program.
  • the same parts as those in the above-described first embodiment are denoted by the same reference numerals, and description thereof will be omitted. Only different points will be mainly described.
  • the imaging system according to the second embodiment has a configuration in which a separating unit 51 serving as a separating unit and an adjusting unit 52 serving as an adjusting unit are added to the configuration of the first embodiment described above. It has become.
  • the separation unit 51 reads a video signal (original signal) of a predetermined local area from the image buffer 6 and determines whether the video signal is a flat area or an edge area as a predetermined characteristic of the video signal. If the image signal is a flat area, the video signal of the local area is sent to the first interpolation unit 10, and if it is an edge area, the video signal of the local area is sent to the second interpolation unit 13. Each is output.
  • the separation portion 51 is formed by a flat region
  • the region information indicating whether the region is a region is also output to the adjustment unit 52.
  • the adjusting unit 52 based on the region information from the ⁇ separating unit 51 and the hue information on whether the local region is a single hue or a multiple hue region,
  • the interpolation signal already stored in the working buffer 11 is replaced by the interpolation signal obtained by re-interpolating the interpolation signal into the first interpolation unit 10 or the second interpolation unit 13. .
  • the verified hue information is output to the adjustment unit 52 instead of the second interpolation unit 13 ⁇
  • the operation ⁇ buffer 11> not only outputs the interpolation signal to the detection unit 12, but also outputs the frequency adjustment unit 52.
  • the first interpolation unit 10 performs linear interpolation on the R signal and the ⁇ signal.
  • the control unit 16 is also bidirectionally connected to the separation unit 51 and the adjustment unit 52 added in the second embodiment, and controls these units. .
  • the video signal stored in the image buffer 6 is sequentially transferred to the separation unit 51 in units of a predetermined local area (for example, 8 ⁇ 8 pixels) under the control of the control unit 16.
  • the separation unit 51 calculates a plurality of edge components in a plurality of predetermined directions with respect to the center 2 ⁇ 2 pixel in the transferred 8 ⁇ 8 pixel area. Then, the separating unit 51 compares the calculated edge component with a predetermined threshold value, counts the total number of valid edge components equal to or larger than the threshold value, and determines whether the region is a flat region or an edge region based on the total number. Judge. Then, the separation unit 51 transfers the local area of 8 ⁇ 8 pixels to the first interpolation unit 10 when it is determined that the local area is a flat area, and on the other hand, when it determines that the local area is an edge area. The local area of 8 ⁇ 8 pixels is transferred to the second interpolation unit 13.
  • the separation unit 51 obtains area information indicating whether the area is a flat area or an edge area for all areas in units of 2 ⁇ 2 pixels at the center of the 8 ⁇ 8 pixel area, and adjusts the area information. Transfer to Part 52.
  • the first interpolating unit 10 performs the known linear interpolating process for the R and B signals and the known cubic interpolation process for the G signal for the center 2 ⁇ 2 pixel. To calculate the missing color signal. Then, the first interpolation unit 10 calculates the calculated interpolation signal and The original signal is output to the working buffer 11.
  • the second interpolation unit 13 performs an interpolation process based on color correlation on the central 2 ⁇ 2 pixels, and uses the calculated interpolation signal and the original signal for work. Output to buffer 1 1
  • control unit 16 converts the three-plate signals stored in the working buffer 11 into a predetermined local area (for example, 8 ⁇ 8 pixels) as a unit. To the verification unit 12 sequentially.
  • the verification unit 12 selects a hue for each pixel in the local region and classifies the hue into one of 13 types of hue classes (see FIG. 14). Then, the verification unit 12 determines whether the local region is a single hue region or a plurality of hue regions based on the distribution state of the hue classes obtained for each pixel. The obtained hue information is transferred to the adjustment unit 52.
  • the adjustment unit 52 includes region information indicating whether the region is a flat region or an edge region from the separation unit 51, and a region where the local region from the verification unit 12 is a single hue or a plurality of hue regions. Based on the hue information indicating whether or not there is, whether or not to perform the interpolation process again is adjusted.
  • the adjustment unit 52 determines whether the region is a “flat region and a plurality of hue regions” or the case of an “edge region and a single hue region” without performing the interpolation process again. On the other hand, in the case of “flat region and single hue region” and in the case of “edge region and multiple hue regions”, adjustment is made so that interpolation processing is performed again.
  • the “flat area and single hue area” in the case where the interpolation processing is performed again is an area where the interpolation by the first interpolation unit 10 has been performed in the first interpolation processing.
  • the adjusting unit 52 extracts the original signal of the corresponding area from the working buffer 11 and transfers it to the second interpolating unit 13 so that the interpolating process is performed based on the color correlation. .
  • the “several hue region” is a region where the interpolation by the second interpolation unit 13 is performed in the first interpolation processing.
  • the adjusting unit 52 extracts the original signal of the corresponding area from the working buffer 11 and transfers it to the first interpolating unit 10 for interpolation by linear interpolation processing or cubic interpolation processing. Is performed.
  • the interpolation signal generated by the second interpolation processing is output to the work buffer 11 and is overwritten on the interpolation signal generated by the first interpolation processing of the corresponding area. .
  • control unit 16 After the control unit 16 completes the verification in the verification unit 12 and the adjustment work in the adjustment unit 52 for all the signals in the work buffer 11, the control unit 16 sends the three signals to the signal processing unit 14. Control to transfer the signal.
  • the separation unit 51 shown in this example includes an extraction unit 61 as extraction means for sequentially extracting a region of a predetermined size from the image data stored in the image buffer 6, and an extraction unit 61.
  • the calculated edge component is compared with a predetermined threshold value, and the total number of effective edge components that are equal to or greater than the threshold value is counted. If the number is less than half, it is determined that the area is a flat area, and the result of the determination is output to the adjustment section 52 and the video signal separation means for outputting to the transfer section 65 described later.
  • Section 6 4 and this video signal separation section 6 4 When the judgment is made in a flat area, the image to which the original signal from the area buffer 62 is transferred to the first interpolation section 10 described above and to the second interpolation section 13 in the case of an edge area. And a transfer unit 65 serving as a signal separation unit.
  • the control unit 16 includes the extraction unit 61, the edge extraction unit 63, It is bidirectionally connected to the image signal separation unit 64 and the transfer unit 65, and controls these.
  • the extraction unit 61 sequentially extracts block regions of a predetermined size (for example, 8 ⁇ 8 pixels) from the image buffer 6 based on the control of the control unit 16, and performs region buffering. Transfer to 6 2.
  • a predetermined size for example, 8 ⁇ 8 pixels
  • the edge extraction processing in the subsequent stage is performed at the 2 ⁇ 2 pixel position at the center of each area, when the extraction unit 61 extracts an area of 8 ⁇ 8 pixel size, the position in the X direction or Y The position is shifted two pixels at a time, and the pixels are sequentially extracted while overlapping six pixels each in the X direction or the Y direction.
  • the edge extraction unit 63 converts each of the 2 ⁇ 2 pixels at the center of the region composed of the original signals stored in the region buffer 62 into RGB signals. Calculate edge components.
  • the edge component is calculated by taking the absolute value of the difference between the four directions of up, down, left and right for the R signal and the B signal, and four directions of 45 degrees for the G signal.
  • the R signal is compared with the signals R 0, R 3, R 1, and R 2 that are vertically and horizontally separated from the pixel of interest by one pixel.
  • the absolute value of the difference is obtained as shown in the following Expression 43.
  • the edge component obtained by the edge extraction unit 63 is transferred to the video signal separation unit 64.
  • the video signal separation unit 64 compares the received edge component with a predetermined threshold value, for example, 256 when the output width of the A / D converter 5 is 12 bits, and compares the edge component with the predetermined threshold value. It is assumed that the following edge component is an effective edge component.
  • the total number of the valid edge components is a majority of the whole, that is, in the above example, the total number of the valid edge components is 16 or more because the total number of the edge components is 16. If the area Is determined to be an edge region. On the other hand, if the total number of valid edge components is less than the majority of the total (that is, if it is 7 or less), it is determined that the area is a flat area.
  • the result of the determination by the video signal separating unit 64 is transferred to the adjusting unit 52 and also to the transferring unit 65.
  • the transfer unit 65 captures the original signal from the area buffer 62 in the first interception unit. 10 and, on the other hand, if it indicates that it is an edge area, it is transferred to the second interpolation unit 13.
  • the control unit 16 controls the separation unit 51 so as to perform the above-described processing on all the original signals on the image buffer 6.
  • the first interpolation unit 10 includes an extraction unit 71 as extraction means for sequentially extracting an area of a predetermined size in the video signal from the separation unit 51, and an area extracted by the extraction unit 71.
  • the area buffer 72 for storing the image data of the image data, and the R and B signals missing in the area stored in the area buffer 72 are interpolated by known linear interpolation, and the buffer 1 for the work described above is used.
  • the RB linear interpolation unit 7 3 which is an arithmetic means for outputting to the unit 1, and the missing G signal for the area stored in the area buffer 72 are interpolated by known cubic interpolation and output to the work buffer 11.
  • a G cubic interpolator 74 as an arithmetic means.
  • control unit 16 is bidirectionally connected to the extraction unit 71, the RB linear interpolation unit 73, and the G cubic interpolation unit 74, and controls these units. .
  • the extraction unit 71 sends a signal from the separation unit 51 based on the control of the control unit 16.
  • a block area of a predetermined size (for example, 8 ⁇ 8 pixels) is extracted as a unit and transferred to the area buffer 72.
  • the RB linear sampling unit 73 applies a known linear interpolation process to the missing R signal and B signal for the central 2 ⁇ 2 pixel of the 8 ⁇ 8 pixel area stored in the area buffer 72. And output it to work buffer 11.
  • the G cubic trap 74 calculates the missing G signal for the central 2 ⁇ 2 pixels of the 8 ⁇ 8 pixel area stored in the area buffer 72 by a known cubic interpolation process. Output to the working buffer 11.
  • the verification unit 12 is extracted by the extraction unit 81 as extraction means for sequentially extracting regions of a predetermined size from the three-plate state image data stored in the work buffer 11 and extracted by the extraction unit 81.
  • An area buffer 8 2 for storing image data of the area stored in the area buffer 82
  • a hue calculating unit 8 3 as hue calculating means for calculating the hue class of the area stored in the area buffer 82 based on the magnitude relation of the RGB values
  • a coefficient buffer 84 for storing the coefficient indicating the hue class calculated by the hue calculation section 83, and a distribution state of the hue class is checked based on the coefficient stored in the coefficient buffer 84 to determine the area.
  • a hue verifying unit 85 which is a hue verifying means for determining whether or not a single hue region or a plurality of hue regions and outputting the verification result to the adjusting unit 52. ing.
  • control unit 16 is bidirectionally connected to the extraction unit 81, the hue calculation unit 83, and the hue verification unit 85, and controls these units.
  • the extraction unit 81 controls the work buffer based on the control of the control unit 16. Areas of a predetermined size (for example, 8 ⁇ 8 pixel size) are sequentially extracted from 11 and transferred to the area buffer 82.
  • the hue calculation unit 83 calculates a hue class based on the magnitude relationship of the RGB values for each pixel of the area stored in the area buffer 82 under the control of the control unit 16.
  • hue classes classified into 13 according to the magnitude relationship of the RGB values will be described.
  • class 1 has B> R> G
  • class 2 has R B> G
  • class 3 has R> B> G
  • class 4 has R> G> B.
  • Class 7 is G> R> B
  • class 9 is G> B> R
  • class 11 is B> G> R
  • hue calculation unit 83 calculates a magnitude relationship between the RGB values by using a predetermined coefficient, such as A
  • the classification result based on the hue class obtained in this way is transferred to a coefficient buffer 84 and stored.
  • the hue verification unit 85 checks the distribution of the hue classes stored in the coefficient buffer 84 based on the control of the control unit 16 and determines whether the region is a single hue region or a plurality of hue classes. It is determined whether the region is a hue region. This judgment is made for a single hue when a certain percentage (for example, 70%) or more of the area size is composed of one hue class. Five
  • an area of 8 ⁇ 8 pixel size is assumed, so that there are 64 pixels classified as a hue class, and 70% or more of the 45 pixels are the same. If the image is composed of the following hue classes, it is determined to be a single hue region, and if it is less than 45 pixels, it is determined to be a plurality of hue regions.
  • the result of the judgment by the hue verifying unit 85 is transferred to the adjusting unit 52.
  • the separation unit 51 separates the original signal based on the edge information.
  • the present invention is not limited to such a configuration.
  • FIG. 10 (B) A type using correlation information as shown in FIG.
  • FIG. 10 (B) Another example of the configuration of the separation unit 51 will be described with reference to FIG. 10 (B).
  • the basic configuration of the separation unit 51 shown in FIG. 10 (B) is almost the same as that of the separation unit 51 shown in FIG. 10 (A).
  • the description is omitted by attaching the reference numerals and names.
  • the separating unit 51 shown in FIG. 10 (B) is obtained by replacing the edge extracting unit 63 in the separating unit 51 shown in FIG. 10 (A) with a correlation calculating unit 66 which is a correlation calculating means. This is the main difference.
  • the correlation calculating section 66 returns the correlation between the color signals in the area read from the area buffer 62 to a linear form as shown in Expression 42 in the first embodiment. Then, the correlation calculating section 66 transfers the constant term in the linear form to the video signal separating section 64.
  • the video signal separation unit 64 compares the absolute value of the above-mentioned constant term with a predetermined threshold value, determines that the area is a single hue area when the absolute value is less than the threshold value, Is determined to be the hue region of. Soshi Then, the video signal separating section 64 transfers this determination result to the adjusting section 52 and also transfers it to the transferring section 65.
  • the transfer unit 65 When the determination result sent from the video signal separation unit 64 indicates that the image data includes a plurality of hue regions, the transfer unit 65 performs first interpolation on the original signal from the region buffer 62. The data is transferred to the unit 10, while if it indicates that it is a single hue area, it is transferred to the second interpolation unit 13.
  • the present invention is not limited to such a configuration.
  • the signal from the CCD 4 is regarded as raw (Raw) data that has not been processed. It is also possible to add the filter information, image size, etc. as header information and then output it, and process it on an external computer or the like using an image processing program, which is separate software.
  • step S31 the original signal composed of Raw data and header information are read.
  • the original signal is extracted in units of a block area of a predetermined size (step S32), and as shown in FIG. 11, edge components in a plurality of directions are extracted (step S33).
  • the total number of the edge components is output and stored as separation information for determining whether the area is a flat area or an edge area (step S34).
  • step S35 After, by comparing the predetermined threshold value Th with the total number of edge components, it is determined whether the region is a flat region or an edge region (step S35).
  • step S42 Performed the processing up to step S45 Later, the process proceeds to the next step S36.
  • step S46 see FIG. 15 (C)
  • step S36 it is determined whether or not extraction has been completed in all block areas corresponding to all signals. If extraction has not been completed, the flow returns to step S32 to return to the next block. Extraction of the work area.
  • the signal after the capture processing is extracted in units of a block area of a predetermined size (step S37), and FIG. A hue map is calculated by classifying into 13 hue classes as shown, and it is determined whether the block area is a single hue area or a plurality of hue areas (step S38).
  • step S35 the separation information on the flat area or the edge area output in step S35 is input and transferred to the next step S40 (step S39).
  • step S40 selects which of the interpolation processing shown in FIG. 5 (B) and the interpolation processing shown in FIG. 15 (C) is to be performed (step S40).
  • step S 41 In the case of the “edge region and multiple hue regions”, the process proceeds to step S42 (see FIG. 15 (B)) described later, and after the process up to step S45, the process proceeds to the next step S41. In the case of the “flat region and single hue region”, the step S 46 (FIG. 15 (C)) will be described later. After performing the processing up to step S48, go to the next step S41.
  • step S41 it is determined whether or not extraction has been completed for all signal areas for all signals. If extraction has not been completed, the flow returns to step S37 to return to the next block. , And, if completed, terminates this process.
  • the missing R signal and the missing B signal are calculated by the linear interpolation processing (step S43), and the missing G signal is calculated by the cubic interpolation processing (step S44). .
  • step S45 the original signal and the interpolated signal are output together (step S45), and the process returns to the process of FIG. 15 (A).
  • the correlation is obtained as a linear form, and the missing color signal is calculated based on the obtained linear form (step S47). .
  • step S48 the original signal and the interpolated signal are output together (step S48), and the process returns to the process of FIG. 15 (A).
  • the processing is always performed by combining the first interpolation processing and the second interpolation processing, but the present invention is not limited to this.
  • the operation and adjustment of the verification unit 1 and 2 If the control unit 16 controls the operation of the unit 52 to stop.
  • the control unit 16 determines whether or not to stop these operations, the image quality information relating to the image quality of the video signal such as the compression ratio and the image size, and the image capturing system such as character image capturing and moving image capturing. Acquisition of at least one of the shooting mode information set in, the interpolation process switching information that can be manually set by the user, and any one of these information The judgment is made based on the above.
  • the present invention is not limited to this.
  • a configuration may be used in which interpolation processing based on the edge direction is performed, and the present invention is not limited to this, and has different characteristics from the second interpolation processing.
  • the first interpolation processing having such arbitrary characteristics may be used.
  • the first interpolation processing and the second interpolation processing need only be a combination of different characteristics.
  • the primary color Bayer type single plate CCD has been described as an example, but the present invention is not limited to this.
  • the present invention can be similarly applied to a single-chip CCD having a complementary color filter, or to a two-chip imaging system or a three-chip imaging system in which pixels are shifted.
  • the first interpolation processing and the second interpolation processing are roughly selected based on the original signal, and then the precision is verified accurately based on the original signal and the interpolation signal, and the interpolation processing is performed again. Therefore, the area in which the interpolation processing is redone is reduced, and the processing speed can be improved.
  • the G signal which is close to the luminance signal, is processed by cubic sampling, and the other color signals, R and B signals, are processed by linear interpolation to match the visual characteristics. In addition, it is possible to perform high-speed interpolation processing while suppressing deterioration of the overall image quality.
  • hue information is obtained by a signal in a three-plate state having no missing color signal obtained by combining the original signal and the intercept signal, it is possible to perform high-accuracy accuracy verification.
  • the calculation of the hue information can be performed at high speed because the amount of calculation is small.
  • edge information since the original signal is separated based on edge information or correlation information, appropriate processing can be performed at high speed. Since the edge information has a high affinity with the interpolation method using the edge direction, there is an advantage that the edge information is suitable for switching control between the interpolation method using the edge direction and other interpolation methods. On the other hand, since the correlation information has a high affinity with the capture method using color correlation, it has an advantage that it is suitable for controlling switching between the interpolation method using color correlation and other interpolation methods.
  • FIGS. 16 to 18 show a third embodiment of the present invention.
  • FIG. 16 is a block diagram showing a configuration of an imaging system
  • FIG. 17 shows a configuration of a verification unit.
  • the block diagram and Fig. 18 are based on the image processing program.
  • 6 is a flowchart showing an interpolation process.
  • the imaging system according to the third embodiment has a configuration in which a selection unit 90 as a selection unit is added to the configuration of the above-described first embodiment.
  • the selection unit 90 selects the interpolation signal by the first interpolation unit 10 and the interpolation signal by the second interpolation unit 13 stored in the work buffer 11. One of the two is selected and output to the signal processing unit 14.
  • the verification unit 12 outputs the verification result to the selection unit 90 instead of the second interpolation unit 13.
  • the working buffer 11 outputs the interpolation signal to the verification unit 12 and also outputs the interpolation signal to the selection unit 90 instead of the signal processing unit 14.
  • the control unit 16 is also bidirectionally connected to the selection unit 90 added in the third embodiment, and controls the selection unit 90.
  • the video signal stored in the image buffer 6 is independently interpolated by the first interpolating unit 10 and the second interpolating unit 13 under the control of the control unit 16. Each interpolation process at this time is performed by the first interpolation unit 10 in the edge direction, as in the first embodiment described above.
  • the second interpolation unit 13 is an interpolation process based on color correlation.
  • the interpolated signal by the first interpolator 10 and the interpolated signal by the second interpolator 13 are transferred to the work buffer 11 and stored independently without being overwritten.
  • the control unit 16 uses the three-plate signal stored in the work buffer 11 as a unit of a predetermined local area (for example, 8 ⁇ 8 pixels). Then, the three-plate signal when sequentially transferred to the verification unit 12 is composed of a three-plate signal composed of the original signal and the interpolation signal by the first interpolation unit 10, and the original signal and the second interpolation unit 1.
  • the verification unit 12 obtains a luminance signal from the RGB three-plate signals, and calculates an edge component in pixel units by a known Laplacian process or the like.
  • the verification unit 12 determines an edge component having a predetermined threshold value or more.
  • the total number of valid edge components in the local region is determined as valid esshi components.
  • the verification unit 12 selects the larger one. In this way, the verification unit 12 transfers the total number of valid edge components to the selection unit 90 as selection information.
  • the selection unit 90 uses the total number of valid edge components from the verification unit 12, and uses the interpolated signal by the first interpolation unit 10 and the second interpolation unit 13. One of the interpolation signals is selected. That is, when the total number of valid edge components is equal to or more than the predetermined threshold, the selection unit 90 selects the interpolation signal by the first interpolation unit 10 as an edge area, and selects the interpolation signal that is less than the predetermined threshold. If, the interpolation signal by the second interpolation unit 13 is selected as a flat area.
  • the control unit 16 controls the verification by the verification unit 12 and the selection operation by the selection unit 90 so that is performed for all the signals in the work buffer 11, and outputs the selected signal. Transfer to the signal processing unit 14 sequentially.
  • the verification unit 12 includes an extraction unit 91 serving as extraction means for sequentially extracting a region of a predetermined size from the image data stored in the work buffer 11, and an extraction unit 91 for extracting the region extracted by the extraction unit 91.
  • Coefficient buffer 94 for storing the stored edge components, and comparing the edge components stored in the coefficient buffer 94 with a predetermined threshold value to determine the total number of effective edge components that are equal to or greater than the threshold value.
  • Edge verification means that outputs the larger one of the total number based on the interpolation signal by the section 10 and the total number based on the interpolation signal by the second interpolation section 13 to the selection section 90 as selection information. With part 9 5 and It is configured.
  • the control unit 16 is bidirectionally connected to the extraction unit 91, the edge calculation unit 93, and the edge verification unit 95, and controls these.
  • the extraction section 91 sequentially extracts areas of a predetermined size (for example, 8 ⁇ 8 pixel size) from the work buffer 11 based on the control of the control section 16 and transfers them to the area buffer 92.
  • a predetermined size for example, 8 ⁇ 8 pixel size
  • the edge calculation unit 93 calculates the luminance signal Y from the RGB signal value for each pixel in the area stored in the area buffer 92 according to the following equation 46. It is calculated as follows.
  • the edge calculator 93 calculates the calculated luminance signal Y
  • the edge component is obtained by performing known Laplacian processing. Since the Laplacian processing at this time is performed by the 3 ⁇ 3 filter, the edge component is obtained at 6 ⁇ 6 pixels at the center in the 8 ⁇ 8 pixel area. Therefore, when the extraction unit 91 extracts an area of 8 ⁇ 8 pixel size, it shifts the X-direction position or the Y-direction position by 6 pixels and overlaps the X-direction or Y-direction by 2 pixels each. In this way, extraction is performed sequentially.
  • the edge verification unit 95 sequentially reads the edge components stored in the coefficient buffer 94 based on the control of the control unit 16, and reads the edge components into a predetermined threshold value, for example, the A / D converter 5. In the case where the output width of is 12 bits, the edge component that is equal to or more than this threshold is assumed to be the effective edge component as compared with 256. The edge verification unit 95 obtains the total number of components determined to be valid edge components.
  • Such processing in the edge verification unit 95 is performed based on the control of the control unit 16, based on the original signal and the first interpolation unit 1 stored in the working unit // file 11.
  • the edge verification unit 95 transfers the larger one of the total number of valid edge components obtained as described above to the selection unit 90 as selection information.
  • the raw data (Raw) data from the CCD 4 may be left unprocessed. It is also possible to add filter information, image size, etc. as header information and output it, and then process it with an external computer or the like using an image processing program that is separate software. is there.
  • the original signal is extracted in units of a block area of a predetermined size (step S52), and as shown in FIG. 4 of the first embodiment, the edge components in a plurality of directions are extracted. Then, a weighting factor for each direction is calculated (step S53).
  • step S55 a capture value of a color difference signal for each direction is obtained (step S55).
  • a final interpolation signal is calculated and output based on the weighting factor obtained in step S54 and the interpolation value obtained in step S55 (step S56).
  • step S57 it is determined whether or not extraction has been completed for all block areas corresponding to all signals. If extraction has not been completed, the flow returns to step S52 to return to the next step. The extraction of the block area is performed, and when the extraction is completed, the process proceeds to step S62 described later.
  • the original signal read in step S51 is extracted by using a block area of a predetermined size as a unit (step S58), and the original signal is expressed by equation 42 of the first embodiment described above.
  • the correlation between the color signals is obtained as a linear form (step S59), and an interpolation signal is calculated and output based on the obtained linear form (step S60).
  • step S61 it is determined whether or not extraction has been completed for all block areas corresponding to all signals. If extraction has not been completed, the process returns to step S58 to return to the next step. A lock area is extracted, and if completed, the process proceeds to step S62 described later.
  • step S62 the original signal, the interpolated signal output in step S56, and the interpolated signal output in step S60 are extracted in units of a block area of a predetermined size (step S62)
  • step S63 The total number of valid edge components is calculated (step S63).
  • step S64 An interpolation signal is selected based on the obtained selection information (step S64).
  • step S65 The intercept signal thus selected is output (step S65), and it is determined whether or not extraction has been completed for all block areas corresponding to all signals (step S66). If not completed, the process returns to step S62 to extract the next block area, and if completed, ends this processing.
  • the processing is always performed by combining the first interpolation processing and the second interpolation processing, but the present invention is not limited to this.
  • the operation of the verification unit 12 and the operation of the second interpolation unit 13 are stopped, and the selection unit 90 is made to select only the interpolation signal by the first interpolation unit 10.
  • the control unit 16 performs control.
  • the control unit 16 determines whether or not to stop these operations, the image quality information relating to the quality of the video signal, such as the compression ratio and the image size, and the imaging system, such as character image shooting or moving image shooting, are used. Acquisition of at least one of the shooting mode information set in the stem, the switching information of the interpolation processing that can be manually set by the user, and any one of these information Make a decision based on one or more.
  • the primary color Bayer type single plate CCD has been described as an example, but the present invention is not limited to this.
  • the present invention can be similarly applied to a single-chip CCD having a complementary color filter, or to a two-chip imaging system or a three-chip imaging system in which pixels are shifted.
  • the third embodiment substantially the same effects as those of the first and second embodiments described above can be obtained, and the third embodiment is based on the edge direction. Interpolation is performed by both the first interpolation process and the second interpolation process based on color correlation, and the accuracy is verified and one of them is adaptively selected. Thus, a highly accurate interpolation signal can be obtained.
  • the accuracy is verified using the original signal, the first interpolation signal, and the second interpolation signal, and selection is performed based on the verification result, highly accurate adaptive control is performed. A high-quality interpolation signal can be obtained.
  • the verification is performed based on the edge information, the accuracy can be improved. Since this edge information has a high affinity with the interpolation method using the edge direction, it has an advantage that it is suitable for control of switching between the interpolation method using the edge direction and other interpolation methods.
  • control is performed so that the operation of the second interpolation processing 13 and the operation of the verification unit 12 are stopped, and only the signal of the first interpolation processing is selected.
  • the selection unit 90 By controlling the selection unit 90 in such a manner, the processing time can be reduced, and the power consumption can be reduced.
  • re-interpolation processing is performed to obtain information such as when high-precision interpolation is not required due to high compression or when high-speed processing is prioritized in video shooting etc. It is possible to automate the control of whether or not it is possible, and the operability is improved.
  • the interpolation process can be manually switched based on the user's intention, the degree of freedom in the process is improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本発明の撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて1つ以上欠落している映像信号、を処理する撮像システムであって、上記欠落する色信号をエッジ検出に基づく第1の補間方法により上記映像信号から補間する第1補間部と、上記映像信号と上記第1補間部により補間された色信号とに基づいて補間精度を検証する検証部と、上記補間精度が充分でないと判断された場合に上記欠落する色信号を上記第1の補間方法とは異なる色相関に基づく第2の補間方法により上記映像信号から補間する第2補間部とを備える。

Description

撮像システムおよび画像処理プログラム 技術分野
本発明は、 複数の補間方法を適応的に組み合わせて欠落する色 信号を補間し高品位な映像信号を得る撮像システム、 画像処理プ ログラムに関する。
明 背景技術 田
現在、 一般向けに市販されているデジタルスチルカメ ラゃビデ ォカメ ラなどは、 撮像系と して単板 C C Dを用いたものが主流と なっている。 この単板 C C Dは、 前面にカラーフ ィルタを配置し て構成されており 、 該カラーフ ィ ルタ の種類によって補色系と原 色系とに大別される。
このよ う な構成の単板カラー C C Dでは、 カラーフィルタの種 類が補色系と原色系との何れであっても、 1つの画素に 1つの色 信号を割り 当てている点は何れも同様である。 従って、 1つの画 素に対して全ての色信号を得るためには、 各画素において欠落し ている色信号を補間する処理を行う ことが必要となる。
このよ う な単板系に限らず、 二板式の撮像系や、 三板式であつ ても画素ずら しを行った撮像系においては、 同様に、 補間処理を 行う こ とが必要になる。
上述したよ うな補間処理と しては、 例えば特開平 7 — 2 3 6 1 4 7号公報ゃ特開平 8 — 2 9 8 6 7 0号公報に、 相関またはエツ ジを検出して、 相関の高い方向またはエッジ強度の低い平坦な方 向に補間処理を行う技術が記載されている。
また、 上記補間処理の他の例と しては、 特開 2 0 0 0 — 2 2 4 6 0 1号公報に、 局所領域における色相関を用いる技術が記載さ れている。
さ らに、 特開 2 0 0 0 - 1 5 1 9 8 9号公報には、 拡大処理を 行う際に、 R信号および G信号に関してはキュービック補間を用 い、 B信号に関しては二アレス トネィパー補間を用いるなどの、 異なる補間方法を組み合わせる技術が記載されている。
—方、 上述した特開 2 0 0 0 — 2 2 4 6 0 1号公報には、 色相 関による捕間と線形捕間とを適応的に切り換える技術が記載され ている。
上記特開平 7 — 2 3 6 1 4 7号公報ゃ特開平 8 — 2 9 8 6 7 0 号公報に記載されたよ うな方向を選択して補間する手段は、 映像 信号が単一のエッジ構造で構成される場合には良好に機能する力 テクスチャ画像のよ う に複数のエッジ構造がある場合には方向の 選択に失敗して捕間精度が低下するこ とがある。
また、 上記特開 2 0 0 0 - 2 2 4 6 0 1号公報に記載されたよ うな色相関に基づく補間は、 テクスチャのよ う に複数のエッジ構 造がある場合でも、 それが単一の色相である場合には高精度な補 間が可能である。 しかし、 異なる色相での境界領域では色相関の 推定に失敗して、 アーティ ファタ トが発生するこ とがある。
そして、 上記特開 2 0 0 0 — 1 5 1 9 8 9号公報に記載された よ う な異なる補間方法を組み合わせる手段は、 それぞれが得意と する領域で補間処理を行わせることで、 全体と してよ り高精度な 補間が可能となる利点がある一方で、 補間処理を如何に うま く切 り換え制御するかが課題となる。 しかし、 この特開 2 0 0 0 — 1 5 1 9 8 9号公報に記載された切換方法は固定的であるために、 例えば B (青） 信号に複雑なエッジ構造がある場合には精度が低 下してしまい、 各々の補間方法が有するメ リ ッ トを生かしきれな いこ とがあった。
また、 上記特開 2 0 0 0 - 2 2 4 6 0 1号公報に記載のもので は、 1つ以上の色信号が欠落する原信号に基づいて補間方法の切 り換え制御を行っているために、 制御方法が複雑になって、 処理 時間が長く なる という課題があった。
本発明は上記事情に鑑みてなされたものであり、 映像信号中の 欠落する色信号をよ り高精度に補間するこ とができる撮像システ ムおよび画像処理プログラムを提供するこ とを目的と している。 発明の開示
本発明の撮像システムは、 各画素の映像信号を構成するべき複 数である所定数の色信号が、 画素位置に応じて 1つ以上欠落して いる映像信号、 を処理する撮像システムであって、 上記欠落する 色信号をエッジ検出に基づく第 1 の補間方法によ り上記映像信号 から補間する第 1補間部と、 上記映像信号と上記第 1補間部によ り補間された色信号とに基づいて補間精度を検証する検証部と、 上記補間精度が充分でないと判断された場合に上記欠落する色信 号を上記第 1 の補間方法とは異なる色相関に基づく第 2 の補間方 法によ り上記映像信号から補間する第 2補間部とを備える。 図面の簡単な説明
図 1 ： 本発明の第 1 の実施形態における撮像システムの構成を 示すブロ ック図。
図 2 ： 上記第 1 の実施形態におけるカラーフィルタの色配置を 示す図。
図 3 ： 上記第 1 の実施形態における第 1補間部の構成を示すプ 口 ック図。
図 4 ： 上記第 1 の実施形態において、 エッジ方向に基づく補間 方法を説明するための図。
図 5 ： 上記第 1 の実施形態における検証部の構成を示すプロ ッ ク図。
図 6 ： 上記第 1 の実施形態において、 色相関関係の線形式への 回帰を説明するための図。
図 7 ： 上記第 1 の実施形態における第 2補間部の構成を示すブ 口 ック図。
図 8 ： 上記第 1 の実施形態における画像処理プロ グラムによる 補間処理を示すフローチャー ト。
図 9 ： 本発明の第 2の実施形態における撮像システムの構成を 示すプロ ック図。
図 1 0 ： 上記第 2の実施形態における分離部の一構成例と他の 構成例とを示すブロ ック図。
図 1 1 ： 上記第 2の実施形態において、 エッジ抽出を説明する ための図。
図 1 2 ： 上記第 2の実施形態における第 1補間部の構成を示す ブロ ック図。
図 1 3 ： 上記第 2の実施形態における検証部の構成を示すプロ ック図。
図 1 4 ： 上記第 2 の実施形態において、 色相ク ラスを説明する ための表図。
図 1 5 ： 上記第 2 の実施形態における画像処理プログラムによ る補間処理を示すフローチヤ一ト。
図 1 6 ： 本発明の第 3 の実施形態における撮像システムの構成 を示すブロ ック図。
図 1 7 ： 上記第 3の実施形態における検証部の構成を示すプロ ック図。
図 1 8 ： 上記第 3 の実施形態における画像処理プログラムによ る補間処理を示すフローチャー ト。 発明を実施'するための最良の形態
以下、 図面を参照して本発明の実施の形態を説明する。
図 1 から図 8は本発明の第 1 の実施形態を示したものであり、 図 1 は撮像システムの構成を示すプロ ック図、 図 2はカラーフィ ノレタの色配置を示す図、 図 3は第 1補間部の構成を示すプロ ック 図、 図 4はエッジ方向に基づく補間方法を説明するための図、 図 5は検証部の構成を示すブロ ック図、 図 6 は色相関関係の線形式 への回' J帚を説明するための図、 図 7は第 2補間部の構成を示すブ ロ ック図、 図 8は画像処理プログラムによる補間処理を示すフロ 一チヤ一トである
この撮像システムは、 図 1 に示すよ う に、 被写体像を結像する ためのレンズ系 1 と、 このレンズ系 1 内に配置されていて該レン ズ系 1 における光束の通過範囲を規定するための絞り 2 と、 上記 レンズ系 1 によ る結像光束から不要な高周波成分を除去するため の口一パスフィルタ 3 と、 のローパスフィルタ 3 を介して結像 される光学的な被写体像を光電変換して電気的な映像信号を出力 する撮像素子たる C C D 4 と、 この C C D 4 カゝら出力されるアナ ロ グの映像信号をデジタル信号へ変換する A / D変換器 5 と、 こ の A / D変換器 5から出力されたデジタルの画像データを一時的 に記憶する画像用ノ ッファ 6 と、 この画像用バッファ 6 に記憶さ れた画像データに基づき被写体に関する測光評価を行いその評価 結果に基づき上記絞り 2 と C C D 4 の制御を行う測光評価部 7 と、 上記画像用ノ ッファ 6 に記憶された画像データに基づき合焦点検 出を行い検出結果に基づき後述する A Fモータ 9 を駆動する合焦 点検出部 8 と、 この合焦点検出部 8 によ り制御されて上記レンズ 系 1 に含まれるフォーカス レンズ等の駆動を行う A Fモータ 9 と、 上記画像用バッファ 6 に記 laされた画像データに後で詳しく説明 するよ う なエッジ方向に基つく欠落色信号の補間処理を行う第 1 の補間手段たる第 1補間部 1 0 と、 この第 1補間部 1 0 を介して 上記画像用バッファ 6から転送される元の画像データ と該第 1補 間部 1 0によ り処理された欠落色に係る捕間データ とを一時的に 記憶すると と もに後述する第 2補間部 1 3 によ り処理された欠落 色に係る補間データを該第 1補間部 1 0 によ り処理された欠落色 に係る補間データに上書き して一時的に記憶する作業用バッファ
1 1 と、 この作業用バッファ 1 1 に記憶された元の画像データお よび第 1補間部 1 0による補間データに基づいて単一の色相関関 係が成立する領域を検証する精度検証手段たる検証部 1 2 と、 こ の検証部 1 2 によ り単一の色相関関係が成立する と判断された領 域について上記画像用バッファ 6から元の画像データを読み込ん で後で詳しく説明するよ うな色相関に基づく欠落色信号の補間処 理を行う第 2 の補間手段たる第 2補間部 1 3 と、 この第 2補間部 1 3 による処理が終了した後に上記作業用バッファ 1 1 から出力 される補間済みの画像データに公知の強調処理や圧縮処理などを 行う信号処理部 1 4 と、 この信号処理部 1 4からの画像データを 例えばメ モ リ カー ド等に記録するために出力する出力部 1 5 と、 電源スィ ッチ， シャツタポタン， 各種の撮影モー ドや画質モー ド を切り替えるためモー ドスィ ッチ， 補間処理を切り換えるための 切換スィ ッチ等へのイ ンターフェースを備えた情報取得手段たる 外部 I Z F部 1 7 と、 上記測光評価部 7 と合焦点検出部 8 とから データを取得する と と もに上記第 1補間部 1 0， 検証部 1 2， 第 2補間部 1 3， 信号処理部 1 4 , 出力部 1 5， 外部 ]: / F部 1 7 と双方向に接続されてこれらを含むこの撮像システムを統合的に 制御するマイク ロ コンピュータ等でなる制御手段であって情報取 得手段と判断手段とを兼ねた制御部 1 6 と、 を有して構成されて いる。
次に、 図 2 を参照して、 C C D 4 の前面に配置されているカラ 一フィルタの色配置について説明する。
本実施形態においては、 単板原色系のカラーフィルタを備えた 撮像系を想定しており、 例えば図 2 に示すよ うな原色べィヤー
( Bayer) 型のカラーフィルタが、 上記 C C D 4の前面に配置され ている。 この原色べィヤー （Bayer ) 型のカラーフィルタは、 図 2 ( A ) に示すよ うな、 対角方向に G (緑） の画素が 2つ配置され、 それ 以外の 2画素に R (赤） と B (青） が各配置されている 2 X 2画 素の基本配置を備えており、 この基本配置を上下方向おょぴ左右 方向に 2次元的に繰り返して C C D 4上の各画素を覆う こ とによ り、 図 2 ( B ) に示すよ う なフィルタ配置にしたものとなってい る。
このよ う に、 単板原色系のカラーフィルタを備えた撮像系から 得られる映像信号は、 各画素の映像信号を構成するべき 3色の色 信号が、 画素位置に応じて 2つ欠落 （すなわち、 配置されるカラ 一フィルタ以外の色成分の 2つが欠落） したものとなっている。 続いて、 上記図 1 に示したよ う な撮像システムにおける信号の 流れについて説明する。
この撮像システムは、 外部 I Z F部 1 7を介して、 圧縮率や画 像サイズなどの画質モー ド、 文字画像撮影や動画撮影などの撮影 モー ド、 補間処理の切り換えなどを使用者が設定することができ るよ う に構成されており 、 これらの設定がなされた後に、 2段式 の押しポタンスィ ッチでなるシャ ツタボタンを半押しするこ とに よ り、 プリ撮影モー ドに入る。
上記レンズ系 1 ， 絞り 2 , ローパスフィルタ 3 を介して C C D 4によ り撮影され出力された映像信号は、 A / D変換器 5によ り デジタル信号へ変換され、 画像用バッファ 6へ転送される。
この画像用バッファ 6 内の映像信号は、 その後に、 測光評価部 7 と合焦点検出部 8 とへ転送される。
測光評価部 7は、 画像中の輝度レベルを求めて、 適正露光とな るよ う に絞り 2による絞り値や C C D 4 の電子シャ ツタ速度など を制御する。
また、 合焦点検出部 8は、 画像中のエッジ強度を検出して、 こ のエッジ強度が最大となるよ う に A Fモータ 9 を制御し合焦画像 を得る。
このよ う なプリ撮影モー ドを行う こ とによ り本撮影の準備が整 つたところで、 次に、 シャ ツタボタンが全押しにされたこ とを外 部 I / F部 1 7を介して検出する と、 本撮影が行われる。
この本撮影は、 測光評価部 7によ り求められた露光条件と合焦 点検出部 8 によ り求められた合焦条件とに基づいて行われ、 これ らの撮影時の条件は制御部 1 6へ転送される。
こ う して本撮影が行われる と、 映像信号が、 プリ撮影のとき と 同様にして、 画像用バッファ 6へ転送され記憶される。
第 1補間部 1 0は、 制御部 1 6 の制御に基づいて、 この画像用 バッファ 6内に記憶された本撮影に係る映像信号を読み出し、 ェ ッジ方向に基づく補間処理を行う。 上述したよ う に、 本実施形態 では C C D 4の前面に原色系のカラーフィルタが配置された単板 式の撮像系を想定しているために、 1つの画素について 2つの色 信号が欠落している。 従って、 この捕間処理では、 欠落した 2つ の色信号が生成されて、 補間信号と して出力されるこ とになる。
そして、 第 1補間部 1 0は、 この捕間処理によ り得られた補間 信号と、 上記画像用バッファ 6から読み出した原信号とを、 作業 用バッファ 1 1 へ転送する。 こ う して、 作業用バッファ 1 1 に補 間信号と原信号とが記憶されると、 1 つの画素について R G Bの 三信号が揃った三板信号となる。
次に、 検証部 1 2は、 制御部 1 6 の制御に基づいて、 この作業 用バッファ 1 1 内に記憶された三板信号を、 所定の局所領域 （例 えば 5 X 5画素） を単位と して順次読み込む。 そして、 検証部 1 2は、 局所領域における相関関係を線形式と して回帰し、 単一の 色相関関係が成立するか否かを検証して、 検証結果を第 2補間部
1 3へ転送する。
第 2補間部 1 3は、 制御部 1 6 の制御に基づいて、 検証部 1 2 で単一の色相関が成立する と判断された局所領域に対応する原信 号を画像用バッファ 6から読み込み、 色相関に基づく補間処理を 行う。
この第 2捕間部 1 3 による補間信号は、 作業用バッファ 1 1 へ 転送されて、 上記第 1補間部 1 0による補間結果に上書きされる よ う に記録される。 これによ り、 検証部 1 2によって単一の色相 関が成立する と判断された局所領域については、 第 2補間部 1 3 による補間信号に置き換えられることになる。
制御部 1 6 は、 検証部 1 2による検証と、 この検証結果に応じ て必要なときにのみ行われる第 2補間部 1 3による補間と、 が作 業用バッファ 1 1 内の全信号に対して完了した後に、 該作業用バ ッファ 1 1 内の三板信号を信号処理部 1 4へ転送するよ う に制御 する。
信号処理部 1 4は、 制御部 1 6 の制御に基づいて、 補間処理後 の映像信号に対して、 公知の強調処理や圧縮処理などを行い、 出 力部 1 5へ転送する。
出力部 1 5は、 この信号処理部 1 4からの画像データを例えば メモリ カー ド等に記録するために出力する。
次に図 3 を参照して、 上記第 1補間部 1 0の構成の一例につい て説明する。
この第 1補間部 1 0は、 上記画像用バッファ 6 に記憶された画 像データから所定サイズの領域を順次抽出する抽出手段たる抽出 部 2 1 と、 この抽出部 2 1 によ り抽出された領域の画像データを 記憶する領域バッファ 2 2 と、 この領域バッファ 2 2に記憶され た領域のエッジ成分を算出するエッジ抽出手段たるエッジ抽出部 2 3 と、 このエッジ抽出部 2 3によ り算出されたエッジ成分を正 規化して重み係数を算出する重み算出手段たる重み算出部 2 4 と、 この重み算出部 2 4によ り算出された重み係数を記憶する重みバ ッファ 2 5 と、 上記領域バッファ 2 2 に記憶された領域の着目画 素に対して補間信号と しての色差成分を算出する補間信号算出手 段たる補間部 2 6 と、 この補間部 2 6 によ り算出された色差成分 を記憶する補間値パッファ 2 7 と、 この補間値バッファ 2 7 に記 憶された色差成分と上記重みバッファ 2 5 に記憶された重み係数 とから着目画素位置における欠落色成分を算出して上記領域バッ ファ 2 2 と作業用バッファ 1 1 とへ出力する演算手段たる演算部 2 8 と、 を有して構成されている。
なお、 演算部 2 8によ り 1 つの色に係る欠落成分が算出される と、 この算出された欠落色成分を用いて他の色に係る欠落成分の 補間を行うために、 該演算部 2 8 による算出結果は上記領域バッ ファ 2 2にも記憶されるよ う になっている。
また、上記制御部 1 6 は、上記抽出部 2 1 、エツジ抽出部 2 3、 重み算出部 2 4、 補間部 2 6、 演算部 2 8 に対して双方向に接続 されており 、 これらを制御するよ う になっている。
このよ う な第 1補間部 1 0 の作用について、 図 4 を参照しなが ら説明する。
抽出部 2 1 は、 制御部 1 6 の制御に基づいて、 画像用バッファ 6から所定サイズ （例えば 6 X 6画素サイズ） の領域を順次抽出 し、 領域バッファ 2 2へ転送する。
図 4 ( A ) は、 この抽出部 2 1 によ り抽出された 6 X 6画素サ ィ ズの領域と、 各画素位置における色信号 S i j ( S = R， G , B、 X方向 （横方向） の座標 i = 0〜 5、 Y方向 （縦方向） の座標 j = 0〜 5 ) と、 を示している。
第 1補間部 1 0は、 このよ うな 6 X 6画素サイズの領域を用い て、中央部の 2 X 2画素位置の補間処理を行う よ う になつており 、 この図 4に示す例では、 R 22位置の欠落成分 G 22， B 22と、 G 32 位置の欠落成分 R 32， B 32と、 G 23位置の欠落成分 R 23， B 23と、 B 33位置の欠落成分 R 33 , G 33と、 を算出する。
補間処理が中央部の 2 X 2画素位置で行われるために、 抽出部 2 1が 6 X 6画素サイズの領域を抽出する際には、 X方向位置ま たは Y方向位置を 2画素ずつずら して、 X方向または Υ方向にそ れぞれ 4画素ずつ重複するよ う にしながら、 順次抽出を行ってい く こ とになる。
エッジ抽出部 2 3 と補間部 2 6 とは、 制御部 1 6の制御に基づ いて、 R 22位置の欠落成分 G 22と、 Β 33位置の欠落成分 G 33と、 に関する補間処理を先行して行う。
ェッジ抽出部 2 3は 、 まず R 22画素に対して 、 図 4 ( B ) に示 すよ う な周辺画素の値を用い、 その上下左右の 4方向のェ Vジ成 分を次の数式 1 に示すよ う に算出して、 重み算出部 2 4へ転送す
■Ό ο
<数 1 >
Ε上 = 1 R 22- R 20 1 + 1 G 21- G 23 1
Ε下 = 1 R 22- R 24 1 + 1 G 21- G 23 1 i Ai = 1 R 22- R 02 1 + 1 G 12— G 32 1
E右 = ) R 22- R 42 1 + 1 G 12— G 32 1 重み算出部 2 4は、これら 4方向のエッジ成分の総和 totalを次 の数式 2 に示すよ う に求めて、
<数 2 〉
total= E上 + E下 + E左 + E右
上記エッジ抽出部 2 3 によ り算出された 4方向のエッジ成分を、 次の数式 3 に示すよ う に、この総和 totalで除算して正規化された 重み係数を算出し、 重みバッファ 2 5へ転送して記憶させる。
<数 3 >
W上 = E上/ total
• W下 = E下 / total
W左 = E左 Ztotal
W右 = E右/ total
酲
一方、 補間部 2 6は、 R22画素に対して、 その上下左右の 4方 向の色差成分を次の数式 4に示すよ う に補間し、 補間値バッファ 2 7へ転送糊して記憶させる。
<数 4 >
ノ
C r上 = G 21- ( R 22+ R 20) , / 2
C r 下 = G 23- ( R 22+ R 24) , / 2
C r左 = G 12- ( R 22+ R 02) , / 2
C r ¾ = G 32— ( R 22+ R 42) , / 2 演算部 2 8 は、 制御部 1 6 の制御に基づレ、て 、 重みバ V フ ァ 2
5 に記憶された重み係数と 、 ネ甫間値バッフ ァ 2 7に nし ι¾された補 とを用いて、 R 22位置において欠落する緑成分
G 22を次の数式 5 に示すよ う に算出し、 領域バッファ 2 2 と作業 用ノ ッ フ ァ 1 1 とへ転送して記憶させる ο
<数 5 >
G 22= R 22+ ∑ C r k · Wk (k =上， 下， 左， 右） 次に、 この R22位置の G 22を求めるのと同様にして、 B 33位置 の G 33を、図 4 ( C ) に示すよ う な周辺画素の値を用いて算出し、 領域バ ッ フ ァ 2 2 と作業用バッファ 1 1 とへ転送して記憶させる。
この G33を算出する際の上記数式 1 〜数式 5 に各相当する数式 6〜数式 1 0は、 次のよ う になつている。
<数 6 〉
E上 = 1 B 33- B 311 + 1 [ G 32- G 34
E下 = 1 B 33— B 351 + 1 G 32— G 34
E左 = 1 B 33- B 131 + 1 G 23- G 43
E右 = 1 B 33- B 531 . + 1 G 23- G 43
<数 7 〉 total = E上 + E下 + E左 + E右
く数 8 〉
W上 E
W下 E total
W左 E左 total
W右 E右 total
<数 9 〉
C b上 = G 32— ( B 33+ B 31) , / 2
c b下= G 34- ( B 33+ B 35) , / 2
c b左 = G 23- ( B 33+ B 13) , / 2
c b右 = G 43- ( B 33+ B 53) , / 2
く数 1 0 >
G 33= B 33+ ∑ C b k · Wk (k =上， 下， 左， 右） ' この G33を算出する際の上記 G 22との差異は、 上記 G 22の場合 は 4方向の色差成分が C r成分 （G— R) となっているのに対し て、 該 G 33の場合は C b成分 ( G - B ) となっている点である。
上述したよ うな G信号に対する捕間処理が、 6 X 6画素サイズ の領域を順次抽出するこ とによって、 画像用バッファ 6上の全信 号に対して行われ、 領域バッファ 2 2 と作業用バッファ 1 1 とに は、 補間された全 G信号が記憶される。
次に、 制御部 1 6は、 再度 6 X 6画素サイズの領域を順次抽出 して、 エッジ抽出部 2 3 と補間部 2 6 とに対して、 G 32位置の欠 落成分 R 32, B 32と、 G 23位置の欠落成分 R 23, B 23と、 R 22位 置の残り の欠落成分 B 22と、 B 33位置の残り の欠落成分 R 33と、 の補間処理を図 4 ( D ) 〜図 4 ( G ) に示すよ う に行わせる。 こ れらの補間処理を行う際には、 上述したよ う に算出した G信号も 用いて、 処理が行われる。 図 4 ( D ) は、 G23位置の R23, B 23を補間する際に用いる周 辺画素の様子を示す図である。
まず、 R 23を算出する際の上記数式 1〜数式 5 に各相当する数 式 1 1〜数式 1 5は、 次のよ う になっている。
く数 1 1 >
E上左- G 23— G 021
E上中 = G 23— G 221
E上右 = G 23— G 421
E下左 = G 23— G 041
E下中 = G 23- G 241
E下右- G 23- G 441
<数 1 2 >
total = E上左 + E上中 + E上右 + E下左 + E下中 +
E下右
<数 1 3 〉
W上左 = E上左 Ztotal
W上中 = E上中/ total
W上右 = E上右 Ztotal
W下左 = E下左/ total
W下中 = E下中/ total
W下右 = E下右 Z tota
く数 1 4 >
C r 上左 = G 02- R 02
C 1： 上中 = G 22- R 22
C r 上右 = G 42- R 42
C r 下左- G 04— R 04
C r 下中 = G 24— R 24
C r 下右 = G 44- R 44 R 23= G 23— ∑ C r k · Wk
(k =上左， 上中， 上右， 下左， 下中， 下右） また、 B 23を算出する際の上記数式 1 〜数式 5 に各相当する数 式 1 6〜数式 2 0は、 次のよ う になっている。
く数 1 6 >
E上左 = G 23- G 111
E上右
Figure imgf000017_0001
G 311
E中左 = G 23- G 131
E中右 = G 23- G 331
E下左 = G 23— G 151
E下右 = G 23- G 351
<数 1 7 >
total = £、上左+ £上右+ £中左+ £中右+ £下左+ E下右
<数 1 8 >
W上左 = E上左 total
W上右 = E上右/ total
W中左 = E中左/ total
W中右 = E中右/ total
W下左 = E下左/ total
W下右 = E下右/ total
<数 1 9 >
c b上左 = G 11- B 11
C b上右 = G 31- B 31
C b 中左 = G 13- B 13
C b 中右 = G 33- B 33
C b下左 = G 15- B 15
C b下右 = G 35- B 35 <数 2 0 >
B 23= G 23- ∑ C b k · Wk
上左， 上右， 中左， 中右， 下左， 下右） 次に、 図 4 ( E ) は、 G 32位置の R 32， B S2を捕間する際に用 いる周辺画素の様子を示す図である。
R 32を算出する際の上記数式 1〜数式 5 に各相当する数式 2 1 〜数式 2 5 は、 次のよ う になっている。
ぐ数 2 1 >
E上左 = G 32- G 201
E上右 = G 32- G 401
E中左 = G 32- G 221
E中右 = G 32- G 421
E下左 = G 32- G 241
E下右 = G 32— G 441
く数 2 2 >
total- E上左 + E上右 + E中左 + E中右 + E下左 +
E下右
<数 2 3 >
W上左 = E上左/ total
W上右 = E上右/ total
W中左 = E中左/ total
W中右 = E中右/ total
W下左 = E 左 / total
W下右 = E下右/ total
く数 2 4 >
C r上左 = G 20- R 20
C r上右 = G 40- R 40
C r 中左 = G22— R22 C r 中右 = G 42- R 42
C r 下左 = G 24- R 24
C r 下右 = G 44- R 44
<数 2 5 >
R 32= G 32- ∑ C r k · Wk
上左， 上右， 中左， 中右， 下左， 下右） また、 B 32を算出する際の上記数 5 ¾ 1 〜数式 5に各相当する数 式 2 6〜数式 3 0は、 次のよ う にな - ている。
く数 2 6 〉
E上左 = G 32— G 11
E上中 = G 32- G 31
E上右 = G 32— G 51
E下左 = G 32— G 13
E下中 = G 32- G 33
E下右 = G 32- G 53
<数 2 7 >
total = E上左 + E上中 + E上右 + E下左 + E下中 +
E下右
<数 2 8 〉
W上左 = E上左/ total
W上中 = E上中/ total
W上右 = E上右/ total
W下左 = E下左 / total
W下中 = E下中/ total
W下右 = E下右 Z total
く数 2 9 >
C b上左 = G 11— B 11
〇 13上中 = 031— 831 C b上右 = G 51- B 51
C b下左 = G 13- B 13
C b下中 = G 33- B 33
C b下右- G 53- B 53
く数 3 0 >
B 32 = G 32- ∑ C b k - Wk
上左， 上中， 上右， 下左 このよ う に、 G23位置の欠落成分 R 23, B 23と、 G 32位置の欠 落成分 R 32， B 32と、 を補間する際には、 6方向の重み係数と補 間値 （色差成分） とを用いている。
次に、 図 4 ( F ) は、 R 22位置の B 22を補間する際に用いる周 辺画素の様子を示す図である。
B 22を算出する際の上記数式 1 〜数式 5 に各相当する数式 3 1 〜数式 3 5 は、 次のよ う になっている。
く数 3 1 >
E上左 = 1 G 22- G 11
E上右 = 1 G 22— G 31
E下左 = 1 G 22— G 13
E下右 = 1 G 22- G 33
<数 3 2 >
total= E上左 + E上右 + E下左 + E下右
<数 3 3 >
W上左 = E上左/ tota 1
W上右 = E上右 Z total
W下左 = E下左/ total
W下右 = E下右 Ztotal
<数 3 4 〉
C b上左 = G 11— B 11 C b上右二 G 31- B 31
C b下左 = G 13- B 13
C l^ = G33— B 33
<数 3 5 >
B ∑ C b k · Wk (k =上左， 上右， 下 左， 下右） 次に、 図 4 ( G ) は、 B 33位置の R 33を補間する際に用いる周 辺画素の様子を示す図である。
R 33を算出する際の上記数式 1 〜数式 5 に各相当する数式 3 6 〜数式 4 0は、 次のよ う になつている。
く数 3 6 >
E上左 = I G 33- G 22 |
E上右 = I G 33- G 42 |
E下左 = | G 33- G 24 |
E下右 = | G 33- G 44 |
く数 3 7 >
total = E上左 + E上右 + E下左 + E下右
<数 3 8 >
W上左 = E上左 /total
W上右 = E上右 /total
W下左 = E下左，/ total
W下右 = E下右 / total
く数 3 9 >
C r 上左 = G 22- R 22
C r上右 = G42— R42
C r 下左 = G 24- R 24
C r 下右 = G 44- R 44
<数 4 0 > R 33 = G 33 - ∑ C r k · W k ( k -上左， 上右， 下 左， 下右） 次に、 図 5 を参照して、 検証部 1 2の構成の一例について説明 する。
この検証部 1 2は、 上記作業用バッファ 1 1 に記憶された三板 状態の画像データから所定サイズの領域を順次抽出する抽出手段 たる抽出部 3 1 と、 この抽出部 3 1 によ り抽出された領域の画像 データを記憶する領域バッファ 3 2 と、 この領域バッファ 3 2に 記憶された領域の色相関を示す線形式を算出する相関算出手段た る相関算出部 3 3 と、 この相関算出部 3 3 によ り算出された線形 式における、 単一の色相領域であるか否かを判別するためのバィ ァス項を記憶する係数用バッファ 3 4 と、 この係数用バッファ 3 4 に記憶されたバイアス項の絶対値を所定の閾値と比較して閾値 以下である場合に対応する領域の位置情報を第 2補間部 1 3へ転 送する相関検証手段たる相関検証部 3 5 と、 を有して構成されて いる。
上記制御部 1 6 は、 上記抽出部 3 1 、 相関算出部 3 3、 相関検 証部 3 5 に対して双方向に接続されており、 これらを制御するよ う になつている。
このよ う な検証部 1 2の作用について、 図 6 を参照しながら説 明する。
抽出部 3 1 は、 制御部 1 6 の制御に基づいて、 作業用バッファ 1 1 から所定サィズの領域 (例えば 5 X 5画素サイズの領域） を 順次抽出し、 領域バッファ 3 2へ転送する。
相関算出部 3 3は、 制御部 1 6の制御に基づいて、 領域パッフ ァ 3 2に記憶された領域に対し、 R G B信号間の相関関係を公知 の最小自乗近似に基づいて線形式に回帰する。
すなわち、 R G Bの 3信号を S ( S = R , G , B ) によ り表記 したときに、 2つの色信号 S と S， （ S ≠ S ， ) の間に線形な色 相関が成立する場合には、 次の数式 4 1 に示すよ うな線形式、 く数 4 1 >
S， = a S + β
に回帰される。
図 6 ( Α )は単一の色相で構成される入力画像を示し、図 6 ( Β ) はこの単一の色相で構成される入力画像に対する R— G信号間で の色相関関係の線形式への回帰を示している。 また、 G— Β信号 間での色相関関係の線形式への回帰と、 R— Βの信号間での色相 関関係の線形式への回帰と、 の何れの場合も、 この図 6 ( Β ) に 示したのと同様に行われる。
図 6 ( Β ) に示すよ う に、 入力画像が単一の色相で構成される 場合には、 数式 4 1 のバイアス項 J3 は 0近傍の値をとる。
これに対して、 入力画像が例えば図 6 ( C ) に示すよ う な複数 の色相 （図示の例では第 1 の色相の領域 Aと第 2の色相の領域 B との 2つ） で構成される場合には、 図 6 ( D ) に示すよ う に、 色 相関関係を示す線形式も複数必要となり、 これを一つの線形式に 回帰する と、 バイアス項 ]3 は 0近傍の値から外れるこ とになる。
従って、 入力画像を一つの線形式に回帰した後に、 そのバイァ ス項 を調べるこ とによ り、 該入力画像 （こ こでは入力した領域） が単一の色相で構成されるか否かを判別するこ とができる。
このよ う な原理に基づいて、 上記相関算出部 3 3は、 数式 4 1 に示したバイアス項 を求め、 求めたバイアス項 j3 を係数用バッ ファ 3 4へ転送する。
相関検証部 3 5 は、 係数用バッファ 3 4に記憶されているパィ ァス項 j3の絶対値と所定の閾値とを比較して、 バイアス項 の絶 対値が閾値以下となる場合には、 対応する領域の位置情報を第 2 補間部 1 3へ転送する。 その後に、 相関検証部 3 5が、 第 2補間 部 1 3 での補間処理が完了した旨の情報を制御部 1 6から受ける と、 次の領域へ移行して上述したよ う な処理を行う。
一方、 バイアス項 J3 の絶対値が閾値以上である場合には、 相関 検証部 3 5 は、 第 2補間部 1 3へ何も転送をするこ となく 、 次の 領域へ移行して上述したよ う な処理を行う。
検証部 1 2は、このよ う な処理を、領域を順次移行させながら、 作業用バッファ 1 1 上の全信号に対して行う。
続いて、 図 7 を参照して、 第 2補間部 1 3 の構成の一例につい て説明する。
この第 2補間部 1 3は、 上記画像用バッファ 6 に記憶された画 像データの内の上記検証部 1 2によ り単一の色相領域と判断され た所定サイズの領域を順次抽出する抽出手段たる抽出部 4 1 と、 この抽出部 4 1 によ り抽出された領域の画像データを記憶する領 域バッファ 4 2 と、 この領域バッファ 4 2に記憶された領域の色 相関を示す線形式を算出する相関算出部 4 3 と、 この相関算出部 4 3 によ り算出された線形式を用いて上記領域バッファ 4 2 に記 憶されている原信号から欠落する色信号を算出し上記作業用バッ ファ 1 1 に出力する演算部 4 4 と、 を有して構成されている。 上記制御部 1 6は、 上記抽出部 4 1 、 相関算出部 4 3、 演算部 4 4に対して双方向に接続されており 、 これらを制御するよ う に なっている。
次に、 このよ う な第 2補間部 1 3の作用について説明する。 抽出部 4 1 は、 制御部 1 6の制御に基づいて検証部 1 2から単 一の色相領域と判断される領域の位置情報が転送された場合に、 画像用バッファ 6からその領域を抽出して領域バッファ 4 2へ転 送する。
相関算出部 4 3は、 制御部 1 6 の制御に基づいて、 領域バッフ ァ 4 2上の単板状態の原信号から相関関係を線形式と して回帰す る。
すなわち、 R G Bの 3信号を S ( S = R , G , B ) によ り表記 し、 対象とする領域における S信号の平均を AV— S、 分散を V a r— S とする。 2つの色信号 S と S ， （ S ≠ S， ) の間に線形 な色相関が成立する場合には、次の数式 4 2に示すよ うな線形式、 く数 4 2 〉
S ' = ( V a r _ S ' X V a r _ S ) X ( S — A V一 S ) +
A V_ S '
に回帰される。
相関算出部 4 3は、 この数式 4 2 に示すよ う な線形式を、 R— G , G - B , R _ Bの各信号間において求めて、 その結果を演算 部 4 4へ転送する。
演算部 4 4は、 数式 4 2に示したよ う な線形式と、 領域バッフ ァ 4 2上の原信号とに基づいて、 欠落する色信号を算出して作業 用バッファ 1 1 へ転送する。
このとき、 上述したよ う に第 1補間部 1 0によって得られて作 業用バッファ 1 1 に記憶されている補間値は、 この第 2補間部 1 3 によって得られた補間値によ り上書き されることになる。
演算部 4 4は、 領域内における欠落した色信号を全て算出した 後に、 処理が完了した旨を制御部 1 6へ通知する。
なお、 上述ではハー ドウエアによる処理を前提と していたが、 このよ う な構成に限定される必要はなく 、 例えば、 C C D 4から の信号を未処理のままのロー ( R a w) データ と して、 フィルタ 情報や画像サイズなどをへッダ情報と して付加した後に出力 し、 外部のコンピュータ等において別途のソフ ト ウェアである画像処 理プログラムによ り処理するこ と も可能である。
図 8 を参照して、 画像処理プログラムによる補間処理について 説明する。
処理を開始すると、 まず、 R a wデータでなる原信号と、 へッ ダ情報と、 を読み込んで （ステップ S 1 ) 、 原信号を所定サイズ のブロ ック領域を単位と して抽出する （ステップ S 2 ) 。 そして、 抽出された領域について、 上記数式 1等に示したよ う にして各方向別のエッジ成分を算出し （ステップ S 3 ) 、 上記数 式 2、数式 3等に示したよ う に各方向別の重み係数を算出する（ス テツプ S 4 ) 。
その一方で、 抽出された領域について、 上記数式 4等に示した よ う に各方向別の色差信号の補間値を求める （ステップ S 5 ) 。 続いて、 上記ステップ S 4において求めた重み係数と上記ステ ップ S 5 において求めた補間値とに基づいて、 上記数式 5等に示 したよ う に G信号を算出して出力する （ステップ S 6 ) 。
このよ う な処理が全信号に対応して抽出される全てのプロ ック 領域で完了したか否かを判断し (ステップ S 7 ) 、 完了していな い場合は上記ステップ S 2へ戻って、 次のブロ ック領域について 上述したよ う な処理を繰り返して行う。
一方、 全信号に対応するプロ ック領域についての処理が完了し ている場合には、 原信号と上記ステップ S 6において出力された G信号とを、所定サイズのブロ ック領域を単位と して抽出する（ス テツプ S 8 ) 。
そして、 抽出された領域について、 各方向別のエッジ成分を算 出し （ステップ S 9 ) 、 各方向別の重み係数を算出する （ステツ プ S 1 0 ) 。
その一方で、 上記ステップ S 8 において抽出された領域につい て、 各方向別の色差信号の補間値を求める （ステップ S 1 1 ) 。 続いて、 上記ステップ S 1 0 において求めた重み係数と、 上記 ステップ S 1 1 において求めた補間値とに基づいて、 欠落してい る R信号および B信号を上述と同様に算出し出力する (ステップ S 1 2 ) 。
このよ うな処理が全信号に対応して抽出される全てのプロ ック 領域で完了したか否かを判断し (ステップ S 1 3 ) 、 完了してい ない場合には上記ステップ S 8へ戻って、 次のブロ ック領域につ いて上述したよ うな処理を繰り返して行う。
一方、 全信号に対応するブロ ック領域についての処理が完了し ている場合には、 上記ステップ S 6および上記ステクプ S 1 2 に おいて出力された第 1補間信号を所定サイズのプ ック領域単位 で抽出して （ステップ S 1 4 ) 、 色信号間の相関関係を示す線形 式を、 上記数式 4 1 に示したよ う に求める （ステクプ S 1 5 ) 。
このステップ S 1 5 によ り得られた線形式のパィァス項の絶対 値と所定の閾値 T h とを比較して (ステップ S 1 6 ) 、 バイ アス 項が閾値 T h以下である場合には 、 原信号を所定サィズのブ口 ッ ク領域単位で抽出し （ステップ S 1 7 ) 、 色信号間の相関関係を 示す線形式を、 上記数式 4 2に示したよ う に求めて (ステップ S
1 8 ) 、 この線形式に基づいて欠落する色信号を算出して出力す る (ステップ S 1 9 ) 。 この出力は、 上記ステップ S 6で出力さ れた G信号と上記ステップ S 1 2で出力された R B信号とを上 書きするこ とになる。
一方、 上記ステップ S 1 6 において、 バイァス項が閾値 T h よ り も大きい場合、 または、 上記ステツプ S 1 9 の処理が終了した 場合には、 全信号に対して抽出される全てのブ クク領域での処 理が完了したか否かを判断して （ステップ S 2 0 ) ゝ 完了してい ない場合は上記ステップ S 1 4へ戻って、 次のブ π クク領域につ いて上述したよ う な処理を繰り返して行う。
また、 全てのブロ ック領域での処理が完了している場合には、 補間信号を出力してから （ステツプ S 2 1 ) 、 の処理を終了す o
なお、 上述では第 1補間処理と第 2補間処理とを必ず組み合わ せて処理を行っているが、 これに限定されるものではない。 例え ば、 外部 I / F部 1 7 を介して、 高精細な捕間処理を必要と しな い高圧縮率の画質モー ドが選択された場合や、 あるいは高速処理 が必要と される動画撮影などの撮影モー ドが選択された場合には、 第 2補間処理を行う ことなく第 1補間処理のみを行う よ う にする こと も可能である。 この場合には、 検証部 1 2の動作を停止させ て、 第 2補間部 1 3へ信号が転送されないよ う に、 制御部 1 6 が 制御すればよい。 制御部 1 6が第 2補間処理を行うか否かを判断 する際には、 圧縮率や画像サイズなどの映像信号の画質に係る画 質情報と、 文字画像撮影や動画撮影などのこの撮像システムに設 定されている撮影モー ド情報と、 使用者によ り手動で設定され得 る補間処理の切り換え情報と、 の内の少なく と も 1つの情報を取 得して、 これらの情報の何れか 1 以上に基づいて判断を行う。
また、 上述では原色べィヤー （Bayer) 型の単板 C C Dを例にと つて説明したが、 これに限定されるものでもない。 例えば、 補色 フィルタを備えた単板 C C Dについても同様に適用可能である し、 二板式の撮像系や、 画素ずら しが行われた三板式の撮像系につい ても適用可能である。
このと き、 映像信号を構成するべき色信号の数と して 3色を例 に挙げているが、 これに限らず、 よ り高精度な色再現を行う シス テムに採用されるよ うな例えば 6色であっても構わない'し、 広く は 2色以上の所定数であれば良い。 ただし、 メ タメ リ ズムによつ て通常のカラー画像と して認識される画像を得るためには、 複数 である所定数が 3、 またはそれ以上となる必要があるこ とは公知 の通りである。
このよ うな第 1 の実施形態によれば、 エッジ方向に基づいて補 間処理を行う第 1補間処理と、 色相関に基づいて捕間処理を行う 第 2補間処理と、 を適応的に切り換えるこ とができるために、 高 精度な補間処理を行う ことが可能となる。
また、 捕間処理の切り換えを、 原信号と第 1補間信号との両方 を用いた欠落する色信号のない三板状態の信号で行っているため に、 高精度かつ高速な切り換え処理を行う ことが可能となる。
そして、 エッジ方向に基づいて補間処理を行う こ とによ り、 単 一なエッジ構造からなる領域で高精度な補間処理を行う こ とが可 能となる。 また、 色相関に基づいて補間処理を行う こ とによ り 、 単一な色相からなる領域で高精度な補間処理を行う こ とが可能と なる。
さ らに、 三板状態の信号から相関関係を求めているために、 高 精度な精度検証を行う ことが可能となる。 この相関関係は、 色相 関を使用する補間方法との親和性が高く 、 色相関を使用する補間 方法とそれ以外の補間方法とを切り換え制御するのに適している。
また、 必要に応じて第 2の補間処理および精度検証処理を停止 させて、第 1 の補間処理のみ行う こ とによ り 、処理時間を短縮し、 消費電力を低減するこ とが可能となる。 このと き、 高圧縮である ために高精度な補間を必要と しない場合や、 動画撮影などで高速 な処理が優先される場合などの情報を得るよ う にしたために、 再 度の補間処理を行うか否かの制御を自動化することができ、 操作 性が向上する。 また、 使用者の意図に基づいて手動によ り補間処 理を切り換えるこ とが可能となるために、 処理に関する 自由度が 向上する。
こ う して、 このよ う な撮像システムによれば、 複数の補間手段 を適応的に組み合わせているために、 高精度な補間処理が可能と なる。 また、 複数の補間手段の切り換え制御に原信号と補間され た色信号との両方を組み合わせて使用しているために、 高精度か つ高速な切り換えが可能となる。
図 9から図 1 5 は本発明の第 2の実施形態を示したも のであ り 、 図 9 は撮像システムの構成を示すプロ ッ ク図、 図 1 0は分離部の 一構成例と他の構成例とを示すブロ ック図、 図 1 1 はエッジ抽出 を説明するための図、 図 1 2は第 1補間部の構成を示すブロ ック 図、 図 1 3は検証部の構成を示すブロ ック図、 図 1 4は色相クラ スを説明するための表図、 図 1 5は画像処理プログラムによる補 間処理を示すフローチヤ一トである。 この第 2の実施形態において、 上述の第 1 の実施形態と同様で ある部分については同一の符号を付して説明を省略し、 主と して 異なる点についてのみ説明する。
この第 2の実施形態における撮像システムは、 図 9に示すよ う に、 上述した第 1 の実施形態の構成に、 分離手段たる分離部 5 1 と調整手段たる調整部 5 2 とを追加した構成となっている。
分離部 5 1 は、 上記画像用バッファ 6から所定の局所領域の映 像信号 （原信号） を読み込んで、 映像信号に係る所定の特性と し て、 平坦領域であるかエッジ領域であるかを判断し、 平坦領域で ある場合には該局所領域の映像信号を上記第 1補間部 1 0へ、 ェ ッジ領域である場合には該局所領域の映像信号を第 2補間部 1 3 へ、 それぞれ出力するものである。 この分離部 5 1 は、 平坦領域 である力 ェッン 、、
領域であるかの領域情報を、 さ らに調整部 5 2に も出力するよ う になっている
調整部 5 2はヽ 分離部 5 1 からの領域情報と、 検証部 1 2力、ら の該局所領域が単一色相であるかまたは複数色相領域であるかの 色相情報と 、 に基づいて、 作業用バッファ 1 1 に既に記憶されて いる補間信号をヽ 第 1補間部 1 0または第 2補間部 1 3 に再度補 間させて得られる補間信号によ り置き換える ¾かを調整するも のでめ 。
2は、 - 従つて、 検証部 1 の第 2 の実施形態においては、 検証 した色相情報を第 2補間部 1 3ではなく調整部 5 2へ出力するも のとなっている ο
また、 作条用 <ッファ 1 1 は、 補間信号を検 nit部 1 2へ出力す るたけでな < 、 ΰ周整部 5 2 も出力するものとなつている。
そして、 第 1補間部 1 0は 、 後で図 1 2 を参照して説明するよ うに 、 R信号と Β信号については線形補間を行い、 G信号につい
·
てはキュービック捕間を行 ものとなっており、 また、 検証部 1
2は 、 抽出した領域において画素単位で色相クラスに分類し、 そ の分布状況に基づいて、 単一の色相領域であるかまたは複数の色 相領域であるかを判断するものとなっている。
なお、 制御部 1 6 は、 この第 2 の実施形態において追加された 分離部 5 1 と調整部 5 2 とに対しても双方向に接続されており 、 これらを制御するよ う になっている。
その他の部分の基本的な構成については、 上述した第 1 の実施 形態とほぼ同様である。
このよ う な撮像システムの作用は、 基本的に第 1 の実施形態と 同様であるために、 主と して異なる部分についてのみ、 図 9 を参 照して信号の流れに沿って説明する。
画像用バッファ 6 に記憶されている映像信号は、 制御部 1 6 の 制御に基づいて、 所定の局所領域 （例えば 8 X 8画素） を単位と して分離部 5 1 へ順次転送される。
分離部 5 1 は、 転送された 8 X 8画素の領域中における中心の 2 X 2画素に関して、 複数の所定方向に関するエッジ成分を算出 する。 そして、 分離部 5 1 は、 算出したエッジ成分を所定の閾値 と比較して、 閾値以上の有効なエッジ成分の総数をカウン ト し、 この総数に基づいて平坦領域であるかまたはエッジ領域であるか を判断する。 そして、 分離部 5 1 は、 平坦領域である と判断した 場合には、 8 X 8画素の局所領域を第 1補間部 1 0へ転送し、 一 方、 ェッジ領域であると判断した場合には、 8 X 8画素の局所領 域を第 2補間部 1 3へ転送する。
さ らに、 分離部 5 1 は、 平坦領域であるかまたはエッジ領域で あるかを示す領域情報を、 8 X 8画素領城における中心の 2 X 2 画素単位で全ての領域に関して取得し、 調整部 5 2へ転送する。
第 1捕間部 1 0は、中心の 2 X 2画素に関し、上述したよ う に、 R , B信号に対しては公知の線形捕間処理を、 G信号に対しては 公知のキュービック補間処理を、 それぞれ行って、 欠落する色信 号を算出する。 そして、 第 1補間部 1 0は、 算出した補間信号と 原信号とを作業用バッファ 1 1 へ出力する。
一方、 第 2補間部 1 3は、 上述した第 1 の実施形態と同様に、 中心の 2 X 2画素に対して色相関に基づく補間処理を行い、 算出 した補間信号と原信号とを作業用バッファ 1 1 へ出力する。
このよ う な補間処理が全信号に対して完了した後に、 制御部 1 6 は、 作業用バッファ 1 1 に記憶された三板信号を、 所定の局所 . 領域 （例えば 8 X 8画素） を単位と して検証部 1 2へ順次転送さ せる。
検証部 1 2は、 局所領域内の画素毎に色相を選択して、 1 3種 類の色相クラス （図 1 4参照） の何れかへ分類する。 そして、 検 証部 1 2は、 画素単位で求められた色相ク ラスの分布状況に基づ いて、 該局所領域が単一の色相領域であるかまたは複数の色相領 域であるかを判断し、 求めた色相情報を調整部 5 2へ転送する。
調整部 5 2は、 分離部 5 1 からの平坦領域であるかまたはエツ ジ領域であるかを示す領域情報と、 検証部 1 2からの局所領域が 単一色相であるかまたは複数色相領域であるかを示す色相情報と、 に基づいて、 再度補間処理を行うか否かを調整する。
すなわち、 調整部 5 2は、 「平坦領域かつ複数色相領域」 であ る場合と、 「エッジ領域かつ単一色相領域」 である場合と、 につ いては再度の補間処理を行う こ となく そのまま と し、 一方、 「平 坦領域かつ単一色相領域」 である場合と、 「エッジ領域かつ複数 色相領域」 である場合と、 については再度の補間処理を行う よ う に調整する。
再度の補間処理を行う場合における 「平坦領域かつ単一色相領 域」 は、 最初の補間処理において第 1補間部 1 0 による補間が行 われた領域である。 このときには、 調整部 5 2は、 作業用バッフ ァ 1 1 から該当する領域の原信号を抽出して、 これを第 2補間部 1 3へ転送し、 色相関に基づいて捕間処理を行なわせる。
一方、 再度の補間処理を行う場合における 「エッジ領域かつ複 数色相領域」 は、 最初の補間処理において第 2補間部 1 3 による 補間が行われた領域である。 このときには、 調整部 5 2は、 作業 用バッファ 1 1 から該当する領域の原信号を抽出して、 これを第 1補間部 1 0へ転送し、 線形補間処理またはキュービック補間処 理によ り補間を行わせる。
これらの 2回目の補間処理によ り生成された補間信号は、 作業 用バッファ 1 1 へ出力されて、 該当する領域の 1 回目の補間処理 によ り生成された補間信号に対し、 上書き される。
制御部 1 6は、 検証部 1 2における検証と、 調整部 5 2 におけ る調整作業と、 が作業用バッファ 1 1 内の全信号に対して完了し た後に、 信号処理部 1 4へ三板信号を転送するよ う に制御する。 次に図 1 0 ( A ) を参照して、 分離部 5 1 の構成の一例につい て説明する。
この例に示す分離部 5 1 は、 上記画像用バッファ 6 に記憶され た画像データから所定サイズの領域を順次抽出する抽出手段たる 抽出部 6 1 と、 この抽出部 6 1 によ り抽出された領域の画像デー タを記憶する領域バッファ 6 2 と、 この領域バッファ 6 2に記憶 された領域のエッジ成分を算出するエッジ算出手段たるエッジ抽 出部 6 3 と、 このエッジ抽出部 6 3によ り算出されたエッジ成分 を所定の閾値と比較して該閾値以上となる有効エッジ成分の総数 をカウン ト し該総数が領域全体の数の半数以上である場合にはェ ッジ領域である と判断し半数未満の場合には平坦領域である と判 断して判断結果を上記調整部 5 2 に出力する と と もに後述する転 送部 6 5へ出力する映像信号分離手段たる映像信号分離部 6 4 と、 この映像信号分離部 6 4による判断が平坦領域である場合には上 記第 1補間部 1 0へまたエッジ領域である場合には上記第 2 の補 間部 1 3へ上記領域バッファ 6 2からの原信号を転送する映像信 号分離手段たる転送部 6 5 と、 を有して構成されている。
また、 制御部 1 6は、 上記抽出部 6 1 、 エッジ抽出部 6 3、 映 像信号分離部 6 4、転送部 6 5 に対して双方向に接続されており、 これらを制御するよ う になっている。
次に、 このよ う な分離部 5 1 の作用について説明する。
抽出部 6 1 は、 制御部 1 6 の制御に基づいて、 画像用バッ フ ァ 6から所定サイズ （例えば 8 X 8画素） のブロ ック領域を単位と して順次抽出し、 領域バ ッ フ ァ 6 2 へ転送する。
後段におけるエッジ抽出処理が各領域の中央部の 2 X 2画素位 置で行われるために、 抽出部 6 1 が 8 X 8画素サイ ズの領域を抽 出する際には、 X方向位置または Y方向位置を 2画素ずつずら し て、 X方向または Y方向にそれぞれ 6画素ずつ重複するよ う にし ながら、 順次抽出を行っていく こ とになる。
エッジ抽出部 6 3は、 制御部 1 6 の制御に基づいて、 領域バ ッ フ ァ 6 2に記憶されている原信号でなる領域の中央部の 2 X 2画 素について、 R G Bの各信号別にエッジ成分を算出する。
図 1 1 を参照して、 エッジ抽出部 6 3 によるエッジ成分の算出 方法について説明する。
R信号と B信号に関しては上下左右の 4方向、 G信号に関して は斜め 4 5度の 4方向、について差分の絶対値をとるこ とによ り 、 エッジ成分の算出を行う。
まず、 R信号については、 図 1 1 ( A ) に示すよ うに、 着目画 素に対して 1画素間をおいて上下左右に離れた各信号 R 0 , R 3， R 1 , R 2 との差分の絶対値を、 次の数式 4 3 に示すよ う にと る。
<数 4 3 >
E 0 = I R— R 0 I
E 1 = I R - R 1 I
E 2 = I R— R 2 )
E 3 = I R - R 3 I また、 G信号については、 図 ( B ) に示すよ う に、 着目画 素に対して左上、 右上、 左下、 右下に位置する各信号 G O , G 1 , G 2 ， G 3 との差分の絶対値を次の数式 4 4 に示すよ う にと る。 <数 4 4 >
E 0 = 1 G - G
E 1 = 1 G一 G
E 2 = 1 G一 G
E 3 = I G一 G さ らに、 B信号については、 図 1 1 ( C ) に示すよ う に、 着目 画素に対して 1画素間をおいて上下左右に離れた各信号 B 0 ， B 3 ， B 1 ' B 2 との差分の絶対値を次の数式 4 5 に示すよ う にと る。 く数 4 5 >
E 0 = 1 B - B
E 1 = 1 B 一 B
E 2 = 1 B 一 B
E 3 = 1 B 一 B このよ う にして、中央部の 2 X 2画素、つま り 4画素に対して、 各々 4方向のエッジ成分の算出を行っているために、 求められる エッジ成分は合計 1 6種類となる。
こ う してエッジ抽出部 6 3 によ り求められたエッジ成分は、 映 像信号分離部 6 4 へ転送される。
映像信号分離部 6 4は、 受け取ったエッジ成分を所定の閾値、 例えば上記 A / D変換器 5 の出力幅が 1 2 b i t である場合には 2 5 6、 と比較して、 この閾値以上となるエッジ成分を有効ェッ ジ成分である とする。
この有効エッジ成分の数の合計が全体の過半数である場合、 つ ま り上述したよ う な例においてはエッジ成分の総数が 1 6である ために有効エッジ成分の数の合計が 8以上である場合に、 該領域 がエッジ領域である と判断する。 これに対して、 有効エッジ成分 の数の合計が全体の過半数に満たない場合 （つま り 7以下である 場合） には、 平坦領域である と判断する。
この映像信号分離部 6 4による判断結果は、 調整部 5 2へ転送 される と と もに、 転送部 6 5へ転送される。
転送部 6 5は、 映像信号分離部 6 4から送られてきた判断結果 が平坦領域であるこ と を示すものである場合には、 上記領域バッ ファ 6 2からの原信号を第 1捕間部 1 0へ転送し、 一方、 エッジ 領域であるこ とを示すものである場合には、 第 2補間部 1 3へ転 送する。
制御部 1 6 は、 上述したよ うな処理を画像用バッファ 6上の全 ての原信号に対して行う よ う に分離部 5 1 を制御する。
次に、 図 1 2 を参照して、 第 1補間部 1 0の構成の一例につい て説明する。
この第 1補間部 1 0 は、 上記分離部 5 1 からの映像信号におけ る所定サイズの領域を順次抽出する抽出手段たる抽出部 7 1 と、 この抽出部 7 1 によ り抽出された領域の画像データを記憶する領 域バッファ 7 2 と、 この領域バッファ 7 2に記憶された領域につ いて欠落する R信号と B信号とを公知の線形補間によ り補間し上 記作業用バッファ 1 1 に出力する演算手段たる R B線形補間部 7 3 と、 上記領域バッファ 7 2に記憶された領域について欠落する G信号を公知のキュービック補間によ り補間し上記作業用バッフ ァ 1 1 に出力する演算手段たる Gキュービック補間部 7 4 と、 を 有して構成されている。
また、 制御部 1 6は、 上記抽出部 7 1 、 R B線形補間部 7 3 、 Gキュービック補間部 7 4に対して双方向に接続されており 、 こ れらを制御するよ う になっている。
次に、 このよ う な第 1補間部 1 0の作用について説明する。 抽出部 7 1 は、 制御部 1 6 の制御に基づいて、 分離部 5 1 から 所定サイズ （例えば 8 X 8画素） のブロ ック領域を単位と して抽 出し、 領域バッファ 7 2へ転送する。
R B線形捕間部 7 3は、 領域バッファ 7 2に記憶された 8 X 8 画素領域の中央部の 2 X 2画素に対して、 欠落する R信号と B信 号とを公知の線形補間処理によ り算出し、 作業用バッファ 1 1 へ 出力する。
一方、 Gキュービック捕間部 7 4は、 領域バッファ 7 2に記憶 された 8 X 8画素領域の中央部 2 X 2画素に対して、 欠落する G 信号を公知のキュービック補間処理によ り算出し、 作業用バッフ ァ 1 1 へ出力する。
続いて、 図 1 3 を参照して、 検証部 1 2の構成の一例について 説明する。
この検証部 1 2は、 上記作業用バッファ 1 1 に記憶された三板 状態の画像データから所定サイズの領域を順次抽出する抽出手段 たる抽出部 8 1 と、 この抽出部 8 1 によ り抽出された領域の画像 データを記憶する領域バッファ 8 2 と、 この領域バッファ 8 2 に 記憶された領域の色相ク ラスを R G B値の大小関係に基づき算出 する色相算出手段たる色相算出部 8 3 と、 この色相算出部 8 3 に よ り算出された色相ク ラスを示す係数を記憶する係数用バッファ 8 4 と、 この係数用バッファ 8 4に記憶された係数に基づき色相 ク ラスの分布状況を調べて領域が単一の色相領域であるかまたは 複数の色相領域であるかを判断しその検証結果を上記調整部 5 2 に出力する色相検証手段たる色相検証部 8 5 と、 を有して構成さ れている。
また、 制御部 1 6 は、 上記抽出部 8 1、 色相算出部 8 3、 色相 検証部 8 5に対して双方向に接続されており 、 これらを制御する よ う になってレヽる。
次に、 このよ うな検証部 1 2の作用について説明する。
抽出部 8 1 は、 制御部 1 6 の制御に基づいて、 作業用バッファ 1 1 から所定サイズ （例えば 8 X 8画素サイズ） の領域を順次抽 出し、 領域バッファ 8 2へ転送する。
色相算出部 8 3は、 制御部 1 6 の制御に基づいて、 この領域バ ッファ 8 2に記憶された領域の各画素に関して、 R G B値の大小 関係に基づき色相クラスを算出する。
図 1 4 を参照して、 R G B値の大小関係に応じて 1 3 に分類さ れる色相クラスについて説明する。
図示のよ フ に 、クラス 0は R = G = B、ク ラス 1 は B > R > G、 ク ラス 2 は R B > G、 ク ラス 3 は R > B > G 、 ク ラス 4 は R >
G = B 、 クラス 5 は R〉 G > B、 クラス 6 は R = G > B 、 ク ラス
7 は G > R > B 、ク ラス 8は G > R = B、ク ラス 9 は G > B > R、 ク ラス 1 0は G = B > R、 ク ラス 1 1 は B > G > R、 ク ラス 1 2 は B > R = Gヽ のそれぞれの大小関係が成り立つときに対応して いる。
なお 、 色相算出部 8 3は、 R G B値の大小関係を算出するに当 たって 、 微小変化の影響を取り除 < ための所定の係数、 例えば A
/ D変換器 5 の出力幅が 1 2 b i t である士县 Aには 3 2、 で除算 した後に、 図 1 2に示すよ う な R G B値の大小関係を各画素単位 で PM ^して色相ク ラスを求めるよ Ό になつている。 このよ う な 3
2 による除算はヽ 1 2 b i t のデ一タにおける下位 5 b i t を取 り除く こ とに当たるために、 色相クラスを上位 7 b i t のデータ に基づいて求めるこ とに相当 してい
このよ う にして求められた色相クラスによる分類結果は、 係数 用ノ ッファ 8 4 転送されて保存さ
色相検証部 8 5は、 制御部 1 6 の制御に基づいて、 係数用バッ ファ 8 4に言己憶された色相クラスの分布状況を調べ、 領域が単一 の色相領域であるかまたは複数の色相領域であるかを判断する。 この判断は、 領域サイズに対して所定の割合 （例えば 7 0 % ) 以 上が一つの色相クラスで構成されている場合に、 単一の色相であ 5
- 37 - る とする、 などによ り行われる。
具体的には、 上述した例では 8 X 8画素サイズの領域を想定し ているために、 色相ク ラスに分類される画素は 6 4存在し、 その 7 0 %である 4 5画素以上が同一の色相ク ラスで構成されている 場合に単一の色相領域である と判断し、 4 5画素未満の場合には 複数の色相領域である と判断するよ う になっている。
この色相検証部 8 5 による判断結果は、 上記調整部 5 2へ転送 される。
なお、 上述では、 分離部 5 1 が、 エッジ情報に基づいて原信号 の分離を行う ものとなっていたが、 このよ う な構成に限定される 必要はなく 、 例えば、 図 1 0 ( B ) に示すよ うな相関情報を用い るタイプのものであっても良い。
図 1 0 ( B ) を参照して、 分離部 5 1 の構成の他の例について 説明する。 この図 1 0 ( B ) に示す分離部 5 1 の基本的な構成は、 上記図 1 0 ( A ) に示した分離部 5 1 とほぼ同様であるために、 同一の構成要件については同一の符号と名称とを付して説明を省 略する。
この図 1 0 ( B ) に示す分離部 5 1 は、 上記図 1 0 ( A ) に示 した分離部 5 1 におけるエッジ抽出部 6 3 を、 相関算出手段たる 相関算出部 6 6 に置き換えたものとなっていて、 これが差異の要 部となっている。
上記相関算出部 6 6 は、 領域バッファ 6 2から読み込んだ領域 における各色信号間の相関関係を、 上記第 1 の実施形態の数式 4 2 に示したよ う な線形式に回帰する。 そして、 該相関算出部 6 6 は、 この線形式における定数項を、 上記映像信号分離部 6 4へ転 送する。
映像信号分離部 6 4は、 上記定数項の絶対値を所定の閾値と比 較して、閾値未満となる場合には単一の色相領域である と判断し、 閾値以上となる場合には複数の色相領域である と判断する。 そし て、 映像信号分離部 6 4は、 この判断結果を上記調整部 5 2へ転 送する と と もに転送部 6 5へ転送する。
転送部 6 5 は、 映像信号分離部 6 4から送られてきた判断結果 が複数の色相領域であることを示すものである場合には、 上記領 域バッファ 6 2 からの原信号を第 1補間部 1 0へ転送し、 一方、 単一の色相領域であるこ とを示すものである場合には、 第 2補間 部 1 3へ転送する。
なお、 上述ではハー ドウエアによる処理を前提と していたが、 このよ う な構成に限定される必要はなく 、 例えば、 C C D 4から の信号を未処理のままのロー （R a w ) データ と して、 フィルタ 情報や画像サイズなどをヘッダ情報と して付加した後に出力し、 外部のコ ンピュータ等において別途のソ フ トウェアである画像処 理プログラムによ り処理するこ と も可能である。
図 1 5 を参照して、 画像処理プログラムによる補間処理につい て説明する。
図 1 5 ( A ) に示すよ うに、 処理を開始すると、 まず、 R a w データでなる原信号とヘッダ情報とを読み込む（ステップ S 3 1 )。
そして、 原信号を所定サイズのブロ ック領域を単位と して抽出 し （ステップ S 3 2 ) 、 図 1 1 に示したよ うに、 複数方向のエツ ジ成分を抽出する (ステップ S 3 3 ) 。
次に、 領域が平坦.領域であるかまたはェッジ領域であるかを判 断するための分離情報と して、 上記エッジ成分の総数を出力して 保存する （ステ ップ S 3 4 ) 。
その後、 所定の閾値 T h とエッジ成分の総数と を比較する こ と によ り、 領域が平坦領域であるかまたはエッジ領域であるかを判 断する (ステップ S 3 5 )
こ こで、 エッジ成分の総数が閾値 T h未満であって平坦領域で ある と判断される場合には、後述するステップ S 4 2 (図 1 5 ( B ) 参照） へ移行して、 後述するステップ S 4 5までの処理を行った 後に、 次のステップ S 3 6 へ移行する。
また、 エッジ成分の総数が閾値 T h以上であってエッジ領域で ある と判断される場合には、後述するステップ S 4 6 (図 1 5 ( C ) 参照） へ移行して、 後述するステップ S 4 8までの処理を行った 後に、 次のステップ S 3 6 へ移行する。
そして、 全信号に対応する全てのプロ ック領域で抽出が完了し たか否かを判断し (ステップ S 3 6 ) 、 完了していない場合には 上記ステップ S 3 2 へ戻って次のブロ ック領域の抽出を行う。
また、 全ブロ ックの抽出が完了している場合には、 捕間処理後 の信号を所定サイズのプロ ック領域を単位と して抽出し (ステツ プ S 3 7 ) 、 図 1 4に示したよ う な 1 3 の色相ク ラスへ分類する こ とによ り色相マップを算出して、 該ブロ ック領域が単一色相領 域であるかまたは複数色相領域であるかを定める （ステップ S 3 8 ) 。
ここで、 上記ステップ S 3 5において出力された平坦領域また はエッジ領域に関する分離情報を入力して、 次のステップ S 4 0 の処理へ転送する (ステップ S 3 9 ) 。
そして、 上記ステップ S 3 8において算出した色相情報と、 こ のステップ S 3 9 において転送された分離情報と、 に基づいて、 再度の捕間処理を行うか行わないか、 行う場合には図 1 5 ( B ) に示す補間処理と、 図 1 5 ( C ) に示す補間処理との何れを行う か、 を選択する (ステップ S 4 0 ) 。
すなわち、 再度の補間処理が必要でない 「平坦領域かつ複数色 相領域」 である場合と、 「エッジ領域かつ単一色相領域」 である 場合と、 については次のステップ S 4 1 へ移行し、 「エッジ領域 かつ複数色相領域」 である場合については後述するステップ S 4 2 (図 1 5 ( B ) 参照） へ行ってステップ S 4 5までの処理を行 つた後に次のステップ S 4 1へ移行し、 「平坦領域かつ単一色相 領域」である場合については後述するステップ S 4 6 (図 1 5 ( C ) 参照） へ行ってステップ S 4 8 までの処理を行った後に次のステ ップ S 4 1 へ移行する。
そして、 全信号に対する全てのプロ ック領域についての抽出が 完了したか否かを判断し (ステップ S 4 1 ) 、 完了していない場 合は上記ステップ S 3 7へ戻って次のプロ ックの抽出を行い、 一 方、 完了した場合にはこの処理を終了する。
次に、 図 1 5 ( B ) に示すよ う なステップ S 4 2 〜 S 4 5 の補 間処理について説明する。
この補間処理を開始する と、 まず、 原信号から所定サイズのブ ロ ック領域を抽出する （ステップ S 4 2 ) 。
そして、 欠落する R信号と B信号とを線形補間処理によ り算出 する と と もに (ステップ S 4 3 ) 、 欠落する G信号をキュービッ ク補間処理によ り算出する （ステップ S 4 4 ) 。
その後、 原信号と補間信号とを合わせて出力し （ステップ S 4 5 ) 、 上記図 1 5 ( A) の処理に戻る。
続いて、 図 1 5 ( C ) に示すよ う なステップ S 4 6 〜 S 4 8 の 補間処理について説明する。
この補間処理を開始する と、 まず、 原信号から所定サイズのブ ロ ック領域を抽出する （ステップ S 4 6 ) 。
そ して、 上述した第 1 の実施形態の数式 4 2 に基づいて、 相関 関係を線形式と して求め、 求めた線形式に基づいて欠落する色信 号を算出する (ステップ S 4 7 ) 。
その後、 原信号と補間信号とを合わせて出力し (ステツプ S 4 8 ) 、 上記図 1 5 ( A ) の処理に戻る。
なお、 上述では第 1補間処理と第 2補間処理とを必ず組み合わ せて処理を行っているが、 これに限定されるものではない。 例え ば、 外部 I / F部 1 7 を介して、 原信号からの分離結果に基づく 2つの補間処理だけを行って、 再度の補間処理を行わないよ う に するこ と も可能である。 この場合には、 検証部 1 2の動作と調整 部 5 2の動作とを停止させるよ う に制御部 1 6が制御すればよレ、。 制御部 1 6がこれらの動作を停止させるか否かを判断する際には、 圧縮率や画像サイズなどの映像信号の画質に係る画質情報と、 文 字画像撮影や動画撮影などのこの撮像システムに設定されている 撮影モー ド情報と、 使用者によ り手動で設定され得る補間処理の 切り換え情報と、 の内の少なく と も 1つの情報を取得して、 これ らの情報の何れか 1以上に基づいて判断を行う。
また、 上述では、 第 1補間処理と して線形捕間またはキュービ ック補間処理を行う構成を説明しているが、 これに限定されるも のでもない。 例えば、 上述した第 1 の実施形態における第 1補間 処理と同様に、 エッジ方向に基づく補間処理などを行う構成であ つても良いし、 これに限らず第 2補間処理とは異なる特性となる よ う な任意の特性を備えた第 1補間処理であれば良い。 つま り 、 第 1補間処理と第 2補間処理とが異なる特性同士の組み合わせと なれば良いのである。
さ らに、 上述では原色べィヤー （Bayer) 型の単板 C C Dを例に とって説明したが、 これに限定される ものでもない。 例えば、 補 色フィルタを備えた単板 C C Dについても同様に適用可能である し、 二板式の撮像系や、 画素ずら しが行われた三板式の撮像系に ついても適用可能である。
このよ うな第 2の実施形態によれば、 上述した第 1 の実施形態 とほぼ同様の効果を奏する と と もに、 互いに異なる特性の第 1補 間処理と第 2補間処理とを適応的に組み合わせて補間を行ってい るために、 全体と して高精度な補間信号を得るこ とができる。
また、 原信号に基づいて第 1 の補間処理と第 2 の補間処理とを 概略的に選択し、 その後に、 原信号と補間信号とに基づいて精密 な精度検証を行い補間処理をやり直すよ う にしているために、 補 間処理をやり直す領域が減少して、 処理速度の向上を図るこ とが 可能となる。 さ らに、 視覚特性に整合するよ う に、 輝度信号に近い G信号は キュービック捕間によつて、 その他の色信号である R信号および B信号とは線形補間によって、 それぞれ処理しているために、 全 体と しての画質の低下を抑えつつ、 高速な補間処理を行う こ とが 可能となる。
そして、 原信号と捕間信号とを合わせた欠落する色信号のない 三板状態の信号で色相情報を求めているために、 高精度な精度検 証を行う こ とが可能となる。 また、 この色相情報の算出は、 計算 量が少ないために、 高速な処理を行う ことが可能となる。
加えて、 原信号の分離を、 エッジ情報または相関情報に基づき 行っているために、 適切な処理を高速に行う こ とが可能となる。 エッジ情報は、 エッジ方向を使用する補間方法との親和性が高い ために、 エッジ方向を使用する補間方法とそれ以外の補間方法と の切り換え制御に適する利点がある。 一方、 相関情報は、 色相関 を使用する捕間方法との親和性が高いために、 色相関を使用する 補間方法とそれ以外の補間方法との切り換え制御に適する利点が ある。
また、 必要に応じて、 原信号からの分離結果に基づく 2つの補 間処理だけを行って再度の補間処理を行わないよ う にするこ とに よ り 、 処理時間を短縮して、 消費電力を低減することが可能とな る。 このと き、 高圧縮であるために高精度な補間を必要と しない 場合や、 動画撮影などで高速な処理が優先される場合などの情報 を得るよ う にしたために、 再度の捕間処理を行うか否かの制御を 自動化するこ とができ、 操作性が向上する。 また、 使用者の意図 に基づいて手動によ り補間処理を切り換えるこ とが可能となるた めに、 処理に関する自由度が向上する。
図 1 6から図 1 8は本発明の第 3の実施形態を示したものであ り 、 図 1 6 は撮像システムの構成を示すブロ ック図、 図 1 7 は検 証部の構成を示すブロ ック図、 図 1 8 は画像処理プログラムによ る補間処理を示すフローチヤ一トである。
この第 3の実施形態において、 上述の第 1 , 第 2の実施形態と 同様である部分については同一の符号を付して説明を省略し、 主 と して異なる点についてのみ説明する。
この第 3 の実施形態における撮像システムは、 図 1 6 に示すよ う に、 上述した第 1 の実施形態の構成に、 選択手段たる選択部 9 0を追加した構成となっている。
この選択部 9 0は、上記検証部 1 2による検証結果に基づいて、 上記作業用バッファ 1 1 に記憶されている第 1補間部 1 0 による 補間信号と第 2補間部 1 3 による補間信号との何れか一方の選択 を行い、 信号処理部 1 4へ出力するものである。
従って、 検証部 1 2は、 この第 3 の実施形態においては、 検証 結果を第 2補間部 1 3ではなく選択部 9 0へ出力するものとなつ ている。
また、 作業用バッファ 1 1 は、 補間信号を検証部 1 2へ出力す ると と もに、 信号処理部 1 4に代えて選択部 9 0へ出力するもの となっている。
その他の部分の基本的な構成については、 上述した第 1 の実施 形態とほぼ同様である。
なお、 制御部 1 6 は、 この第 3 の実施形態において追加された 選択部 9 0 に対しても双方向に接続されており、 これを制御する よ う になっている。
このよ う な撮像システムの作用は、 基本的に第 1 の実施形態と 同様であるために、 主と して異なる部分についてのみ、 図 1 6 を 参照して信号の流れに沿って説明する。
画像用バッファ 6 に記憶されている映像信号は、 制御部 1 6の 制御に基づいて、 第 1捕間部 1 0 と第 2補間部 1 3 とによって 各々独立に補間処理が行われる。 このときの各補間処理は、 上述 した第 1 の実施形態と同様に、 第 1補間部 1 0がエッジ方向に基 づく補間処理であり、 第 2補間部 1 3が色相関に基づく補間処理 となっている。
第 1補間部 1 0 による補間信号と第 2補間部 1 3 による補間信 号とは、 作業用バッファ 1 1へそれぞれ転送されて、 上書き され るこ となく各独立に保存される。
このよ う な補間処理が全信号に対して完了した後に、 制御部 1 6 は、 作業用バッファ 1 1 に記憶されている三板信号を、 所定の 局所領域 （例えば 8 X 8画素） を単位と して、 検証部 1 2 へ順次 転送させる のときの三板信号は、 原信号および第 1補間部 1 0 による補間信号でなる三板信号と、 原信号および第 2補間部 1
3 による補間信号でなる三板信号と、 の一対である。
検証部 1 2は 、 R G B の三板信号から輝度信号を求めて、 公知 のラプラシァン処理などによ りエッジ成分を画素単位で算出する そしてヽ 該検証部 1 2は、 所定の閾値以上のエッジ成分を有効な ェッシ成分と して、 局所領域内における有効なエッジ成分の総数 を求める。 このとき、 第 1補間部 1 0による捕間信号と第 2補間 部 1 3 による補間信号とで上記総数が異なる場合には、 該検証部 1 2は、 多い方を選択する。 こ う して検証部 1 2は、 有効なエツ ジ成分の総数を、 選択情報と して選択部 9 0 へ転送する。
選択部 9 0は、 制御部 1 6 の制御に基づいて、 検証部 1 2から の有効なエッジ成分の総数を用いて、 第 1補間部 1 0による捕間 信号と第 2補間部 1 3による補間信号との何れか一方を選択する。 すなわち、 選択部 9 0は、 有効なエッジ成分の総数が所定の閾値 以上である場合にはエッジ領域である と して第 1補間部 1 0 によ る補間信号を選択し、 所定の閾値未満である場合には平坦領域で ある と して第 2補間部 1 3 による補間信号を選択する。
制御部 1 6 は、 検証部 1 2による検証と、 選択部 9 0 による選 択作業と、 を作業用バッファ 1 1 内の全信号に対して行わせるよ う に制御し、 選択された信号を信号処理部 1 4 へ順次転送する。 次に、 図 1 7 を参照して、 検証部 1 2の構成の一例について説 明する。
この検証部 1 2は、 上記作業用バッファ 1 1 に記憶された画像 データから所定サイズの領域を順次抽出する抽出手段たる抽出部 9 1 と、 この抽出部 9 1 によ り抽出された領域の画像データを記 憶する領域バッファ 9 2 と、 この領域バッファ 9 2に記憶された 領域のエッジ成分を抽出するエッジ算出手段たるエッジ算出部 9 3 と、 このエッジ算出部 9 3 によ り算出されたエッジ成分を記憶 する係数用バッファ 9 4 と、 この係数用バッファ 9 4に記憶され ているエッジ成分を所定の閾値と比較して閾値以上となる有効ェ ッジ成分の総数を求め第 1補間部 1 0による補間信号に基づく総 数と第 2補間部 1 3 による補間信号に基づく総数との内の大きい 方の総数を選択情報と して選択部 9 0 へ出力するエッジ検証手段 たるエッジ検証部 9 5 と、 を有して構成されている。
また、 制御部 1 6 は、 上記抽出部 9 1、 エッジ算出部 9 3、 ェ ッジ検証部 9 5 に対して双方向に接続されており 、 これらを制御 するよ うになつている。
次に、 このよ う な検証部 1 2 の作用について説明する。
抽出部 9 1 は、 制御部 1 6 の制御に基づいて、 作業用バッファ 1 1 から所定サイズ （例えば 8 X 8画素サイズ） の領域を順次抽 出し、 領域バッファ 9 2へ転送する。
エッジ算出部 9 3 は、 制御部 1 6 の制御に基づいて、 この領域 バッファ 9 2に記憶された領域の各画素に対して、 R G B信号値 から輝度信号 Yを次の数式 4 6 に示すよ う に算出する。
く数 4 6 >
Y = 0 . 2 9 9 R + 0 . 5 8 7 G + 0 . 1 1 4
B さ らに、 エッジ算出部 9 3は、 算出した輝度信号 Yに対して、 公知のラプラシア ン処理を行う ことによ りエッジ成分を求める。 このときのラプラシアン処理は、 3 X 3 フィルタによ り行うため に、 エッジ成分は 8 X 8画素の領域における中央部の 6 X 6画素 で得られるこ とになる。 従って、 抽出部 9 1 が 8 X 8画素サイズ の領域を抽出する際には、 X方向位置または Y方向位置を 6画素 ずつずら して、 X方向または Y方向にそれぞれ 2画素ずつ重複す るよ う にしながら、 順次抽出を行っていく こ とになる。
こ う して得られた 6 X 6画素でのエッジ成分は、 エッジ算出部
9 3から係数用パッファ 9 4に転送される。
エッジ検証部 9 5 は 、 制御部 1 6 の制御に基づいて、 係数用バ ッ フ ァ 9 4 に記憶されたェ ジ成分を順次読み込み、 これを所定 の閾値、 例えば上記 A / D変換器 5 の出力幅が 1 2 b i t である 場合には 2 5 6、 と比較して 、- この閾値以上となるエッジ成分を 有効エッジ成分である とする 。 エッジ検証部 9 5は、 こ う して有 効エッジ成分である と判定されたものの総数を求める。
このよ う なエッジ検証部 9 5 における処理は、 制御部 1 6の制 御に基づいて、 作業用ノ 、、/ フ ァ 1 1 に記憶されている、 原信号お よぴ第 1補間部 1 0によ ο補間信号と、 原信号および第 2補間部
1 3 による補間信号と 、 の一対に対してそれぞれ行われる。
エッジ検証部 9 5 は 、 - う して得られた有効エッジ成分の総数 の内の、 何れか大きい方の 数を、 選択情報と して選択部 9 0 に 転送する。
なお、 上述ではハ一 ゥェァによる処理を前提と していたが、 このよ う な構成に限定される必要はなく 、 例えば、 C C D 4から の信号を未処理のままの口一 ( R a w ) データ と して、 フ ィルタ 情報や画像サイズなどをへッダ情報と して付加した後に出力し、 外部のコンピュータ等において別途のソフ ト ウエアである画像処 理プログラムによ り処理するこ とも可能である。
図 1 8 を参照して 、 画像処理プログラムによる補間処理につい て説明する。
処理を開始すると、 まず、 R a wデータでなる原信号とヘッダ 情報とを読み込む （ステップ S 5 1 ) 。
そして、 原信号を所定サイズのブロ ック領域を単位と して抽出 し （ステップ S 5 2 ) 、 上述した第 1 の実施形態の図 4に示した よ う に、 複数方向のエッジ成分を抽出して （ステップ S 5 3 ) 、 各方向別の重み係数を算出する （ステップ S 5 4 ) 。
また、 上記ステップ S 5 2において抽出したブロ ック領域につ いて、各方向別の色差信号の捕間値を求める （ステップ S 5 5 ) 。
こ う して、 上記ステップ S 5 4 において求めた重み係数と、 上 記ステップ S 5 5 において求めた補間値と、 に基づき、 最終的な 補間信号を算出して出力する （ステップ S 5 6 ) 。
次に、 全信号に対応する全てのブロ ック領域について抽出が完 了したか否かを判断し (ステップ S 5 7 ) 、 完了していない場合 には上記ステップ S 5 2 へ戻って次のブロ ック領域の抽出を行い、 完了している場合には後述するステップ S 6 2 へ移行する。
一方、 上記ステップ S 5 1 で読み込んだ原信号を、 所定サイズ のブロ ック領域を単位と して抽出し （ステップ S 5 8 ) 、 上述し た第 1 の実施形態の数式 4 2 に示したよ う に、 色信号間の相関関 係を線形式と して求めて （ステップ S 5 9 ) 、 求めた線形式に基 づいて補間信号を算出し出力する （ステップ S 6 0 ) 。
その後、 全信号に対応する全てのブロ ック領域について抽出が 完了したか否かを判断し (ステップ S 6 1 ) 、 完了していない場 合には上記ステップ S 5 8 へ戻って次のプロ ック領域の抽出を行 い、 完了している場合には後述するステップ S 6 2へ移行する。
そして、 原信号と、 上記ステップ S 5 6 において出力された補 間信号と、 上記ステップ S 6 0において出力された補間信号と、 を所定サイズのプロ ック領域を単位と して抽出し （ステップ S 6 2 ) 、 有効なエッジ成分の総数を算出する （ステップ S 6 3 ) 。 次に、 算出した総数に基づいて、 上記ステップ S 5 6 において 出力された補間信号と上記ステップ S 6 0 において出力された補 間信号との何れか一方を選択するための選択情報を求めて、 求め た選択情報に基づき補間信号の選択を行う （ステップ S 6 4 ) 。
こ う して選択された捕間信号を出力し （ステップ S 6 5 ) 、 全 信号に対応する全てのブロ ック領域について抽出が完了したか否 かを判断して (ステップ S 6 6 ) 、 完了していない場合には上記 ステップ S 6 2 へ戻って次のブロ ック領域の抽出を行い、 完了し ている場合にはこの処理を終了する。
なお、 上述では第 1補間処理と第 2補間処理とを必ず組み合わ せて処理を行っているが、 これに限定されるものではない。 例え ば、 外部 I Z F部 1 7 を介して、 何れか一方の補間処理のみを選 択すること も可能である。 この場合には、 検証部 1 2の動作と第 2補間部 1 3の動作とを停止させる と と もに選択部 9 0 に対して 第 1補間部 1 0 による補間信号のみを選択させるよ う に制御部 1 6が制御すればよい。 制御部 1 6がこれらの動作を停止させるか 否かを判断する際には、 圧縮率や画像サイズなどの映像信号の画 質に係る画質情報と、 文字画像撮影や動画撮影などのこの撮像シ ステムに設定されている撮影モー ド情報と、 使用者によ り手動で 設定され得る補間処理の切り換え情報と、 の内の少なく と も 1つ の情報を取得して、 これらの情報の何れか 1以上に基づいて判断 を行う。
また、 上述では原色べィヤー （ Bayer ) 型の単板 C C Dを例にと つて説明したが、 これに限定されるものでもない。 例えば、 補色 フィルタを備えた単板 C C Dについても同様に適用可能である し、 二板式の撮像系や、 画素ずら しが行われた三板式の撮像系につい ても適用可能である。
このよ う な第 3 の実施形態によれば、 上述した第 1 ， 第 2 の実 施形態とほぼ同様の効果を奏する と と もに、 エッジ方向に基づく 第 1 の補間処理と色相関に基づく第 2の補間処理との両方によ り 補間をそれぞれ行って、 精度を検証して何れか一方を適応的に選 択しているために、 全体と して高精度な補間信号を得ることがで さる。
また、 原信号と第 1 の補間信号と第 2の補間信号との 3つを用 いて精度を検証し、該検証結果に基づき選択を行っているために、 高精度な適応制御を行って、 高品位な補間信号を得るこ とが可能 となる。このとき、検証をエッジ情報に基づき行っているために、 精度を向上することができる。 このエッジ情報は、 エッジ方向を 使用する補間方法との親和性が高いために、 エッジ方向を使用す る補間方法とそれ以外の補間方法との切り換え制御に適する利点 がある。
さ らに、 必要に応じて、 第 2 の補間処理 1 3 の動作と検証部 1 2 の動作とを停止させるよ う に制御する と と もに、 第 1 の補間処 理の信号のみを選択するよ う に選択部 9 0 を制御するこ とによ り 、 処理時間を短縮して、 消費電力を低減することが可能となる。 こ のとき、高圧縮であるために高精度な補間を必要と しない場合や、 動画撮影などで高速な処理が優先される場合などの情報を得るよ う にしたために、 再度の補間処理を行うか否かの制御を自動化す ることができ、 操作性が向上する。 また、 使用者の意図に基づい て手動によ り補間処理を切り換えるこ とが可能となるために、 処 理に関する 自由度が向上する。
なお、 本発明は上述した実施形態に限定されるものではなく 、 発明の主旨を逸脱しない範囲内において種々の変形や応用が可能 であるこ とは勿論である。
なお、 上述した各実施形態を部分的に組み合わせて構成される 実施形態等も本発明に属する。
なお、 本発明は上述した実施形態に限定されるものではなく 、 本発明の主旨を逸脱しない範囲内において種々の変形や応用が可 能であることは勿論である。 産業上の利用可能性
以上説明したよ う に本発明によれば、 映像信号中の欠落する色 信号をよ り高精度に補間するこ とが可能となる。
関連出願へのク ロ ス リ フ ァ レンス
本出願は、 2 0 0 3年 1月 2 2 日に日本国に出願された特願 2 0 0 3 - 1 3 8 6 3号を優先権主張の基礎と して出願するもので あり、 上記の開示内容は、 本願明細書、 請求の範囲、 図面に引用 されたものとする。

Claims

請求の範囲
1 . 各画素の映像信号を構成するべき複数である所定数の色 信号が、 画素位置に応じて 1つ以上欠落している映像信号、 を処 理する撮像システムであって、
上記欠落する色信号を第 1 の補間方法によ り上記映像信号から 補間する第 1 の補間手段と、
上記映像信号と上記第 1 の補間手段によ り補間された色信号と に基づいて、 補間精度を検証する精度検証手段と、
上記補間精度が充分でないと判断された場合に、 上記欠落する 色信号を上記第 1 の捕間方法とは異なる第 2 の補間方法によ り上 記映像信号から補間する第 2 の補間手段と、
を具備したこ とを特徴とする撮像システム。
2 . 各画素の映像信号を構成するべき複数である所定数の色信 号が、 画素位置に応じて 1つ以上欠落している映像信号、 を処理 する撮像システムであって、
上記映像信号に係る所定の特性に基づいて、 該映像信号を第 1 の映像信号と第 2の映像信号とに分離する分離手段と、
上記第 1 の映像信号から上記欠落する色信号を第 1 の補間方法 によ り補間する第 1 の補間手段と、
上記第 2 の映像信号から上記欠落する色信号を上記第 1 の補間 手段とは異なる第 2 の捕間方法によ り補間する第 2 の補間手段と、 上記第 1 の映像信号の領域については該第 1 の映像信号と上記 第 1 の補間手段によ り補間された色信号とに基づいて補間精度を 検証し、 上記第 2の映像信号の領域については該第 2の映像信号 と上記第 2の補間手段によ り補間された色信号とに基づいて補間 精度を検証する精度検証手段と、
上記補間精度が充分でないと判断された場合に、 充分でない補 間が上記第 1 の補間手段によ り行われたときには上記欠落する色 信号を上記第 2 の補間手段によ り上記映像信号から再度補間処理 させ、 充分でない補間が上記第 2 の補間手段によ り行われたとき には上記欠落する色信号を上記第 1 の補間手段によ り上記映像信 号から再度補間処理させる調整手段と、
を具備したこ とを特徴とする撮像システム。
3 . 各画素の映像信号を構成するべき複数である所定数の色信 号が、 画素位置に応じて 1つ以上欠落している映像信号、 を処理 する撮像システムであって、
上記欠落する色信号を第 1 の補間方法によ り上記映像信号から 補間する第 1 の補間手段と、
上記欠落する色信号を上記第 1 の補間方法とは異なる第 2 の補 間方法によ り上記映像信号から補間する第 2 の補間手段と、
上記映像信号と上記第 1 の補間手段によ り捕間された色信号と 上記第 2 の補間手段によ り補間された色信号とに基づいて、 補間 精度を検証する精度検証手段と、
上記第 1 の補間手段によ り補間された色信号と、 上記第 2 の補 間手段によ り補間された色信号と、 の内の、 よ り補間精度が高い 方の色信号を選択する選択手段と、
を具備したこ とを特徴とする撮像システム。
4 . ク レーム 1 、 ク レーム 2、 またはク レーム 3 に記載の撮像 システムにおいて、
上記第 1 の補間手段または第 2の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽 出する抽出手段と、
上記領域内で注目画素から所定方向に関する複数のエッジ強度 を抽出するエッジ抽出手段と、
上記エッジ強度から正規化された重み係数を算出する重み算出 手段と、
上記領域内で注目画素から所定方向に関する複数の補間信号を 算出する補間信号算出手段と、
上記所定方向に関する複数の重み係数と、 上記所定方向に関す る複数の補間信号と、 に基づいて、 注目画素における欠落する色 信号を算出する演算手段と、
を有して構成されたものであるこ とを特徴とする。
5 . ク レーム 1 、 ク レーム 2、 またはク レーム 3 に記載の撮像 システムにおいて、
上記第 1 の補間手段または第 2の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽 出する抽出手段と、
上記領域内で注目画素における欠落する色信号を線形補間また はキュービック補間によって算出する演算手段と、
を有して構成されたものであるこ とを特徴とする。
6 . ク レーム 1 、 ク レーム 2 、 またはク レーム 3 に記載の撮像 システムにおいて、
上記第 1 の補間手段または第 2 の補間手段は、
上記映像信号から注目画素を中心とする所定サイズの領域を抽 出する抽出手段と、
上記領域内における各色信号間の相関関係を線形式と して求め る相関算出手段と、
上記映像信号と上記相関関係とに基づいて、 欠落する色信号を 算出する演算手段と、
を有して構成されたものであることを特徴とする。
7 . ク レーム 1 、 ク レーム 2、 またはク レーム 3 に記載の撮像シ ステムにおいて、
上記精度検証手段は、
上記映像信号と、 上記第 1 の補間手段によ り補間された色信号 と、 に基づいて、 所定領域毎に各色信号間の相関情報を求める相 関算出手段と、
上記相関情報に基づいて補間精度を検証する相関検証手段と、 を有して構成されたものであるこ とを特徴とする。
8 . ク レーム 1 、 ク レーム 2、 またはク レーム 3 に記載の撮像シ ステムにおいて、
上記精度検証手段は、
上記映像信号と、 上記第 1 の補間手段によ り補間された色信号 と、 に基づいて、 画素毎に色相情報を求める色相算出手段と、 上記色相情報に基づいて補間精度を検証する色相検証手段と、 を有して構成されたものであるこ とを特徴とする。
9 . ク レーム 1 、 ク レーム 2、 またはク レーム 3 に記載の撮像シ ステムにぉレヽて、
上記精度検証手段は、
上記映像信号と、 上記第 1 の補間手段によ り補間された色信号 と、 に基づいて、 所定領域毎にエッジ情報を求めるエッジ算出手 段と、 上記エッジ情報に基づいて補間精度を検証するエッジ検証手段 と、
を有して構成されたものであることを特徴とする。
1 0 . ク レーム 2に記載の撮像システムにおいて、
上記分離手段は、
上記映像信号から所定領域毎にエッジ情報を求めるエッジ算出 手段と、
上記エッジ情報に基づいて上記映像信号の分離を行う映像信号 分離手段と、
を有して構成されたものであるこ とを特徴とする。
1 1 . タ レ ム 2
上記分離手段は
上記映像信号か
相関算出手段と、
上記相関情報に
離手段と、
を有して榫-成
1 2 . ク レーム 1 に記載の撮像システムにおいて、
上記精度検証手段の動作と、 上記第 2の補間手段の動作と、 を 停止させるよ う に制御し得る制御手段をさ らに具備したこ とを特 徴とする。
1 3 . ク レーム 2に記載の撮像システムにおいて、
上記精度検証手段の動作と、 上記調整手段の動作と、 を停止さ せるよ う に制御し得る制御手段をさ らに具備したこ とを特徴とす る。
1 4 . ク レーム 3 に記載の撮像システムにおいて、
上記第 2の補間手段の動作と、 上記精度検証手段の動作と、 を 停止させるよ う に制御し得る と と もに、 これらの動作を停止させ る ときには、 上記選択手段に対して上記第 1 の補間手段によ り補 間された色信号のみを選択させるよ う に制御する制御手段をさ ら に具備したこ と を特徴とする。
1 5 . ク レーム 1 2、 ク レ一ム 1 3 、 またはク レ ム 1 4 に記載 の撮像システムにおいて、
上記制御手段は、
上記映像信号の画質に係る画質情報と、 当該撮像システムに設 定されている撮影モー ド情報と 、 手動によ り設定され得る補間処 理の切り換え情報と、 の内の少な < と も 1 つの' If報を取得する情 報取得手段と 、
上記画質情報と撮影モ一ド情報と補間処理の切り換え情報との 内の少なく と も 1 つの情報に づいて、 上記動作 停止させるか 否かを判断する判断手段と 、
を有して構成されたものである とを特徴とする
1 6 . 各画素の映像信号を構成するべき複数である所定数の色信 号が、 画素位置に応じて 1つ以上欠落している映像信号、 をコン ピュータによ り処理するための画像処理プログラムであって、 コ ンピュータを、
上記欠落する色信号を第 1 の補間方法によ り上記映像信号から 補間する第 1 の補間手段、
上記映像信号と上記第 1 の補間手段によ り補間された色信号と に基づいて、 補間精度を検証する精度検証手段、
上記補間精度が充分でないと判断された場合に、 上記欠落する 色信号を上記第 1 の補間方法とは異なる第 2 の補間方法によ り上 記映像信号から補間する第 2 の補間手段、
と して機能させるための画像処理プロ グラム。
1 7 . 各画素の映像信号を構成するべき複数である所定数の色信 号が、 画素位置に応じて 1つ以上欠落している映像信号、 をコン ピュータによ り処理するための画像処理プログラムであって、 コ ンピュータを、
上記映像信号に係る所定の特性に基づいて、 該映像信号を第 1 の映像信号と第 2 の映像信号とに分離する分離手段、
上記第 1 の映像信号から上記欠落する色信号を第 1 の補間方法 によ り補間する第 1 の補間手段、
上記第 2の映像信号から上記欠落する色信号を上記第 1 の補間 手段とは異なる第 2 の補間方法によ り補間する第 2 の補間手段、 上記第 1 の映像信号の領域については該第 1 の映像信号と上記 第 1 の補間手段によ り補間された色信号とに基づいて補間精度を 検証し、 上記第 2の映像信号の領域については該第 2の映像信号 と上記第 2 の補間手段によ り補間された色信号とに基づいて補間 精度を検証する精度検証手段、
上記補間精度が充分でないと判断された場合に、 充分でない捕 間が上記第 1 の補間手段によ り行われたときには上記欠落する色 信号を上記第 2の補間手段によ り上記映像信号から再度補間処理 させ、 充分でない補間が上記第 2の補間手段によ り行われたとき には上記欠落する色信号を上記第 1 の補間手段によ り上記映像信 号から再度補間処理させる調整手段、
と して機能させるための画像処理プログラム。
1 8 . 各画素の映像信号を構成するべき複数である所定数の色信 号が、 画素位置に応じて 1つ以上欠落している映像信号、 をコン ピュータによ り処理するための画像処理プログラムであって、 コ ンピュータを、
上記欠落する色信号を第 1 の補間方法によ り上記映像信号から 補間する第 1 の補間手段、
上記欠落する色信号を上記第 1 の補間方法とは異なる第 2 の補 間方法によ り上記映像信号から補間する第 2 の補間手段、
上記映像信号と上記第 1 の補間手段によ り補間された色信号と 上記第 2 の補間手段によ り補間された色信号とに基づいて、 補間 精度を検証する精度検証手段、
上記第 1 の補間手段によ り補間された色信号と、 上記第 2の補 間手段によ り補間された色信号と、 の内の、 よ り補間精度が高い 方の色信号を選択する選択手段、
と して機能させるための画像処理プログラム。
PCT/JP2004/000395 2003-01-22 2004-01-20 撮像システムおよび画像処理プログラム WO2004066637A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US10/543,079 US7570291B2 (en) 2003-01-22 2004-01-20 Imaging system and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003013863A JP4225795B2 (ja) 2003-01-22 2003-01-22 撮像システム、画像処理プログラム
JP2003-13863 2003-01-22

Publications (1)

Publication Number Publication Date
WO2004066637A1 true WO2004066637A1 (ja) 2004-08-05

Family

ID=32767371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/000395 WO2004066637A1 (ja) 2003-01-22 2004-01-20 撮像システムおよび画像処理プログラム

Country Status (3)

Country Link
US (1) US7570291B2 (ja)
JP (1) JP4225795B2 (ja)
WO (1) WO2004066637A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998127A (zh) * 2009-08-18 2011-03-30 索尼公司 信号处理设备、成像设备及信号处理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596273B2 (en) * 2004-04-19 2009-09-29 Fujifilm Corporation Image processing method, image processing apparatus, and image processing program
JP5121206B2 (ja) 2006-10-23 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP5391635B2 (ja) * 2008-10-06 2014-01-15 富士通株式会社 解析装置、データ保存方法およびデータ保存プログラム
JP2014123787A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、画像処理方法、および、プログラム
US9715735B2 (en) * 2014-01-30 2017-07-25 Flipboard, Inc. Identifying regions of free space within an image
US10416576B2 (en) * 2016-09-14 2019-09-17 Canon Kabushiki Kaisha Optical system for use in stage control

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177999A (ja) * 1997-12-09 1999-07-02 Casio Comput Co Ltd カラー撮像装置、カラー画像補正方法及び記録媒体
JP2000350223A (ja) * 1999-06-07 2000-12-15 Mitsubishi Electric Corp 画素データ処理装置および画素データ処理方法
WO2001084851A1 (fr) * 2000-04-12 2001-11-08 Hitachi, Ltd. Procede, dispositif et systeme de traitement de signal image
JP2002077645A (ja) * 2000-08-25 2002-03-15 Sharp Corp 画像処理装置
JP2002232904A (ja) * 2001-02-06 2002-08-16 Canon Inc 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
JP2003244715A (ja) * 2002-02-21 2003-08-29 Mega Chips Corp 混成画素補間装置および混成画素補間方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP3503372B2 (ja) * 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
JP4032200B2 (ja) 1998-11-06 2008-01-16 セイコーエプソン株式会社 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体
US7053944B1 (en) * 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177999A (ja) * 1997-12-09 1999-07-02 Casio Comput Co Ltd カラー撮像装置、カラー画像補正方法及び記録媒体
JP2000350223A (ja) * 1999-06-07 2000-12-15 Mitsubishi Electric Corp 画素データ処理装置および画素データ処理方法
WO2001084851A1 (fr) * 2000-04-12 2001-11-08 Hitachi, Ltd. Procede, dispositif et systeme de traitement de signal image
JP2002077645A (ja) * 2000-08-25 2002-03-15 Sharp Corp 画像処理装置
JP2002232904A (ja) * 2001-02-06 2002-08-16 Canon Inc 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
JP2003244715A (ja) * 2002-02-21 2003-08-29 Mega Chips Corp 混成画素補間装置および混成画素補間方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998127A (zh) * 2009-08-18 2011-03-30 索尼公司 信号处理设备、成像设备及信号处理方法

Also Published As

Publication number Publication date
US20060132629A1 (en) 2006-06-22
US7570291B2 (en) 2009-08-04
JP2004266323A (ja) 2004-09-24
JP4225795B2 (ja) 2009-02-18

Similar Documents

Publication Publication Date Title
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
US7253836B1 (en) Digital camera, storage medium for image signal processing, carrier wave and electronic camera
JP4826028B2 (ja) 電子カメラ
JP4628937B2 (ja) カメラシステム
JP4427001B2 (ja) 画像処理装置、画像処理プログラム
JP3899118B2 (ja) 撮像システム、画像処理プログラム
US20020008760A1 (en) Digital camera, image signal processing method and recording medium for the same
JP4126721B2 (ja) 顔領域抽出方法及び装置
WO2005104531A1 (ja) 映像信号処理装置と映像信号処理プログラムおよび映像信号記録媒体
WO2006004151A1 (ja) 信号処理システム及び信号処理プログラム
JPWO2007049418A1 (ja) 画像処理システム、画像処理プログラム
JP2001169160A (ja) デジタルカメラおよびデジタルカメラにおける画像表示方法
JP5165300B2 (ja) 映像処理装置および映像処理プログラム
JP4200428B2 (ja) 顔領域抽出方法及び装置
TW200906174A (en) Methods, systems and apparatuses for motion detection using auto-focus statistics
WO2005104537A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2008129926A1 (ja) 映像処理装置、映像処理プログラム及び映像処理方法
WO2005099356A2 (ja) 撮像装置
JP4182566B2 (ja) デジタルカメラおよびコンピュータ読み取り可能な記録媒体
WO2006109702A1 (ja) 画像処理装置と撮像装置、および画像処理プログラム
WO2004066637A1 (ja) 撮像システムおよび画像処理プログラム
JP2000165896A (ja) ホワイトバランス制御方法及びその装置
WO2008050548A1 (fr) Dispositif de traitement d&#39;image, programme de traitement d&#39;image et procédé de traitement d&#39;image
JP3643042B2 (ja) 画像処理装置、画像処理方法および記録媒体
JP3563508B2 (ja) 自動焦点調節装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2006132629

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10543079

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10543079

Country of ref document: US