WO2008150017A1 - 信号処理方法および信号処理装置 - Google Patents

信号処理方法および信号処理装置 Download PDF

Info

Publication number
WO2008150017A1
WO2008150017A1 PCT/JP2008/060718 JP2008060718W WO2008150017A1 WO 2008150017 A1 WO2008150017 A1 WO 2008150017A1 JP 2008060718 W JP2008060718 W JP 2008060718W WO 2008150017 A1 WO2008150017 A1 WO 2008150017A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
resolution conversion
image
imaging
information
Prior art date
Application number
PCT/JP2008/060718
Other languages
English (en)
French (fr)
Inventor
Junichi Sakagami
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US12/451,924 priority Critical patent/US8269850B2/en
Priority to EP08765489.3A priority patent/EP2157802A4/en
Priority to CN2008800192184A priority patent/CN101682788B/zh
Priority to JP2009517927A priority patent/JP5240194B2/ja
Publication of WO2008150017A1 publication Critical patent/WO2008150017A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Definitions

  • the present invention relates to a signal processing method and a signal processing apparatus applicable to an imaging apparatus such as a digital still camera.
  • Image quality correction processing such as gamma processing, photo-white balance processing, hue correction processing according to the imaging mode, frequency characteristic correction processing, noise reduction processing, etc.
  • image data of the imaging result hereinafter referred to as RAW data as appropriate
  • RAW data is recorded on a recording medium, and the RAW data recorded on the recording medium is recorded. It has been proposed to input image information into an information processing device such as a computer and generate image information by the information processing device (see Japanese Patent No. 3 2 3 0 2 9 1).
  • the RAW data is reduced to generate a reduced image (hereinafter referred to as a thumbnail image as appropriate) to generate RAW data.
  • a method has been proposed in which thumbnail images are displayed before RAW data. In this method, since the image quality adjustment made in the information processing apparatus is not reflected in the display image, when the thumbnail image is used for the list display, there is a problem that the thumbnail image is different from the original image to be adjusted.
  • Japanese Laid-Open Patent Publication No. 2 0 3-3 4 6 1 4 3 proposes that a thumbnail image is generated by an information processing apparatus and an image quality correction result is reflected in the thumbnail image.
  • the document described in this document has a problem of hindering the convenience of the user in the list display because the information processing device needs to read all the raw data once. Disclosure of the invention
  • a Japanese patent application that has not been published as of the priority date of this application is a method that provides thumbnail images that reflect the same adjustment effect as the actual image at the time of adjustment at the request of the user. 2 0 0 6— 1 6 6 8 5 8 Proposed.
  • all images depend only on the imager size, so even if the user only requires a sufficiently small output resolution for the imaging device, Images could not be provided at high speed.
  • the demosaic processing in the imaging device and the processing for generating compressed signal information also took processing time for all images.
  • the processing for generating the thumbnail image causes a loss of image information such as a thin line.
  • the process of converting the image signal corresponding to the color arrangement of the color filter of the image sensor into the three primary color signals RGB is color separation processing.
  • Demosaic processing means color separation processing performed when the color arrangement is mosaic.
  • the present invention can also be applied to the case of having color filters arranged in a stripe shape.
  • the present invention can also be applied to the case where a complementary color filter is provided. Therefore, the object of the present invention is to provide color separation processing and resolution conversion processing at high speed, thereby improving the processing speed during imaging and reducing the necessary amount of storage media. Is to provide a signal processing method and a signal processing apparatus.
  • the present invention includes a step of performing a first resolution conversion for phase maintenance on a signal having an order of the color array of the image sensor from the image sensor, A step of performing a color separation process on the first signal obtained by the resolution conversion and a step of performing a second resolution conversion of thin line holding on the second signal obtained by the color separation process It is a processing method.
  • the present invention provides a phase holding resolution conversion unit that performs a first phase conversion of phase holding on a signal having an order of the color arrangement of the image pickup device from the image pickup device,
  • a color separation processing unit for performing color separation processing on the first signal obtained by the first resolution conversion
  • a fine line holding resolution converting unit for performing a second resolution conversion of thin line holding on the second signal obtained by the color separation processing
  • the present invention it is possible to provide a signal with little deterioration in resolution.
  • the speed-up of the thinning process allows the imaging device to perform high-speed continuous shooting.
  • the number of recordings that can be recorded on the recording medium by the imaging apparatus can be improved.
  • FIG. 1 is a block diagram showing a configuration of an example of a digital still camera according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram showing an example of a file format of data recorded on a recording medium according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of an example of a computer as an information processing apparatus that processes the imaging results of a digital still camera.
  • FIG. 4 is a schematic diagram showing an example of an interface screen displayed during editing by a computer.
  • FIG. 5 is a block diagram showing an example of a configuration related to resolution conversion of the image processing apparatus in the digital still camera according to the embodiment of the present invention, and a schematic diagram used for explaining the image format.
  • FIG. 6 is a schematic diagram used for explaining the phase holding resolution converting unit.
  • FIG. 7 is a schematic diagram used for explaining the demosaicing process.
  • FIG. 8 is a flowchart used to explain the demosaic processing.
  • FIG. 9 is a schematic diagram used for explaining the thin line holding resolution conversion processing.
  • FIG. 10 is a schematic diagram showing in more detail the process in the horizontal direction for the process of the fine line holding resolution converting unit.
  • FIG. 11 is a schematic diagram showing in more detail the processing in the vertical direction for the processing of the fine line holding resolution conversion unit.
  • FIG. 12 is a schematic diagram summarizing the resolution conversion processing in one embodiment of the present invention.
  • FIG. 13 is a block diagram showing the configuration when the processing of the fine line holding resolution conversion unit is applied when the pixel is 16 bits.
  • FIG. 14 is a schematic diagram used for explaining the weighting coefficients in FIG.
  • FIG. 15 is a block diagram of an example of a configuration related to resolution conversion of a reference example having a configuration different from that of the present invention, and a schematic diagram used for explaining an image format.
  • FIG. 16 is a schematic diagram summarizing the resolution conversion processing in the reference example.
  • FIG. 17 is a block diagram for explaining processing in the imaging apparatus and the information processing apparatus.
  • FIG. 1 An imaging optical system (not shown) operates in accordance with the imaging conditions specified by the control unit 2 configured by a microphone computer, and subject light that has passed through the imaging optical system enters the imaging device 3.
  • the imaging optical system consists of a zoom lens for enlarging and reducing the subject, a focus lens for adjusting the focal length, an iris (aperture) for adjusting the amount of light, an ND (Neutral Density) filter, and A drive circuit for driving these lenses and iris is provided.
  • the image sensor 3 is a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like.
  • the imaging element 3 captures an imaging signal corresponding to the subject light.
  • the image sensor 3 may be either a primary color system or a complementary color system, and outputs an RGB primary color signal or a complementary color image signal obtained by photoelectrically converting an incident subject image.
  • the output signal of the image sensor 3 is supplied to the preprocessing circuit 4.
  • the preprocessing circuit 4 sequentially performs correlated double sampling processing, automatic gain adjustment processing, and analog-digital conversion processing on the output signal of the image sensor 3.
  • the output signal of the preprocessing circuit 4 is supplied to the defect correction circuit 5.
  • the defect correction circuit 5 performs defect correction processing on the output signal of the preprocessing circuit 4. RA output to defect correction circuit 5 W data DR is output.
  • RAW data is supplied to the image processing circuit 6.
  • the image processing circuit 6 sequentially executes image quality correction processing such as resolution conversion processing, gamma correction processing, and white balance processing on the RAW data, and outputs image data that has undergone image quality correction.
  • image quality correction processing such as resolution conversion processing, gamma correction processing, and white balance processing on the RAW data
  • image data after image quality correction from the image processing circuit 6 is displayed on the display device, and the captured image is displayed on the monitor.
  • Image data from the image processing circuit 6 is compressed by the encoder 7 by, for example, J P EG (Joint Photographic Experts Group).
  • Encoder 7 generates a thumbnail image from the image data and outputs the result of E x i f (Exchange ble image file format for digital sti ⁇ 1 camera) format processing.
  • the image data of the compressed thumbnail image is output to the RAW data file generation circuit 10 under the control of the control unit 2.
  • the encoded output of the encoder 7 is supplied to the recording medium 9 via the interface 8 and recorded on the recording medium 9.
  • the interface 8 records the data of the RAW data file output from the RAW data file generation circuit 10 on the recording medium 9 under the control of the control unit 2. Also, the data recorded on the recording medium 9 is reproduced and output to each part.
  • the recording medium 9 is a memory card, for example, and records data output through the interface 8.
  • various recording media such as an optical disk and a magnetic disk can be used in addition to the memory card.
  • Data recorded on the recording medium 9 is reproduced by a computer as an information processing apparatus. Not only using a recording medium, but data may be exchanged via communication with an information processing device.
  • the RAW data file generation circuit 10 is a RAW data DR that has undergone decimation processing (phase-preserving resolution conversion) of the image processing circuit 6, thumbnail image data DT output from the control unit 2, imaging information DS at the time of imaging, etc. De Generate one tough file and output the generated RAW data file to interface 8. Strictly speaking, the image signal before the phase-maintaining resolution conversion is RAW data, and the signal obtained by thinning out the image pickup signal by the phase-maintaining resolution conversion is the corrected RAW data. However, in the following description, the corrected RAW data is also simply referred to as RAW data DR.
  • the thumbnail image data DT is generated by thinning out the RAW data DR.
  • the imaging information DS is information on imaging conditions set in the digital still camera when imaging to acquire RAW data.
  • the imaging information DS includes image quality correction information for specifying image quality correction processing in the image processing circuit 6, information on a lens, an optical system for specifying settings of the image sensor 3, and the like.
  • the image quality correction information is information for specifying correction of hue, gradation, frequency characteristics, and the like in the image processing circuit 6 and includes image quality correction mode (color mode) information and the like.
  • Information on the optical system includes information such as shutter speed, focal length, and aperture.
  • a RAW data file is a file that records RAW data in a format compliant with Exif, and is provided with a header in the same way as EX if, and various types of files are created by IFD (Image File Directory). Data is allocated.
  • the RAW data file information necessary for reproducing the main image data (main image data IFD 0) and information at the time of imaging of the main image data (imaging information IFD 1) are recorded in the field F 1 at the top of the file. It is recorded.
  • the RAW data DR is assigned to the main image data
  • the information at the time of capturing the main image data is the information for identifying the digital still camera 1 used at the time of capturing the RAW data, and the information of the above-described imaging conditions. It is done.
  • information corresponding to Exif is assigned, information on aperture, focus distance, shutter speed, etc., image processing circuit Information such as image quality correction mode in 6 and information defined in EX if such as file name and user name are assigned.
  • thumbnail image data compressed with JPEG generated by the encoder 7 is assigned to the subsequent field F2.
  • This thumbnail image is, for example, (6 4 0 (horizontal direction) X 4 8
  • the RAW data file is also assigned to the main image data by various applications that can process Exif files. It is formed so that AW data can be reproduced.
  • the RAW data file is assigned imaging information when the main image data is captured. Specifically, in the field F4, manufacturer notes
  • Various cut-out reference information is set in each of the fields F6 to F10. Specifically, in the field F 6, focusing position information at the time of imaging detected from the focus adjustment is recorded.
  • the focus position information at the time of imaging is position information of a focused area in the image of the R AW data DR.
  • the 1 performs the focus search process by sequentially moving the in-focus position from infinity to the near side. During this focus search, the position information of the in-focus area on the farthest side is set as the in-focus position information for this background. .
  • the position information of the face detected at the time of imaging is recorded.
  • the area where the face is imaged is detected by the control unit 2 using the face template, and the area where the face is detected is set as the information on the face position.
  • the digital still camera 1 adjusts the focus so that the area in which the face is detected is in focus and acquires the R A W data D R. If no face is detected, this is recorded in the face position information.
  • the backlight position information is recorded.
  • the backlight position information is position information indicating a portion of backlight in the imaging result, and the focus position in each part of the imaging result is detected during the focus search, and from the detection result of the focus position, An area where it is determined that an object has been imaged, and an in-focus position is closer to the front, a lower luminance level is detected, and position information of the detected area is set as backlight position information.
  • the saturation position information is the position of the area where the luminance level is saturated with respect to the dynamic range of the digital still camera 1.
  • the digital still camera 1 detects a saturated region by varying the diaphragm during imaging and determining a change in the luminance level of each part relative to the variation of the diaphragm.
  • the position information of the detected area is set as the saturation position information.
  • Field F l 1 records information about the optical axis center at the time of imaging.
  • the information about the center of the optical axis is set based on information for specifying the model of the lens provided in the lens. These backlight position information, saturation position If the corresponding position information cannot be detected even in the information and the optical axis center position information, this is recorded.
  • I F D for thumbnail image is recorded in field F 1 2.
  • the above fields F1 to F12 are the imaging information DS.
  • the imaging information DS is supplied from the control unit 2 to the RAW data file generation circuit 10.
  • thumbnail image data DT generated by the control unit 2 from RAW data is arranged.
  • the thumbnail image data DT is data having a color arrangement of the image sensor 3 of (6 4 0 X 4 8 0) pixels, for example.
  • RAW data D R is placed next to thumbnail image data D T.
  • RAW data DR the amount of RAW data occupies about 95 [%] of the total data amount.
  • Thumbnail image data, imaging information DS, etc. can be obtained by playing only 5% from the beginning.
  • FIG. 3 shows a configuration of a computer as an information processing apparatus that processes the imaging result recorded on the recording medium 9.
  • the interface (IF) 2 2 reproduces the data recorded on the recording medium 9 under the control of the central processing unit 2 3, outputs it to the bus BUs, and outputs it to the bus BUs. Data is recorded on the recording medium 9.
  • the display unit 24 displays various images under the control of the central processing unit 23.
  • the interface (IF) 25 controls various data necessary for printing under the control of the central processing unit 23.
  • the input unit 27 is formed by a keyboard, a mouse, and the like, and notifies the central processing unit 23 of user operations.
  • the hard disk drive (HDD) 2 8 records and holds various processing programs and data of the central processing unit 2 3.
  • the program recorded on the hard disk device 28 is an optical disc, although it is provided by being recorded on a recording medium such as a magnetic disk or memory card, it can be downloaded in advance by installation or via a network such as the Internet instead of using such a recording medium. You may provide more.
  • the central processing unit (CPU) 2 3 is an arithmetic processing unit of the computer 21, and secures a work area in the random access memory (RAM) 30 according to the record of the read-only memory (ROM) 29 and hard disk. Start the operation system recorded in the disk device 2 8. Also, in response to the user's operation in this operation system, the imaging result recorded on the recording medium 9 is downloaded to the folder designated by the user.
  • a program for editing the imaging result recorded on the hard disk device 28 (hereinafter referred to as an editing program) is started.
  • an editing program a program for editing the imaging result recorded on the hard disk device 28
  • the central processing unit 23 displays the main screen M 1 of the editing program shown in FIG. In addition, by selecting a menu displayed on the main screen M1, a submenu by a pull-down menu is displayed and a submenu selection by the user is accepted.
  • the central processing unit 23 can select a folder or a file recorded in the recording medium 9 when the user instructs to display a list of imaging results recorded in the folder or the recording medium 9 by selecting this submenu. Information is acquired from these folders or the file management system of the recording medium 9 And select a file that can be processed by this editing program. Also, by default, thumbnail images of the selected file are displayed in a list in sub window M2.
  • the central processing unit 23 obtains the data of the corresponding file by accessing the recording medium 9 or the folder when the user instructs the list display.
  • the central processing unit 23 obtains thumbnail image data DT by thinning out RAW data and information related to image processing of RAW data by monitoring sequentially acquired file data. Stop acquiring the remaining data in this file. Specifically, when the central processing unit 23 obtains data from the first field F1 of the RAW data file to the field of the thumbnail image data DT, it stops obtaining data of the remaining fields.
  • the central processing unit 23 analyzes the I F D of the acquired data and further develops the acquired data.
  • the central processing unit 23 acquires the thumbnail image data DT from the acquired data, and acquires information necessary for reproducing the thumbnail image data DT.
  • the imaging information at the time of imaging and the imaging information of the editing process are acquired according to the user's prior settings.
  • the central processing unit 23 corrects the image quality of the acquired thumbnail image data DT with the image quality correction information set in the imaging information at the time of imaging, and generates thumbnail image data of the image quality displayed at the time of imaging.
  • the central processing unit 2 3 reproduces the settings of the image processing circuit 6 at the time of imaging of the main image data based on the image quality correction information set in the imaging information, and the thumbnails are reproduced with the reproduced settings.
  • the central processing unit 2 3 is the thumbnail image data corrected in this way. Record the DT image in the display image memory.
  • the central processing unit 23 displays the subwindow M2 with the image data recorded in the image memory when the acquisition of the thumbnail images for the number of sheets to be displayed in the subwindow M2 is completed.
  • the central processing unit 23 displays a list of the imaging results recorded on the recording medium 9 and the imaging results downloaded to the computer 21 as thumbnail images.
  • the central processing unit 23 displays the sub window M3 on the main screen M1, and the image results corresponding to this subwindow M3. Is magnified.
  • the size of the sub window M 3 in the sub window M 3 is changed in response to the user's operation, and the corresponding imaging result is displayed.
  • the corresponding imaging result is displayed on the main screen M1 in full-screen.
  • the central processing unit 2 3 executes the full-screen display of this imaging result by enlarging the thumbnail image to improve user convenience.
  • the imaging information used to correct the image quality of the selected thumbnail image is displayed.
  • the gamma characteristic is displayed by a characteristic curve, and each item of imaging information is displayed.
  • Each item includes white balance adjustment mode, white balance fine adjustment amount, color rendering adjustment amount, saturation adjustment amount, and contrast adjustment amount.
  • the central processing unit 2 3 Display sub-window M4 for editing operations.
  • This editing sub-window M4 is a window for selecting an image quality correction item and setting an image quality correction amount.
  • the sub-window M4 for editing operation is formed so that each image quality correction item can be selected by switching the display using tabs.
  • This sub window M 4 is formed so that the adjustment amount can be set with the operation amount corresponding to the user interface of the setting operation in the digital still camera 1 for each adjustment item.
  • the sub window M4 displays, for example, color temperature, color rendering, exposure compensation, sharpness, and noise reduction adjustment buttons, along with the adjustment amount, based on the settings at the time of imaging.
  • the central processing unit 2 3 displays a preview of the entire screen of the imaging result selected by the user in the sub window M5, and displays various analysis results of the imaging results displayed on this preview screen in response to a user instruction. Display in sub window M6.
  • the analysis result display in the example shown in Fig. 4 is a histogram display based on the gradation distribution of each color signal.
  • the central processing unit 23 3 executes display of the preview screen and display of the analysis result based on the thumbnail image data.
  • the central processing unit 23 accepts the setting of each adjustment item by switching the display of the subwindow M4 by selecting a tab in the subwindow M4. At this time, the central processing unit 23 changes the image quality of the preview screen so as to correspond to the change of the user's adjustment amount.
  • the central processing unit 23 corrects the imaging information obtained by correcting the image quality of the thumbnail image being displayed on the preview screen so as to correspond to the variable adjustment amount. . Also, the image quality of the thumbnail image data is corrected with the corrected imaging information, and an image based on the processing result is displayed as a preview. In addition, by processing the image data that has been corrected in this way, information necessary for displaying the analysis results is obtained. Switch the display of sub window M 6 with the information acquired in step.
  • the central processing unit 23 executes the preview process in response to the user's operation, and if the user checks the image quality adjustment check box displayed in the sub window M4, the sub window In order to correspond to the change of the image quality of the preview screen by Dow M4, the image quality of the display result of the subwindow M3, the image quality of the display result of the main window M1, and the image quality of the main screen M1 are simultaneously Switch the image quality in full screen display.
  • the user instructs enlargement display of a specific area of the preview screen, a frame W is displayed on the preview screen to indicate this specific area, and the display of the imaging result in the sub-window M 3 or the entire imaging result in the main screen M 1 is displayed. In the screen display, this specific area is enlarged.
  • the central processing unit 23 also displays the imaging result edited by the thumbnail image on the sub window M 3 or the main screen M 1 to perform the editing process in response to the operation by the user. Display the imaging results in a short time, improving user convenience.
  • the raw data is edited and replaced to replace the display so that the various processing by the user is not hindered. Improve image quality.
  • the digital still camera 1 (Fig. 1), an optical image is formed on the imaging surface of the image sensor 3 by an optical system (not shown) by the shutter speed and aperture set by the user.
  • the imaging result of the image is output from the imaging device 3 and processed by the preprocessing circuit 4 and the defect correction circuit 5, and RAW data DR, which is image data of the imaging result before image quality correction, is generated. Also this R The AW data DR is corrected in image quality by the image processing circuit 6 and displayed on the display unit.
  • the digital still camera 1 by confirming the imaging result displayed on the display unit, the imaging result determined to be unnecessary by the user is discarded without being saved, and the user determines that it is necessary.
  • the imaging result is recorded on the recording medium 9 in the storage form instructed by the user.
  • the image quality-corrected image data is compressed by the encoder 7, and the Exif image data is corrected together with the image quality-corrected thumbnail image data and imaging information.
  • This Exif file is collected in a file and recorded on the recording medium 9.
  • the image quality correction processing in the RAW data DR, the thumbnail image data DT created by thinning out the RAW data DR, and the image processing circuit 6 is performed.
  • a RAW data file is created by imaging information DS or the like at the time of imaging having image quality correction information for specifying the process, and this RAW data file is recorded on the recording medium 9.
  • the imaging result (RAW data DR) is recorded.
  • RAW data DR is presented to the user as a thumbnail image
  • the thumbnail image data DT is corrected with the image quality correction information and the image is captured.
  • the image quality results confirmed by the user can be displayed as thumbnail images.
  • the thumbnail image data is displayed with the image quality correction information corrected for image quality, and it is not necessary to generate thumbnail image data from the RAW data DR.
  • the user-friendliness can be further improved compared to the conventional case.
  • RAW data Since RAW data has a large amount of data, it takes a long time just to load it from a recording medium. However, it is much less than RAW data from the beginning of the file to the raw data recording start position. Since it is only necessary to load and process a large amount of data, the imaging result can be displayed in a short time, and the user-friendliness can be improved.
  • the beginning of this RAW data file (Fig. 2) is formed with main image data information, thumbnail image data that has been compressed by JP EG, etc., as with the Exif file, RAW data DR is assigned at the end.
  • the digital still camera 1 can process RAW data DR even with various application programs that are difficult to process the field recorded in the middle of this RAW data file, and JPEG-compressed image quality corrected. Thumbnail image data can be displayed and the versatility of this RAW data file can be improved.
  • thumbnail image data before data compression can be applied instead of thumbnail image data after image compression, so that thumbnail image data after image compression has been corrected. Instead, the thumbnail image data before data compression may be applied.
  • the imaging information at the time of imaging includes information on optical system settings such as shutter speed and aperture, in addition to image quality correction information for specifying image quality correction processing in the image processing circuit 6. Therefore, in the editing process, various editing processes can be performed by changing various settings corresponding to operations at the time of imaging in the digital still camera 1.
  • the amount of noise reduction adjustment may be varied or the sharpness may be adjusted. Also, focus may be confirmed. In such a case, the processing result cannot be confirmed with the thumbnail image, and it is necessary to examine the details of the imaging result in detail. Therefore, in this RAW data file, in-focus position information, background position information, face position information, etc. are provided as reference information for area setting for checking details in this way, and these information are used as information at the time of imaging. Recorded (Fig. 2).
  • the RAW data file of this embodiment when the part desired by the user is partially enlarged from the RAW data image and displayed at the time of editing processing, it is based on the reference information for setting the area. Thus, it is possible to easily and surely set the portion to be enlarged and displayed, and the time required for confirming the fine portion of the imaging result can be shortened as compared with the conventional case.
  • the recording medium 9 is mounted on the computer 21 (FIG. 3), and the thumbnail image data and the imaging information at the time of imaging are obtained by user operation.
  • the thumbnail image data is played back in sequence, and the thumbnail image data is subjected to image quality correction processing using the imaging information at the time of imaging and displayed as a list (Fig. 4). Therefore, by displaying a list of the imaging results of the RAW data file as thumbnail images, thumbnail images can be provided in a short time, and usability can be improved.
  • the thumbnail image data is displayed with the image quality corrected by the editing process imaging information instead of the imaging information at the time of imaging, and the changes in image quality due to the editing process are reflected to display a list of RAW data imaging results as thumbnail images. Can be displayed.
  • the information processing apparatus can provide a thumbnail image reflecting the adjustment effect equivalent to that of the main image at the time of adjustment at a high speed in response to a user request.
  • FIG. 5A shows only the configuration related to the resolution conversion in the image processing circuit 6 according to the embodiment of the present invention.
  • the signal S G 4 1 before resolution conversion from the defect correction circuit 5 is supplied from the input terminal 4 1 to the phase holding resolution conversion unit 4 2.
  • the signal S G 41 is a signal in which each color signal exists corresponding to the color arrangement of the image sensor 3.
  • a control signal designating the conversion rate of resolution conversion is supplied from the terminal 43 to the phase holding resolution conversion unit 42.
  • the specified conversion rate corresponds to the resolution required for the information processing device. If the highest resolution is specified, the phase preserving resolution conversion unit 42 does not perform decimation. In a situation where the number of pixels of the image sensor 3 is rapidly increasing, the highest resolution is not always required, and the user can specify a desired resolution.
  • the raw data DR is supplied to the control unit 2 and also supplied to the demosaic processing unit 44.
  • Demosaic processing part 4 4 Converts the signal SG 4 2 in the color array order of the image sensor 3 into an RGB signal. As shown in FIG.
  • the original RAW data SG 4 1 before resolution conversion is a signal corresponding to the color arrangement of the image sensor 3 with, for example, (3 8 8 X 2 6 0 8) pixels.
  • the output signal SG 4 2 of the phase holding resolution conversion unit 4 2 is, for example, a signal of the color array of the image sensor 3 with (1 2 8 0 X 9 6 0) pixels.
  • the output signal SG 4 4 of the demosic processing unit 44 is, for example, an RGB signal of (1 2 8 0 X 9 6 0) pixels. That is, each color signal of the three primary colors has (1 2 8 0 X 9 6 0) pixels.
  • image quality correction processing such as gamma correction and white balance correction is performed in the demosic processing unit 44.
  • the output signal S G 44 of the demosaic processing unit 44 is supplied to the thin line holding resolution conversion unit 45.
  • a control signal designating a conversion rate of resolution conversion is supplied from the terminal 46 to the thin line holding resolution conversion unit 45.
  • the desired resolution is finally obtained by both the designation of the conversion rate for the phase holding resolution conversion unit 42 and the designation of the conversion rate for the fine line holding resolution conversion unit 45.
  • the output signal S G 45 of the thin line holding resolution converter 45 is taken out to the output terminal 47.
  • Encoder 7 (see Fig. 1) is connected to output terminal 47.
  • the output signal SG 45 of the thin line holding resolution converting unit 45 is, for example, an RGB signal of (64 0 X 4 80) pixels.
  • a linear matrix calculation unit is provided for the output of the thin line holding resolution conversion unit 45, and the encoder 7 receives, for example, a YC signal (for example, (4: 2) of (6 4 0 X 4 8 0) pixels. : 2) Component signal SG 4 8 is output.
  • This YC signal is recorded on the recording medium 9 as a normal captured image.
  • the resolution conversion unit is arranged separately before and after the demosaic processing unit 44. As shown in Fig.
  • the recording medium 9 has a color arrangement signal SG 4 2 and a thumbnail image in addition to the YC signal (component signal) SG 4 8 of (64 0 X 4 8 0) pixels.
  • a data DT a (64 0 X 4 8 0) pixel color array signal SG 5 1 and imaging information (not shown) are recorded.
  • RGB signal S G 53 of, for example, (3 2 0 X 240) pixels is formed from the signal S G 51.
  • This RGB signal S G 53 is an image signal corresponding to the adjusted partial enlarged image (displayed in the subwindows M2, M3, and M5).
  • an RGB signal of (6 4 0 X 4 8 0) pixels formed from the signal S G 42 is used.
  • FIG. 6 illustrates the processing of the phase holding resolution conversion unit 42.
  • the signal S G 41 before the resolution conversion is a signal having the color arrangement of the image sensor 3 in the Bayer arrangement in which, for example, green pixels are arranged in a checkered pattern (fifth lattice).
  • a checkered pattern for example, an example of an image of (1 8 X 1 8) pixels, where each pixel has a binary value (pixels with diagonal lines are high level and pixels without diagonal lines are low level)
  • a binary image is used as an example to represent the concept, but all digital signal processing is a superposition of binary values, and it is clear that this concept is an extension of this concept.
  • the phase-maintaining resolution conversion unit 4 2 multiplies the values of 5 pixels existing in the horizontal direction and the vertical direction by the coefficient (1, 0, 2, 0, 1), and multiplies the result by 1 Z4. In addition, by rounding off, 1-by-3 is thinned out. As a result, a signal SG 4 2 of (3 8 8 8 X 2 6 0 8) pixel signal SG 4 1 et al. (1 2 8 0 X 9 6 0) pixel color array is obtained. In other words, with phase-preserving resolution conversion, resolution conversion is performed with the color arrangement maintained. Done.
  • the demosaic processing unit 44 performs demosaic processing on the output signal S G 4 2 of the phase maintaining resolution conversion unit 42 as shown in FIG.
  • the output pixel is determined by a majority decision using its own pixel and the surrounding 8 pixels.
  • the signal S G 44 after demosaic processing is an RGB signal.
  • Fig. 8 shows an example of majority processing when the value of each pixel is binary (high level and low level).
  • step S5 if it is determined that eight peripheral pixels have already been set in the (3 X 3) region centered on the target pixel, whether or not (h> l) is determined in step S10. Is determined. Otherwise, it means that there are more low-level pixels than high-level pixels among the target pixel and multiple pixels of the same color as the output color of the surrounding 8 pixels.
  • the output is set to 1 (low level).
  • H> l Means that there are more high-level pixels than low-level pixels among the total of 9 pixels of the target pixel and the surrounding 8 pixels, so in step S12, the output is h (low-level). )
  • demosaic processing the signal of the color array of the image sensor 3 is converted to R GB signal.
  • the R GB signal S G 44 from the demosaic processing unit 44 is supplied to the thin line holding resolution conversion unit 45, and the thin line holding resolution conversion process as shown in FIG. 9 is performed.
  • Fig. 9 shows an example of performing resolution conversion of 1 and 2. Resolution conversion is performed by pattern recognition.
  • the value of one output pixel is determined according to the pattern of two input pixels and two neighboring pixels. It is shown that.
  • the second and third bits of the 4-bit data correspond to the input pixel.
  • R G B signal S. G 45 with the resolution reduced to 1 Z 2 is obtained.
  • Resolution conversion by pattern recognition can prevent fine lines from disappearing in the converted image.
  • R GB signal S G 4 5 is converted to Y C signal (only Y signal is shown for simplicity) S G 4 8.
  • a signal SG 4 4 b in which the R signal SG 4 4 a after demosaic processing is decomposed for each (2 ⁇ 2) pixels of the pixel of interest is formed.
  • Peripheral pixels are located around the area of the target pixel. For example, 4 pixels (RIO, R 1 1, R 1 2, R 1 3) are arranged in the horizontal direction, pixels R 1 0 and R 1 3 are peripheral pixels, and pixels R 1 1 and R 1 2 are pixels of interest It is. The value of these four pixels is (0 0 0 1). Pixels of interest R 1 3 and R 1 4 are included 1 The value of the four pixels in the column is (0 1 0 0). In this way, the pixel of interest is set two pixels at a time without overlapping.
  • a signal S G 44c having a resolution of 1 to 2 in the horizontal direction is formed from the signal S G 44a by the processing described above. Then, the values of 4 pixels (2 pixels of interest and 2 surrounding pixels) aligned in the vertical direction were converted to 1 pixel output by the table shown in Fig. 9, and 1 2 resolution conversion was performed in the vertical direction.
  • Signal SG 4 4 d is formed. The signal S G 4 4 d is obtained by converting the resolution to 1 to 4 with respect to the input signal S G 44 a. In the signal S G 44 d after the resolution conversion, the thin line existing in the input signal S G 44 a is stored without being lost.
  • pixels R 0 1, R ll, R 2 1, R 3 1 are arranged in the vertical direction, pixels R 0 1 and R 3 1 are peripheral pixels, and pixels R 1 1 and R 2 1 are focused Pixel.
  • the value of these four pixels is (0 0 0 0).
  • the value of four pixels in one column including the target pixels R 1 3 and R 2 3 is (1 1 1 1). It is converted into one output pixel by the table shown in FIG.
  • R 1 1 and R 2 1 are converted to a pixel R 1 1 having a value of (0).
  • (1 1 1 1) force S (1) Since it is converted, it is converted to a pixel R 1 3 having a value of 1 1 3 1 2 3 (1).
  • fine line holding resolution conversion is performed in the same manner as the R signal described above.
  • FIG. 12 collectively shows the resolution conversion processing in the embodiment of the present invention described above.
  • FIG. 12 shows an output signal S G 4 1 of the image sensor 3 and a signal S G 4 1 ′ obtained by separating the signal S G 4 1 into each color component. A phase-maintaining resolution conversion process is performed for each color component, and a signal S G 4 2 thinned by 1 to 3 is obtained. The area of (6 X 6) in the signal S G 4 1 is reduced to the area of (2 X 2).
  • Demosaic processing is performed on the signal S G 4 2, and a 108 signal 304 4 is obtained. Furthermore, the signal S G 45 thinned out to 1 Z2 is obtained by the fine line holding resolution conversion processing by pattern recognition. This signal S G 45 has a resolution reduced to 16 with respect to the signal S G 41 before processing. In the signal S G 4 5, the fine line pattern that originally existed is stored without being lost even after resolution conversion. In other words, image quality degradation due to resolution conversion can be suppressed.
  • the phase holding resolution conversion unit 42 is provided in the previous stage of the demosic processing unit 44, and 1Z 3 is thinned out in the horizontal and vertical directions, so that the demosaic processing time is reduced to 1-9. It can be shortened. In this case, the information volume reduction effect can be expected to be almost 9 times.
  • phase-maintaining resolution conversion a simple filtering process is given as an example of phase-maintaining resolution conversion.
  • existing phase-maintaining resolution conversion methods such as bilier method, bicubic method, and Lanchos method are applied. be able to.
  • a simple majority process is given as an example of demosaicing, but existing demosic techniques such as TotalVariation can be applied.
  • each pixel is described as one bit for simplicity.
  • the thin line holding resolution conversion described above can be applied in the same way even when each pixel is 16 bits.
  • Another example of thin line preserving resolution conversion applied to a 16-bit pixel will be described with reference to FIGS. 13 and 14.
  • FIG. 13 and 14 Another example of thin line preserving resolution conversion applied to a 16-bit pixel will be described with reference to FIGS. 13 and 14.
  • the original image 71 is divided into a bicubic resolution converter 7 2, a pada recognizer 7 3, and a weighting coefficient calculator 7 4.
  • the bicubic resolution converted image (16 bits) 7 5 from the bicubic resolution converter 7 2 and the weighting factor from the weighting factor calculator 7 4 are supplied to the weighting calculator 7 6.
  • the probability of pattern recognition is evaluated based on the signal level of the pixel of interest, weighted, and combined with bicubic resolution conversion.
  • the pattern recognition unit 73 compares the pixel of interest with a relatively wide range by using the ⁇ filter 7 7 (step 78), and if the pixel of interest is relatively high, the binary thin line holding resolution conversion is set to "1". If the target pixel is low, ⁇ 0 "is obtained, and the original image (1 bit) 7 9 is obtained.
  • the pattern recognition unit 80 recognizes the pattern in the same manner as described with reference to FIG. 10 and FIG.
  • Pattern recognition converted image (1 bit) 8 1 is obtained by pattern recognition.
  • the accuracy of this pattern recognition is evaluated by the weighting factor calculation unit 74.
  • the processing of this weighting factor calculation unit 74 is shown in Figs. 14 and 14.
  • the probability of the pixel as a binarized pattern depends on the signal level (vertical axis) of the corresponding pixel in the original image. (Horizontal axis) is evaluated. This is evaluated for all pixels used for pattern recognition, and the total product is taken as the probability of the entire pattern.
  • this probability is used as a coefficient to multiply the binary image 8 1 after pattern recognition, and this is added to the result of the bicubic resolution conversion unit 7 2 to normalize it.
  • An image (16 bits) after resolution conversion is obtained.
  • the resolution conversion process according to the embodiment of the present invention can prevent image quality deterioration as compared with the configuration of FIG. 15A shown as a reference example.
  • the configuration of Fig. 15A is that the signal S 61 from the image sensor supplied to the input terminal 61 is supplied to the RAW data generation circuit, and is also supplied to the demosaic processing unit 62, and the RGB signal SG 62 is Generate.
  • the R G B signal S G 6 2 is supplied to the phase maintaining resolution converting unit 63, and is thinned out to about 1/6 to obtain the output signal S G 6 3.
  • a control signal for specifying the resolution is supplied from the terminal 64 to the phase-maintaining resolution converter 63.
  • the output signal S G 6 2 of the demosic processing unit 62 is, for example, an R GB signal of (3 8 8 X 2 6 0 8) pixels.
  • the output signal SG 63 of the phase-maintaining resolution converter 63 is, for example, an RGB signal of (64 0 X 4 8 0) pixels.
  • the encoder for example, (6 4 0 X 4 8 0) pixel YC signal (component Signal) SG 6 6 is output.
  • This YC signal is the captured image signal.
  • the recording medium includes (6 4 0 X 4 8 0) pixel YC signal (component signal) SG 6 6 as well as color array signal (RAW data) SG 6 1
  • a (SG 7 7 X 5 1 2) pixel color array signal SG 67 as thumbnail image data and imaging information (not shown) are recorded.
  • an RGB signal S G 6 8 of (3 8 8 X 2 60) pixels is formed from the signal S G 67.
  • This RGB signal S G 68 is an image signal corresponding to the adjusted partial enlarged image.
  • an R GB signal S G 6 2 of (3 8 8 8 X 2 6 0 8) pixels formed from the signal S G 61 is used.
  • FIG. 16 summarizes the resolution conversion processing of the configuration shown in Fig. 15A.
  • FIG. 16 shows a signal S G 6 1 ′ obtained by decomposing the output signal S G 6 1 of the image sensor 3 into each color component.
  • the signal S G 6 1 is demosaiced for each color, and the R G B signal S G 6 2 is obtained.
  • the signal S G 63 thinned out to 1 Z6 by the phase holding resolution conversion unit 63 is obtained.
  • This signal S G 63 has a resolution reduced to 1 Z 6 with respect to the signal S G 61 before processing.
  • the phase-maintaining resolution converter 6 3 multiplies the value of each pixel of a predetermined color in the horizontal direction (vertical direction) by the coefficient (1, 1, 2, 2, 2, 1, 1), and the multiplication result is 1 Z8, and then rounding down to 1/6.
  • the signal SG 63 loses the fine lines that existed in the signal SG 62, resulting in an image with a large resolution degradation.
  • the output signal SG 45 in the above-described embodiment of the present invention is shown in FIG. 16 for comparison. In this signal SG 45, the thin line pattern is stored without being lost even after the resolution conversion. Further, in the configuration shown in FIG.
  • the demosaic process and the phase-maintaining resolution conversion process are performed on the signal having the number of pixels of the image sensor, so that compared to the process of the embodiment of the present invention.
  • the processing time is long, and the continuous shooting performance is poor.
  • since the amount of information recorded on the recording medium is large, there is a problem that it takes time to process the recording Z reproduction and the processing in the information processing device.
  • the present invention has the advantage of not causing these problems.
  • the signal processing of the present invention described above includes both the signal processing unit 52 and the information processing device (computer) 53 of the imaging device to which the imaging signal from the imaging device 51 is supplied. Or on one side.
  • An imaging signal is input to the phase holding resolution converting unit 4 2 of the signal processing unit 52.
  • the output signal of the phase holding resolution conversion unit 42 is input to the demosaic processing units 4 4 A and 4 4 B.
  • the thinned data processed by the demosaic processing unit 44 A and the thin line holding resolution conversion unit 45 A is supplied to the encoder 54, and is output after being subjected to compression encoding, for example, JPEG processing.
  • the signal processing unit 53 of the information processing device the data thinned out by the phase holding resolution converting unit 42 is processed by the demosic processing unit 44 B and the thin line holding resolution converting unit 45 B.
  • the present invention has been specifically described above.
  • the present invention is not limited to the above-described embodiment, and the technical idea of the present invention is not limited thereto.
  • Various modifications based on the idea are possible.
  • the case where the imaging result acquired by the digital still camera is output to the recording medium and processed by the computer has been described.
  • the present invention is not limited to this, and data communication such as wireless communication is performed.
  • the present invention can also be applied to the case of using and outputting to a computer for processing.
  • the color arrangement of the image sensor has been described as an example in which G is arranged in a checkered pattern, an image sensor with other color arrangement may be used.
  • the case where the imaging result is acquired with the digital still camera has been described.
  • the present invention can be applied to the above.
  • the case where the imaging result is processed by the computer has been described. Can do.

Abstract

撮像素子３の色配列に対応する時系列で各色信号が存在する解像度変換前の信号ＳＧ４１が位相保持解像度変換部４２により指定された変換率（例えば１／３）でもって解像度変換される。デモザイク処理部４４は、撮像素子の色配列の順序の信号ＳＧ４２をＲＧＢ信号ＳＧ４４へ変換する。細線保持解像度変換部４５が信号ＳＧ４４を指定された変換率（例えば１／２）でもって、信号ＳＧ４５に変換し、信号ＳＧ４５がエンコーダによって圧縮される。記録媒体９に(640×480)画素のＹＣ信号ＳＧ４８と、色信号ＳＧ４２と、サムネイル画像データＤＴとしての(640×480)画素の色配列の順序の信号ＳＧ５１と、撮影情報とが記録される。

Description

明 細 書
信号処理方法および信号処理装置 技術分野
この発明は、 撮像装置例えばディジタルスチルカメラに適用可能な信 号処理方法および信号処理装置に関する。 背景技術
C C D等の撮像素子から得られる撮像信号に対してガンマ処理、 ォー トホワイ トバランス処理、 撮像モードに応じた色相補正処理、 周波数特 性の補正処理、 ノイズリ ダクショ ン処理等の画質補正処理 （現像処理と も称される） を撮像結果の画像データ （以下、 R A Wデータと適宜称す る） に施して R A Wデータを目に見える画像信号に変換することがなさ れる。 さらに、 画像信号を非可逆な圧縮方式で圧縮して記録媒体に記憶 するようになされる。 これに対して、 非可逆の圧縮による画質劣化を回 避し、 また、 ユーザ自身の希望する画質補正を可能とするために、 R A Wデータを記録媒体に記録し、 記録媒体に記録された R A Wデータをコ ンピュータのような情報処理装置に入力し、 情報処理装置によって画像 情報を生成することが提案されている （日本国特許第 3 2 3 0 2 9 1号 参照） 。
R A Wデータは、 画質補正後の画像データに比してデータ量が非常に 多いために、 R A Wデータから画像情報を生成するのに要する時間が長 くなる問題があった。 この問題を解決するために、 情報処理装置にて画 質捕正処理を行う場合には、 R A Wデータを縮小処理して縮小画像 （以 下、 サムネイル画像と適宜称する） を生成して R A Wデータに付加し、 サムネイル画像を R A Wデータより先に表示する方法が提案されている。 この方法は、 情報処理装置においてなされた画質調整が表示画像に反映 されないために、 サムネイル画像を一覧表示に使用した場合、 サムネィ ル画像と調整対象の本来の画像とが異なるといった不具合が発生する。
さらに、 情報処理装置によってサムネイル画像を生成し、 画質補正結 果をサムネイル画像に反映させることは、 日本国特開 2 0 0 3— 3 4 6 1 4 3号公報によって提案されている。 この文献に記載のものは、 情報 処理装置が全部の R AWデータを一旦読み出す必要があるために、 一覧 表示などで使用者の利便性を阻害する問題があった。 発明の開示
これを解決するため、 使用者の要求に応じて調整時の本画像と同等調 整効果を反映したサムネイル画像を高速に提供する手法が本出願の優先 日の時点で未公開の日本国特願 2 0 0 6— 1 6 6 8 5 8で提案されてい る。 この出願に記載の方法では、 サムネイル画像は高速に提供できても、 全画像はイメージヤーサイズにのみ依存するため、 使用者が撮像装置に 対し十分に小さい出力解像度要求しかしていなくても、 全画像は高速に 提供できなかった。 また、 撮像装置内のデモザイク処理や圧縮信号情報 を生成する処理も全画像分の処理時間がかかっていた。 さらに、 サムネ ィル画像を生成する処理が細線のような画像情報の欠落を生じる問題が あった。
なお、 撮像素子の色フィルタの色配列に応じた撮像信号を三原色信号 R G Bに変換する処理が色分離処理である。 デモザイク処理は、 色配列 がモザイク状の場合になされる色分離処理を意味する。 ス トライプ状に 配列された色フィルタを有する場合に対してもこの発明を適用すること ができる。 また、 補色系の色フィルタを有する場合に対してもこの発明 を適用することができる。 したがって、 この発明の目的は、 色分離処理や解像度変換処理を高速 に提供し、 これにより、 撮像時の処理速度が向上し、 また、 記憶媒体の 必要量も軽減するため、 使用者の利便性を向上させることができる信号 処理方法および信号処理装置を提供することにある。
上述した課題を解決するために、 この発明は、 撮像素子からの上記 撮像素子の色配列の順序を有する信号に対して、 位相保持の第 1の解像 度変換を行うステップと、 第 1の解像度変換により得られた第 1の信号 に対して色分離処理を行うステップと、 色分離処理により得られた第 2 の信号に対して細線保持の第 2の解像度変換を行うステップとを備える 信号処理方法である。
この発明は、 撮像素子からの上記撮像素子の色配列の順序を有する信 号に対して、 位相保持の第 1の解像度変換を行う位相保持解像度変換部 と、
第 1の解像度変換により得られた第 1の信号に対して色分離処理を行 う色分離処理部と、
色分離処理により得られた第 2の信号に対して細線保持の第 2の解像 度変換を行う細線保持解像度変換部と、
を備える信号処理装置である。
この発明によれば、 解像度の劣化が少ない信号を提供できる。 さらに、 間引き処理の高速化により、 撮像装置が高速な連写動作を行うことがで きる。 また、 情報量の削減により、 撮像装置が記録媒体に記録できる記 録枚数を向上させることができる。 図面の簡単な説明
第 1図は、 この発明の一実施の形態におけるディジタルスチルカメラ の一例の構成を示すブロック図である。 第 2図は、 この発明の一実施の形態における記録媒体に記録されるデ ータのファイルフォーマツ トの一例を示す略線図である。
図 3は、 ディジタルスチルカメラの撮像結果を処理する情報処理装置 としてのコンピュータの一例のブロック図である。
第 4図は、 コンピュータによる編集時に表示されるインターフェース 画面の一例を示す略線図である。
第 5図は、 この発明の一実施の形態によるディジタルスチルカメラ内 の画像処理装置の解像度変換に関連する構成の一例のブロック図および 画像フォーマツ トの説明に用いる略線図である。
第 6図は、 位相保持解像度変換部の説明に用いる略線図である。 第 7図は、 デモザィク処理の説明に用いる略線図である。
第 8図は、 デモザイク処理の説明に用いるフローチヤ一トである。 第 9図は、 細線保持解像度変換処理の説明に用いる略線図である。 第 1 0図は、 細線保持解像度変換部の処理について水平方向に関する 処理をより詳細に示す略線図である。
第 1 1図は、 細線保持解像度変換部の処理について垂直方向に関する 処理をより詳細に示す略線図である。
第 1 2図は、 この発明の一実施の形態における解像度変換処理をまと めて示す略線図である。
第 1 3図は、 画素が 1 6 ビッ トの場合に細線保持解像度変換部の処理 を適用した場合の構成を示すプロック図である。
第 1 4図は、 第 1 3図における重み付け係数の説明に用いる略線図で ある。
第 1 5図は、 この発明と異なる構成の参考例の解像度変換に関連する 構成の一例のブロック図および画像フォーマッ トの説明に用いる略線図 である。 第 1 6図は、 参考例における解像度変換処理をまとめて示す略線図で ある。
第 1 7図は、 撮像装置と情報処理装置における処理を説明するための ブロック図である。
発明を実施するための最良の形態
以下、 この発明の一実施の形態による撮像装置例えばディジタルス チルカメラ 1の一例について図面を参照しながら説明する。 一実施の形 態の全体の構成が第 1図に示されている。 撮像光学系 （図示せず） がマ イク口コンピュータで構成された制御部 2によって指示された撮像条件 に応じて動作し、 撮像光学系を介された被写体光が撮像素子 3に入射さ れる。
撮像光学系は、 被写体の拡大 Z縮小を行うためのズームレンズ、 焦点 距離を調整するためのフォーカスレンズ、 光量を調整するためのアイ リ ス （絞り） 、 N D (Neutral Dens i ty)フィルタ、 並びにこれらのレンズ およびアイリスを駆動する駆動回路を備えている。
撮像素子 3は、 C C D (Charge Coup l ed Dev i ce)、 C M O S (Comp le mentary Metal Oxi de Semi conductor)等である。 撮像素子 3によって 被写体光に応じた撮像信号が捕捉される。 撮像素子 3は、 原色系と補色 系のいずれでもよく、 入射された被写体像を光電変換した R G B各色の 原色信号または補色系の撮像信号を出力する。
撮像素子 3の出力信号が前処理回路 4に供給される。 前処理回路 4は、 撮像素子 3の出力信号に対して相関二重サンプリング処理、 自動利得調 整処理、 アナログディジタル変換処理を順次行う。 前処理回路 4の出力 信号が欠陥補正回路 5に供給される。 欠陥補正回路 5は、 前処理回路 4 の出力信号に対する欠陥補正処理を行う。 欠陥補正回路 5の出力に R A Wデータ D Rが出力される。
RAWデータが画像処理回路 6に供給される。 画像処理回路 6は、 R AWデータに対して、 解像度変換処理、 ガンマ補正処理、 ホワイ トバラ ンス処理等の画質補正処理を順次実行し、 画質補正済みの画像データを 出力する。 図示しないが、 画像処理回路 6からの画質補正済みの画像デ ータが表示装置で表示され、 撮像画像のモニタ表示がなされる。
画像処理回路 6からの画像データがエンコーダ 7にて例えば J P EG (Joint Photographic Experts Group)により圧縮される。 エンコーダ 7では、 画像データからサムネイル画像を生成し、 E x i f (Exchanges ble image file format for digital sti丄 1 camera)フォーマツ ト処理 結果を出力する。 また、 制御部 2の制御によって、 圧縮されたサムネィ ル画像の画像データが RAWデータファイル生成回路 1 0に出力される。 エンコーダ 7の符号化出力がィンターフェース 8を介して記録媒体 9 に供給され、 記録媒体 9に記録される。 インターフェース 8は、 制御部 2の制御によって、 RAWデータファイル生成回路 1 0から出力される RAWデータファイルのデータを記録媒体 9に記録する。 また、 記録媒 体 9に記録されたデータを再生して各部に出力する。
記録媒体 9は、 例えばメモリカードであり、 インターフェース 8を介 して出力されるデータを記録する。 記録媒体 9としては、 メモリカード 以外に光ディスク、 磁気ディスク等の種々の記録媒体を使用することが できる。 記録媒体 9に記録されているデータが情報処理装置としてのコ . ンピュータによって再生される。 記録媒体を使用するのに限らず、 情報 処理装置と通信を介してデータの授受を行うようにしても良い。
RAWデータファイル生成回路 1 0は、 画像処理回路 6の間引き処理 (位相保持解像度変換） を受けた RAWデータ DR、 制御部 2から出力 されるサムネイル画像データ DT、 撮像時の撮像情報 D S等で RAWデ 一タフアイルを生成し、 生成した RAWデータファイルをインターフエ ース 8に対して出力する。 なお、 厳密には、 位相保持解像度変換前の撮 像信号が RAWデータであり、 位相保持解像度変換によって撮像信号を 間引いた信号が修正 RAWデータである。 但し、 以下の説明では、 修正 RAWデータも単に RAWデータ DRと称することにする。
サムネイル画像データ DTは、 RAWデータ DRを間引きして生成さ れるものである。 撮像情報 D Sは、 RAWデータを取得する撮像時に、 ディジタルスチルカメラに設定された撮像条件の情報である。 撮像情報 D Sは、 画像処理回路 6における画質補正処理を特定する画質補正情報、 レンズ、 撮像素子 3の設定を特定する光学系の情報等により構成される。 具体的には、 画質補正情報は、 画像処理回路 6における色相、 階調、 周 波数特性等の補正を特定する情報であり、 画質補正モー ド （色モー ド） の情報等により構成される。 光学系の情報は、 シャッター速度、 焦点距 離、 絞り等の情報である。
RAWデータファイルは、 第 2図に示すように、 E x i f に準拠した フォーマッ トで RAWデータを記録するファィルであり、 E X i f と同 様にヘッダーが設けられ、 I F D (Image File Directory) により各種 のデータが割り当てられる。
ここで RAWデータファイルは、 ファイル先頭のフィールド F 1に、 メイン画像データの再生に必要な情報 （メイン画像データ I F D 0 ) 、 およびこのメイン画像データの撮像時の情報 （撮像情報 I F D 1 ) が記 録される。 ここでは、 メイン画像データに RAWデータ D Rが割り当て られ、 メイン画像データの撮像時の情報は、 RAWデータの撮像時に使 用したディジタルスチルカメラ 1を特定する情報、 上述の撮像条件の情 報が割り当てられる。 具体的には、 E x i f の対応する情報が割り当て られ、 絞り、 フォーカス距離、 シャッター速度等の情報、 画像処理回路 6における画質補正モード等の情報、 さらにファイル名、 ユーザ名等の E X i f に定義された情報が割り当てられる。
また R A Wデータファイルは、 続くフィールド F 2に、 エンコーダ 7 で生成される J P E Gでデータ圧縮したサムネイル画像データが割り当 てられる。 このサムネイル画像は、 例えば （6 4 0 (水平方向） X 4 8
0 (垂直方向） ） の画素数を有する Y (輝度データ） および C (色デ一 タ） からなるコンポーネント信号である。
さらに続くフィールド F 3に、 このディジタルスチルカメラ 1のメー カーが独自に定義した情報 （平文部メーカーノート I F D ) が記録され る。 R A Wデータファイルは、 これら先頭 3フィールド F 1〜 F 3が E X i f のフォーマッ トで作成されることから、 E x i f のフアイルを処 理可能な各種アプリケーションによっても、 メイン画像データに割り当 てた R AWデータを再生できるように形成される。
続いて R A Wデータファイルは、 メィン画像データの撮像時の撮像情 報が割り当てられる。 具体的には、 フィールド F 4に、 メーカーノート
1 F D 0 (カメラ制御モード等の E X i f に規定されていない必要情報 が記録される。 フィールド F 5に、 撮像時を再現する画像処理に必要な パラメータテーブルが記録される。 例えば R AWデータ D Rの撮像時に おけるデイジタノ,レスチルカメラ 1の絞りの設定、 シャッター速度、 撮像 モード等が記録される。
フィールド F 6〜 F 1 0のそれぞれに、 各種の切り出し基準情報が設 定される。 具体的に、 フィールド F 6には、 フォーカス調整から検出さ れる撮像時の合焦位置情報が記録される。 ここで、 この撮像時の合焦位 置情報は、 R A Wデータ D Rの画像において合焦している領域の位置情 報である。
フィールド F 7に、 撮像時のフォーカスサーチ処理で検出された背景 の合焦位置情報が記録される。 したがつてこのディジタルスチルカメラ
1は、 合焦位置を無限遠から手前側に順次近づけてフォーカスサーチの 処理を実行し、 このフォーカスサーチ時、 最も遠い側で合焦した領域の 位置情報をこの背景の合焦位置情報に設定する。
フィールド F 8に、 撮像時に検出された顔の位置情報が記録される。 撮像時、 顔のテンプレートを用いて、 制御部 2で顔が撮像されている領 域を検出し、 この顔が検出された領域をこの顔位置の情報に設定する。 なおこのディジタルスチルカメラ 1は、 例えばユーザが人物撮像の撮像 モードを選択している場合には、 この顔を検出した領域が合焦するよう にフォーカス調整して R A Wデータ D Rを取得する。 なお顔が検出され ない場合、 顔の位置情報にはその旨が記録される。
フィールド F 9に、 逆光位置の情報が記録される。 ここで逆光位置の 情報は、 撮像結果中で逆光の部分を示す位置情報であり、 フォーカスサ ーチの際に撮像結果の各部における合焦位置を検出し、 この合焦位置の 検出結果から、 1つの物体を撮像したと判断される領域であって、 合焦 位置が手前側程、 輝度レベルの低い領域を検出し、 この検出した領域の 位置情報を逆光位置の情報に設定する。
フィールド F 1 0に、 飽和位置の情報が記録される。 飽和位置の情報 は、 このディジタルスチルカメラ 1 のダイナミ ック レンジに対して輝度 レベルが飽和している領域の位置である。 ディジタルスチルカメラ 1は、 撮像時、 絞りを可変し、 この絞りの可変に対する各部の輝度レベルの変 化を判定して飽和している領域を検出する。 この検出した領域の位置情 報をこの飽和位置の情報に設定する。
フィールド F l 1に、 撮像時における光軸中心の情報が記録される。 ここでこの光軸中心の情報は、 レンズに設けられたレンズの機種を特定 する情報に基づいて設定される。 なお、 これら逆光位置情報、 飽和位置 情報、 光軸中心位置情報にあっても、 対応する位置情報を検出できない 場合、 それぞれその旨が記録される。
フィールド F 1 2にサムネイル画像用 I F Dが記録される。 以上のフ ィールド F 1乃至 F 1 2が撮像情報 D Sである。 撮像情報 D Sは、 制御 部 2から RAWデータファイル生成回路 1 0に供給される。 フィールド F 1 2の次に、 RAWデータから制御部 2で生成されたサムネイル画像 データ DTが配される。 サムネイル画像データ D Tは、 例えば （6 4 0 X 4 8 0) 画素の撮像素子 3の色配列を有するデータである。 サムネィ ル画像データ D Tの次に RAWデータ D Rが配置される。
ここで RAWデータ D Rは、 RAWデータのデータ量が全体のデー タ量の 9 5 〔％〕 程度を占めることになるが、 この RAWデータがファ ィルの末尾に割り当てられていることから、 ファイル先頭から 5 〔％〕 程度を再生するだけで、 サムネイル画像データ、 撮像情報 D S等を取得 することができる。
第 3図は、 この記録媒体 9に記録された撮像結果を処理する情報処理 装置としてのコンピュータの構成を示す。 コンピュータ 2 1において、 インターフェース （ I F) 2 2は、 中央処理ユニッ ト 2 3の制御により 記録媒体 9に記録されたデータを再生してバス BU Sに出力し、 またバ ス BU Sに出力されるデータを記録媒体 9に記録する。
表示部 24は、 中央処理ユニッ ト 2 3の制御により各種の画像を表示 し、 インターフェース （ I F) 2 5は、 中央処理ュニッ ト 2 3の制御に より印刷に必要な各種のデータをプリンタ 2 6に出力する。 入力部 2 7 は、 キーボード、 マウス等により形成され、 ユーザの操作を中央処理ュ ニッ ト 2 3に通知する。 ハードディスク装置 （HDD) 2 8は、 中央処 理ユニッ ト 2 3の各種処理のプログラム、 データを記録して保持する。
このハードディスク装置 2 8に記録されたプログラムは、 光ディスク、 磁気ディスク、 メモリカード等の記録媒体に記録されて提供されるもの の、 このような記録媒体による提供に代えて、 事前のインス トールによ り、 またはインターネッ ト等のネッ トワークを介したダウンロードによ り提供してもよい。
中央処理ユニッ ト （C P U ) 2 3は、 コンピュータ 2 1 の演算処理部 であり、 リードオンリメモリ （R O M) 2 9の記録にしたがってランダ ムアクセスメモリ （R A M) 3 0にワークエリアを確保してハードディ スク装置 2 8に記録されたオペレーションシステムを起動する。 またこ のオペレーションシステムにおけるユーザの操作に応動して、 記録媒体 9に記録された撮像結果をユーザが指示したフォルダにダウンロードす る。
また入力部 2 7を介して検出されるユーザの指示にしたがって、 ハー ドディスク装置 2 8に記録された撮像結果を編集処理するプログラム (以下、 編集プログラムと呼ぶ） を起動する。 なお、 以下の説明におい ては、 記録媒体 9に上述の R AWデータファイルのみが記録されている との前提により、 中央処理ュニッ ト 2 3によりなされる情報処理装置の 一連の処理を説明する。
編集プログラムの起動により中央処理ュニッ ト 2 3は、 第 4図に示す 編集プログラムのメイン画面 M 1を表示部 2 4に表示する。 またこのメ イン画面 M 1に表示したメニューの選択により、 プルダウンメニューに よるサブメニューを表示し、 ユーザによるサブメニューの選択を受け付 ける。
中央処理ュニッ ト 2 3は、 このサブメニューの選択によりユーザがフ オルダまたは記録媒体 9に記録された撮像結果の一覧表示を指示すると、 ユーザが指示したフォルダまたは記録媒体 9に記録されたファイルの情 報をこれらフォルダまたは記録媒体 9のファイル管理システムから取得 し、 この編集プログラムで処理可能なファイル'を選択する。 またデフォ ルトで、 この選択したファィルのサムネイル画像をサブウインドウ M 2 で一覧表示する。
すなわち中央処理ュニッ ト 2 3は、 ユーザが一覧表示を指示すると、 記録媒体 9またはフォルダのアクセスにより対応するファイルのデータ を取得する。 この処理において、 中央処理ユニッ ト 2 3は、 順次取得さ れるファイルデータの監視により、 R A Wデータの間引きによるサムネ ィル画像データ D Tと、 R A Wデータの画像処理に係る情報とを取得す ると、 このファイルの残るデータの取得を中止する。 具体的に、 中央処 理ユニッ ト 2 3は、 R A Wデータファイルの先頭フィールド F 1からサ ムネィル画像データ D Tのフィールドまでのデータを取得すると、 残り のフィールドのデータの取得を中止する。
続いて中央処理ュニッ ト 2 3は、 取得したデータの I F Dを解析し、 さらに取得したデータをデータ展開する。 このデータ展開する処理によ り、 中央処理ユニッ ト 2 3は、 取得したデータからサムネイル画像デー タ D Tを取得し、 またこのサムネィル画像データ D Tの再生に必要な情 報を取得する。 またユーザの事前の設定に応じて撮像時の撮像情報、 編 集処理の撮像情報を取得する。
続いて中央処理ュニッ ト 2 3は、 取得したサムネイル画像データ D T を、 撮像時の撮像情報に設定された画質補正情報で画質補正し、 撮像時 に表示した画質のサムネイル画像データを生成する。 具体的に中央処理 ユニッ ト 2 3は、 この撮像情報に設定された画質補正情報に基づいて、 メイン画像データの撮像時における画像処理回路 6の設定を再現し、 こ の再現された設定でサムネイル画像データ D Tをガンマ補正、 ホワイ ト バランス調整し、 さらに階調、 色相、 周波数特性等を調整する。 中央処 理ュニッ ト 2 3は、 このようにして画質補正したサムネイル画像データ D Tの画像を、 表示用の画像メモリに記録する。
続いて中央処理ュニッ ト 2 3は、 サブウィンドウ M 2に表示する枚数 分、 サムネイル画像の取得が完了すると、 画像メモリに記録した画像デ ータでサブウインドウ M 2を表示する。 中央処理ュニッ ト 2 3は、 記録 媒体 9に記録された撮像結果、 このコンピュータ 2 1にダウンロードし た撮像結果をサムネイル画像で一覧表示する。
中央処理ュニッ ト 2 3は、 サブウインドウ M 2におけるサムネイル画 像の一覧表示でユーザがサムネイル画像を選択すると、 メイン画面 M 1 にサブウィンドウ M 3を表示し、 このサブウィンドウ M 3に対応する撮 像結果を拡大表示する。 またこのサブウィンドウ M 3において、 ユーザ がサブウィンドウ M 3の大きさを可変すると、 このユーザの操作に応動 してサブウィンドウ M 3の大きさを可変して対応する撮像結果を表示す る。 またこのサブウィンドウ M 3で全画面表示が指示されると、 対応す る撮像結果をメイン画面 M 1に全画面表示する。 中央処理ュニッ ト 2 3 は、 この撮像結果の全画面表示をサムネイル画像を拡大表示して実行し、 ユーザの使い勝手を向上する。
サムネイル画像の一覧表示において、 ユーザがサムネイル画像を選択 して撮像情報の表示を指示すると、 選択されたサムネイル画像の画質補 正に使用した撮像情報が表示される。 例えばガンマ特性が特性曲線によ り表示され、 撮像情報の各項目が表示される。 各項目と して、 ホワイ ト バランス調整の調整モー ド、 ホワイ トバランス調整の微調整量、 演色性 の調整量、 彩度の調整量、 コン トラス トの調整量等がある。
サムネイル画像の一覧表示において、 ユーザがサムネイル画像を選択 して編集を指示すると、 またはメイン画面 M l、 サブウィンドウ M 3で 表示した撮像結果の編集をユーザが指示すると、 中央処理ユニッ ト 2 3 は、 編集操作用のサブウィンドウ M 4を表示する。 この編集操作用のサブウィンドウ M 4は、 画質補正項目を選択し、 画 質補正量を設定するウィンドウである。 編集操作用のサブウインドウ M 4は、 タブにより表示を切り換えて各画質補正項目を選択できるように 形成される。 このサブゥンインドウ M 4は、 調整項目毎に、 ディジタル スチルカメラ 1における設定操作のユーザィンターフェースに対応する 操作量で、 調整量を設定できるように形成される。 具体的にサブウィン ドウ M 4は、 撮像時の設定を基準にして、 例えば色温度、 演色性、 露出 補正、 シャープネス、 ノイズリダクションの調整ボタンが、 それぞれ調 整量と共に表示される。
中央処理ユニッ ト 2 3は、 サブウィンドウ M 5でユーザの選択した撮 像結果の全画面をプレビュー表示し、 またユーザの指示に応動して、 こ のプレビュー画面に表示した撮像結果の各種解析結果をサブウインドウ M 6で表示する。 なお、 第 4図に示す例における解析結果の表示は、 各 色信号の階調分布によるヒス トグラム表示である。
中央処理ユニッ ト 2 3は、 このプレビュー画面の表示、 解析結果の表 示をサムネイル画像データにより実行する。 また中央処理ュニッ ト 2 3 は、 サブウィンドウ M 4におけるタブの選択により、 このサブウィンド ゥ M 4の表示を切り換えて各調整項目の設定を受け付ける。 このとき中 央処理ユニッ ト 2 3は、 ユーザの調整量の可変に対応するように、 プレ ビュー画面の画質を可変する。
すなわち、 中央処理ユニッ ト 2 3は、 サブウィンドウ M 4でユーザが 調整量を可変すると、 プレビュー画面の表示中のサムネイル画像を画質 補正した撮像情報をこの調整量の可変に対応するように、 補正する。 ま たこの補正した撮像情報でサムネイル画像データを画質補正し、 その処 理結果による画像をプレビュー表示する。 またこのようにして画質補正 した画像データの処理により解析結果の表示に必要な情報を取得し、 こ の取得した情報でサブウインドウ M 6の表示を切り換える。
中央処理ュニッ ト 2 3は、 このようにユーザの操作に応動してプレビ ユーの処理を実行するようにして、 サブウィンドウ M 4に表示した画質 調整のチェックボックスをユーザがチェックしている場合、 サブウィン ドウ M 4によるプレビュー画面の画質の変更に対応するように、 サブゥ インドウ M 5のプレビュー画面に画質の変更と同時に、 サブウインドウ M 3における撮像結果の表示の画質、 メィン画面 M 1における撮像結果 の全画面表示における画質を切り換える。 このときユーザがプレビュー 画面の特定領域の拡大表示を指示すると、 プレビュー画面に枠 Wを表示 してこの特定領域を示し、 サブウィンドウ M 3における撮像結果の表示、 またはメイン画面 M 1における撮像結果の全画面表示において、 この特 定領域を拡大表示する。
中央処理ユニッ ト 2 3は、 これらの場合も、 始めに、 サムネイル画像 により編集処理した撮像結果をサブウインドウ M 3またはメイン画面 M 1に表示することにより、 ユーザによる操作に応動して編集処理した撮 像結果を短時間で表示し、 ユーザの使い勝手を向上する。 またサムネィ ル画像の拡大表示により編集処理した撮像結果を表示した後に、 R AW データを編集処理して表示を置き換えることにより、 ユーザによる各種 処理の妨げとならないようにして、 この表示した撮像結果の画質を向上 させる。
この発明の一実施の形態の動作を概略的に説明する。 ディジタルスチ ルカメラ 1では （第 1図） 、 ユーザが設定したシャッター速度、 絞り等 により図示しない光学系で撮像素子 3の撮像面に光学像が形成され、 ュ 一ザによる操作子の操作によりこの光学像の撮像結果が撮像素子 3から 出力されて前処理回路 4、 欠陥補正回路 5で処理され、 撮像結果の画質 補正前の画像データである R A Wデータ D Rが生成される。 またこの R AWデータ D Rが画像処理回路 6で画質補正されて表示部で表示される。 ディジタルスチルカメラ 1では、 この表示部に表示された撮像結果の 確認により、 ユーザが不必要と判断した撮像結果については、 何ら保存 されることなく破棄されるのに対し、 ユーザが必要と判断した撮像結果 については、 ユーザにより指示'された保存形態で記録媒体 9に記録され る。 すなわち、 ユーザが E x i f のファイルでの記録を指示している場 合、 画質補正済みの画像データがエンコーダ 7でデータ圧縮されて、 画 質補正済みのサムネイル画像データ、 撮像情報と共に、 E x i f のファ ィルにまとめられ、 この E x i f のファイルが記録媒体 9に記録される。 これに対してユーザが RAWデータ D Rでの撮像結果の記録を指示して いる場合、 RAWデーダ DR、 この RAWデータ DRを間引きして作成 されたサムネイル画像データ DT、 画像処理回路 6における画質補正処 理を特定する画質補正情報を有する撮像時の撮像情報 D S等により R A Wデータファイルが作成され、 この RAWデータファイルが記録媒体 9 に記録される。
RAWデータファイルには、 撮像結果 （RAWデータ DR) が記録さ れ、 この RAWデータ D Rをサムネイル画像でユーザに提示する場合に は、 サムネイル画像データ DTを画質補正情報で画質補正して、 撮像時、 ユーザが確認した画質の撮像結果をサムネイル画像で表示することがで きる。 ここでこのサムネイル画像データを画質補正情報で画質補正して 表示する処理は、 RAWデータ D Rからサムネイル画像データを生成し なくてもよいことから、 短時間で表示して撮像結果を確認することがで き、 ユーザの使い勝手を従来に比して一段と向上することができる。
RAWデータは、 データ量が大きいことから、 記録媒体からロードす るだけでも、 長い時間を要する。 しかしながら、 ファイル先頭から RA Wデータの記録開始位置までの、 RAWデータに比して格段的に少ない 量のデータをロードして処理すれば良いことから、 短時間で撮像結果を 表示することができ、 ユーザの使い勝手を向上することができる。 ディジタルスチルカメラ 1では、 この RAWデータファイル （第 2 図） のファイル先頭側が E x i f ファイルと同様に、 メイン画像データ の情報、 J P EGによりデータ圧縮した画質補正済みのサムネイル画像 データ等により形成され、 末尾に RAWデータ DRが割り当てられる。 したがって、 ディジタルスチルカメラ 1では、 この RAWデータフアイ ルの途中に記録されたフィールドを処理困難な各種のアプリケーション プログラムによっても、 RAWデータ DRについては処理可能に、 また J P E Gによりデータ圧縮した画質補正済みのサムネイル画像データに ついては、 表示可能とすることができ、 この RAWデータファイルの汎 用性を高めることができる。 なお E x i f ファイルでは、 データ圧縮し た画質補正済みのサムネイル画像データに代えて、 データ圧縮する前の サムネイル画像データを適用することも可能であるので、 データ圧縮し た画質補正済みのサムネイル画像データに代えて、 データ圧縮する前の サムネイル画像データを適用するようにしてもよい。
なお、 ディジタルスチルカメラにおける撮像結果の記録は、 このよう な RAWデータによる方法以外に、 E x i f ファイルのように、 画像処 理済みの画像データをデータ圧縮して記録する方法がある。 しかしなが らこの E x i f ファイルでは、 このデータ圧縮した画像処理済みの画像 データに対応するように、 画像処理済みのサムネイル画像データを記録 することから、 編集処理による画質の変化が反映されるように、 サムネ ィル画像を表示することが困難である。 これに対して、 この一実施の形 態の RAWデータファイルでは、 上述した編集処理の撮像情報の利用に より、 編集処理による画質の変化をサムネイル画像の表示に反映させる ことができ、 ユーザの使い勝手を向上することができる。 撮像時の撮像情報には、 画像処理回路 6における画質補正処理を特定 する画質補正情報に加えて、 シャッター速度、 絞り等の光学系の設定の 情報が含まれる。 したがって編集処理では、 ディジタルスチルカメラ 1 における撮像時の操作に対応する各種の設定を変更して種々に編集処理 することができる。
しかしながら、 R A Wデータを処理する各種の編集処理では、 ノイズ リダクションの調整量を可変したり、 またシャープネスを調整したりす る場合がある。 またフォーカスを確認する場合もある。 このような場合 には、 サムネイル画像では処理結果を確認し得ず、 撮像結果の細部を詳 細に検討することが必要になる。 そこでこの R A Wデータファイルでは、 このように細部の確認のための領域設定用の基準情報として、 合焦位置 情報、 背景位置情報、 顔位置情報等が設けられ、 これらの情報が撮像時 の情報として記録される （第 2図） 。
したがって、 この実施の形態の R A Wデータファイルによれば、 編集 処理時、 R A Wデータの画像からユーザの所望する部位を部分的に拡大 して表示する場合に、 この領域設定用の基準情報に基づいて、 この拡大 して表示する部位を簡易かつ確実に設定することができ、 撮像結果の細 部の確認に要する時間を従来に比して短くすることができる。
このように記録媒体 9に記録された撮像結果は、 この記録媒体 9がコ ンピュータ 2 1に装着されて （第 3図） 、 ユーザの操作により、 サムネ ィル画像データ、 撮像時の撮像情報が順次再生され、 このサムネイル画 像データが撮像時の撮像情報で画質補正処理されて一覧表示される （第 4図） 。 したがって、 R A Wデータファイルの撮像結果がサムネイル画 像で一覧表示されることにより、 短時間でサムネイル画像が提供され、 使い勝手を向上することができる。
このように撮像結果をサムネイル画像により一覧表示する際に、 必要 に応じて撮像時の撮像情報に代えて、 編集処理の撮像情報でサムネイル 画像データが画質補正されて表示され、 編集処理による画質の変化を反 映させて R A Wデータの撮像結果をサムネイル画像で一覧表示すること ができる。
この一覧表示において、 撮像結果における輝度分布、 色のヒス トグラ ム等の、 画像データの解析結果の表示が指示された場合には、 サムネィ ル画像データの処理により表示に供する解析結果が検出され、 この解析 結果による特性曲線がサムネイル画像と共に表示される。 この表示にあ つても、 この実施の形態では、 サムネイル画像データの解析により実行 されることにより、 短時間で解析結果を取得して表示することができ、 従来に比してユーザの使い勝手を向上することができる。 このように、 情報処理装置は、 ユーザの要求に応じて調整時の本画像と同等調整効果 を反映したサムネイル画像を高速に提供することができる。
この発明の一実施の形態における画像処理回路 6における解像度変換 に関係する構成のみを第 5図 Aに示す。 欠陥補正回路 5からの解像度変 換前の信号 S G 4 1が入力端子 4 1から位相保持解像度変換部 4 2に供 給される。 信号 S G 4 1は、 撮像素子 3の色配列に対応して各色信号が 存在する信号である。
位相保持解像度変換部 4 2に対しては、 端子 4 3から解像度変換の変 換率を指定する制御信号が供給される。 指定される変換率は、 情報処理 装置において必要とする解像度に対応している。 最高の解像度が指定さ れる場合には、 位相保持解像度変換部 4 2において、 間引きがなされな レ、。 撮像素子 3の画素数が急速に増加している状況では、 常に、 最高の 解像度が要求されるとは限られないので、 ユーザが所望の解像度を指定 することが可能とされている。 R AWデータ D Rが制御部 2に供給され ると共に、 デモザイク処理部 4 4に供給される。 デモザイク処理部 4 4 は、 撮像素子 3の色配列の順序の信号 S G 4 2を R G B信号へ変換する。 第 5図 Bに示すように、 解像度変換前の原 RAWデータ S G 4 1は、 例えば （3 8 8 8 X 2 6 0 8) 画素で撮像素子 3の色配列に対応する信 号である。 位相保持解像度変換部 4 2の出力信号 S G 4 2は、 例えば ( 1 2 8 0 X 9 6 0) 画素で撮像素子 3の色配列の信号である。 デモザ ィク処理部 44の出力信号 S G 4 4は、 例えば （ 1 2 8 0 X 9 6 0) 画 素の RGB信号である。 すなわち、 三原色の各色信号がそれぞれ （ 1 2 8 0 X 9 6 0 ) 画素を有する。 第 5図 Aでは省略しているが、 ガンマ補 正、 ホワイ トバランス補正等の画質補正処理がデモザィク処理部 44内 で行われる。
デモザイク処理部 44の出力信号 S G 44が細線保持解像度変換部 4 5に供給される。 細線保持解像度変換部 4 5に対しては、 端子 4 6から 解像度変換の変換率を指定する制御信号が供給される。 位相保持解像度 変換部 4 2に対する変換率の指定と、 細線保持解像度変換部 4 5に対す る変換率の指定との両者によって、 最終的に所望の解像度が得られるよ うになされる。 細線保持解像度変換部 4 5の出力信号 S G 4 5が出力端 子 4 7に取り出される。 出力端子 4 7に対してエンコーダ 7 (第 1図参 照） が接続される。
第 5図 Bに示すように、 細線保持解像度変換部 4 5の出力信号 S G 4 5は、 例えば （ 6 4 0 X 4 8 0) 画素の RGB信号である。 細線保持解 像度変換部 4 5の出力に対してリニアマトリクス演算部が設けられてお り、 エンコーダ 7からは、 例えば （6 4 0 X 4 8 0 ) 画素の Y C信号 (例えば （4 ： 2 ： 2) コンポーネント信号） S G 4 8が出力される。 この YC信号が通常撮像画像として記録媒体 9に記録される。 この発明 では、 デモザイク処理部 4 4の前後に解像度変換部を分けて配置するよ うになされる。 第 5図 Cに示すように， 記録媒体 9には、 （ 6 4 0 X 4 8 0) 画素の YC信号 （コンポーネン ト信号） S G 4 8以外に、 色配列の信号 S G 4 2と、 サムネイル画像データ D Tとしての （ 6 4 0 X 4 8 0) 画素の色 配列の信号 S G 5 1 と、 撮像情報 （図示せず） とが記録される。
情報処理装置と してのコンピュータにおいて、 上述したような画像デ ータの処理がなされ、 信号 S G 5 1から例えば （3 2 0 X 240) 画素 の RG B信号 S G 5 3が形成される。 この RGB信号 S G 5 3は、 調整 済部分拡大画像 （サブウィンドウ M2、 M3、 M5に表示される） に対 応する画像信号である。 また、 情報処理装置の表示装置に調整済全画像 を表示する場合には、 信号 S G 4 2から形成された （6 4 0 X 4 8 0) 画素の RGB信号が使用される。
上述したこの発明の一実施の形態における解像度変換処理についてよ り詳細に説明する。 第 6図は、 位相保持解像度変換部 4 2の処理を説明 するものである。 解像度変換前の信号 S G 4 1は、 例えば緑の画素が市 松状 （五の目格子） に配列されたべィヤー配列の撮像素子 3の色配列を 有する信号である。 簡単のため、 （ 1 8 X 1 8) 画素の画像であって、 各画素が 2値 （斜線を付した画素がハイ レベルで、 斜線を付さない画素 がローレベル） を有する画像を例にする。 ここでは、 概念を表すため 2 値画像を例にしているが、 全てのディジタル信号処理は 2値の重ね合わ せであり、 この概念の延長にあることは明らかである。
位相保持解像度変換部 4 2は、 （ 1 , 0 , 2, 0， 1 ) の係数を水平 方向および垂直方向のそれぞれに存在する 5個の画素の値に乗算し、 乗 算結果を 1 Z4 し、 さらに、 四捨五入することによって、 1ノ 3の間引 き処理を行う。 その結果、 （3 8 8 8 X 2 6 0 8) 画素の信号 S G 4 1 カゝら （ 1 2 8 0 X 9 6 0) 画素の色配列の信号 S G 4 2が得られる。 即 ち、 位相保持解像度変換では、 色配列が保持された状態で解像度変換が 行なわれる。
デモザイク処理部 44は、 位相保持解像度変換部 4 2の出力信号 S G 4 2に対して、 第 7図に示すように， デモザイク処理を行う。 デモザィ ク処理は、 自画素と周辺の 8画素とを使用した多数決で出力画素を決定 する。 デモザイク処理後の信号 S G 44は、 RGB信号である。
第 8図は、 各画素の値が 2値 （ハイ レベルおよびローレベル） の場合 の多数決処理の一例を示す。 ステップ S 1において、 注目画素 （処理の 対象画素） の設定、 出力色の設定、 変数の初期値 （h = 0 , 1 = 0) の 設定がなされる。
ステップ S 2において、 注目画素自身の信号レベルが判定され、 ロー レベルであれば、 ステップ S 3において、 （ 1 = 1 + 1 ) とされ、 ノヽィ レベルであれば、 ステップ S 4において、 （h = h + l ) とされる。 ステップ S 5において、 周辺画素の設定がなされ、 全ての周辺画素が 設定できた場合には、 ステップ S 6において、 周辺画素の色と出力色と が同色か否かが判定される。 同色でない場合には、 ステップ S 5に処理 が戻る。 同色の場合には、 ステップ S 7において、 周辺画素の信号レべ ルが判定され、 ローレベルであれば、 ステップ S 8において、 （ 1 = 1 + 1 ) とされ、 ハイ レベルであれば、 ステップ S 9において、 （h = h + 1 ) とされる。 そして、 ステップ S 5 (周辺画素の設定） に処理が戻 る。
ステップ S 5において、 注目画素を中心とする （3 X 3) の領域にお いて、 周辺画素が既に 8個設定済と判定される場合では、 ステップ S 1 0において、 （h〉 l ) か否かが判定される。 そうでない場合では、 注 目画素と周辺 8画素の内の出力色と同一の色の複数画素との中で、 ロー レべノレの画素がハイ レベルの画素より多いことを意味するので、 ステツ プ S 1 1において、 出力が 1 (ローレベル） とされる。 （h〉 l ) の場 合では、 注目画素と周辺 8画素との合計 9画素の中で、 ハイ レベルの画 素がローレベルの画素より多いことを意味するので、 ステップ S 1 2に おいて、 出力が h (ローレベル） とされる。
デモザィク処理によって、 撮像素子 3の色配列の信号が R G B信号に 変換される。 デモザイク処理部 4 4からの R G B信号 S G 4 4が細線保 持解像度変換部 4 5に供給され、 第 9図に示すような細線保持解像度変 換処理がなされる。
第 9図は、 1 2の解像度変換を行う例であり、 パターン認識によつ て解像度変換がなされる。 第 9図中の予めパターン認識することによつ て細線が消失しないように値が設定されたテーブルは、 入力 2画素およ び周辺 2画素のパターンに応じて出力の 1画素の値が決定されることを 示している。 4ビッ トのデータの内の第 2番目および第 3番目の各ビッ トが入力画素に対応している。
テーブルにしたがって細線保持解像度変換を行うと、 1 Z 2に解像度 が低下された R G B信号 S. G 4 5が得られる。 パターン認識による解像 度変換によって、 変換後の画像において細線が消えないようにできる。 さらに、 R G B信号 S G 4 5が Y C信号 （簡単のため Y信号のみを示 す。 ） S G 4 8に変換される。
細線保持解像度変換部 4 5の解像度変換処理について R信号を例にし て第 1 0図および第 1 1図を参照してより詳細に説明する。 第 1 0図に 示すように、 デモザイク処理後の R信号 S G 4 4 aが注目画素の （ 2 X 2 ) 画素毎に分解された信号 S G 4 4 bが形成される。 注目画素の領域 の周辺に周辺画素が位置する。 例えば水平方向に 4画素 （R I O , R 1 1 , R 1 2 , R 1 3 ) が配列され、 画素 R 1 0および R 1 3が周辺画素 であり、 画素 R 1 1および R 1 2が注目画素である。 これらの 4画素の 値は、 （ 0 0 0 1 ) である。 注目画素 R 1 3および R 1 4が含まれる 1 列の 4画素の値は、 （0 1 0 0) である。 このように注目画素は、 ォー バーラップなしで 2画素ずつが設定される。
これらの水平方向に並んだ 4画素 （ 2つの注目画素および 2つの周辺 画素） の値が第 9図に示すテーブルによって出力 1画素に変換され、 水 平方向に 1ノ 2の解像度変換がなされた信号 S G 44 cが形成される。 例えば （0 0 0 1 ) ( 0 ) に変換されるので、 R l 1および R 1 2が (0) の値の画素 R 1 1に変換される。 また、 （0 1 0 0) 力 S ( 1 ) に 変換されるので、 尺 1 3ぉょび1 1 4が （ 1 ) の値の画素 R 1 3に変換 される。
このように、 水平方向に解像度が 1 2に変換された後に、 第 1 1図 に示すように、 垂直方向に解像度が 1 Z2に変換される。 第 1 1図にお いて、 信号 S G 44 aから上述-した処理によって水平方向に解像度が 1 ノ 2に変換された信号 S G 4 4 cが形成される。 そして、 垂直方向に並 んだ 4画素 （2つの注目画素および 2つの周辺画素） の値が第 9図に示 すテーブルによって出力 1画素に変換され、 垂直方向に 1 2の解像度 変換がなされた信号 S G 4 4 dが形成される。 信号 S G 4 4 dは、 入力 信号 S G 44 aに対して、 1ノ4に解像度が変換されたものである。 解 像度変換後の信号 S G 44 dにおいて、 入力信号 S G 44 aに存在して いた細線が消失せずに保存される。
例えば垂直方向に 4画素 （R 0 1 , R l l , R 2 1 , R 3 1 ) が配列 され、 画素 R 0 1および R 3 1が周辺画素であり、 画素 R 1 1および R 2 1が注目画素である。 これらの 4画素の値は、 （0 0 0 0) である。 注目画素 R 1 3および R 2 3が含まれる 1列の 4画素の値は、 （ 1 1 1 1 ) である。 第 9図に示すテーブルによって出力 1画素に変換される。 例えば （ 0 0 0 0 ) 力 S ( 0 ) に変換されるので、 R 1 1および R 2 1が (0) の値の画素 R 1 1に変換される。 また、 （ 1 1 1 1 ) 力 S ( 1 ) に 変換されるので、 1 1 3ぉょび1 2 3カ ( 1 ) の値の画素 R 1 3に変換 される。 なお、 他の色信号 （G信号および B信号） に関しても上述した R信号と同様に細線保持解像度変換がなされる。
第 1 2図は、 .上述したこの発明の一実施の形態における解像度変換の 処理をまとめて示す。 第 1 2図では、 撮像素子 3の出力信号 S G 4 1 と、 信号 S G 4 1を各色成分に分解した信号 S G 4 1 ' とが示されている。 各色成分毎に位相保持解像度変換処理がなされ、 1ノ3間引きされた信 号 S G 4 2が得られる。 信号 S G 4 1中の （6 X 6) の領域が （ 2 X 2) の領域へ縮小される。
信号 S G 4 2に対してデモザイク処理がなされ、 1 08信号304 4 が得られる。 さらに、 パターン認識による細線保持解像度変換処理によ つて 1 Z2に間引かれた信号 S G 4 5が得られる。 この信号 S G 4 5は、 処理前の信号 S G 4 1に対して解像度が 1 6に減少されたものである。 信号 S G 4 5において、 もともと存在していた細線のパターンが解像度 変換後においても消失しないで保存される。 すなわち、 解像度変換によ る画質の劣化を抑えることができる。
この発明の一実施の形態では、 デモザィク処理部 44の前段に位相保 持解像度変換部 4 2を設け、 水平および垂直方向で 1Z 3の間引きを行 つているので、 デモザイク処理時間を 1ノ 9に短縮することができる。 また、 この場合の情報量削減効果もほぼ 9倍が見込める。
上述した説明ではまた、 位相保持解像度変換の一例と して簡単なフィ ルター処理を挙げたが、 バイ リ二ァ法ゃバイキュービック法ゃランッォ シュ法などの既存の位相保持解像度変換手法を適用することができる。 また、 デモザイクの一例として簡単な多数決処理を挙げたが、 TotalVar iation法などの既存のデモザィク手法を適用することができる。
さらに、 細線保持解像度変換の一例と して簡単なパターン認識を挙げ たが、 日本国特許第 3654420号にあるような既存のェッジ保持を目的と したダウンコンバート手法や日本国特許第 3483426号にあるようなモア レ防止を目的と したゥンコンパ一ト手法を適用しても良い。
上述した細線保持解像度変換の説明においては、 簡単のため各画素を 1 ビッ トと して説明した。 各画素が 1 6 ビッ トの場合にも上述した細線 保持解像度変換を同様に適用できる。 1 6 ビッ トの画素に対して適用さ れる細線保持解像度変換の他の例について、 第 1 3図および第 1 4図を 参照して、 説明する。
他の例は、 元の画像 7 1がバイキュービック解像度変換部 7 2と、 パ ダーン認識部 7 3と、 重み付け係数演算部 7 4に分かれる。 バイキュー ビック解像度変換部 7 2からのバイキュービック解像度変換後画像 （ 1 6ビッ ト） 7 5 と重み係数演算部 7 4からの重み係数とが重み付け演算 部 7 6に供給される。 注目画素の信号レベルでパターン認識の確からし さを評価し、 重み付けをしてバイキュービック解像度変換と合成してい る。
パターン認識部 7 3では、 ε フィルタ 7 7により比較的広範囲の周辺 画素と注目画素とを比較し （ステップ 7 8 ) 、 注目画素が比較的高けれ ば、 2値細線保持解像度変換の" 1 " とし、 注目画素が低ければ〃 0 " とし、 元画像 （ 1 ビッ ト） 7 9が得られる。
2値化した後は、 第 1 0図および第 1 1図を参照して説明した処理と 同様にパターン認識部 8 0がパターン認識をする。 パターン認識によつ てパターン認識変換後画像 （ 1 ビッ ト） 8 1が得られる。 ' このパターン認識の確からしさは、 重み係数演算部 7 4で評価してい るが、 この重み係数演算部 7 4の処理を第 1 4図 Αおよび第 1 4図 Βに 示す。 2値化した画像の全画素において、 元画像の対応する画素の信号 レベル （縦軸） により、 2値化したパターンとしての画素の確からしさ (横軸） を評価している。 これをパターン認識に用いる全ての画素にお いて評価し、 その総積をパターン全体の確からしさと している。 重み付 け演算部 7 6において、 この確からしさを係数としてパターン認識後の 2値画像 8 1に乗じ、 これをバイキュービック解像度変換部 7 2の結果 と足し合わせて正規化することにより、 細線保持解像度変換後の画像 ( 1 6 ビッ ト） を得るようにしている。
本願出願人は、 使用者の要求に応じて調整時の本画像と同等調整効果 を反映したサムネイル画像を高速に提供する手法を先の出願 （特願 2 0 0 6 - 1 6 6 8 5 8) において提案している。 この出願においては、 こ の発明による処理部の構成のみならず、 第 1 5図 Aに示す構成 （参考 例） の処理部を使用することを許容している。
この発明の一実施の形態における解像度変換処理は、 参考例と して示 す第 1 5図 Aの構成に比較して画質の劣化を防止できる。 第 1 5図 Aの 構成は、 入力端子 6 1に供給される撮像素子からの信号 S 6 1を RAW データ発生回路に供給すると共に、 デモザイク処理部 6 2に供給し、 R G B信号 S G 6 2を生成する。 R G B信号 S G 6 2が位相保持解像度変 換部 6 3に供給され、 約 1 / 6に間引かれ、 出力信号 S G 6 3が得られ る。 位相保持解像度変換部 6 3に対して端子 64から解像度を指定する 制御信号が供給される。
第 1 5図 Bに示すように、 解像度変換前の信号 S G 6 1は、 例えば
(3 8 8 8 X 2 6 0 8) 画素で撮像素子 3の色配列の信号である。 デモ ザィク処理部 6 2の出力信号 S G 6 2は、 例えば （ 3 8 8 8 X 2 6 0 8) 画素の RG B信号である。
第 1 5図 Bに示すように、 位相保持解像度変換部 6 3の出力信号 S G 6 3は、 例えば （ 6 4 0 X 4 8 0 ) 画素の R G B信号である。 ェンコ一 ダからは、 例えば （ 6 4 0 X 4 8 0) 画素の YC信号 （コンポーネント 信号） S G 6 6が出力される。 この YC信号が撮像画像信号である。 第 1 5図 Cに示すように， 記録媒体には、 （ 6 4 0 X 4 8 0) 画素の YC信号 （コンポーネント信号） S G 6 6以外に、 色配列の信号 （RA Wデータ） S G 6 1 と、 サムネイル画像データと しての （ 7 7 7 X 5 1 2) 画素の色配列の信号 S G 6 7と、 撮像情報 （図示せず） とが記録さ れる。
情報処理装置において、 信号 S G 6 7から例えば （ 3 8 8 X 2 6 0) 画素の RGB信号 S G 6 8が形成される。 この RGB信号 S G 6 8は、 調整済部分拡大画像に対応する画像信号である。 情報処理装置の表示装 置に調整済全画像を表示する場合には、 信号 S G 6 1から形成された (3 8 8 8 X 2 6 0 8) 画素の R G B信号 S G 6 2が使用される。
第 1 6図は、 第 1 5図 Aに示す構成の解像度変換の処理をまとめて示 す。 第 1 6図では、 撮像素子 3の出力信号 S G 6 1を各色成分に分解し た信号 S G 6 1 'が示されている。 信号 S G 6 1に対して各色毎にデモ ザイク処理がなされ、 R G B信号 S G 6 2が得られる。 さらに、 位相保 持解像度変換部 6 3によって 1 Z6に間引かれた信号 S G 6 3が得られ る。 この信号 S G 6 3は、 処理前の信号 S G 6 1に対して解像度が 1 Z 6に減少されたものである。
位相保持解像度変換部 6 3は、 （ 1 , 1 , 2 , 2, 1 , 1 ) の係数を 水平方向 （垂直方向） に存在する所定の色の各画素の値に乗算し、 乗算 結果を 1 Z8 し、 さらに、 四捨五入することによって、 1 /6の間引き 処理を行う。 この 1 6間引きによって、 信号 S G 6 3は、 信号 S G 6 2において存在していた細線が消滅し、 解像度の劣化が大きい画像とな る。 上述したこの発明の一実施の形態における出力信号 S G 4 5を第 1 6図に比較のために示す。 この信号 S G 4 5には、 細線のパターンが解 像度変換後においても消失しないで保存される。 また、 第 1 5図 Aに示す構成では、 デモザイク処理および位相保持解 像度変換処理が撮像素子の画素数を有する信号に対してなされるので、 この発明の一実施の形態の処理に比べて、 処理時間がかかり、 連写速度 性能が劣る問題がある。 また、 記録媒体に記録される信号の情報量も大 きいため、 記録 Z再生の処理、 情報処理装置における処理に時間がかか る問題が生じる。 この発明は、 これらの問題を生じない利点がある。 第 1 5図 Aの構成において、 位相保持解像度変換部 6 3の代わりに細 線保持解像度変換部を設けることは可能である。 しかしながら、 画素数 が非常に多い画像に対して細線保持解像度変換をかけると、 パターン認 識などの処理量が莫大になり処理時間がかかり、 細線も必要以上に大き な細線が残るため、 連写性能や画質などが劣る問題がある。 そのため、 細線保持解像度変換部を設けることによる利点が少ない。
上述したこの発明の信号処理は、 第 1 7図に示すように、 撮像素子 5 1からの撮像信号が供給される撮像装置の信号処理部 5 2および情報処 理装置 （コンピュータ） 5 3の両方または一方において行われる。 信号 処理部 5 2の位相保持解像度変換部 4 2に対して撮像信号が入力される。 位相保持解像度変換部 4 2の出力信号がデモザイク処理部 4 4 Aおよび 4 4 Bに入力される。
撮像装置においては、 デモザイク処理部 4 4 Aおよび細線保持解像度 変換部 4 5 Aによって処理された間引き後のデータがエンコーダ 5 4に 供給され、 圧縮符号化例えば J P E Gの処理を受けて出力される。 情報 処理装置の信号処理部 5 3においては、 位相保持解像度変換部 4 2によ つて間引かれたデータがデモザィク処理部 4 4 Bおよび細線保持解像度 変換部 4 5 Bによって処理される。
以上、 この発明の実施の形態について具体的に説明したが、 この発明 は、 上述の実施の形態に限定されるものではなく、 この発明の技術的思 想に基づく各種の変形が可能である。 例えば上述した一実施の形態にお いては、 ディジタルスチルカメラで取得した撮像結果を記録媒体に出力 してコンピュータで処理する場合について述べたが、 これに限らず、 無 線通信等のデータ通信を用いてコンピュータに出力して処理する場合等' にもこの発明を適用することができる。 また、 撮像素子の色配列は、 G が市松状に配置された例について述べたが、 他の色配列の撮像素子を使 用しても良い。
また、 上述した一実施の形態においては、 ディジタルスチルカメラで 撮像結果を取得する場合について述べたが、 これに限らず、 ビデオカメ ラ、 カメラ付き携帯電話等で静止画による撮像結果を取得する場合等に もこの発明を適用することができる。 さらに、 上述した一実施の形態に おいては、 コンピュータで撮像結果を処理する場合について述べたが、 これに限らず、 専用の処理装置で撮像結果を処理する場合にもこの発明 を適用することができる。

Claims

請 求 の 範 囲
1 . 撮像素子からの上記撮像素子の色配列の順序を有する信号に対して、 位相保持の第 1の解像度変換を行うステップと、 上記第 1の解像度変換 により得られた第 1の信号に対して色分離処理を行うステップと、 上記 色分離処理により得られた第 2の信号に対して細線保持の第 2の解像度 変換を行うステップとを備える信号処理方法。
2 . 上記第 2の解像度変換を行なうステップでえた第 3の信号を圧縮符 号化により圧縮するステップをさらに備える請求の範囲 1の信号処理方 法。
3 . 上記圧縮符号化により得られる信号が輝度信号および色信号からな るコンポーネン ト信号である請求の範囲 2の信号処理方法。
4 . 上記第 1の解像度変換および上記第 2の解像度変換のそれぞれの変 換率が制御信号によって指定される請求の範囲 1の信号処理方法。
5 . 上記第 2の信号が R G B信号である請求の範囲 1の信号処理方法。
6 . 撮像素子からの上記撮像素子の色配列の順序を有する信号に対して、 位相保持の第 1の解像度変換を行う位相保持解像度変換部と、
上記第 1の解像度変換により得られた第 1の信号に対して色分離処理 を行う色分離処理部と、
上記色分離処理により得られた第 2の信号に対して細線保持の第 2の 解像度変換を行う細線保持解像度変換部と、
を備える信号処理装置。
7 . 上記第 2の解像度変換により得られた第 3の信号を圧縮した信号と 撮像情報とをファイルとして記録媒体に記録する記録部をさらに備える 請求の範囲 6の信号処理装置。
8 . 上記位相保持解像度変換部が撮像装置に設けられ、
上記色分離処理部と、 上記細線保持解像度変換部とが情報処理装置に設 けられ、
上記撮像装置は、 上記第 1の信号を上記情報処理装置に出力する 請求の範囲 6の信号処理装置。
PCT/JP2008/060718 2007-06-07 2008-06-05 信号処理方法および信号処理装置 WO2008150017A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/451,924 US8269850B2 (en) 2007-06-07 2008-06-05 Signal processing method and signal processing system
EP08765489.3A EP2157802A4 (en) 2007-06-07 2008-06-05 SIGNAL PROCESSING METHOD AND SIGNAL PROCESSING DEVICE
CN2008800192184A CN101682788B (zh) 2007-06-07 2008-06-05 信号处理方法和信号处理系统
JP2009517927A JP5240194B2 (ja) 2007-06-07 2008-06-05 信号処理方法および信号処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007151090 2007-06-07
JP2007-151090 2007-06-07

Publications (1)

Publication Number Publication Date
WO2008150017A1 true WO2008150017A1 (ja) 2008-12-11

Family

ID=40093818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/060718 WO2008150017A1 (ja) 2007-06-07 2008-06-05 信号処理方法および信号処理装置

Country Status (6)

Country Link
US (1) US8269850B2 (ja)
EP (1) EP2157802A4 (ja)
JP (1) JP5240194B2 (ja)
KR (1) KR20100017626A (ja)
CN (1) CN101682788B (ja)
WO (1) WO2008150017A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249004A1 (en) * 2010-04-13 2011-10-13 At&T Intellectual Property I, L.P. System and method for generating media thumbscapes
CN102356635A (zh) * 2009-01-12 2012-02-15 美信集成产品公司 视频获取和处理系统
JP2014131238A (ja) * 2012-12-28 2014-07-10 Olympus Imaging Corp 携帯機器、サーバ、画像生成方法およびプログラム
JP2015149622A (ja) * 2014-02-06 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957999A (zh) * 2010-09-01 2011-01-26 汉王科技股份有限公司 图像处理方法、装置和系统
CN102687501A (zh) * 2010-12-20 2012-09-19 松下电器产业株式会社 图像处理装置、摄像装置及图像处理方法
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
CN102799385B (zh) * 2012-07-19 2016-12-21 腾讯科技（深圳）有限公司 桌面控制方法和装置
EP2922019B1 (en) * 2012-11-13 2021-03-10 Nec Corporation Image processing device, image processing method, and program
US9652867B2 (en) * 2013-10-18 2017-05-16 Apple Inc. Grain generation and blending
KR20210017460A (ko) * 2019-08-08 2021-02-17 에스케이하이닉스 주식회사 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 이미지 처리 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084547A (ja) * 2000-09-06 2002-03-22 Nikon Corp 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP2004260813A (ja) * 2003-02-04 2004-09-16 Canon Inc 撮像装置、撮像方法及びデジタルカメラ
JP2006303693A (ja) * 2005-04-18 2006-11-02 Nikon Corp 縮小画像の生成機能を備える電子カメラ

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02177766A (ja) * 1988-12-28 1990-07-10 Canon Inc ２値画像の階層的符号化方式
JP3230291B2 (ja) 1992-09-07 2001-11-19 キヤノン株式会社 画像再生装置及びその方法
US5619596A (en) * 1993-10-06 1997-04-08 Seiko Instruments Inc. Method and apparatus for optical pattern recognition
US6118457A (en) * 1993-10-28 2000-09-12 Canon Kabushiki Kaisha Resolution conversion with preservation of fine lines and of hue
JP3623990B2 (ja) * 1993-10-28 2005-02-23 キヤノン株式会社 画像処理方法及び装置
JPH08101911A (ja) * 1994-09-30 1996-04-16 Canon Inc 画像記録装置
JP3483426B2 (ja) 1997-04-28 2004-01-06 大日本スクリーン製造株式会社 画像縮小方法及びプログラムを記録した記憶媒体
JP3557099B2 (ja) 1998-07-15 2004-08-25 日本電信電話株式会社 ２色画像縮小変換方法および装置およびこの方法を記録した記録媒体
JP3654420B2 (ja) 2000-02-25 2005-06-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像変換方法、画像処理装置、および画像表示装置
JP2002027315A (ja) 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
JP4096626B2 (ja) 2002-05-29 2008-06-04 富士フイルム株式会社 画像処理方法及び画像処理プログラム
JP4420440B2 (ja) * 2004-02-19 2010-02-24 株式会社リコー 画像処理装置、画像処理方法、文字認識装置、プログラムおよび記録媒体
JP3915795B2 (ja) * 2004-03-29 2007-05-16 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理プログラム
JP2006060585A (ja) * 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd デジタルカメラ
JP2006340120A (ja) 2005-06-03 2006-12-14 Sony Corp 撮像装置、撮像結果の処理方法、画像処理装置、撮像結果の処理方法のプログラム、撮像結果の処理方法のプログラムを記録した記録媒体及び撮像結果の処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084547A (ja) * 2000-09-06 2002-03-22 Nikon Corp 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP2004260813A (ja) * 2003-02-04 2004-09-16 Canon Inc 撮像装置、撮像方法及びデジタルカメラ
JP2006303693A (ja) * 2005-04-18 2006-11-02 Nikon Corp 縮小画像の生成機能を備える電子カメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2157802A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356635A (zh) * 2009-01-12 2012-02-15 美信集成产品公司 视频获取和处理系统
US20110249004A1 (en) * 2010-04-13 2011-10-13 At&T Intellectual Property I, L.P. System and method for generating media thumbscapes
US8988458B2 (en) * 2010-04-13 2015-03-24 At&T Intellectual Property I, L.P. System and method for generating media thumbscapes
US9342595B2 (en) 2010-04-13 2016-05-17 At&T Intellectual Property I, L.P. System and method for generating media thumbscapes
JP2014131238A (ja) * 2012-12-28 2014-07-10 Olympus Imaging Corp 携帯機器、サーバ、画像生成方法およびプログラム
JP2015149622A (ja) * 2014-02-06 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
CN101682788A (zh) 2010-03-24
CN101682788B (zh) 2012-02-15
US20100118186A1 (en) 2010-05-13
KR20100017626A (ko) 2010-02-16
US8269850B2 (en) 2012-09-18
JPWO2008150017A1 (ja) 2010-08-26
EP2157802A1 (en) 2010-02-24
EP2157802A4 (en) 2015-04-01
JP5240194B2 (ja) 2013-07-17

Similar Documents

Publication Publication Date Title
WO2008150017A1 (ja) 信号処理方法および信号処理装置
US7253836B1 (en) Digital camera, storage medium for image signal processing, carrier wave and electronic camera
US8896722B2 (en) Image data processing apparatus and electronic camera
US7916208B2 (en) Image processor, digital camera, and method for processing image data
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
JP4840967B2 (ja) 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP3893099B2 (ja) 撮像システムおよび撮像プログラム
JP4943721B2 (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
US20080013787A1 (en) Imaging apparatus, image processor, image filing method, image processing method and image processing program
JP2004328117A (ja) ディジタルカメラおよび撮像制御方法
US20020001410A1 (en) Image processing apparatus
JP2003346143A (ja) 画像処理方法及び画像処理プログラム
US7710464B2 (en) Image photographing and recording device and method
JPH11168745A (ja) デジタルカメラ
JP6702792B2 (ja) 画像処理装置およびその制御方法
JP2003333381A (ja) 画像評価機能付き撮像装置
JP5515653B2 (ja) 撮像装置及び画像処理装置
JP2002330387A (ja) 電子カメラ
JP2001209782A (ja) 撮像装置およびその文字撮影方法
US20050200914A1 (en) Digital camera and image recording method
JP2003199016A (ja) 撮像装置および方法、記録媒体、並びにプログラム
JP2005005924A (ja) 固体電子撮像装置およびその制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880019218.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08765489

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2009517927

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20097025362

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12451924

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 7963/DELNP/2009

Country of ref document: IN

Ref document number: 2008765489

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: PI 20095200

Country of ref document: MY