WO2023276249A1 - 画像処理装置、撮像装置、画像処理方法 - Google Patents
画像処理装置、撮像装置、画像処理方法 Download PDFInfo
- Publication number
- WO2023276249A1 WO2023276249A1 PCT/JP2022/006240 JP2022006240W WO2023276249A1 WO 2023276249 A1 WO2023276249 A1 WO 2023276249A1 JP 2022006240 W JP2022006240 W JP 2022006240W WO 2023276249 A1 WO2023276249 A1 WO 2023276249A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- processing
- image
- white balance
- raw data
- data
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 821
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 60
- 238000011161 development Methods 0.000 claims description 115
- 238000003384 imaging method Methods 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 108
- 230000008569 process Effects 0.000 claims description 101
- 238000012937 correction Methods 0.000 claims description 64
- 238000001514 detection method Methods 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 30
- 230000010365 information processing Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013398 bayesian method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Definitions
- This technology relates to an image processing device, an imaging device, and an image processing method, and particularly to technology for development processing of RAW images.
- RAW data is recorded in a form that reproduces the signal obtained from the image sensor almost as it is. It can be carried out. For this reason, the user can obtain a developed image more suited to his or her preferences than in a method of performing color reproduction processing and the like in the imaging apparatus and recording the image.
- RAW data may refer to image data in an image sensor output format, and regarding recording of RAW data, image data in an image sensor output format, such as R (red), G (green), and B (blue) by a primary color filter array. ) is recorded as it is.
- image data in an image sensor output format such as R (red), G (green), and B (blue) by a primary color filter array.
- RGB-RAW data an example of such RAW data is called RGB-RAW data.
- Patent Document 1 listed below discloses image processing corresponding to YC-RAW data. Further, Japanese Patent Laid-Open No. 2002-200010 discloses processing related to the reliability of white balance of RAW data. In addition, hereinafter, "white balance” is also written as "WB".
- WB processing is performed on an image sensor output, for example, a Bayer array RGB format signal.
- a color image needs to be created by estimating the missing color values of the pixels. Since these missing color values are estimated using color information from surrounding pixels, if the WB processing value (WB gain) cannot be set correctly, the missing color value of each pixel in the image cannot be estimated correctly.
- WB processing is affected by various factors such as the color of the object, the light source, and the detection method, so it is difficult to perform correct calculations in a short time. For example, it is difficult to set an appropriate WB value at high speed during imaging.
- this disclosure proposes image processing that can be applied when developing YC-RAW data, etc., to correct the effects of color shift.
- the image processing apparatus performs YC-RAW data, which is image data in which pre-white balance processing, demosaic processing, and YC conversion processing have been performed on image data in an image sensor output format, the image sensor output
- An image processing unit is provided that performs format conversion processing, reverse pre-white balance processing for the pre-white balance processing, and re-mosaic processing for restoring the state before the demosaic processing.
- simple pre-white balance processing and demosaic processing performed when YC-RAW data is captured may cause color shift when compared with the original image when YC-RAW data is developed.
- the above arrangement allows color shifts to be corrected for YC-RAW data.
- the image processing apparatus performs YC-RAW data, which is image data in which pre-white balance processing, demosaic processing, and YC conversion processing have been performed on image data in an image sensor output format, the image sensor Image data in the image sensor output format obtained after performing conversion processing to the output format, and further applying reverse pre-white balance processing to the pre-white balance processing and re-mosaic processing to return to the state before the demosaic processing, or the re-mosaic
- a recording control unit is provided for recording YC-RAW data obtained based on the image data in the image sensor output format obtained after processing on a recording medium. That is, the original YC-RAW data is overwritten with RAW data, which is image data after color shift correction processing including reverse pre-white balance processing and re-mosaic processing. Alternatively, it is recorded together with the original YC-RAW data.
- An imaging apparatus includes an imaging unit that obtains image data captured by an image sensor, and performs pre-white balance processing, demosaic processing, and YC conversion processing on image data in an image sensor output format obtained by the imaging unit. and sensor array information representing the pixel array of the image sensor as metadata used for re-mosaic processing to return to the state before demosaic processing, and parameters for the pre-white balance processing.
- a control unit that associates pre-white balance information including YC-RAW data with YC-RAW data as metadata used for reverse pre-white balance processing for the pre-white balance processing. For example, sensor array information and pre-white balance information are added to metadata associated with YC-RAW data so that they can be referred to during development processing.
- FIG. 1 is a block diagram of an imaging device according to an embodiment of the present technology
- FIG. 1 is a block diagram of an information processing device according to an embodiment
- FIG. FIG. 10 is an explanatory diagram of RAW imaging processing according to the embodiment
- FIG. 4 is an explanatory diagram of an example of a pixel array of an image sensor
- FIG. 4 is an explanatory diagram of RGB plane signals before re-mosaic
- 4 is a flowchart of metadata association with YC-RAW data according to an embodiment
- 4 is a flowchart of metadata association with YC-RAW data according to an embodiment
- FIG. 10 is an explanatory diagram of RAW development processing without color misregistration correction
- FIG. 10 is an explanatory diagram of RAW development processing without color misregistration correction
- FIG. 10 is an explanatory diagram of color misregistration during RAW development; 4A and 4B are explanatory diagrams of RAW development processing according to the first embodiment; FIG. FIG. 4 is an explanatory diagram of a signal after re-mosaic; FIG. 10 is an explanatory diagram of RAW development processing according to the second embodiment; FIG. 10 is an explanatory diagram of an example of an image generated in the second embodiment; FIG. FIG. 11 is an explanatory diagram of RAW development processing according to the third embodiment; FIG. 14 is a flowchart of determination processing according to the fourth embodiment; FIG. FIG. 7 is an explanatory diagram of a user setting screen according to the embodiment; FIG. 10 is an explanatory diagram of an example of warning display according to the embodiment; FIG.
- FIG. 10 is an explanatory diagram of a display example of a color shift location according to the embodiment; 4A and 4B are explanatory diagrams of presentation examples before and after correcting color misregistration according to the embodiment;
- FIG. FIG. 4 is an explanatory diagram of image division processing according to the embodiment;
- FIG. 16 is a flowchart of another determination process according to the fourth embodiment;
- FIG. 16 is a flowchart of still another determination process according to the fourth embodiment;
- the image processing apparatus according to the embodiment of the present technology is installed as an image processing unit in an imaging apparatus (camera) or an information processing apparatus that performs RAW development or the like.
- the imaging device and the information processing device themselves, which are equipped with these image processing units can also be considered as the image processing device according to the embodiment of the present technology.
- the imaging apparatus 1 includes an image processing unit 20 that generates YC-RAW data according to imaging and develops the YC-RAW data.
- the imaging device 1 can be considered as an example of the image processing device of the present technology.
- the YC-RAW data generated by the imaging device 1 is an image obtained by performing pre-white balance processing, demosaic processing, and YC conversion processing on image data in an image sensor output format, such as RGB format, obtained by the imaging operation. Data. In some cases, resizing is performed to change the pixel size (the number of pixels). However, this YC-RAW data is not subjected to image creation processing such as color reproduction processing, gamma processing, sharpness processing, etc., and can be said to be a type of RAW data.
- the imaging apparatus 1 includes, for example, a lens system 11, an imaging unit 12, a recording control unit 14, a display unit 15, a communication unit 16, an operation unit 17, a camera control unit 18, a memory unit 19, an image processing unit 20, a buffer memory 21, a driver It has a unit 22 and a sensor unit 23 .
- the lens system 11 includes a lens such as a zoom lens and a single focus lens, an aperture mechanism, and the like.
- the lens system 11 guides the light (incident light) from the subject and converges it on the imaging unit 12 .
- the imaging unit 12 includes an image sensor 12a of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type.
- the imaging unit 12 performs, for example, CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, etc. on electrical signals obtained by photoelectrically converting light received by the image sensor 12a, and further performs A/D ( Analog/Digital) conversion processing. Then, the imaging signal as digital data is output to the image processing section 20 and the camera control section 18 in the subsequent stage.
- CDS Correlated Double Sampling
- AGC Automatic Gain Control
- the image processing unit 20 is configured as an image processing processor such as a DSP (Digital Signal Processor), for example.
- the image processing unit 20 performs various kinds of signal processing on the digital signal (captured image signal) from the imaging unit 12 .
- Various types of processing include, for example, preprocessing, white balance (WB) processing, demosaicing processing, color/gradation processing, YC conversion processing, resolution conversion processing, and various detection processing.
- the image processing unit 20 performs, for example, defect correction and black level adjustment on the signal from the image sensor 12a.
- the image processing unit 20 performs simple WB processing for generating YC-RAW data, as described later, or obtains highly accurate WB values by, for example, all-pixel detection.
- the original WB processing performed with the WB value specified by the user is performed.
- simple WB processing at the time of imaging for generating YC-RAW data is called “pre-WB processing” (“pre-white balance processing”) for distinction in explanation.
- main WB processing WB processing that obtains highly accurate WB values by all-pixel detection or the like
- WB processing that is performed with WB values specified by the user that is, WB processing that is reflected in the final developed image
- main WB processing WB processing
- white balance processing WB processing
- the image processing unit 20 performs reverse pre-WB processing for canceling the pre-WB processing using a WB value opposite to the pre-WB processing.
- the image processing unit 20 performs demosaic processing for making the image data for each pixel have all of the R, G, and B color components. In some cases, the image processing unit 20 performs re-mosaic processing to return the demosaiced image data to the state before the demosaicing processing.
- the image processing unit 20 In the YC conversion process, the image processing unit 20 generates (separates) a luminance signal and a color difference signal from RGB format image data, and performs a process of converting them into YCbCr format image data.
- color/gradation processing processing for adjusting gradation, saturation, tone, contrast, etc. is performed as so-called image creation.
- the image processing unit 20 performs each of the processes described above as necessary, and generates YC-RAW data and developed image data for the image data from the image sensor 12a.
- resolution conversion and file formation processing may be performed.
- compression encoding for recording and communication formatting, generation and addition of metadata are performed on the image data to generate a file for recording and communication.
- still image files are generated in formats such as JPEG, TIFF (Tagged Image File Format), GIF (Graphics Interchange Format), HEIF (High Efficiency Image File Format), YUV422, and YUV420. It is also conceivable to generate an image file in the MP4 format, which is used for recording MPEG-4 compliant moving images and audio.
- the buffer memory 21 is formed by, for example, a D-RAM (Dynamic Random Access Memory).
- the buffer memory 21 is used for temporary storage of image data during the various processes in the image processing section 20 .
- the recording control unit 14 performs recording and reproduction on a recording medium such as a non-volatile memory.
- the recording control unit 14 performs processing for recording image files such as moving image data and still image data on a recording medium, for example.
- a recording control unit 14 may be configured as a flash memory built in the imaging device 1 and its writing/reading circuit.
- the recording control unit 14 may be configured by a card recording/reproducing unit that performs recording/reproducing access to a recording medium detachable from the imaging apparatus 1, such as a memory card (portable flash memory, etc.).
- the recording control unit 14 may be implemented as an HDD (Hard Disk Drive) or the like as a form incorporated in the imaging device 1 .
- HDD Hard Disk Drive
- the display unit 15 is a display unit that performs various displays for the user, and is a display device such as a liquid crystal panel (LCD: Liquid Crystal Display) or an organic EL (Electro-Luminescence) display arranged in the housing of the imaging device 1, for example. Due to the display panel and viewfinder.
- the display unit 15 executes various displays on the display screen based on instructions from the camera control unit 18 . For example, the display unit 15 displays a reproduced image of image data read from the recording medium by the recording control unit 14 .
- the display unit 15 is supplied with the image data of the picked-up image whose resolution has been converted for display by the image processing unit 20, and the display unit 15 responds to an instruction from the camera control unit 18, based on the image data of the picked-up image. may be displayed.
- a so-called through image live view image of the subject
- the display unit 15 displays various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) on the screen based on instructions from the camera control unit 18 .
- the communication unit 16 performs wired or wireless data communication and network communication with external devices. For example, still image files and moving image files including captured image data and metadata are transmitted and output to an external information processing device, display device, recording device, playback device, or the like.
- the communication unit 16 performs communication via various networks such as the Internet, a home network, and a LAN (Local Area Network), and can transmit and receive various data to and from servers, terminals, etc. on the network. can.
- a server on the network includes a so-called cloud server, and the imaging apparatus 1 can transmit and receive various kinds of information to and from the cloud server via the communication unit 16 .
- the imaging device 1 communicates with, for example, a PC, a smartphone, a tablet terminal, or the like via the communication unit 16, such as Bluetooth (registered trademark), Wi-Fi (registered trademark) communication, NFC (Near field communication), etc. Information may be communicated with each other by short-range wireless communication, infrared communication, or the like. Alternatively, the imaging device 1 and other equipment may be able to communicate with each other through wired connection communication.
- the communication unit 16 such as Bluetooth (registered trademark), Wi-Fi (registered trademark) communication, NFC (Near field communication), etc.
- Information may be communicated with each other by short-range wireless communication, infrared communication, or the like.
- the imaging device 1 and other equipment may be able to communicate with each other through wired connection communication.
- the imaging device 1 can transmit image data and metadata to the information processing device 70, which will be described later, through the communication unit 16.
- the operation unit 17 collectively indicates an input device for a user to perform various operation inputs. Specifically, the operation unit 17 indicates various operators (keys, dials, touch panels, touch pads, etc.) provided on the housing of the imaging device 1 . A user's operation is detected by the operation unit 17 , and a signal corresponding to the input operation is sent to the camera control unit 18 .
- the camera control unit 18 is configured by a microcomputer (arithmetic processing unit) having a CPU (Central Processing Unit).
- the memory unit 19 stores information and the like that the camera control unit 18 uses for processing.
- a ROM Read Only Memory
- RAM Random Access Memory
- flash memory and the like are comprehensively illustrated.
- the memory section 19 may be a memory area built into a microcomputer chip as the camera control section 18, or may be configured by a separate memory chip.
- the camera control unit 18 controls the entire imaging apparatus 1 by executing programs stored in the ROM of the memory unit 19, flash memory, or the like. For example, the camera control unit 18 controls the shutter speed of the image capturing unit 12, instructs various signal processing in the image processing unit 20, performs image capturing and recording operations in response to user operations, reproduces recorded image files, performs lens barrel It controls the operations of necessary units for operations of the lens system 11 such as zooming, focusing, and aperture adjustment, user interface operations, and the like.
- the RAM in the memory unit 19 is used as a work area for the CPU of the camera control unit 18 to perform various data processing, and is used for temporary storage of data, programs, and the like.
- the ROM and flash memory (nonvolatile memory) in the memory unit 19 store an OS (Operating System) for the CPU to control each unit, content files such as image files, application programs for various operations, and firmware. , and used to store various setting information.
- OS Operating System
- the driver unit 22 includes, for example, a motor driver for the zoom lens drive motor, a motor driver for the focus lens drive motor, a motor driver for the motor of the aperture mechanism, and the like. These motor drivers apply drive currents to the corresponding drivers in accordance with instructions from the camera control unit 18 to move the focus lens and zoom lens, open and close the diaphragm blades of the diaphragm mechanism, and the like.
- the sensor unit 23 comprehensively indicates various sensors mounted on the imaging device.
- an IMU intial measurement unit
- an acceleration sensor detects acceleration. be able to.
- a position information sensor, an illuminance sensor, a range sensor, etc. may be mounted.
- the camera control unit 18 can estimate the light source at the time of imaging, and can add light source information to metadata, for example.
- an illuminance sensor that is separate from the imaging device 1 is used.
- the information processing device 70 is a device such as a computer device capable of information processing, particularly image processing.
- the information processing device 70 is assumed to be a personal computer (PC), a mobile terminal device such as a smart phone or a tablet, a mobile phone, a video editing device, a video reproducing device, or the like.
- the information processing device 70 may be a computer device configured as a server device or an arithmetic device in cloud computing.
- the information processing device 70 includes an image processing unit 20 that performs development processing on YC-RAW image data. It can be considered as an example of the disclosed image processing apparatus.
- the CPU 71 of the information processing device 70 is loaded from a recording medium to the RAM 73 by a program stored in a ROM 72 or a non-volatile memory unit 74 such as an EEP-ROM (Electrically Erasable Programmable Read-Only Memory), or by a recording control unit 79. Various processes are executed according to the program.
- the RAM 73 also appropriately stores data necessary for the CPU 71 to execute various processes.
- the image processing unit 20 performs, for example, white balance processing, demosaicing processing, color/gradation processing, YC conversion processing, resolution conversion processing, and various detection processing on image data.
- the YC-RAW data is developed by these processes to generate a developed image such as JPEG image data.
- the YC-RAW data to be developed is imaged by the imaging device 1, for example, and transferred to the recording medium in the recording control unit 79 via communication or a recording medium. It becomes the captured image data.
- the YC-RAW data in that case is also associated with metadata generated by the imaging device 1 .
- the function of developing the YC-RAW data as the image processing unit 20 may be provided as a function within the CPU 71 .
- the image processing unit 20 may be realized by a CPU, a GPU (Graphics Processing Unit), a GPGPU (General-purpose computing on graphics processing units), an AI (artificial intelligence) processor, or the like, which is separate from the CPU 71 .
- the CPU 71 , ROM 72 , RAM 73 , nonvolatile memory section 74 and image processing section 20 are interconnected via a bus 83 .
- An input/output interface 75 is also connected to this bus 83 .
- the input/output interface 75 is connected to an input section 76 including operators and operating devices.
- various operators and operation devices such as a keyboard, mouse, key, dial, touch panel, touch pad, remote controller, etc. are assumed.
- a user's operation is detected by the input unit 76 , and a signal corresponding to the input operation is interpreted by the CPU 71 .
- a microphone is also envisioned as input 76 .
- a voice uttered by the user can also be input as operation information.
- the input/output interface 75 is connected integrally or separately with a display unit 77 such as an LCD or an organic EL panel, and an audio output unit 78 such as a speaker.
- the display unit 77 is configured by, for example, a display device provided in the housing of the information processing device 70, a separate display device connected to the information processing device 70, or the like.
- the display unit 77 displays images for various types of image processing, moving images to be processed, etc. on the display screen based on instructions from the CPU 71 . Further, the display unit 77 displays various operation menus, icons, messages, etc., ie, as a GUI (Graphical User Interface), based on instructions from the CPU 71 .
- GUI Graphic User Interface
- a recording control unit 79 and a communication unit 80 may be connected to the input/output interface 75 in some cases.
- the recording control unit 79 can record data to be processed and various programs on a recording medium such as a hard disk drive (HDD) or a solid-state memory.
- HDD hard disk drive
- the recording control unit 79 controls the recording of the YC-RAW data to be processed and the metadata on the recording medium, the image data generated by the developing process, For example, it is assumed that JPEG image data or the like is recorded on a recording medium.
- the recording control unit 79 can record a program for development processing on a recording medium and read it out.
- the communication unit 80 performs communication processing via a transmission line such as the Internet, and communication by wired/wireless communication with various devices, bus communication, and the like. Communication with the imaging device 1 , particularly reception of image data and the like, is performed by the communication unit 80 .
- a drive 81 is also connected to the input/output interface 75 as required, and a removable recording medium 82 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory is appropriately loaded.
- Data files such as image files and various computer programs can be read from the removable recording medium 82 by the drive 81 .
- the read data file is stored in the recording control section 79 , and the image and sound contained in the data file are output from the display section 77 and the sound output section 78 .
- a computer program or the like read from the removable recording medium 82 is recorded on the recording medium in the recording control section 79 as necessary.
- the software for the processing of this embodiment can be installed via network communication by the communication unit 80 or via the removable recording medium 82.
- the software may be stored in the ROM 72 or a recording medium in the recording control section 79 in advance.
- YC-RAW Imaging Processing The imaging process of YC-RAW data by the imaging apparatus 1 described above will be described. That is, it is a process of capturing an image, generating YC-RAW data as RAW data before development, recording the data on a recording medium, or transmitting the data to an external device.
- FIG. 3 shows the flow of processing in the image processing unit 20 when performing RAW imaging processing.
- the figure shows the camera control unit 18 and the bus 101 , this indicates that each process in the image processing unit 20 is performed according to control signals and parameter settings from the camera control unit 18 . Further, each process performed in the image processing unit 20 is shown with a step number (S100 to S104). It is part of the processing performed by the unit 20 .
- the image processing unit 20 is supplied with the image data ISDT from the image sensor 12a.
- This image data ISDT is image data in an image sensor output format, such as RGB format RAW image data (RGB-RAW data) with R, G, and B values in the pixel array of the image sensor 12a. .
- the image processing unit 20 performs pre-WB processing in step S100, demosaicing processing in step S101, and demosaicing processing in step S102 on the image data ISDT digitized by the imaging unit 12. Signal processing is performed in the order of the resizing processing of . Then, in step S103, YC conversion processing for conversion into luminance and color difference signals (YCbCr signals) is performed to obtain YC-RAW data, which is output in interface processing in step S104.
- the output YC-RAW data may be recorded on a recording medium by the recording control unit 14, or may be transmitted and output by the communication unit 16, for example.
- the WB value (WB gain) is estimated by simple detection of the image data ISDT generated by the imaging unit 12, and for example, the WB gain is applied to the RGB format signal to obtain the RGB signal level. adjust.
- the WB used here is a WB value for internal processing, and is preferably a value that renders an achromatic subject achromatic as much as possible.
- WB processing using the previous frame value of live view WB processing by simple detection and low-precision high-speed calculation, etc. is done.
- Using the previous frame's WB value may result in a difference from the correct value for the current frame.
- the image data processed in the pre-WB process is used to perform the demosaicing process, and a color image is created by estimating the missing color value of each pixel of the image. These missing color values are estimated using color information from surrounding pixels.
- demosaicing methods such as interpolation-based methods, feature-based methods, and Bayesian methods. be seen. Therefore, after the RGB signals affected by the pre-WB difference are demosaic-processed, the color misregistration is further aggravated.
- demosaic processing described here is often an example of generating an image signal in which one pixel indicates each color component, for example, an image signal in three primary colors, from an image signal in which one pixel indicates one color component, but is limited to three primary colors. Instead, a four-color image or the like may be generated.
- the Bayer pattern is typical for the pixel arrangement of the image sensor 12a, the technology of the present disclosure can also be applied to other image arrangements. In other words, the image sensor 12a is assumed to have various specifications.
- FIG. 4 shows a case where a primary color filter is used, a case where a complementary color filter is used, and a case where a W-RGB filter is used as examples of the pixel arrangement of the image sensor 12a.
- the illustrated primary color filter is an example of a Bayer array containing G, B, and R at a ratio of 2:1:1.
- the top pixel is the R pixel.
- An example of a complementary color filter is an array based on blocks of four complementary color pixels of "Cy (cyan)", “Ye (yellow)", “G", and “Mg (magenta)".
- the top pixel is the Cy pixel.
- the W-RGB filter the arrangement is based on four pixel blocks of "B", “W (white)", “R” and "G”.
- the leading pixel is the B pixel.
- image data called so-called RGB planes as shown in FIG. 5 can be obtained by demosaic processing.
- the resizing process in step S102 in FIG. 3 reduces the amount of data by image size conversion in order to save RAW data at high speed and save memory.
- the YC conversion process in step S103 is a process of converting the image data after the demosaicing process into luminance data and color difference data. This generates RAW image data as YC-RAW data. This YC-RAW data is recorded in the imaging device 1 or transmitted to and recorded in an external device such as the information processing device 70 .
- FIG. 6 shows a processing example of the camera control unit 18 for that purpose.
- the camera control unit 18 instructs the image processing unit 20 to generate YC-RAW data in step S1. That is, it instructs to generate and record YC-RAW data from the image data ISDT imaged by the imaging unit 12 .
- the image processing unit 20 executes each process shown in FIG.
- step S ⁇ b>2 the camera control unit 18 instructs the camera control unit 18 on parameters for pre-WB processing, that is, WB values.
- the camera control unit 18 calculates the WB value based on simple detection processing by the image processing unit 20, and instructs the image processing unit 20 of the WB value of the calculation result.
- the camera control unit 18 instructs the image processing unit 20 about the WB value of the previous frame.
- pre-WB processing is performed using the instructed WB value in step S100 described above.
- the WB value may be calculated within the image processing unit 20 in some cases. In that case, the camera control section 18 acquires the WB value used in the pre-WB processing from the camera control section 18 in step S2.
- step S3 the camera control unit 18 generates metadata as a set of sensor array information and WB values (pre-WB information) used for pre-WB processing.
- Making a set in this case means adding information indicating that each of the sensor arrangement information and the pre-WB information is data to be used for development processing of YC-RAW data later.
- the sensor array information is information for returning the image data, which has been converted into the RGB plane state of FIG. 5 by the demosaicing process, to the original sensor array state by the later-described re-mosaic process. Therefore, the sensor array information may include the filter type for determining the pixel array and information on the top pixel, as illustrated in FIG. For example, when the image sensor 12a uses the Bayer array primary color filter of FIG. to include the information that However, the sensor arrangement information may be any information that can identify the pixel values of the image sensor output and the interpolated pixel values by demosaicing.
- the pre-WB information is used for reverse pre-WB processing, which will be described later. That is, in the reverse pre-WB processing, the WB value in the pre-WB processing is reversed to the WB value in the pre-WB processing so as to return to the state in which the pre-WB processing has not been performed. Include in metadata.
- the camera control unit 18 associates the generated metadata, ie, the set of sensor array information and WB values, with the YC-RAW data generated by the image processing unit 20.
- FIG. For example, when obtaining a still image by YC-RAW data by single-shot shooting or continuous shooting as a still image, the WB value of pre-WB processing and sensor array information are associated with the YC-RAW data as the still image. To be recorded on a recording medium. Alternatively, metadata is transmitted to an external device together with YC-RAW data as a still image. When recording each frame of YC-RAW data as a moving image, the WB value of the pre-WB processing and the sensor arrangement information are associated with each frame and recorded.
- the sensor array information Since the sensor array information does not change for each frame, it may be associated with the entire moving image file of YC-RAW data. Although the sensor array information is used for re-mosaic processing, which will be described later, there are cases where it is not necessary to associate the sensor array information with the YC-RAW data as metadata. For example, it is also assumed that the image processing unit 20 in the imaging device 1 performs re-mosaic processing at a later time. In that case, the sensor arrangement information may be stored in advance in the memory unit 19 or the like within the imaging apparatus 1 .
- the image processing unit 20 in the information processing device 70 performs the re-mosaic processing, if there is correspondence data between the model information of the imaging device 1 and the sensor arrangement information in the information processing device 70, during the re-mosaic processing can obtain sensor arrangement information to be referred to.
- FIG. 7 shows another processing example of metadata generation by the camera control unit 18 .
- Steps S1 and S2 are the same as in FIG.
- the camera control unit 18 acquires light source information. For example, from the information of the illuminance sensor in the sensor unit 23, the estimated information of the light source type in the shooting environment, or the color temperature itself is used as the light source information.
- step S11 the camera control unit 18 sets the light source information in addition to the WB value and the sensor array information for the pre-WB processing described with reference to FIG. Metadata is generated by adding the information shown. Then, in step S4, a set of sensor array information, WB value, and light source information is controlled to be recorded or transmitted in association with the YC-RAW data in the same manner as in the example of FIG.
- YC-RAW data when YC-RAW data is generated by imaging as in the processing of FIG. 6 or FIG. 7, subsequent reverse pre-WB processing, remosaic processing, or development of YC-RAW data Information used for processing can be associated with YC-RAW data as metadata.
- control section 100 is used for the description of FIG. 8 and FIGS. 10, 12, 14, etc. described later.
- This "control section 100" is a term that indicates the camera control section 18 in FIG. 1 and the CPU 71 in FIG. That is, a component that controls the image processing unit 20 in the imaging device 1 and the information processing device 70 is referred to as a "control unit 100".
- Development processing by the image processing unit 20 as a comparative example in FIG. 8 is performed as follows. For example, YC-RAW data recorded on a recording medium is read and input to the image processing section 20 . The image processing unit 20 takes in the YC-RAW data to be developed in the interface processing of step S200.
- step S201 the image processing unit 20 performs RGB conversion processing for converting the YC-RAW data into the original image sensor output format, that is, the RGB format in this example, and further performs reverse pre-WB processing in step S202. conduct. Thereafter, normal development signal processing, that is, main WB processing in step S203, matrix conversion in step S204, gamma processing in step S205, and color reproduction processing in step S206 are performed. Then, in interface processing in step S207, a developed image dPD, which is image data obtained by the above development processing, is output.
- the developed image dPD is, for example, JPEG image data. This developed image dPD is recorded on a recording medium, displayed, or transmitted to an external device.
- the conversion from the YCbCr format to the RGB format is performed using a formula inverse to the format conversion used in the YC-RAW imaging processing.
- the reverse pre-WB processing unit in step S202 uses the reciprocal of the WB value used in the pre-WB processing during YC-RAW imaging processing to restore the RGB signal levels before the pre-WB processing, thereby eliminating the difference due to the pre-WB. cancel.
- the signal from the image sensor 12a during YC-RAW imaging processing is a signal of intermittent data before demosaic processing
- the image data for this reverse pre-WB processing is in RGB format after being interpolated by demosaicing processing. is full-plane image data. Therefore, with respect to the RGB plane image data converted from the YC-RAW data, even if the difference due to the pre-WB processing can be offset by the reverse pre-WB processing, the effect of color disappearance due to the demosaicing processing cannot be eliminated.
- the entire frame surface is detected again, WB for development is calculated, and highly accurate WB processing is performed.
- the WB value may also be designated by the user according to his/her preference, purpose of development, application, and the like. In that case, priority is given to the WB value set by the user. If the user does not specify it, the WB value obtained by the high-precision detection for development is used. At this time, AE (Automatic Exposure) processing, that is, brightness adjustment, may be performed.
- AE Automatic Exposure
- the WB value specified by the user may be set to be significantly different from the ideal WB depending on the intention, so there may be a case where the color shift caused by the above-described demosaic processing is further aggravated. .
- FIG. 9B shows the signal level for the original image
- FIG. 9C shows the signal level for the image with color shift.
- the G value is omitted because the level is low and the difference is small.
- 9B and 9C it can be seen that the difference between pre-WB processing and demosaicing processing reduces the R value and B value, resulting in a color shift from red to orange. .
- the development processing of YC-RAW data according to the embodiment is development processing including color shift correction processing for correcting color shift caused by pre-WB processing and demosaicing processing.
- the development processing including the color shift correction processing refers to the development processing to which at least the re-mosaic processing described below is added.
- FIG. 10 shows an example of development processing by the image processing section 20 in the same format as in FIG.
- the image processing unit 20 takes in the YC-RAW data to be developed in the interface processing of step S200. For example, YC-RAW data recorded on a recording medium is read and input to the image processing section 20 . At this time, the image processing unit 20 also acquires metadata MT associated with the YC-RAW data.
- the metadata MT includes pre-WB information MD1 and sensor array information MD2, which are WB values in pre-WB processing (see FIG. 6). Furthermore, light source information MD3 may be included (see FIG. 7).
- step S201 the image processing unit 20 performs RGB conversion processing for converting the YC-RAW data into image data in the image sensor output format, that is, image data in the RGB format in this example.
- step S220 the image processing unit 20 performs reverse pre-WB processing.
- the image processing unit 20 refers to the pre-WB information MD1 and performs reverse pre-WB processing. That is, the reverse pre-WB processing uses the reciprocal of the WB values of the pre-WB used in the YC-RAW imaging processing to restore the RGB signal levels before the pre-WB processing, thereby canceling out the differences due to the pre-WB.
- the effect of color disappearance due to demosaic processing during YC-RAW imaging processing cannot be eliminated.
- the image processing unit 20 performs re-mosaic processing in step S221.
- the image data before the re-mosaic processing in step S221 is the RGB plane data shown in FIG.
- this is a process of referring to the sensor array information MD2, discarding the interpolated pixels, and leaving only the pixel values obtained as the pixel signals of the image sensor 12a.
- step S222 the image processing unit 20 performs the main WB processing on the image data on which the re-mosaic processing has been performed.
- the image processing unit 20 performs detection processing for the main WB in step S224. For example, full detection is performed using RGB format image data after re-mosaic processing. Based on this detection result, a WB value for the main WB processing is set in the control unit 100 (or in the image processing unit 20), for example.
- the WB value for the main WB when the user performs an operation to specify a WB parameter, the WB value based on the user's specification is preferentially set.
- the light source information MD3 is included in the metadata MT, it is possible to set the WB value with higher accuracy by referring to the light source information MD3 during the detection processing in step S224.
- the main WB processing in step S222 is thus performed using a highly accurate WB value based on full-surface detection or a WB value based on user settings.
- AE processing may be performed.
- the image processing unit 20 performs demosaic processing again. In demosaic processing in this case, WB processing is performed appropriately, that is, with high accuracy or according to user settings, so that unintended WB deviations are not further increased.
- the development processing according to the first embodiment is performed by referring to the pre-WB information MD1 and the sensor array information MD2 in the metadata MT, and performing reverse processing on the demosaiced RGB image data converted from the YC-RAW data.
- pre-WB processing S220
- re-mosaic processing S221
- the state of RAW data immediately after input from the imaging unit 12 is restored. This eliminates the effect of color deviation due to demosaic processing during YC-RAW imaging. Therefore, after that, the main WB processing (S222) is performed, and then the demosaic processing (S223) is performed, and each processing after the matrix conversion processing (S204) is performed.
- a developed image dPD with no influence is obtained.
- Second Embodiment YC-RAW Development> Developing processing of YC-RAW data according to the second embodiment will be described with reference to FIG.
- the number of cases in which WB is designated by users is increasing. From the point of view of signal processing, it is considered that the total image quality should be improved by adjusting the subsequent matrix conversion and color reproduction together with WB. Further, if the user's preferences are known in advance, it is desirable from the usability viewpoint to recommend development processing according to the user's preferences.
- FIG. 12 shows an example in which the main WB process and subsequent processes are performed as multiple system processes.
- the development processing as steps S222, S223, S204, S205, S206, and S207 is the processing described with reference to FIG.
- the WB processing is performed using a highly accurate WB value or a WB value based on user settings.
- the developed image dPD (developed image dPD1 in this case) is finally output.
- This developed image dPD1 is recorded on a recording medium, displayed, or transmitted to an external device.
- steps S232 to S238 indicate the development processing of the second system.
- the image processing unit 20 performs WB processing with a WB value different from the main WB processing in step S222 as the second WB processing. For example, another WB value specified by the user or a WB value automatically set by the control unit 100 is used.
- the image processing unit 20 performs demosaic processing in step S233, matrix conversion (S234), gamma processing (S235), and color reproduction processing (S236).
- parameters for each of these processes user-specified parameters and parameters set according to the WB value of the second WB process are used.
- a developed image dPD2 having a different color tone and image atmosphere from the developed image dPD1 is generated.
- the developed image dPD2 after step S236 may be output as it is and recorded on a recording medium or transmitted to an external device, but in this example, difference processing is performed in step S237.
- difference processing the image processing unit 20 performs difference calculation between the developed image dPD1 and the developed image dPD2 to generate difference information DD2.
- the difference information DD2 is output by interface processing in step S238.
- This difference information DD2 is associated with the above-described developed image dPD1 and recorded on a recording medium or transmitted to an external device.
- Difference information may be used.
- the difference information DD2 is associated with the developed image dPD1 instead of being recorded or transmitted.
- the developed image dPD2 can be reproduced, and the data volume as a set of a plurality of developed images can be reduced, which is advantageous for recording and communication.
- Steps S242 to S248 indicate the development processing of the third system.
- the image processing unit 20 performs WB processing with a WB value different from that of the main WB processing and the second WB processing as the third WB processing. For example, another WB value specified by the user or a WB value automatically set by the control unit 100 is used.
- the image processing unit 20 performs demosaic processing in step S243, matrix conversion (S244), gamma processing (S245), and color reproduction processing (S246).
- parameters for each of these processes parameters specified by the user or parameters set according to the WB value of the third WB process are used.
- a developed image dPD3 which is further different in color tone and image atmosphere from the developed images dPD1 and dPD2, is generated.
- the developed image dPD3 may be output as it is and recorded on a recording medium or transmitted to an external device.
- the capacity as a set can be reduced.
- the image processing unit 20 performs difference calculation between the developed image dPD1 and the developed image dPD3 to generate difference information DD3.
- the difference information DD3 is output in the interface processing of step S248. This difference information DD3 is recorded on a recording medium or transmitted to an external device.
- the difference information DD3 may be the difference from the developed image dPD2 instead of the difference from the developed image dPD1. Further, when a plurality of types of developed images dPD1, dPD2, and dPD3 are generated, the developed image dPD1 of normal development does not necessarily have to be used as a reference. It can be considered variously which developed image is used as a reference and which developed image is used as difference information.
- FIG. 12 shows examples of various developed images dPD2, dPD3, dPD4, and dPD5 obtained by other systems of development processing in addition to the developed image dPD1 obtained by normal development processing.
- All of these multiple types of developed images may be generated and recorded or transmitted (hereinafter also referred to as "recording, etc.”), or a developed image desired by the user may be generated and recorded. good.
- the developed image to be recorded or the like can be selected by the user, it is conceivable to recommend the developed image to be recorded or the like to the user.
- development conditions and intentions e.g., high/soft
- multiple types of WB auto WB, cloudy weather, fine weather
- user preferences personal and regional fashion styles: red emphasis, high saturation
- parameter sets for obtaining each image such as developed images dPD1, dPD2, dPD3, dPD4, and dPD5 are given titles such as "normal development”, “cloudy sky”, “sunny sky”, “monochrome”, "high contrast", and “soft contrast”. to the user.
- the image quality model corresponding to each title may also be displayed so that the user can select a desired image quality parameter set. For example, when the user selects "normal development” or “cloudy weather” during development processing, the image processing unit 20 performs two systems of development processing to obtain developed images dPD1 and dPD2.
- control unit 100 automatically selects a parameter set of "normal development”, “sunny weather”, and “monochrome” according to the user's preference, the history of past development processing, etc., makes recommendations during development processing, and performs user operations on the recommendations.
- the image processing unit 20 may be caused to execute the type of development processing selected according to the condition.
- control unit 100 can also control the image processing unit 20 so as to automatically perform a plurality of systems of development processing selected according to the user's preference.
- a plurality of sets of image processing parameters may be stored in the metadata MT in association with the YC-RAW data when the imaging apparatus 1 performs YC-RAW imaging processing, for example. It is also possible to acquire one or a plurality of parameter sets by referring to the metadata MT during the development process and reflect them in the development process.
- FIG. 14 shows the processing of the image processing section 20 in a format similar to that of FIG.
- the development processing for YC-RAW data up to steps S200, S201, S220, S221, S222, S223, S224, S204, S205, S206, and S207 is the same as in FIG.
- the image data that has undergone the re-mosaic processing in step S221 is RAW format data in the original image sensor output format, in which the color shift caused by the pre-WB processing and demosaic processing in the YC-RAW imaging processing has been corrected. .
- step S208 the image processing unit 20 performs YC conversion processing on the image sensor output format data that has undergone such color shift correction, and converts the data into YCbCr format data, that is, YC-RAW data.
- YC-RAW'data This is referred to as "YC-RAW'data" to distinguish it from the YC-RAW data to be developed.
- the generated YC-RAW' data is output by interface processing in step S209.
- the control unit 100 causes this YC-RAW' data to be recorded on a recording medium, for example.
- the YC-RAW' data is recorded on the recording medium by the recording control section 14.
- FIG. In the case of the information processing device 70 , the YC-RAW′ data is recorded on the recording medium by the recording control section 79 .
- the recording control unit 14 (or 74) overwrites and records the YC-RAW' data on the recording medium from which the YC-RAW data to be developed is read.
- the original YC-RAW data to be developed is data that remains affected by the color shift, but is overwritten with the YC-RAW' data in which the influence of the color shift is eliminated.
- the YC-RAW data may be recorded on the recording medium so as to coexist with the original YC-RAW data as color shift corrected data.
- the YC-RAW' data is recorded, but the image data that has undergone the re-mosaic processing in step S221, that is, the RAW format data according to the original image sensor output format, is recorded as the original YC-RAW data. It may be recorded on the recording medium so as to overwrite the data. Alternatively, RAW format data in the original image sensor output format may be recorded on the recording medium so as to coexist with the original YC-RAW data.
- FIG. 14 shows an example in which the image processing unit 20 performs development processing in steps S222, S223, and S204 to S207 and also outputs the developed image dPD. Instead, only output for generating and recording YC-RAW' data or RAW format data in the image sensor output format may be performed.
- user designation as to whether or not to perform development processing including color misregistration correction processing can be conceived of in two ways, for example, through a UI during imaging and through a UI during development.
- the user specifies the image by menu operation at the time of imaging, and for example, the specified information is included in the metadata MT associated with the YC-RAW data, so that the control unit 100 can confirm the specified content at the time of development.
- the control unit 100 can also allow the user to select specified information through a menu operation during development.
- a UI that allows selection of whether or not to execute is also conceivable.
- FIG. 15 shows a processing example of the control unit 100 during development processing.
- FIG. 15 is an example of processing for one frame of YC-RAW data.
- step S300 the control unit 100 determines whether or not the YC-RAW data is set to have color misregistration correction. do. For example, if it is a setting at the time of shooting, the metadata MT is confirmed. In addition, it is also possible to check the setting by the user's operation at the time of development.
- the user can set whether or not to perform color misregistration correction processing, for example, through the UI of the menu screen 40 as shown in FIG.
- FIG. 16 shows an example of a menu screen displayed on the display unit 15 of the imaging apparatus 1.
- the display unit 77 of the information processing device 70 may display a menu screen that allows similar settings in a format suitable for the screen.
- a setting area 41 for "advanced color reproduction processing" is prepared on the menu screen 40, and the user can specify various settings.
- Advanced color reproduction processing is processing that includes the above-mentioned color shift correction processing and increases the accuracy of color reproduction during imaging.
- the advanced color reproduction processing is set to "ON”
- the development processing including the color misregistration correction processing described with reference to FIG. 10 and the like is set to be performed.
- the advanced color reproduction processing is set to “OFF”
- the development processing (development processing without remosaic processing) that does not perform the color misregistration correction processing described with reference to FIG. 8 is set.
- any one of "high-speed type”, “high-precision type”, and “balanced type” can be selectively set for the processing for determining whether or not to perform advanced color reproduction processing.
- FIG. 16 schematically shows a state in which "high-speed type” is set.
- the high-speed type is a mode in which determination processing is performed using an algorithm that can be executed at a relatively high speed
- the high-precision type is a mode in which determination processing is performed using a relatively high-precision algorithm. Specific examples of each will be described later.
- the balanced type is a mode in which high speed and high accuracy are automatically used according to image characteristics.
- step S300 of FIG. 15 the control unit 100 confirms the contents set by the user by operating the menu screen 40 during imaging or development.
- the control unit 100 detects from the metadata MT that the advanced color reproduction process is "ON" for the current frame, or when the user sets the advanced color reproduction process to "ON" during the development process this time, If this is detected, the process advances from step S300 to step S310 to instruct the image processing section 20 to perform development processing including color misregistration correction processing.
- the developed image dPD corrected for color misregistration can be obtained by the processing described with reference to FIGS. 10, 12, 14, etc.
- the user can expect high image quality of the developed image dPD by setting the advanced color reproduction processing to "ON", thereby avoiding the influence of color shift caused by pre-WB processing and demosaicing processing.
- the advanced color reproduction processing is set to "OFF". In this case, the determination process determines the necessity of the color shift correction process, and the development process including the color shift correction process is executed as necessary.
- control unit 100 advances from step S300 to step S301 to perform determination processing for determining the necessity of color shift correction processing. Start.
- the control unit 100 selects a determination algorithm. For example, a high-speed type or a high-precision type is selected. In this case, it is conceivable to select according to the user setting on the menu screen 40 of FIG. If the fast type is set, select the fast type algorithm. If the high-precision type is set, select the high-precision type algorithm. If the balanced type is set, select either the high-speed type or the high-precision type algorithm according to the situation. For example, when one frame of YC-RAW data as a still image is to be developed, a high-precision type may be used, and when multiple frames of YC-RAW data as a moving image are to be developed, a high-speed type may be used.
- step S302 the control unit 100 branches the processing depending on whether the selected algorithm is a high-speed type or a high-precision type. If the high-speed type is selected, the control unit 100 proceeds to step S303.
- the WB value of the main WB processing is calculated based on the RAW data input during development processing.
- the light source information MD3 is included in the metadata MT, it can be used to calculate the WB value of this WB processing.
- the development target is multiple frames of YC-RAW data from continuous shots or movies, by applying the WB average value of the past few frames to the current frame, you can save the WB detection value calculation time and further stabilize the WB. Sexual improvement can also be expected.
- the difference ⁇ WB between the WB values of the pre-WB and the main WB is obtained. It is determined whether or not this difference is greater than a threshold TH1.
- ⁇ WB (WB value of pre-WB processing) ⁇ (WB value of main WB processing) and If .DELTA.WB>TH1, it is determined that there is a high possibility of color misregistration. On the other hand, if .DELTA.WB.ltoreq.TH1, it is determined that the possibility of color misregistration is low.
- the threshold value TH1 can be basically set to be several percent or less of the pre-WB R gain and B gain levels, but it is desirable to adjust it according to the actual image characteristics.
- the above processing is the determination processing by the high-speed algorithm in steps S303 and S304.
- the control unit 100 determines that color misregistration correction is not necessary, proceeds to step S309, and performs development processing that does not include color misregistration correction processing as shown in FIG.
- the image processing unit 20 is instructed.
- step S304 the control unit 100 proceeds to step S307 and performs warning display control.
- the warning display 45 as shown in FIG.
- the UI may notify the user that if the development process is performed as it is, there is a high possibility that the image will have a color shift, and the user can select whether or not to apply the correction process.
- the display unit 77 is caused to display a warning with the same content.
- the control unit 100 waits for a user operation in response to this, and when the user instructs application of the color shift correction processing, the process proceeds from step S308 to step S310, and the image processing unit 20 performs development processing including the color shift correction processing. to direct.
- the control unit 100 advances from step S308 to step S309 and instructs the image processing unit 20 to perform development processing that does not include color shift correction processing.
- control unit 100 proceeds from step S302 to step S305 and performs determination processing using the high-precision algorithm.
- the high-precision algorithm observes the signal level after reverse pre-WB, for example, and determines that color shift has occurred in the corresponding pixel when the signal level changes significantly due to the difference ⁇ WB described above.
- CSL Color Shift Level
- threshold value TH2 it is determined that the possibility of color misregistration is high when ⁇ CSL>TH2, and the possibility of color misregistration is low when ⁇ CSL ⁇ TH2.
- the threshold TH2 is basically set to a few percent of the signal level in the current block, it is desirable to adjust it according to the actual image characteristics.
- step S306 determines that color misregistration correction is not necessary, proceeds to step S309, and performs development processing that does not include color misregistration correction processing as shown in FIG.
- the image processing unit 20 is instructed.
- step S307 the control unit 100 proceeds to step S307 to perform warning display control.
- the warning display 45 as shown in FIG.
- the UI may notify the user that if development processing is performed as it is, there is a high possibility that the image will have color misregistration, and the user can select whether or not to apply the correction processing.
- the color shift area display 46 can be executed because the color shift determination is performed for each block in the frame. For example, a portion corresponding to a block with color shift is presented to the user as a zebra display or the like.
- the zebra display is just an example, and the area where the color shift occurs may be clearly indicated by highlight display, discoloration display, frame display, or the like.
- control unit 100 causes the image processing unit 20 to perform processing including color shift correction processing, and as shown in FIG. may be arranged on the same screen and displayed to the user.
- the screens of FIGS. 18 and 19 may be switched by user operation, or the control unit 100 may automatically switch the display. This makes it easier for the user to select the development processing method.
- the control unit 100 After causing the warning display 45 to be executed, the control unit 100 waits for a user operation, and if the user instructs to apply the color shift correction processing, the process proceeds from step S308 to step S310, and the image processing unit 20 performs the color shift correction processing. Instruct development processing including When the user instructs non-application of color shift correction processing, the control unit 100 advances from step S308 to step S309 and instructs the image processing unit 20 to perform development processing that does not include color shift correction processing.
- the algorithm for the determination process is selected, and the warning display 45 or the like is executed as necessary.
- the user can arbitrarily apply the color shift correction processing when it is determined to be necessary. can be executed.
- warning display 45 Although the example of displaying the warning display 45 has been given, other examples are also conceivable. For example, when it is determined in the determination process that correction of color misregistration is necessary, detailed information about the color misregistration such as coordinate information and ⁇ CSL values for the area where the unnatural color misregistration occurs is recorded as metadata associated with the developed image dPD. It may be possible to select whether or not to perform color misregistration correction processing later.
- step S301 selection of the determination algorithm in step S301 will be described.
- designation of the high-speed type or high-precision type algorithm is conceivable other than the designation by the user through the menu operation (high-speed priority, high-precision priority, or balance type).
- the control unit 100 is assumed to automatically select a determination algorithm according to camera settings.
- the following automatic selection method can also be applied to the selection when the balanced type is designated on the menu screen 40 .
- the higher the high-speed continuous shooting speed the lower the accuracy of pre-WB processing. This is because the time required to calculate the WB value is short, making it difficult to maintain accuracy. Accordingly, there is a tendency that the higher the high-speed continuous shooting speed, the greater the color shift. Therefore, it is conceivable to divide the high-speed continuous shooting speed by a certain threshold speed, apply the high-speed algorithm when the speed is faster than the threshold speed, and apply the high-precision algorithm when it is not applicable. This is because a clear difference is likely to be detected as the difference .DELTA.WB in an image captured at a high continuous shooting speed in which accuracy is difficult to maintain, and accurate determination can be expected even with a high-speed algorithm. For the same reason, it is conceivable to apply a high-speed algorithm when developing YC-RAW data by continuous shooting or moving image shooting, and apply a high-precision algorithm when developing YC-RAW data by single-shot shooting.
- the reason for selection based on presence/absence of face detection is as follows. Comparing the case where a face is detected in the image and the case where the face is not included in the image, it is easier to recognize the effect of color misregistration when a face is present. Therefore, it is conceivable to apply a high-precision algorithm to frames in which faces are detected, and a high-speed algorithm to frames in which faces are not detected.
- the reason for selecting the power saving mode of the imaging device 1 is as follows. When the remaining battery power of the imaging device 1 is low, or when the power saving mode is ON, it is preferable to reduce the amount of calculation. Therefore, when the battery level is low or when the power saving mode is ON, it is conceivable to apply a high-speed algorithm with a small amount of calculation, and apply a high-precision algorithm in other cases. .
- the development processing including the color misregistration correction processing described in the first embodiment and the like when the development processing including the color misregistration correction processing described in the first embodiment and the like is performed, the high image quality effect can be expected, but the development processing time may increase.
- the processing time tends to be long. Therefore, it is conceivable to reduce the processing time. For example, as shown in FIG. 20, it is possible to shorten the processing time by dividing an image into blocks and performing pipeline processing.
- the developed image dPD is generated and displayed by the process that does not include the color shift correction process of FIG. 8, and the developed image dPD is generated by performing the process that includes the color shift correction process as shown in FIG. 10 as back processing. It is also possible to sequentially replace the developed image dPD. In this case, it is possible to make the processing delay inconspicuous to the user.
- Steps S300, S309 and S310 in FIG. 21 are the same as in FIG.
- step S310 development processing including the color shift correction processing described with reference to FIG. 10 and the like is performed.
- step S320 determination processing is performed using a fixed determination algorithm.
- step S320 determination processing is always performed using a high-speed algorithm. The determination process may always be performed using a high-precision algorithm.
- control unit 100 proceeds from step S321 to step S310 and instructs the image processing unit 20 to perform development processing including color misregistration correction processing. If it is determined that the possibility of color misregistration is low, the control unit 100 proceeds from step S321 to step S309 and instructs the image processing unit 20 to perform development processing that does not include color misregistration correction processing.
- the example in FIG. 21 is an example using a fixed determination algorithm. Also, this is an example of selecting a development processing method without waiting for a user's selection according to determination processing.
- the determination process not only the determination based on the signals obtained inside the image processing unit 20 and the control unit 100 as in the determination algorithm described above, but also the determination using the metadata MT can be performed.
- the light source estimated by the pre-WB processing is determined from the pre-WB information MD1 related to the pre-WB processing when the imaging apparatus 1 performs the YC-RAW imaging processing.
- the light source determination information is included in the pre-WB information MD1.
- step S330 the control section 100 determines whether or not the light source determination information based on the pre-WB information MD1 and the light source information MD3 match.
- control unit 100 determines that there is a high possibility of color misregistration and that color misregistration correction is necessary. to direct. If the results of step S330 match, the possibility of color misregistration is low and the color misregistration correction processing is not required. Instruct development processing.
- the image processing apparatus that is, the image processing unit 20 (or the imaging apparatus 1 or the information processing apparatus 70 including the image processing unit 20) performs pre-WB processing, demosaic processing, and demosaicing on image sensor output, for example, RGB format image data. Development processing is performed on YC-RAW data, which is image data that has undergone processing and YC conversion processing.
- a conversion process is performed to convert the YC-RAW data into an image sensor output format (eg, RGB format), a reverse pre-WB process for the pre-WB process, and a re-mosaic process to restore the state before the demosaic process is performed.
- color shift correction processing including reverse pre-WB processing and re-mosaic processing on YC-RAW data
- color shift caused by pre-WB processing and demosaicing processing when generating YC-RAW data can be eliminated.
- developing the YC-RAW data it is possible to avoid color shift during development. This makes it possible to improve the image quality of the developed image dPD developed from the YC-RAW data.
- the data size is smaller than RGB-RAW data, there is little deterioration in image quality even when resized, and it is suitable for high-speed recording. It will be possible to effectively promote utilization.
- the RGB format image data is used as an example of the image data output from the image sensor
- the image data output from the image sensor is image data in Cy, Ye, G, and Mg formats based on the complementary color filter described with reference to FIG.
- it may be WRGB format image data based on a W-RGB filter.
- the image processing unit 20 performs a plurality of development processes on image data after re-mosaic processing with different parameter settings to generate a plurality of developed images dPD.
- different parameters are used for main WB processing, matrix conversion processing, gamma processing, and color reproduction processing to generate a plurality of developed images dPD1, dPD2, dPD3, .
- main WB processing matrix conversion processing
- gamma processing gamma processing
- color reproduction processing to generate a plurality of developed images dPD1, dPD2, dPD3, .
- the image processing unit 20 generates the difference information DD from a reference developed image for some of the plurality of developed images dPD. For example, when a plurality of developed images dPD1, dPD2, dPD3 are generated, difference information DD2, DD3 between the developed images dPD2, dPD3 and the reference developed image dPD1 is generated.
- difference information DD2 and DD3 By recording the difference information DD2 and DD3 on the recording medium, the required recording capacity can be greatly reduced compared to recording the developed images dPD2 and dPD3 as they are.
- control unit 100 performs determination processing for determining the necessity of color shift correction for YC-RAW data, and causes the image processing unit 20 to perform remosaic processing according to the determination result.
- YC-RAW data to be developed does not always have a large color shift.
- the control unit 100 performs determination processing and determines that the color shift is large to some extent, the image processing unit 20 performs development processing with color shift correction, thereby obtaining a high-quality developed image dPD. be done.
- processing such as remosaic can be omitted, which is suitable for reducing the processing load and speeding up the development processing.
- the difference value ( ⁇ WB) between the WB value obtained for the YC-RAW data by the control unit 100 as the determination process and the WB value used in the pre-WB processing of the YC-RAW data is used.
- ⁇ WB difference value between the WB value obtained for the YC-RAW data by the control unit 100 as the determination process and the WB value used in the pre-WB processing of the YC-RAW data.
- control unit 100 determines the necessity of correcting color misregistration based on the signal level change amount ⁇ CSL after reverse pre-WB processing for YC-RAW data as determination processing. That is, it is a judgment process by a high-precision algorithm. Since this is also internal signal processing, the determination can be made relatively quickly. Further, by performing the determination for each pixel/block, it is possible to accurately specify the area where the color shift occurs.
- the control unit 100 uses information based on the WB value used in pre-WB processing for YC-RAW data and light source information detected at the time of imaging as the determination processing.
- the light source information MD3 can be used in the case of the imaging device 1 having a sensor from which the light source information MD3 can be obtained, or in the case of the information processing device 70 acquiring the YC-RAW data in which the light source information MD3 is added to the metadata MT.
- the presence or absence of color shift can be estimated by comparing the light source information MD3 and the light source estimated by the pre-WB processing. In this case, determination processing can be performed very easily and at high speed.
- control unit 100 can select a plurality of processing methods as the determination processing and the determination processing is performed by the selected processing method.
- a processing method for determination processing a high-speed algorithm that can be executed at a relatively high speed, a high-precision algorithm that has a relatively high accuracy, etc. can be selectively executed. This makes it possible to perform determination processing suitable for the situation.
- control unit 100 selects the processing method of the determination processing based on user settings. For example, the control unit 100 selects a determination method (algorithm) according to whether the user has set a high-speed type, a high-precision type, or the like in menu settings. This makes it possible to perform determination processing according to the user's purpose, use case, and the like.
- a determination method algorithm
- control unit 100 automatically selects the processing method of the determination processing.
- the control unit 100 automatically selects a determination method (algorithm) such as a high-speed type or a high-precision type according to some trigger, setting, imaging situation, or the like.
- a determination method such as a high-speed type or a high-precision type according to some trigger, setting, imaging situation, or the like.
- the selection is made according to the high-speed continuous shooting speed, presence/absence of face images, battery status, and the like.
- determination processing suitable for imaging operation, image content, device status, and the like becomes possible.
- steps in FIG. 15 See S308, S310.
- a user who recognizes that a color shift will occur due to the warning can select whether or not to correct the color shift in development processing according to his/her purpose, preference, convenience, and the like.
- the image processing unit 20 performs the reverse pre-WB processing using the pre-WB information MD1 in the metadata MT associated with the YC-RAW data. Since the pre-WB information MD1 is added as the metadata MT, the reverse pre-WB processing for returning the pre-WB processing to the state before the processing can be performed accurately.
- the image processing unit 20 performs re-mosaic processing using the sensor array information MD2 in the metadata MT associated with the YC-RAW data.
- the remosaic processing can be performed accurately.
- the image processing unit 20 uses the light source information MD3 in the metadata MT associated with the YC-RAW data to be developed to calculate the WB value of the main WB, An example of performing this WB processing has been given. Since the light source information is added as the metadata MT, this WB processing can be performed with values corresponding to the light source at the time of imaging.
- the image processing apparatus described in the third embodiment performs conversion processing on YC-RAW data to an image sensor output format, reverse pre-WB processing for pre-WB processing, and restores the state before demosaic processing.
- a portion (14, 79) is provided.
- YC-RAW' data obtained by applying color shift correction processing by reverse pre-WB processing and re-mosaic processing to YC-RAW data and then performing YC conversion is processed by pre-WB processing and pre-WB processing similar to the original YC-RAW data. There is no color shift caused by demosaicing. Therefore, by overwriting the original YC-RAW data with the obtained YC-RAW' data, the YC-RAW' data can be used as RAW image data capable of developing a high-quality image.
- the YC-RAW' data may be recorded so as to coexist with the original YC-RAW data.
- YC-RAW data that has undergone color shift correction processing by reverse pre-WB processing and re-mosaic processing, that is, RAW format data according to the original image sensor output format, together with the original YC-RAW data, or It may be overwritten and recorded on a recording medium.
- the data in the original image sensor output format can also be used as RAW image data capable of developing a high-quality image.
- both the YC-RAW' data and the image sensor output format data may be recorded on the recording medium.
- the imaging device 1 of the embodiment shown in FIG. and an image processing unit 20 that performs YC conversion processing to generate YC-RAW data. Further, the imaging apparatus 1 uses the sensor array information MD2 representing the pixel array of the image sensor 12a as metadata MT used for re-mosaic processing to restore the state before demosaic processing, and uses pre-WB information MD1 including parameters for pre-WB processing as pre-WB processing.
- a camera control unit 18 is provided for performing processing for associating YC-RAW data as metadata MT used for reverse pre-WB processing for YC-RAW data (see FIGS. 6 and 7).
- Pre-WB information MD1 and sensor array information MD2 are associated with YC-RAW data as metadata MT, so that, for example, during development processing, reverse pre-WB processing and re-mosaic processing can be performed accurately by referring to these. will be able to go to
- the imaging device 1 may also include an illuminance sensor as a sensor capable of detecting light source information.
- the camera control unit 18 performs processing to use the sensor array information MD2, the pre-WB information MD1, and the light source information MD3 generated based on the sensor detection values as metadata MT used in the development processing of the YC-RAW data. An example was given (see FIG. 7). By including the light source information MD3 as the metadata MT, it becomes possible to perform more accurate WB processing by referring to this during the actual white balance processing during development processing.
- a program related to development processing according to the embodiment is a program that causes a CPU, DSP, GPU, GPGPU, AI processor, or a device including these to execute the development processing shown in FIGS. That is, as a program of the embodiment, YC-RAW data, which is image data obtained by performing pre-WB processing, demosaic processing, and YC conversion processing on RGB format image data, is converted into RGB format.
- a program that causes an arithmetic processing device functioning as an image processing device to execute reverse pre-WB processing for pre-WB processing and re-mosaic processing to return to the state before demosaic processing can be assumed.
- a program according to an embodiment is a program that causes an arithmetic processing device to execute processing for generating YC-RAW' data as shown in FIG. That is, as the program of the embodiment, the image data in the image sensor output format is subjected to pre-WB processing, demosaic processing, and YC conversion processing, and YC-RAW data is processed in the original image sensor output format. , and then reverse pre-WB processing to the pre-WB processing and re-mosaic processing to return to the state before demosaic processing.
- a program to be executed by a processing device can be assumed.
- the image processing device referred to in the present disclosure can be realized by various computer devices.
- a HDD as a recording medium built in equipment such as a computer device, or in a ROM or the like in a microcomputer having a CPU.
- a flexible disc a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a Blu-ray disc (Blu-ray Disc (registered trademark)), a magnetic disc, a semiconductor memory
- a removable recording medium such as a memory card.
- Such removable recording media can be provided as so-called package software.
- a program from a removable recording medium to a personal computer or the like, it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
- LAN Local Area Network
- Such a program is suitable for widely providing the image processing apparatus of the present disclosure.
- a program by downloading a program to a mobile terminal device such as a smartphone or tablet, a mobile phone, a personal computer, a game device, a video device, a PDA (Personal Digital Assistant), etc., these devices function as the image processing device of the present disclosure.
- a computer device that functions as the image processing device of the present disclosure by means of such a program can also be implemented as a cloud server.
- each process described in the embodiment can be executed by cloud computing in cooperation with the imaging device 1 .
- the present technology can also adopt the following configuration. (1) performing conversion processing to the image sensor output format on YC-RAW data, which is image data obtained by performing pre-white balance processing, demosaic processing, and YC conversion processing on image data in the image sensor output format; An image processing device comprising an image processing unit that performs reverse pre-white balance processing for the pre-white balance processing and re-mosaic processing for returning to a state before the demosaic processing. (2) The image processing device according to (1), wherein the image processing unit performs white balance processing and demosaicing processing on the image data after the re-mosaic processing.
- the control unit as the determination process, Using the difference value between the white balance value obtained for the YC-RAW data and the white balance value used in the pre-white balance processing for the YC-RAW data, the necessity of correcting the color shift is determined. ).
- the control unit as the determination process, The image processing apparatus according to (5) or (6) above, wherein, for YC-RAW data, the necessity of color misregistration correction is determined based on the amount of change in signal level after the reverse pre-white balance processing.
- the control unit as the determination process, Using the information based on the white balance value used in the pre-white balance processing for the YC-RAW data and the light source information detected at the time of imaging, determine the necessity of correcting the color shift (5) to (7) above
- the image processing device according to any one of .
- the image processing apparatus according to any one of (5) to (8) above, wherein the control unit is capable of selecting a plurality of processing methods as the determination processing, and performs the determination processing by the selected processing method.
- (11) The image processing apparatus according to (9), wherein the control unit automatically selects a processing method for the determination processing.
- YC-RAW data which is image data obtained by performing pre-white balance processing, demosaic processing, and YC conversion processing on image data in the image sensor output format
- An image processing apparatus comprising a recording control section for recording YC-RAW data obtained based on image data on a recording medium.
- an imaging unit for obtaining captured image data by an image sensor; an image processing unit that performs pre-white balance processing, demosaicing processing, and YC conversion processing on image data in an image sensor output format obtained by the imaging unit to generate YC-RAW data; Sensor array information representing the pixel array of the image sensor is used as metadata used for re-mosaic processing to restore the state before the demosaic processing, and pre-white balance information including parameters for the pre-white balance processing is used as reverse pre-white balance processing for the pre-white balance processing.
- An imaging apparatus comprising: a control unit that performs processing for associating metadata used for white balance processing with YC-RAW data.
- imaging device 12 imaging unit 12a image sensor 14 recording control unit 15 display unit 18 camera control unit 20 image processing unit 23 sensor unit 40 menu screen 41 setting area 45 warning display 46 color shift area display 70 information processing device, 71 CPUs 77 display unit 78 audio output unit 79 recording control unit 100 control unit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
YC-RAWデータを現像処理対象とする画像処理装置は、イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、イメージセンサ出力形式への変換処理を行い、さらにプリホワイトバランス処理に対する逆プリホワイトバランス処理及びデモザイク処理前の状態に戻すリモザイク処理を行う画像処理部を備えるようにする。
Description
本技術は画像処理装置、撮像装置、画像処理方法に関し、特にRAW画像の現像処理の技術に関する。
画像の記録には、イメージセンサの出力を現像処理して生成された画像データ、例えばJPEG(Joint Photographic Experts Group)画像データなどを記録することだけでなく、RAWデータを記録することも行われている。
RAWデータはイメージセンサから得られる信号を、ほぼそのまま再現できる形で記録されるため、記録されたRAWデータに対する後処理として所望の現像パラメータを指定して階調や色合いなどを調整した現像処理を行うことができる。このためユーザにとっては、撮像装置内で色再現処理等を行って記録する方式に比べて、より好みに合った現像画像を得ることができる。
RAWデータはイメージセンサから得られる信号を、ほぼそのまま再現できる形で記録されるため、記録されたRAWデータに対する後処理として所望の現像パラメータを指定して階調や色合いなどを調整した現像処理を行うことができる。このためユーザにとっては、撮像装置内で色再現処理等を行って記録する方式に比べて、より好みに合った現像画像を得ることができる。
RAWデータとはイメージセンサ出力形式の画像データを指す場合があり、RAWデータの記録に関しては、イメージセンサ出力形式の画像データ、例えば原色フィルタ配列によるR(赤)、G(緑)、B(青)の信号をそのまま記録する方式がある。説明上、このようなRAWデータの一例をRGB-RAWデータと呼ぶ。
また保存時のデータ量を抑圧するために、撮像装置内でホワイトバランス処理を含むある程度の信号処理を行って、輝度信号と色差信号に分離し、YCbCrの形式でRAWデータとして記録する方式がある。このようなYC変換処理までが行われたRAWデータをYC-RAWデータと呼ぶ。
下記特許文献1にはYC-RAWデータに相当する画像の処理について開示されている。
また下記特許文献2には、RAWデータのホワイトバランスの信頼性に関する処理について開示されている。
なお、以下「ホワイトバランス」については「WB」とも表記する。
また下記特許文献2には、RAWデータのホワイトバランスの信頼性に関する処理について開示されている。
なお、以下「ホワイトバランス」については「WB」とも表記する。
ところで、YC-RAWデータとしてYCbCr形式で画像を記録するには、まずイメージセンサ出力、例えばベイヤー配列のRGB形式の信号に対し、WB処理を行い、WB処理後にデモザイク処理をして、画像の各画素の欠色値を推定することにより、カラー画像を作成する必要がある。これらの欠色値は、周囲の画素からの色情報を用いて推定されるため、WB処理の値(WBゲイン)が正しく設定できない場合は、画像の各画素の欠色値も正しく推定できない。上記特許文献2からも理解されるように、WB処理は、被写体の色や、光源、検波方式など様々な影響を受けるため、短時間で正しく計算することが難しい。例えば撮像時に高速に適切なWB値を設定することは困難である。
さらにデモザイク処理によって色ずれが悪化してしまう可能性もある。
これらにより、後にYC-RAWデータを現像すると、色ずれの影響が残った現像画像、例えばJPEG画像データ等が生成されてしまう。
さらにデモザイク処理によって色ずれが悪化してしまう可能性もある。
これらにより、後にYC-RAWデータを現像すると、色ずれの影響が残った現像画像、例えばJPEG画像データ等が生成されてしまう。
そこで本開示では、YC-RAWデータを現像する際などに適用できる、色ずれの影響を修正する画像処理を提案する。
本技術に係る画像処理装置は、イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を行う画像処理部を備える。
例えばYC-RAWデータの撮像時に行われる簡易なプリホワイトバランス処理やデモザイク処理によって、YC-RAWデータを現像するときに本来の画像と比較して色ずれが生ずる場合がある。上記構成は、YC-RAWデータについて色ずれが修正されるようにするものである。
例えばYC-RAWデータの撮像時に行われる簡易なプリホワイトバランス処理やデモザイク処理によって、YC-RAWデータを現像するときに本来の画像と比較して色ずれが生ずる場合がある。上記構成は、YC-RAWデータについて色ずれが修正されるようにするものである。
また本技術に係る画像処理装置は、イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を加えた後に得られるイメージセンサ出力形式の画像データ、又は前記リモザイク処理後に得られたイメージセンサ出力形式の画像データに基づいて得られたYC-RAWデータを、記録媒体に記録させる記録制御部を備える。
すなわち逆プリホワイトバランス処理やリモザイク処理を含む色ずれ修正処理を施した後の画像データであるRAWデータを、元のYC-RAWデータに上書き記録させる。又は元のYC-RAWデータとともに記録させる。
すなわち逆プリホワイトバランス処理やリモザイク処理を含む色ずれ修正処理を施した後の画像データであるRAWデータを、元のYC-RAWデータに上書き記録させる。又は元のYC-RAWデータとともに記録させる。
本技術に係る撮像装置は、イメージセンサにより撮像画像データを得る撮像部と、前記撮像部により得られたイメージセンサ出力形式の画像データに対して、プリホワイトバランス処理、デモザイク処理、及びYC変換処理を行ってYC-RAWデータを生成する画像処理部と、前記イメージセンサの画素配列をあらわすセンサ配列情報を前記デモザイク処理前の状態に戻すリモザイク処理に用いるメタデータとし、前記プリホワイトバランス処理のパラメータを含むプリホワイトバランス情報を前記プリホワイトバランス処理に対する逆プリホワイトバランス処理に用いるメタデータとして、YC-RAWデータに関連づける処理を行う制御部と、を備える。
例えばYC-RAWデータに関連づけるメタデータに、センサ配列情報とプリホワイトバランス情報を加え、現像処理の際に参照できるようにする。
例えばYC-RAWデータに関連づけるメタデータに、センサ配列情報とプリホワイトバランス情報を加え、現像処理の際に参照できるようにする。
以下、実施の形態を次の順序で説明する。
<1.撮像装置の構成>
<2.情報処理装置の構成>
<3.YC-RAW撮像処理>
<4.YC-RAW現像の比較例>
<5.第1の実施の形態:YC-RAW現像>
<6.第2の実施の形態:YC-RAW現像>
<7.第3の実施の形態:YC-RAWの上書き記録>
<8.第4の実施の形態:色ずれ修正の実行判定を加えた処理>
<9.まとめ及び変形例>
<1.撮像装置の構成>
<2.情報処理装置の構成>
<3.YC-RAW撮像処理>
<4.YC-RAW現像の比較例>
<5.第1の実施の形態:YC-RAW現像>
<6.第2の実施の形態:YC-RAW現像>
<7.第3の実施の形態:YC-RAWの上書き記録>
<8.第4の実施の形態:色ずれ修正の実行判定を加えた処理>
<9.まとめ及び変形例>
<1.撮像装置の構成>
本技術の実施の形態の画像処理装置は、撮像装置(カメラ)やRAW現像等を行う情報処理装置において画像処理部として搭載されることが想定される。また、これらの画像処理部を搭載した撮像装置や情報処理装置自体を、本技術の実施の形態の画像処理装置と考えることもできる。
本技術の実施の形態の画像処理装置は、撮像装置(カメラ)やRAW現像等を行う情報処理装置において画像処理部として搭載されることが想定される。また、これらの画像処理部を搭載した撮像装置や情報処理装置自体を、本技術の実施の形態の画像処理装置と考えることもできる。
まず図1で撮像装置1の構成例を説明する。
この撮像装置1は、撮像に応じたYC-RAWデータの生成処理や、YC-RAWデータについての現像を行う画像処理部20を備えており、この画像処理部20、又は画像処理部20を備えた撮像装置1が、本技術の画像処理装置の例として考えることができる。
この撮像装置1は、撮像に応じたYC-RAWデータの生成処理や、YC-RAWデータについての現像を行う画像処理部20を備えており、この画像処理部20、又は画像処理部20を備えた撮像装置1が、本技術の画像処理装置の例として考えることができる。
この撮像装置1が生成するYC-RAWデータとは、撮像動作により得られたイメージセンサ出力形式、例えばRGB形式の画像データに対してプリホワイトバランス処理、デモザイク処理、YC変換処理を行って得る画像データである。画素サイズ(画素数)を変えるためのリサイズが行われる場合もある。
但し、このYC-RAWデータは、色再現処理、ガンマ処理、シャープネス処理等の絵づくりに関する処理はおこなわれていないものであり、RAWデータの一種といえるものである。
但し、このYC-RAWデータは、色再現処理、ガンマ処理、シャープネス処理等の絵づくりに関する処理はおこなわれていないものであり、RAWデータの一種といえるものである。
撮像装置1は、例えばレンズ系11、撮像部12、記録制御部14、表示部15、通信部16、操作部17、カメラ制御部18、メモリ部19、画像処理部20、バッファメモリ21、ドライバ部22、センサ部23を有する。
レンズ系11は、ズームレンズ、単焦点レンズ等のレンズや絞り機構などを備える。このレンズ系11により、被写体からの光(入射光)が導かれ撮像部12に集光される。
撮像部12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージセンサ12aを有して構成される。
この撮像部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の画像処理部20やカメラ制御部18に出力する。
この撮像部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の画像処理部20やカメラ制御部18に出力する。
画像処理部20は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。
この画像処理部20は、撮像部12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。各種処理とは、例えば前処理、ホワイトバランス(WB)処理、デモザイク処理、色・階調処理、YC変換処理、解像度変換処理、各種検波処理などである。
この画像処理部20は、撮像部12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。各種処理とは、例えば前処理、ホワイトバランス(WB)処理、デモザイク処理、色・階調処理、YC変換処理、解像度変換処理、各種検波処理などである。
画像処理部20は、前処理として、例えばイメージセンサ12aからの信号に対する欠陥補正や黒レベル合わせを行う。
画像処理部20は、WB処理としては、後述するように、YC-RAWデータの生成のための簡易的なWB処理や、例えば全画素検波等によって高精度のWB値を求めて行うか、或いはユーザ指定のWB値で行う本来のWB処理を行う。
なお本開示では説明上の区別のため、YC-RAWデータの生成のための撮像時の簡易的なWB処理を「プリWB処理」(「プリホワイトバランス処理」)と呼ぶ。また全画素検波等によって高精度のWB値を求めて行うWB処理や、ユーザ指定のWB値で行うWB処理、即ち最終的な現像画像に反映されるWB処理を「本WB処理」(「本ホワイトバランス処理」)と呼ぶ。
また画像処理部20は、プリWB処理の逆のWB値を用いて、プリWB処理をキャンセルする逆プリWB処理を行う場合もある。
画像処理部20は、WB処理としては、後述するように、YC-RAWデータの生成のための簡易的なWB処理や、例えば全画素検波等によって高精度のWB値を求めて行うか、或いはユーザ指定のWB値で行う本来のWB処理を行う。
なお本開示では説明上の区別のため、YC-RAWデータの生成のための撮像時の簡易的なWB処理を「プリWB処理」(「プリホワイトバランス処理」)と呼ぶ。また全画素検波等によって高精度のWB値を求めて行うWB処理や、ユーザ指定のWB値で行うWB処理、即ち最終的な現像画像に反映されるWB処理を「本WB処理」(「本ホワイトバランス処理」)と呼ぶ。
また画像処理部20は、プリWB処理の逆のWB値を用いて、プリWB処理をキャンセルする逆プリWB処理を行う場合もある。
画像処理部20は、デモザイク処理として、各画素についての画像データが、R,G,B全ての色成分を有するようにするデモザイク処理を施す。また画像処理部20は、デモザイク処理された画像データを、デモザイク処理前の状態に戻すリモザイク処理を行う場合もある。
画像処理部20は、YC変換処理では、RGB形式の画像データから輝度信号と色差信号を生成(分離)し、YCbCr形式の画像データとする処理を行う。
色・階調処理では、いわゆる画作りとしての、階調、彩度、トーン、コントラストなどを調整する処理を行う。
画像処理部20は、YC変換処理では、RGB形式の画像データから輝度信号と色差信号を生成(分離)し、YCbCr形式の画像データとする処理を行う。
色・階調処理では、いわゆる画作りとしての、階調、彩度、トーン、コントラストなどを調整する処理を行う。
画像処理部20は、例えば以上のような各処理を必要に応じて行い、イメージセンサ12aからの画像データについて、YC-RAWデータを生成したり、現像画像データを生成したりする。
この場合に解像度変換や、ファイル形成処理を行ってもよい。ファイル形成処理では、画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
例えば静止画ファイルとしてJPEG、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)、HEIF(High Efficiency Image File Format)、YUV422、YUV420等の形式の画像ファイルの生成を行う。またMPEG-4準拠の動画・音声の記録に用いられているMP4フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
この場合に解像度変換や、ファイル形成処理を行ってもよい。ファイル形成処理では、画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
例えば静止画ファイルとしてJPEG、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)、HEIF(High Efficiency Image File Format)、YUV422、YUV420等の形式の画像ファイルの生成を行う。またMPEG-4準拠の動画・音声の記録に用いられているMP4フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
バッファメモリ21は、例えばD-RAM(Dynamic Random Access Memory)により形成される。このバッファメモリ21は、画像処理部20において上記の各種処理の過程で、画像データの一時的な記憶に用いられる。
記録制御部14は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部14は例えば記録媒体に対し動画データや静止画データ等の画像ファイルを記録する処理を行う。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよい。また記録制御部14は、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部14は、撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよい。また記録制御部14は、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部14は、撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
表示部15はユーザに対して各種表示を行う表示部であり、例えば撮像装置1の筐体に配置される液晶パネル(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部15には画像処理部20で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画(被写体のライブビュー画像)が表示される。
また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
通信部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の情報処理装置、表示装置、記録装置、再生装置等に対して撮像画像データやメタデータを含む静止画ファイルや動画ファイルの送信出力を行う。
また通信部16はネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。ネットワーク上のサーバとはいわゆるクラウドサーバを含み、撮像装置1は通信部16を介してクラウドサーバとの間での各種の情報の送受信を行うことができる。
また撮像装置1は、通信部16により、例えばPC、スマートフォン、タブレット端末などとの間で、例えばブルートゥース(Bluetooth:登録商標)、Wi-Fi(登録商標)通信、NFC(Near field communication)等の近距離無線通信、赤外線通信などにより、相互に情報通信を行うことが可能とされてもよい。また撮像装置1と他の機器が有線接続通信によって相互に通信可能とされてもよい。
また通信部16はネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。ネットワーク上のサーバとはいわゆるクラウドサーバを含み、撮像装置1は通信部16を介してクラウドサーバとの間での各種の情報の送受信を行うことができる。
また撮像装置1は、通信部16により、例えばPC、スマートフォン、タブレット端末などとの間で、例えばブルートゥース(Bluetooth:登録商標)、Wi-Fi(登録商標)通信、NFC(Near field communication)等の近距離無線通信、赤外線通信などにより、相互に情報通信を行うことが可能とされてもよい。また撮像装置1と他の機器が有線接続通信によって相互に通信可能とされてもよい。
従って撮像装置1は、通信部16により、画像データやメタデータを、後述の情報処理装置70に送信することができる。
操作部17は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部17は撮像装置1の筐体に設けられた各種の操作子(キー、ダイヤル、タッチパネル、タッチパッド等)を示している。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
カメラ制御部18はCPU(Central Processing Unit)を備えたマイクロコンピュータ(演算処理装置)により構成される。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
例えばカメラ制御部18は、撮像部12のシャッタースピードの制御、画像処理部20における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
例えばカメラ制御部18は、撮像部12のシャッタースピードの制御、画像処理部20における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部19におけるRAMは、カメラ制御部18のCPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
ドライバ部22には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
センサ部23は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部23として、例えばIMU(inertial measurement unit:慣性計測装置)が搭載された場合、例えばピッチ、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部23としては、例えば位置情報センサ、照度センサ、測距センサ等が搭載される場合もある。
センサ部23として、例えばIMU(inertial measurement unit:慣性計測装置)が搭載された場合、例えばピッチ、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部23としては、例えば位置情報センサ、照度センサ、測距センサ等が搭載される場合もある。
センサ部23で検出される各種情報、例えば位置情報、距離情報、照度情報、IMUデータなどは、カメラ制御部18が管理する日時情報とともに、撮像画像に対してメタデータとして付加される。
センサ部23として色温度を検出できる照度センサが設けられることで、カメラ制御部18は、撮像時の光源を推定することができ、例えば光源情報をメタデータに加えることもできる。もちろん、撮像装置1とは別体の照度センサが用いられる場合も考えられる。
<2.情報処理装置の構成>
次に情報処理装置70の構成例を図2で説明する。
情報処理装置70はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置70としては、具体的には、パーソナルコンピュータ(PC)、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等が想定される。また情報処理装置70は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
次に情報処理装置70の構成例を図2で説明する。
情報処理装置70はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置70としては、具体的には、パーソナルコンピュータ(PC)、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等が想定される。また情報処理装置70は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
そして、この情報処理装置70は、YC-RAW画像データについての現像処理を行う画像処理部20を備えており、この画像処理部20、又は画像処理部20を備えた情報処理装置70が、本開示の画像処理装置の例として考えることができる。
情報処理装置70のCPU71は、ROM72や例えばEEP-ROM(Electrically Erasable Programmable Read-Only Memory)などの不揮発性メモリ部74に記憶されているプログラム、または記録制御部79によって記録媒体からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
画像処理部20は、画像データについて、例えばホワイトバランス処理、デモザイク処理、色・階調処理、YC変換処理、解像度変換処理、各種検波処理などを行う。特にこれらの処理によってYC-RAWデータの現像処理を行って、現像画像、例えばJPEG画像データを生成する。この情報処理装置70における画像処理部20の場合は、現像処理対象のYC-RAWデータとは、例えば撮像装置1で撮像され、通信又は記録媒体を介して、例えば記録制御部79における記録媒体に取り込まれた画像データとなる。その場合のYC-RAWデータには、撮像装置1で生成されたメタデータも関連付けられている。
なお、この画像処理部20としてYC-RAWデータの現像処理を行う機能は、CPU71内の機能として設けられてもよい。
また画像処理部20は、CPU71とは別体のCPU、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、AI(artificial intelligence)プロセッサ等により実現されてもよい。
また画像処理部20は、CPU71とは別体のCPU、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、AI(artificial intelligence)プロセッサ等により実現されてもよい。
CPU71、ROM72、RAM73、不揮発性メモリ部74、画像処理部20は、バス83を介して相互に接続されている。このバス83にはまた、入出力インタフェース75も接続されている。
入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
入力部76としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
入力部76としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
また入出力インタフェース75には、LCD或いは有機ELパネルなどよりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
表示部77は、例えば情報処理装置70の筐体に設けられるディスプレイデバイスや、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
表示部77は、例えば情報処理装置70の筐体に設けられるディスプレイデバイスや、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
入出力インタフェース75には、記録制御部79や通信部80が接続される場合もある。
記録制御部79は、HDD(Hard Disk Drive)におけるディスクや固体メモリ等の記録媒体に、処理対象のデータや、各種プログラムを記録することができる。
情報処理装置70が本開示の画像処理装置として機能する場合、記録制御部79は、処理対象のYC-RAWデータやメタデータを記録媒体に記録されることや、現像処理によって生成した画像データ、例えばJPEG画像データなどを記録媒体に記録させることが想定される。
また記録制御部79は、現像処理のためのプログラムを記録媒体に記録させたり、読み出したりすることができる。
記録制御部79は、HDD(Hard Disk Drive)におけるディスクや固体メモリ等の記録媒体に、処理対象のデータや、各種プログラムを記録することができる。
情報処理装置70が本開示の画像処理装置として機能する場合、記録制御部79は、処理対象のYC-RAWデータやメタデータを記録媒体に記録されることや、現像処理によって生成した画像データ、例えばJPEG画像データなどを記録媒体に記録させることが想定される。
また記録制御部79は、現像処理のためのプログラムを記録媒体に記録させたり、読み出したりすることができる。
通信部80は、インターネット等の伝送路を介しての通信処理や、各種機器との有線/無線通信、バス通信などによる通信を行う。
撮像装置1との間の通信、特に画像データ等の受信は、通信部80によって行われる。
撮像装置1との間の通信、特に画像データ等の受信は、通信部80によって行われる。
入出力インタフェース75にはまた、必要に応じてドライブ81が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体82が適宜装着される。
ドライブ81により、リムーバブル記録媒体82からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記録制御部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体82から読み出されたコンピュータプログラム等は必要に応じて記録制御部79における記録媒体に記録される。
ドライブ81により、リムーバブル記録媒体82からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記録制御部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体82から読み出されたコンピュータプログラム等は必要に応じて記録制御部79における記録媒体に記録される。
この情報処理装置70では、例えば本実施の形態の処理のためのソフトウェアを、通信部80によるネットワーク通信やリムーバブル記録媒体82を介してインストールすることができる。或いは当該ソフトウェアは予めROM72や記録制御部79における記録媒体等に記憶されていてもよい。
<3.YC-RAW撮像処理>
上述の撮像装置1によるYC-RAWデータの撮像処理について説明する。すなわち撮像を行い、現像前のRAWデータとしてYC-RAWデータを生成して記録媒体に記録したり、外部機器に送信したりする処理である。
上述の撮像装置1によるYC-RAWデータの撮像処理について説明する。すなわち撮像を行い、現像前のRAWデータとしてYC-RAWデータを生成して記録媒体に記録したり、外部機器に送信したりする処理である。
図3はRAW撮像処理を行う場合の、画像処理部20における処理の流れを示している。なお図ではカメラ制御部18とバス101を示しているが、これは、画像処理部20における各処理が、カメラ制御部18による制御信号やパラメータ設定に応じて行われることを表している。また画像処理部20内で行われる各処理についてステップ番号(S100からS104)を付して示しているが、これは、YC-RAWデータの生成までに関する処理手順として示しているもので、画像処理部20で行われる処理の一部である。
上述したように、画像処理部20には、イメージセンサ12aからの画像データISDTが供給される。この画像データISDTは、イメージセンサ出力形式の画像データであり、例えばイメージセンサ12aの画素配列のままのR値、G値、B値によるRGB形式のRAW画像データ(RGB-RAWデータ)などである。
YC-RAWデータを記録する場合の撮像処理としては、画像処理部20は、撮像部12でデジタル化された画像データISDTに対して、ステップS100のプリWB処理、ステップS101のデモザイク処理、ステップS102のリサイズ処理の順に信号処理を行う。
そしてステップS103で輝度と色差信号(YCbCr信号)に変換するYC変換処理を行ってYC-RAWデータとし、ステップS104のインタフェース処理で出力する。
この出力されるYC-RAWデータは、例えば記録制御部14により記録媒体に記録される場合もあるし、通信部16によって送信出力される場合もある。
そしてステップS103で輝度と色差信号(YCbCr信号)に変換するYC変換処理を行ってYC-RAWデータとし、ステップS104のインタフェース処理で出力する。
この出力されるYC-RAWデータは、例えば記録制御部14により記録媒体に記録される場合もあるし、通信部16によって送信出力される場合もある。
各処理について説明する。
ステップS100のプリWB処理は、撮像部12で生成された画像データISDTに対して簡易な検波によってWB値(WBゲイン)を推定し、例えばRGB形式の信号にWBゲインをかけてRGB信号レベルを調整する。
ステップS100のプリWB処理は、撮像部12で生成された画像データISDTに対して簡易な検波によってWB値(WBゲイン)を推定し、例えばRGB形式の信号にWBゲインをかけてRGB信号レベルを調整する。
ここでのWBは内部処理用のWB値を用い、可能な限り無彩色の被写体を無彩色にする値とするものであることが望ましい。しかし、実際はRAWデータ記録というケースにおける高速処理においては、プリWBを求める計算時間を短縮するため、ライブビューの前フレーム値を使用するWB処理や、簡易検波や低精度の高速演算などによるWB処理が行われる。
前フレームのWB値を使用すれば、現在のフレームの適正値と差分が生ずることがある。また簡易検波や低精度の高速演算などによれば、現在のフレームについての適正なWB値を得ることは難しく、完全な無彩色になるWB値との間に差分が発生してしまう。
前フレームのWB値を使用すれば、現在のフレームの適正値と差分が生ずることがある。また簡易検波や低精度の高速演算などによれば、現在のフレームについての適正なWB値を得ることは難しく、完全な無彩色になるWB値との間に差分が発生してしまう。
ステップS101のデモザイク処理では、プリWB処理で処理された画像データを用いてデモザイク処理を行い、画像の各画素の欠色値を推定することにより、カラー画像を作成する。
これらの欠色値は周囲の画素からの色情報を用いて推定される。一般的なデモザイシング手法には、補間ベースの手法、特徴量ベースの手法、ベイズ法など複数あるが、一般的には色偽を抑えるために、補間後の信号の色を薄くなるような傾向が見られる。そのため、プリWBの差分影響を受けたRGB信号がデモザイク処理されたあとに、色ズレがさらに悪化してしまうということが発生する。
これらの欠色値は周囲の画素からの色情報を用いて推定される。一般的なデモザイシング手法には、補間ベースの手法、特徴量ベースの手法、ベイズ法など複数あるが、一般的には色偽を抑えるために、補間後の信号の色を薄くなるような傾向が見られる。そのため、プリWBの差分影響を受けたRGB信号がデモザイク処理されたあとに、色ズレがさらに悪化してしまうということが発生する。
なお、ここで説明したデモザイク処理は、1画素が1つの色成分を示す画像信号から1画素が各色成分を示す画像信号、例えば三原色の画像信号を生成するという例が多いが、三原色に限定されることはなく、四色画像などを生成しても良い。
また、イメージセンサ12aの画素配置はベイヤー(Bayer)パターンが代表的であるが、ほかの画像配置のものでも本開示の技術を適用できる。つまり、イメージセンサ12aとしては様々な仕様のものが想定される。
また、イメージセンサ12aの画素配置はベイヤー(Bayer)パターンが代表的であるが、ほかの画像配置のものでも本開示の技術を適用できる。つまり、イメージセンサ12aとしては様々な仕様のものが想定される。
例えば図4にイメージセンサ12aの画素配列の例として、原色フィルタが用いられる場合、補色フィルタが用いられる場合、W-RGBフィルタが用いられる場合を、それぞれ示している。
図示する原色フィルタの例は、G、B、Rがそれぞれ2:1:1の比率で含まれているベイヤー配列の場合の一例であり、「R」「G」「G」「B」の各画素のブロックが基本とする配列である。先頭画素はR画素となる。
補色フィルタの例では、「Cy(シアン)」「Ye(イエロー)」「G」「Mg(マゼンタ)」の4つの補色画素のブロックを基本とする配列となる。先頭画素はCy画素となる。
W-RGBフィルタの例では、「B」「W(ホワイト)」「R」「G」の4つの画素のブロックを基本とする配列となる。先頭画素はB画素となる。
もちろんこれらはイメージセンサ12aの画素配列の一例であり、他にも多様な画素配列が想定される。
補色フィルタの例では、「Cy(シアン)」「Ye(イエロー)」「G」「Mg(マゼンタ)」の4つの補色画素のブロックを基本とする配列となる。先頭画素はCy画素となる。
W-RGBフィルタの例では、「B」「W(ホワイト)」「R」「G」の4つの画素のブロックを基本とする配列となる。先頭画素はB画素となる。
もちろんこれらはイメージセンサ12aの画素配列の一例であり、他にも多様な画素配列が想定される。
イメージセンサ12aが例えば原色フィルタによる画素配列を有するものである場合、デモザイク処理によっては、図5のような、いわゆるRGBプレーンと呼ばれる画像データが得られることになる。
図3のステップS102のリサイズ処理は、RAWデータの高速保存や、メモリ節約を実現するために、画サイズ変換によるデータ量削減を行うものである。ここでは単純なダウンサンプリングより、補間処理によってリサイズによる画質劣化の回避を図ることが望ましい。
なおリサイズ処理が行われない場合もある。
なおリサイズ処理が行われない場合もある。
ステップS103のYC変換処理は、デモザイク処理後の画像データを輝度データと色差データに変換する処理である。これによりYC-RAWデータとしてのRAW画像データを生成する。
このYC-RAWデータは、撮像装置1内で記録されたり、情報処理装置70等の外部機器に送信されて記録されたりする。
このYC-RAWデータは、撮像装置1内で記録されたり、情報処理装置70等の外部機器に送信されて記録されたりする。
ここまでYC-RAWデータの撮像及び記録処理について説明したが、その際にはカメラ制御部18によって処理が指示されるとともに、メタデータが関連付けられる。そのためのカメラ制御部18の処理例を図6に示す。
図6の処理例では、カメラ制御部18はステップS1で画像処理部20に対してYC-RAWデータの生成指示を行う。つまり撮像部12で撮像される画像データISDTからのYC-RAWデータ生成及び記録の指示を行う。これにより画像処理部20では、上述の図3の各処理を実行することになる。
ステップS2でカメラ制御部18は、プリWB処理のパラメータ、つまりWB値をカメラ制御部18に指示する。例えばカメラ制御部18は、画像処理部20による簡易的な検波処理に基づいてWB値を計算し、計算結果のWB値を画像処理部20に指示する。或いはカメラ制御部18は前フレームのWB値を画像処理部20に指示する。画像処理部20では、上述のステップS100として、指示されたWB値によりプリWB処理を行う。
なおWB値は画像処理部20内で計算される場合もある。その場合、カメラ制御部18はステップS2では、プリWB処理で用いるWB値をカメラ制御部18から取得する。
なおWB値は画像処理部20内で計算される場合もある。その場合、カメラ制御部18はステップS2では、プリWB処理で用いるWB値をカメラ制御部18から取得する。
ステップS3でカメラ制御部18は、センサ配列情報と、プリWB処理に用いたWB値(プリWB情報)を、セットにしたメタデータを生成する。この場合のセットにするということは、センサ配列情報とプリWB情報のそれぞれが、後のYC-RAWデータの現像処理に用いるデータであることを示す情報を付加するという意味である。
センサ配列情報は、デモザイク処理によって図5のRGBプレーンの状態とされた画像データを、後述するリモザイク処理で元のセンサ配列の状態に戻すための情報である。従ってセンサ配列情報は、図4で例示したよう画素配列を決定するフィルタタイプや先頭画素の情報を含むことが考えられる。例えばイメージセンサ12aに図4のベイヤー配列の原色フィルタが用いられる場合、カメラ制御部18は、センサ配列情報として、フィルタタイプがRGB3原色の「RGGB」タイプであり、先頭画素が「R」であるという情報を含むようにする。但しセンサ配列情報はイメージセンサ出力の画素値とデモザイクによる補間画素値が識別できる情報であればよい。
またプリWB情報は、後述する逆プリWB処理に用いるものである。即ち逆プリWB処理において、プリWB処理時のWB値の逆の値を用いることで、プリWB処理が施されていない状態に戻すことができるようにするために、プリWB処理におけるWB値をメタデータに含むようにする。
またプリWB情報は、後述する逆プリWB処理に用いるものである。即ち逆プリWB処理において、プリWB処理時のWB値の逆の値を用いることで、プリWB処理が施されていない状態に戻すことができるようにするために、プリWB処理におけるWB値をメタデータに含むようにする。
図6のステップS4でカメラ制御部18は、生成したメタデータ、即ちセンサ配列情報とWB値のセットを、画像処理部20で生成されるYC-RAWデータに関連づけられるようにする。例えば静止画としての単写撮像や連写撮像により、YC-RAWデータによる静止画像を得る場合、その静止画像としてのYC-RAWデータにプリWB処理のWB値とセンサ配列情報が対応づけられて記録媒体に記録されるようにする。又は静止画像としてのYC-RAWデータとともにメタデータが外部機器に送信されるようにする。
動画としてYC-RAWデータの各フレームを記録する場合は、プリWB処理のWB値とセンサ配列情報がフレーム毎に関連づけられて記録されるようにする。なお、センサ配列情報はフレーム毎に変化しないため、YC-RAWデータの動画ファイル全体に対応づけてもよい。
なおセンサ配列情報は後述するリモザイク処理に用いるものであるが、メタデータとしてYC-RAWデータに関連付けなくてよい場合もある。
例えば後の時点で、撮像装置1内の画像処理部20でリモザイク処理を行うことも想定される。その場合、センサ配列情報は予め撮像装置1内でメモリ部19等に記憶されていればよい。また情報処理装置70における画像処理部20でリモザイク処理を行う場合であっても、情報処理装置70において、撮像装置1の機種の情報とセンサ配列情報との対応データがあれば、リモザイク処理の際に参照すべきセンサ配列情報を得ることができる。
動画としてYC-RAWデータの各フレームを記録する場合は、プリWB処理のWB値とセンサ配列情報がフレーム毎に関連づけられて記録されるようにする。なお、センサ配列情報はフレーム毎に変化しないため、YC-RAWデータの動画ファイル全体に対応づけてもよい。
なおセンサ配列情報は後述するリモザイク処理に用いるものであるが、メタデータとしてYC-RAWデータに関連付けなくてよい場合もある。
例えば後の時点で、撮像装置1内の画像処理部20でリモザイク処理を行うことも想定される。その場合、センサ配列情報は予め撮像装置1内でメモリ部19等に記憶されていればよい。また情報処理装置70における画像処理部20でリモザイク処理を行う場合であっても、情報処理装置70において、撮像装置1の機種の情報とセンサ配列情報との対応データがあれば、リモザイク処理の際に参照すべきセンサ配列情報を得ることができる。
図7はカメラ制御部18のメタデータ生成の他の処理例を示している。
ステップS1,S2は図6と同様である。ステップS10でカメラ制御部18は光源情報を取得する。例えばセンサ部23における照度センサの情報から、撮影環境における光源種別の推定情報、或いは色温度そのものなどを、光源情報とする。
ステップS1,S2は図6と同様である。ステップS10でカメラ制御部18は光源情報を取得する。例えばセンサ部23における照度センサの情報から、撮影環境における光源種別の推定情報、或いは色温度そのものなどを、光源情報とする。
ステップS11でカメラ制御部18は、図6で説明したプリWB処理のWB値とセンサ配列情報に加え、光源情報もセットにして、後のYC-RAWデータの現像処理に用いるデータであることを示す情報を付加してメタデータを生成する。
そしてステップS4で、センサ配列情報とWB値と光源情報のセットを、図6の例と同様にYC-RAWデータに関連づけて記録させたり、送信させたりする制御を行う。
そしてステップS4で、センサ配列情報とWB値と光源情報のセットを、図6の例と同様にYC-RAWデータに関連づけて記録させたり、送信させたりする制御を行う。
撮像装置1においては、以上の図6又は図7の処理のように、撮像によりYC-RAWデータが生成される場合に、後の逆プリWB処理、又はリモザイク処理、又はYC-RAWデータの現像処理に用いる情報を、メタデータとしてYC-RAWデータに関連づけるようにすることができる。
<4.YC-RAW現像の比較例>
以下、YC-RAWデータの現像処理について説明するが、まずここでは後述の実施の形態における色ずれ修正を含まない比較例としての現像処理例を図8で説明する。
以下、YC-RAWデータの現像処理について説明するが、まずここでは後述の実施の形態における色ずれ修正を含まない比較例としての現像処理例を図8で説明する。
なお、以下説明するYC-RAWデータの現像処理(比較例や実施の形態の例)は、撮像装置1における画像処理部20で行われる場合も想定されるし、情報処理装置70における画像処理部20で行われる場合も想定される。
そこで、図8や後述する図10,図12,図14等に関する説明上「制御部100」という名称を用いる。この「制御部100」は、図1のカメラ制御部18と図2のCPU71のそれぞれを指す用語とする。即ち撮像装置1や情報処理装置70における画像処理部20に対する制御を行う構成要素を「制御部100」とする。
そこで、図8や後述する図10,図12,図14等に関する説明上「制御部100」という名称を用いる。この「制御部100」は、図1のカメラ制御部18と図2のCPU71のそれぞれを指す用語とする。即ち撮像装置1や情報処理装置70における画像処理部20に対する制御を行う構成要素を「制御部100」とする。
図8の比較例としての画像処理部20による現像処理は次のように行われる。
例えば記録媒体に記録されたYC-RAWデータが読み出されて画像処理部20に入力される。
画像処理部20はステップS200のインタフェース処理で現像処理対象とされたYC-RAWデータを取り込む。
例えば記録媒体に記録されたYC-RAWデータが読み出されて画像処理部20に入力される。
画像処理部20はステップS200のインタフェース処理で現像処理対象とされたYC-RAWデータを取り込む。
このYC-RAWデータは、図3で説明したYC-RAW撮像処理の際に、高速演算のプリWB処理を行って生成されたものであるため、プリWBの誤差を解消する必要がある。そのため、画像処理部20は、ステップS201でYC-RAWデータに対して、元のイメージセンサ出力形式、即ちこの例ではRGBフォーマットに変換するRGB変換処理を行い、さらにステップS202で逆プリWB処理を行う。その後、通常の現像用信号処理、即ちステップS203の本WB処理、ステップS204のマトリックス変換、ステップS205のガンマ処理、ステップS206の色再現処理を行う。そしてステップS207のインタフェース処理で、以上の現像処理で得られた画像データである現像画像dPDを出力する。現像画像dPDとは例えばJPEG画像データなどである。この現像画像dPDは記録媒体に記録されたり、表示されたり、外部機器に送信されたりする。
ステップS201のRGB変換処理では、YC-RAW撮像処理時に使ったフォーマット変換と逆の計算式を用いてYCbCrフォーマットからRGB形式に変換する。
そしてステップS202の逆プリWB処理部は、YC-RAW撮像処理時のプリWB処理で使ったWB値の逆数を用いて、プリWB処理前のRGB信号レベルに戻すことで、プリWBによる差分を相殺する。
そしてステップS202の逆プリWB処理部は、YC-RAW撮像処理時のプリWB処理で使ったWB値の逆数を用いて、プリWB処理前のRGB信号レベルに戻すことで、プリWBによる差分を相殺する。
しかし、YC-RAW撮像処理時のイメージセンサ12aからの信号は、デモザイク処理前の間欠データの信号であり、一方、この逆プリWB処理にかかる画像データはデモザイク処理で補間された後のRGB形式のフルプレーンの画像データである。
そのため、このYC-RAWデータから変換されたRGBプレーンの画像データについては、逆プリWB処理によってプリWB処理による差分を相殺できても、デモザイク処理による色消えの影響まで解消することができない。
そのため、このYC-RAWデータから変換されたRGBプレーンの画像データについては、逆プリWB処理によってプリWB処理による差分を相殺できても、デモザイク処理による色消えの影響まで解消することができない。
ステップS203の本WB処理では、フレーム全面を再度検波し、現像用WBを計算した上で精度の高いWB処理を行う。またWB値はユーザが好みや現像の目的、用途などに応じて指定する場合もある。その場合はユーザ設定によるWB値を優先する。ユーザが指定しない場合には、上記の現像用の高精度の検波によるWB値を使用するものとする。
なおこの際、AE(Automatic Exposure)処理、即ち明るさ調整が行われる場合もある。
なおこの際、AE(Automatic Exposure)処理、即ち明るさ調整が行われる場合もある。
ここでユーザ指定のWB値を用いる場合は、意図によって理想WBと大幅に異なるWB値に設定される場合があるため、前述のデモザイク処理に起因する色ずれがさらに悪化してしまうケースが考えられる。
例えば図9Aに示す画像において破線Hの部分の各画素のB値のレベルとR値のレベルを図9B、図9Cに示し、色ずれの様子を示している。図9Bは元の画像の場合の信号レベルで、図9Cは色ずれが生じた画像の信号レベルである。なおこの例の場合は、G値はレベルが低く、差分が少ないため省略している。
図9B、図9Cにおいて一点鎖線で囲った部分をみると、プリWB処理及びデモザイク処理の差分影響でR値とB値が下がり、赤色からオレンジ色に色ずれが生じてしまうことが現れている。
図9B、図9Cにおいて一点鎖線で囲った部分をみると、プリWB処理及びデモザイク処理の差分影響でR値とB値が下がり、赤色からオレンジ色に色ずれが生じてしまうことが現れている。
図8の処理では、本WB処理後は、ステップS204からステップS206の処理で、マトリックス変換、ガンマ処理、色再現処理が行われる。色再現処理は3DLUTやCDLによるカラーグレーディングも行われる。また色空間変換も含む。さらに輝度と色差信号(YCbCr信号)への変換や、解像度変換が行われる場合もある。
以上の図8の現像処理では、逆プリWB処理により、YC-RAWデータの生成の際のプリWB処理及びデモザイク処理に起因する色ずれの影響を解消しきれない。そこで以下説明する実施の形態の現像処理を行うようにする。
<5.第1の実施の形態:YC-RAW現像>
実施の形態のYC-RAWデータの現像処理は、プリWB処理及びデモザイク処理に起因する色ずれを修正する色ずれ修正処理を含む現像処理である。
なお色ずれ修正処理を含む現像処理とは、少なくとも以下に述べるリモザイク処理を加えた現像処理を指す。
図10に図8と同様の形式で画像処理部20の現像処理例を示す。
実施の形態のYC-RAWデータの現像処理は、プリWB処理及びデモザイク処理に起因する色ずれを修正する色ずれ修正処理を含む現像処理である。
なお色ずれ修正処理を含む現像処理とは、少なくとも以下に述べるリモザイク処理を加えた現像処理を指す。
図10に図8と同様の形式で画像処理部20の現像処理例を示す。
画像処理部20はステップS200のインタフェース処理で現像処理対象とされたYC-RAWデータを取り込む。例えば記録媒体に記録されたYC-RAWデータが読み出されて画像処理部20に入力される。
なおこの際、画像処理部20はYC-RAWデータに関連づけられたメタデータMTも取得する。メタデータMTには、プリWB処理のときのWB値であるプリWB情報MD1、センサ配列情報MD2が含まれている(図6参照)。さらに光源情報MD3が含まれている場合もある(図7参照)。
なおこの際、画像処理部20はYC-RAWデータに関連づけられたメタデータMTも取得する。メタデータMTには、プリWB処理のときのWB値であるプリWB情報MD1、センサ配列情報MD2が含まれている(図6参照)。さらに光源情報MD3が含まれている場合もある(図7参照)。
画像処理部20は、ステップS201でYC-RAWデータに対して、イメージセンサ出力形式の画像データ、即ちこの例の場合はRGB形式の画像データに変換するRGB変換処理を行う。
ステップS220で画像処理部20は、逆プリWB処理を行う。このとき画像処理部20は、プリWB情報MD1を参照して逆プリWB処理を行う。即ち逆プリWB処理はYC-RAW撮像処理時に使ったプリWBのWB値の逆数を用いて、プリWB処理前のRGB信号レベルに戻すことでプリWBによる差分を相殺する。但し上述のようにYC-RAW撮像処理の際のデモザイク処理による色消えの影響まで解消できない。
ステップS220で画像処理部20は、逆プリWB処理を行う。このとき画像処理部20は、プリWB情報MD1を参照して逆プリWB処理を行う。即ち逆プリWB処理はYC-RAW撮像処理時に使ったプリWBのWB値の逆数を用いて、プリWB処理前のRGB信号レベルに戻すことでプリWBによる差分を相殺する。但し上述のようにYC-RAW撮像処理の際のデモザイク処理による色消えの影響まで解消できない。
そこで画像処理部20はステップS221でリモザイク処理を行う。これはデモザイク処理が行われた後の画像データについて、センサ配列情報MD2を参照して、イメージセンサ12aから得られた状態のRAWデータの状態に戻す処理である。
ステップS221のリモザイク処理を行う前の画像データは、図5に示したRGBプレーンのデータである。センサ配列情報MD2として先頭画素と画素配列パターンが取得できることで、図11A、図11B、図11Cのような各色の画素配置を特定できる。従って、RGBプレーンの画素データから、図11Dのような元のイメージセンサ出力形式の画素配列によるRGB-RAWデータを復元することができる。これがリモザイク処理である。つまりセンサ配列情報MD2を参照して、補間した画素を捨て、イメージセンサ12aの画素信号として得られた画素値のみを残す処理である。
このリモザイク処理を行うことで、補間画素の情報を無くし、デモザイク処理に起因する色ずれを解消できることになる。
ステップS221のリモザイク処理を行う前の画像データは、図5に示したRGBプレーンのデータである。センサ配列情報MD2として先頭画素と画素配列パターンが取得できることで、図11A、図11B、図11Cのような各色の画素配置を特定できる。従って、RGBプレーンの画素データから、図11Dのような元のイメージセンサ出力形式の画素配列によるRGB-RAWデータを復元することができる。これがリモザイク処理である。つまりセンサ配列情報MD2を参照して、補間した画素を捨て、イメージセンサ12aの画素信号として得られた画素値のみを残す処理である。
このリモザイク処理を行うことで、補間画素の情報を無くし、デモザイク処理に起因する色ずれを解消できることになる。
リモザイク処理を行った画像データに対して、画像処理部20はステップS222で本WB処理を行う。
この本WB処理を行うため、画像処理部20はステップS224で本WB用の検波処理を行う。例えばリモザイク処理後のRGB形式の画像データを用いて全面検波を行う。この検波結果に基づいて例えば制御部100(又は画像処理部20内)で本WB処理のためのWB値が設定される。また本WB用のWB値として、ユーザがWBパラメータを指定する操作を行った場合は、ユーザ指定に基づくWB値が優先的に設定される。
この本WB処理を行うため、画像処理部20はステップS224で本WB用の検波処理を行う。例えばリモザイク処理後のRGB形式の画像データを用いて全面検波を行う。この検波結果に基づいて例えば制御部100(又は画像処理部20内)で本WB処理のためのWB値が設定される。また本WB用のWB値として、ユーザがWBパラメータを指定する操作を行った場合は、ユーザ指定に基づくWB値が優先的に設定される。
ここでメタデータMTに光源情報MD3が含まれている場合、ステップS224の検波処理の際に光源情報MD3を参照することで、より精度のよいWB値の設定を行うことが可能となる。
ステップS222での本WB処理が、このように全面検波に基づく高精度なWB値、或いはユーザ設定に基づくWB値により行われる。なおこの際、AE処理が行われる場合もある。
ステップS223で画像処理部20は、再度、デモザイク処理を行う。この場合のデモザイク処理においては、WB処理が適切に、つまり高精度もしくはユーザ設定に応じて行われているため、意図しないWBのずれをさらに拡大させるということが発生しなくなる。
ステップS223で画像処理部20は、再度、デモザイク処理を行う。この場合のデモザイク処理においては、WB処理が適切に、つまり高精度もしくはユーザ設定に応じて行われているため、意図しないWBのずれをさらに拡大させるということが発生しなくなる。
その後のステップS204からステップS207は、マトリックス変換処理、ガンマ処理、色再現処理、インタフェース処理が図8の例と同様に行われ、現像画像dPDが出力される。
以上のように第1の実施の形態の現像処理は、メタデータMTにおけるプリWB情報MD1やセンサ配列情報MD2を参照しながら、YC-RAWデータから変換されたデモザイク後のRGB画像データについて、逆プリWB処理(S220)とリモザイク処理(S221)によって、撮像部12から入力された直後のRAWデータの状態に戻す。これによりYC-RAW撮像時のデモザイク処理による色ずれの影響を解消する。従ってその後本WB処理(S222)を行い、その後にデモザイク処理(S223)を行って、マトリックス変換処理(S204)以降の各処理が行われることで、YC-RAW撮像時のデモザイク処理による色ずれの影響が現れない現像画像dPDが得られる。
<6.第2の実施の形態:YC-RAW現像>
第2の実施の形態のYC-RAWデータの現像処理を図12で説明する。
近年ではポスト処理が盛んであるため、ユーザによってWBを指定するケースが増えている。信号処理視点では、WBに伴い、後段のマトリックス変換や色再現も合わせて調整したほうがトータル画質としてよいと考えられる。
また、ユーザの好みが事前に把握される場合は、ユーザの好みに合わせて現像処理のレコメンドをすることもユーザービリティ視点では望ましい。
第2の実施の形態のYC-RAWデータの現像処理を図12で説明する。
近年ではポスト処理が盛んであるため、ユーザによってWBを指定するケースが増えている。信号処理視点では、WBに伴い、後段のマトリックス変換や色再現も合わせて調整したほうがトータル画質としてよいと考えられる。
また、ユーザの好みが事前に把握される場合は、ユーザの好みに合わせて現像処理のレコメンドをすることもユーザービリティ視点では望ましい。
そこで複数系統の現像処理を行うことが考えられる。
図12において、ステップS200,S201,S220,S221の処理、即ちリモザイク処理までは図10と同様であるため重複説明を避ける。
図12の例では本WB処理以降を複数系統の処理として行う例を示している。
図12において、ステップS200,S201,S220,S221の処理、即ちリモザイク処理までは図10と同様であるため重複説明を避ける。
図12の例では本WB処理以降を複数系統の処理として行う例を示している。
例えばステップS222,S223,S204,S205,S206,S207としての現像処理は、図10で説明した処理である。例えばステップS222の本WB処理では、高精度のWB値あるいはユーザ設定に基づくWB値でWB処理を行う。そして各処理を経て最終的に現像画像dPD(この場合、現像画像dPD1)を出力する。
この現像画像dPD1は、記録媒体に記録されたり、表示されたり、外部機器に送信されたりする。
この現像画像dPD1は、記録媒体に記録されたり、表示されたり、外部機器に送信されたりする。
一方、ステップS232からステップS238は第2系統の現像処理を示している。
ステップS232で画像処理部20は、第2WB処理として、ステップS222の本WB処理とは異なるWB値でWB処理を行う。例えばユーザが指定した他のWB値や、制御部100が自動的に設定したWB値とする。そして画像処理部20はステップS233でデモザイク処理を行い、マトリックス変換(S234)、ガンマ処理(S235)、色再現処理(S236)を行う。これらの各処理のパラメータは、ユーザ指定のパラメータや、第2WB処理のWB値に応じて設定されたパラメータを用いる。
これによって、現像画像dPDの1つとして、現像画像dPD1とは色合いや画の雰囲気が異なる現像画像dPD2が生成される。
ステップS232で画像処理部20は、第2WB処理として、ステップS222の本WB処理とは異なるWB値でWB処理を行う。例えばユーザが指定した他のWB値や、制御部100が自動的に設定したWB値とする。そして画像処理部20はステップS233でデモザイク処理を行い、マトリックス変換(S234)、ガンマ処理(S235)、色再現処理(S236)を行う。これらの各処理のパラメータは、ユーザ指定のパラメータや、第2WB処理のWB値に応じて設定されたパラメータを用いる。
これによって、現像画像dPDの1つとして、現像画像dPD1とは色合いや画の雰囲気が異なる現像画像dPD2が生成される。
なお、ステップS236の後の現像画像dPD2をそのまま出力して、記録媒体に記録されたり、外部機器に送信されたりするようにしてもよいが、この例ではステップS237で差分処理を行うようにしている。
画像処理部20は、差分処理として、現像画像dPD1と現像画像dPD2の差分演算を行い、差分情報DD2を生成する。その差分情報DD2をステップS238のインタフェース処理で出力する。この差分情報DD2が上述の現像画像dPD1と関連づけられて記録媒体に記録されたり、外部機器に送信されたりする。
複数の現像画像dPDをセットで記録したり送信したりする場合、そのそれぞれの現像画像dPDをそのまま記録等しなくとも、1つの現像画像とともに、他の現像画像については基準となる現像画像との差分情報を用いればよい。
例えば現像画像dPD2については、それ自体ではなく差分情報DD2を現像画像dPD1と関連づけて記録したり送信したりする。これにより現像画像dPD2を再現することができるとともに、複数の現像画像のセットとしてのデータ容量を削減でき、記録や通信に有利となる。
画像処理部20は、差分処理として、現像画像dPD1と現像画像dPD2の差分演算を行い、差分情報DD2を生成する。その差分情報DD2をステップS238のインタフェース処理で出力する。この差分情報DD2が上述の現像画像dPD1と関連づけられて記録媒体に記録されたり、外部機器に送信されたりする。
複数の現像画像dPDをセットで記録したり送信したりする場合、そのそれぞれの現像画像dPDをそのまま記録等しなくとも、1つの現像画像とともに、他の現像画像については基準となる現像画像との差分情報を用いればよい。
例えば現像画像dPD2については、それ自体ではなく差分情報DD2を現像画像dPD1と関連づけて記録したり送信したりする。これにより現像画像dPD2を再現することができるとともに、複数の現像画像のセットとしてのデータ容量を削減でき、記録や通信に有利となる。
ステップS242からステップS248は第3系統の現像処理を示している。
ステップS242で画像処理部20は、第3WB処理として、本WB処理及び第2WB処理とは異なるWB値でWB処理を行う。例えばユーザが指定したさらに他のWB値や、制御部100が自動的に設定したWB値とする。そして画像処理部20はステップS243でデモザイク処理を行い、マトリックス変換(S244)、ガンマ処理(S245)、色再現処理(S246)を行う。これらの各処理のパラメータは、ユーザ指定のパラメータや、第3WB処理のWB値に応じて設定されたパラメータを用いる。
これによって、さらに現像画像dPDの1つとして、現像画像dPD1、dPD2とは色合いや画の雰囲気がさらに異なる現像画像dPD3が生成される。
ステップS242で画像処理部20は、第3WB処理として、本WB処理及び第2WB処理とは異なるWB値でWB処理を行う。例えばユーザが指定したさらに他のWB値や、制御部100が自動的に設定したWB値とする。そして画像処理部20はステップS243でデモザイク処理を行い、マトリックス変換(S244)、ガンマ処理(S245)、色再現処理(S246)を行う。これらの各処理のパラメータは、ユーザ指定のパラメータや、第3WB処理のWB値に応じて設定されたパラメータを用いる。
これによって、さらに現像画像dPDの1つとして、現像画像dPD1、dPD2とは色合いや画の雰囲気がさらに異なる現像画像dPD3が生成される。
なお、この場合も現像画像dPD3をそのまま出力して、記録媒体に記録されたり、外部機器に送信されたりするようにしてもよいが、ステップS247で差分処理を行うことで、上記同様に現像画像セットとしての容量を低減できる。
画像処理部20は、差分処理として、現像画像dPD1と現像画像dPD3の差分演算を行い、差分情報DD3を生成する。その差分情報DD3をステップS248のインタフェース処理で出力する。この差分情報DD3が記録媒体に記録され、或いは外部機器に送信されるようにする。
画像処理部20は、差分処理として、現像画像dPD1と現像画像dPD3の差分演算を行い、差分情報DD3を生成する。その差分情報DD3をステップS248のインタフェース処理で出力する。この差分情報DD3が記録媒体に記録され、或いは外部機器に送信されるようにする。
なお、差分情報DD3は、現像画像dPD1との差分ではなく、現像画像dPD2との差分としてもよい。
また複数種類の現像画像dPD1、dPD2、dPD3を生成した場合に、必ずしも通常現像の現像画像dPD1を基準にしなくてもよい。どの現像画像を基準とし、どの現像画像を差分情報にするかは多様に考えられる。
また複数種類の現像画像dPD1、dPD2、dPD3を生成した場合に、必ずしも通常現像の現像画像dPD1を基準にしなくてもよい。どの現像画像を基準とし、どの現像画像を差分情報にするかは多様に考えられる。
以上の図12では、3系統の現像処理を行う例としたが、4系統以上の処理を行ってもよいし、2系統でもよい。2系統以上の複数系統の現像処理を行うことで、複数種類の現像画像dPDを得ることができる。
例えば図13には、通常の現像処理で得られる現像画像dPD1に加えて、他の系統の現像処理で得られる各種の現像画像dPD2,dPD3,dPD4,dPD5の例を示している。WB値、マトリックス変換、ガンマ処理、色再現処理のパラメータセットを用意し、選択的に用いることで、これら多様な画質の現像画像を得ることができる。
例えば図13には、通常の現像処理で得られる現像画像dPD1に加えて、他の系統の現像処理で得られる各種の現像画像dPD2,dPD3,dPD4,dPD5の例を示している。WB値、マトリックス変換、ガンマ処理、色再現処理のパラメータセットを用意し、選択的に用いることで、これら多様な画質の現像画像を得ることができる。
これら複数種類の現像画像の全てが生成され、記録や送信(以下「記録等」ともいう)されるようにしてもよいし、ユーザの望む現像画像が生成され、記録等されるようにしてもよい。記録等する現像画像をユーザによって選択できるようにする場合、ユーザに記録等する現像画像のレコメンドをすることも考えられる。
例えば、現像時の条件・意図(例:硬調/軟調)や、複数種類WB(オートWB、曇天、晴天)、或いはユーザ好み(個人や地域などの流行スタイル:赤強調、高彩度)などに応じてパラメータを設定し、ユーザに提示することが考えられる。
例えば、現像時の条件・意図(例:硬調/軟調)や、複数種類WB(オートWB、曇天、晴天)、或いはユーザ好み(個人や地域などの流行スタイル:赤強調、高彩度)などに応じてパラメータを設定し、ユーザに提示することが考えられる。
その場合に、ユーザが理解しやすいようにするため、図13のような各現像画像を得るための各種のパラメータセットに、画像種別のタイトルを付すことが好適である。
例えば現像画像dPD1,dPD2,dPD3,dPD4,dPD5のような各画像を得るためのパラメータセットについて、「通常現像」「曇天」「晴天」「モノクロ」「硬調」「軟調」などのタイトルを付してユーザに提示する。
各タイトルに応じた画質もモデルを表示させることで、ユーザが好みの画質のパラメータセットを選択できるようにしてもよい。
例えばユーザが現像処理の際に「通常現像」「曇天」を選択した場合、画像処理部20は現像画像dPD1,dPD2を得る2系統の現像処理を行う。
例えば現像画像dPD1,dPD2,dPD3,dPD4,dPD5のような各画像を得るためのパラメータセットについて、「通常現像」「曇天」「晴天」「モノクロ」「硬調」「軟調」などのタイトルを付してユーザに提示する。
各タイトルに応じた画質もモデルを表示させることで、ユーザが好みの画質のパラメータセットを選択できるようにしてもよい。
例えばユーザが現像処理の際に「通常現像」「曇天」を選択した場合、画像処理部20は現像画像dPD1,dPD2を得る2系統の現像処理を行う。
或いは制御部100は、ユーザの嗜好、過去の現像処理の履歴などに応じて自動的に「通常現像」「晴天」「モノクロ」のパラメータセットを選択し、現像処理時にレコメンドし、レコメンドに対するユーザ操作に応じて選択された種別の現像処理を画像処理部20に実行させてもよい。或いは制御部100は自動的にユーザの嗜好等に応じた選択した複数系統の現像処理を行うように画像処理部20を制御することもできる。
複数セットの画像処理パラメータは、例えば撮像装置1でYC-RAW撮像処理を行う際に、YC-RAWデータに関連づけてメタデータMTに保存しておいてもよい。現像処理の際にメタデータMTを参照して1又は複数のパラメータセットを取得し、現像処理に反映させることもできる。
<7.第3の実施の形態:YC-RAWの上書き記録>
第3の実施の形態として、画像処理部20が色ずれ修正を加えたYC-RAWデータを、元のYC-RAWデータに上書きして記録する処理例を説明する。
第3の実施の形態として、画像処理部20が色ずれ修正を加えたYC-RAWデータを、元のYC-RAWデータに上書きして記録する処理例を説明する。
図14は、図10と同様の形式で画像処理部20の処理を示している。ステップS200、S201,S220,S221,S222,S223,S224,S204,S205,S206,S207までのYC-RAWデータを対象とする現像処理は図10と同様である。
ここでステップS221のリモザイク処理を経た画像データは、YC-RAW撮像処理におけるプリWB処理及びデモザイク処理に起因する色ずれが修正された、元のイメージセンサ出力形式によるRAWフォーマットのデータとなっている。
ここでステップS221のリモザイク処理を経た画像データは、YC-RAW撮像処理におけるプリWB処理及びデモザイク処理に起因する色ずれが修正された、元のイメージセンサ出力形式によるRAWフォーマットのデータとなっている。
このような色ずれ修正が行われたイメージセンサ出力形式のデータについて、画像処理部20はステップS208としてYC変換処理を行い、YCbCr形式のデータ、つまりYC-RAWデータに変換する。これを、現像処理対象のYC-RAWデータとの区別のため「YC-RAW’データ」と表記する。
生成されたYC-RAW’データは、ステップS209のインタフェース処理で出力される。制御部100は、このYC-RAW’データを、例えば記録媒体に記録させる。
撮像装置1の場合は、YC-RAW’データは記録制御部14において記録媒体に記録される。情報処理装置70の場合は、YC-RAW’データは記録制御部79において記録媒体に記録される。
生成されたYC-RAW’データは、ステップS209のインタフェース処理で出力される。制御部100は、このYC-RAW’データを、例えば記録媒体に記録させる。
撮像装置1の場合は、YC-RAW’データは記録制御部14において記録媒体に記録される。情報処理装置70の場合は、YC-RAW’データは記録制御部79において記録媒体に記録される。
このとき、記録制御部14(又は74)は、現像処理対象のYC-RAWデータを読み出した記録媒体に、YC-RAW’データが上書き記録されるようにする。
即ち、元の現像処理対象のYC-RAWデータは、色ずれの影響が残るデータであったところ、色ずれの影響を解消したYC-RAW’データで上書きする。これによって記録媒体に保存されるYC-RAWデータ(=YC-RAW’データ)は、その後の現像処理で色ずれを修正する必要のないものとすることができる。従って後のYC-RAWデータの再利用を考えると有用な処理となる。
なお、YC-RAW’データを元のYC-RAWデータに上書きするのではなく、元のYC-RAWデータとは別の色ずれ修正済みデータとして並存させるように記録媒体に記録してもよい。
なお、YC-RAW’データを元のYC-RAWデータに上書きするのではなく、元のYC-RAWデータとは別の色ずれ修正済みデータとして並存させるように記録媒体に記録してもよい。
また、この図14の例ではYC-RAW’データを記録するものとしたが、ステップS221のリモザイク処理を経た画像データ、つまり元のイメージセンサ出力形式によるRAWフォーマットのデータを、元のYC-RAWデータに上書きするように記録媒体に記録してもよい。或いは元のイメージセンサ出力形式によるRAWフォーマットのデータを、元のYC-RAWデータと並存するように記録媒体に記録してもよい。
また図14では画像処理部20は、ステップS222、S223、S204からS207による現像処理を行って現像画像dPDも出力する例を示したが、画像処理部20が、現像画像dPDの生成及び出力は行わずに、YC-RAW’データ、又はイメージセンサ出力形式によるRAWフォーマットのデータの生成及び記録のための出力のみを行うようにしてもよい。
<8.第4の実施の形態:色ずれ修正の実行判定を加えた処理>
ここまで、YC-RAWデータの現像処理の際に色ずれ修正処理として逆プリWB処理及びリモザイク処理を行うことや、その後本WB処理、デモザイク処理を行うこと述べてきた。
但し、YC-RAWデータの現像処理の際に毎回、色ずれ修正処理を加えることは、画像処理部20の計算量が増え、処理負担が増えるおそれがある。また必ずしも色ずれ修正処理が必要でない場合もある。そこで、状況に応じて色ずれ修正処理を含む現像処理が行われるようにする例を第4の実施の形態として説明する。またその際、制御部100が色ずれ修正処理の必要性を自動判断することや、実行するか否かをUI(ユーザインタフェース)経由でのユーザが指定できるようにすることも合わせて説明する。
ここまで、YC-RAWデータの現像処理の際に色ずれ修正処理として逆プリWB処理及びリモザイク処理を行うことや、その後本WB処理、デモザイク処理を行うこと述べてきた。
但し、YC-RAWデータの現像処理の際に毎回、色ずれ修正処理を加えることは、画像処理部20の計算量が増え、処理負担が増えるおそれがある。また必ずしも色ずれ修正処理が必要でない場合もある。そこで、状況に応じて色ずれ修正処理を含む現像処理が行われるようにする例を第4の実施の形態として説明する。またその際、制御部100が色ずれ修正処理の必要性を自動判断することや、実行するか否かをUI(ユーザインタフェース)経由でのユーザが指定できるようにすることも合わせて説明する。
なお色ずれ修正処理を含む現像処理を行うか否かのユーザの指定は、例えば撮像時のUIによるものと現像時のUIによるものの2通りが考えられる。
撮像時は例えばメニュー操作でユーザが指定するようにし、例えばその指定情報をYC-RAWデータに関連づけたメタデータMTに含まれるようにすることで、制御部100は現像時に指定内容を確認できる。
また現像時に制御部100は、メニュー操作で指定情報を選択させるようにすることもできるし、個別画像において制御部100が色ずれ修正処理の必要性を判定して、必要と判定したら、ユーザに実行するか否かを選択させるようなUIも考えられる。
撮像時は例えばメニュー操作でユーザが指定するようにし、例えばその指定情報をYC-RAWデータに関連づけたメタデータMTに含まれるようにすることで、制御部100は現像時に指定内容を確認できる。
また現像時に制御部100は、メニュー操作で指定情報を選択させるようにすることもできるし、個別画像において制御部100が色ずれ修正処理の必要性を判定して、必要と判定したら、ユーザに実行するか否かを選択させるようなUIも考えられる。
図15に現像処理の際の制御部100の処理例を示す。図15はYC-RAWデータの1フレームに対する処理例である。
1フレームのYC-RAWデータを画像処理部20における現像処理の対象とする際に、制御部100はステップS300で、そのYC-RAWデータが、色ずれ修正有りの設定であるか否かを判定する。例えば撮像時の設定であればメタデータMTを確認する。また現像時のユーザ操作による設定を確認してもよい。
ユーザは、色ずれ修正処理を行うか否かの設定を、例えば図16のようにメニュー画面40によるUIによって行うことができる。図16は撮像装置1における表示部15に表示されるメニュー画面例としている。もちろん情報処理装置70における表示部77で画面に適した様式で同様の設定ができるメニュー画面が表示される場合もある。
そして例えばメニュー画面40には「高度色再現処理」の設定領域41が用意され、ユーザが各種設定を指定することが可能とされる。
高度色再現処理とは、上述の色ずれ修正処理を含み撮像時の色再現の精度を高くする処理のことである。高度色再現処理が「ON」に設定されると、図10等で説明した色ずれ修正処理を含む現像処理が行われる設定となる。高度色再現処理が「OFF」に設定されると、図8で説明した色ずれ修正処理を行わない現像処理(リモザイク処理を行わない現像処理)の設定となる。
また高度色再現処理を行うか否かの判定処理に関して「高速型」「高精度型」「バランス型」のいずれかが選択的に設定できるようにされる。例えば図16では「高速型」が設定されている状態を模式的に示している。
高速型は比較的高速に実行できるアルゴリズムで判定処理を行うモード、高精度型は比較的精度の高いアルゴリズムで判定処理を行うモードである。それぞれの具体例は後述する。バランス型は画像特性等に合わせて自動で高速と高精度を使い分けるモードである。
高速型は比較的高速に実行できるアルゴリズムで判定処理を行うモード、高精度型は比較的精度の高いアルゴリズムで判定処理を行うモードである。それぞれの具体例は後述する。バランス型は画像特性等に合わせて自動で高速と高精度を使い分けるモードである。
図15のステップS300では、制御部100は、撮像時又は現像時などにこのようなメニュー画面40の操作でユーザにより設定された内容を確認する。
制御部100は、今回のフレームについてメタデータMTから高度色再現処理が「ON」であることを検知した場合、或いは今回の現像処理の際にユーザが高度色再現処理を「ON」に設定したことを検知した場合は、ステップS300からステップS310に進み、画像処理部20に対し、色ずれ修正処理を含む現像処理を指示する。これによって上述の図10,図12,図14等で説明した処理で、色ずれ修正が施された現像画像dPDが得られることになる。
制御部100は、今回のフレームについてメタデータMTから高度色再現処理が「ON」であることを検知した場合、或いは今回の現像処理の際にユーザが高度色再現処理を「ON」に設定したことを検知した場合は、ステップS300からステップS310に進み、画像処理部20に対し、色ずれ修正処理を含む現像処理を指示する。これによって上述の図10,図12,図14等で説明した処理で、色ずれ修正が施された現像画像dPDが得られることになる。
例えばユーザは、高度色再現処理を「ON」にしておくことで、常にプリWB処理とデモザイク処理に起因する色ずれの影響が残ることが回避され、現像画像dPDの高画質効果が期待できる。ところがその分処理ステップが増えるため処理時間が長くなることがある。
現像処理の処理時間の短縮を望む場合は、高度色再現処理を「OFF」にしておく。その場合、判定処理によって、色ずれ修正処理の必要が判定され、必要に応じて色ずれ修正処理を含む現像処理が実行される。
現像処理の処理時間の短縮を望む場合は、高度色再現処理を「OFF」にしておく。その場合、判定処理によって、色ずれ修正処理の必要が判定され、必要に応じて色ずれ修正処理を含む現像処理が実行される。
撮像時又は現像時のユーザ操作に基づく設定において高度色再現処理が「OFF」であった場合、制御部100はステップS300からステップS301に進み、色ずれ修正処理の必要性を判定する判定処理を開始する。
ステップS301で制御部100は判定アルゴリズムを選択する。例えば高速型か高精度型かを選択する。この場合、図16のメニュー画面40によるユーザ設定に応じて選択することが考えられる。
高速型が設定されている場合は高速型のアルゴリズムを選択する。高精度型が設定されている場合は高精度型のアルゴリズムを選択する。バランス型が設定されている場合は、高速型と高精度型のアルゴリズムのいずれかを状況に応じて選択する。例えば静止画としての1フレームのYC-RAWデータを現像処理対象とする場合は、高精度型、動画としての複数フレームのYC-RAWデータを現像処理対象とする場合は高速型などとしてもよい。
高速型が設定されている場合は高速型のアルゴリズムを選択する。高精度型が設定されている場合は高精度型のアルゴリズムを選択する。バランス型が設定されている場合は、高速型と高精度型のアルゴリズムのいずれかを状況に応じて選択する。例えば静止画としての1フレームのYC-RAWデータを現像処理対象とする場合は、高精度型、動画としての複数フレームのYC-RAWデータを現像処理対象とする場合は高速型などとしてもよい。
ステップS302で制御部100は、選択したアルゴリズムが高速型か高精度型かにより処理を分岐する。高速型が選択される場合は、制御部100はステップS303に進む。
高速型アルゴリズムの例を述べる。
まず現像処理時に入力されるRAWデータをベースに本WB処理のWB値を計算する。なおこの際、メタデータMTに光源情報MD3が含まれていれば、それを用いて本WB処理のWB値を計算することもできる。また現像対象が連写や動画による複数フレームのYC-RAWデータである場合、過去数フレームのWB平均値を現在のフレームに応用することで、WB検波値計算時間の節約や、さらにWBの安定性改善も期待できる。
まず現像処理時に入力されるRAWデータをベースに本WB処理のWB値を計算する。なおこの際、メタデータMTに光源情報MD3が含まれていれば、それを用いて本WB処理のWB値を計算することもできる。また現像対象が連写や動画による複数フレームのYC-RAWデータである場合、過去数フレームのWB平均値を現在のフレームに応用することで、WB検波値計算時間の節約や、さらにWBの安定性改善も期待できる。
本WB処理のWB値を求めたら、プリWBと本WBの各WB値の差分ΔWBを求める。この差分が閾値TH1より大きいか否かを判定する。
具体的には、
ΔWB=(プリWB処理のWB値)-(本WB処理のWB値)
とする。そしてΔWB>TH1の場合は、色ずれの可能性が高いと判定する。一方、ΔWB≦TH1の場合は、色ずれの可能性が低いと判定する。
なお閾値TH1は、基本的にプリWBのRゲイン、Bゲインのレベルの数%以下を目安に設定することが考えられるが、実際の画像特性に合わせて調整することが望ましい。
具体的には、
ΔWB=(プリWB処理のWB値)-(本WB処理のWB値)
とする。そしてΔWB>TH1の場合は、色ずれの可能性が高いと判定する。一方、ΔWB≦TH1の場合は、色ずれの可能性が低いと判定する。
なお閾値TH1は、基本的にプリWBのRゲイン、Bゲインのレベルの数%以下を目安に設定することが考えられるが、実際の画像特性に合わせて調整することが望ましい。
以上の処理はステップS303,S304の高速型アルゴリズムでの判定処理となる。
ステップS304でΔWB>TH1ではないと判定したときは、制御部100は色ずれ修正は不要と判定してステップS309に進み、図8のような色ずれ修正処理を含まない現像処理を行うように画像処理部20に指示する。
ステップS304でΔWB>TH1ではないと判定したときは、制御部100は色ずれ修正は不要と判定してステップS309に進み、図8のような色ずれ修正処理を含まない現像処理を行うように画像処理部20に指示する。
ステップS304でΔWB>TH1と判定したときは、制御部100はステップS307に進み、警告表示制御を行う。例えば撮像装置1の場合は、表示部15において図17に示すような警告表示45を実行させる。例えばそのまま現像処理を行うと色ずれが生じた画像となる可能性が高い旨を通知するとともに、修正処理を適用するか否かをユーザに選択させるようなUIとする。
情報処理装置70の場合は、表示部77に同様の内容の警告表示を実行させる。
情報処理装置70の場合は、表示部77に同様の内容の警告表示を実行させる。
制御部100は、これに対してユーザ操作を待機し、ユーザが色ずれ修正処理の適用を指示した場合は、ステップS308からステップS310に進み、画像処理部20に色ずれ修正処理を含む現像処理を指示する。ユーザが色ずれ修正処理の非適用を指示した場合は、制御部100はステップS308からステップS309に進み、画像処理部20に色ずれ修正処理を含まない現像処理を指示する。
ステップS301の判定アルゴリズムの選択により、高精度型のアルゴリズムが選択される場合は、制御部100はステップS302からステップS305に進み、高精度型アルゴリズムで判定処理を行う。
高精度型アルゴリズムは、例えば逆プリWB後の信号レベルを観測し、上述の差分ΔWBによって信号レベルが大幅に変化された場合、該当画素の色ずれが発生したと判定する。具体的には、下記の色ずれパラメータCSL(CSL:Color Shift Level)を定義し、色ずれパラメータCSLの値によって判断する。
ΔCSL=ΔWB×MAX(RGB_i)
「RGB_i」はあるブロックにおいての逆プリWB後のRGB信号値であり、MAX(RGB_i)はそのRGB信号値のうちの最大値である。
「RGB_i」はあるブロックにおいての逆プリWB後のRGB信号値であり、MAX(RGB_i)はそのRGB信号値のうちの最大値である。
そして閾値TH2を用い、ΔCSL>TH2の場合は色ズレ可能性が高く、ΔCSL≦TH2の場合は色ズレ可能性が低いと判定する。
なお閾値TH2は、基本的にカレントブロックにある信号レベルの数%を目安に設定するが、実際の画像特性に合わせて調整することが望ましい。
なお閾値TH2は、基本的にカレントブロックにある信号レベルの数%を目安に設定するが、実際の画像特性に合わせて調整することが望ましい。
以上の処理がステップS305,S306の高精度型アルゴリズムでの判定処理となる。
ステップS306でΔCSL>TH2ではないと判定したときは、制御部100は色ずれ修正は不要と判定してステップS309に進み、図8のような色ずれ修正処理を含まない現像処理を行うように画像処理部20に指示する。
ステップS306でΔCSL>TH2ではないと判定したときは、制御部100は色ずれ修正は不要と判定してステップS309に進み、図8のような色ずれ修正処理を含まない現像処理を行うように画像処理部20に指示する。
ステップS306でΔCSL>TH2であると判定したときは、制御部100はステップS307に進み、警告表示制御を行う。
例えば撮像装置1の場合は、表示部15において図18に示すような警告表示45を実行させる。例えばそのまま現像処理を行うと色ずれが生じた画像となる可能性が高い旨を通知するとともに、修正処理を適用するか否かをユーザに選択させるようのUIとする。さらに高精度型のアルゴリズムを適用した場合、フレーム内のブロック毎に色ずれ判定が行われるものであるため、色ずれ領域表示46を実行させることができる。例えば色ずれが生じているブロックに相当する部分をゼブラ表示などとしてユーザに提示する。もちろんゼブラ表示は一例で、ハイライト表示、変色表示、枠表示などとして、色ずれが生ずる領域が明示されるようにすればよい。
例えば撮像装置1の場合は、表示部15において図18に示すような警告表示45を実行させる。例えばそのまま現像処理を行うと色ずれが生じた画像となる可能性が高い旨を通知するとともに、修正処理を適用するか否かをユーザに選択させるようのUIとする。さらに高精度型のアルゴリズムを適用した場合、フレーム内のブロック毎に色ずれ判定が行われるものであるため、色ずれ領域表示46を実行させることができる。例えば色ずれが生じているブロックに相当する部分をゼブラ表示などとしてユーザに提示する。もちろんゼブラ表示は一例で、ハイライト表示、変色表示、枠表示などとして、色ずれが生ずる領域が明示されるようにすればよい。
また制御部100は、この段階で画像処理部20に色ずれ修正処理を加えた処理を実行させ、図19のように、色ずれ修正現像画像47と通常現像画像48により、色ずれの解消前後の画像を同画面に並べてユーザに提示するような制御を行うようにしてもよい。
例えばユーザ操作により図18と図19の画面が切り替え可能としてもよいし、自動的に制御部100が表示を切り替えるようにしてもよい。
これによりユーザは現像処理の方式を選択しやすいものとなる。
例えばユーザ操作により図18と図19の画面が切り替え可能としてもよいし、自動的に制御部100が表示を切り替えるようにしてもよい。
これによりユーザは現像処理の方式を選択しやすいものとなる。
警告表示45を実行させた後、制御部100はユーザ操作を待機し、ユーザが色ずれ修正処理の適用を指示した場合は、ステップS308からステップS310に進み、画像処理部20に色ずれ修正処理を含む現像処理を指示する。ユーザが色ずれ修正処理の非適用を指示した場合は、制御部100はステップS308からステップS309に進み、画像処理部20に色ずれ修正処理を含まない現像処理を指示する。
以上のように図15において色ずれ修正処理の必要性を判定する判定処理が行われる場合は、判定処理のアルゴリズムが選択されたり、必要に応じて警告表示45等が実行されたりする。換言すれば、メニュー画面40において高度色再現処理をONとして常に色ずれ修正処理を適用する設定にしていなくとも、必要と判定された場合に、ユーザは任意に色ずれ修正処理を適用した現像処理を実行させることができる。
なお警告表示45を行う例を挙げたが、他の例も考えられる。例えば判定処理で色ずれ修正が必要と判定した場合に、不自然な色ずれが発生した領域に対する座標情報及びΔCSL値等の色ずれの詳細情報を、現像画像dPDに関連づけたメタデータとして記録されるようにし、後に色ずれ修正処理を行うか否かを選択できるようにしてもよい。
ここでステップS301の判定アルゴリズムの選択について述べておく。上記では高速型や高精度型のアルゴリズムの指定については、メニュー操作によるユーザによる指定(高速重視、高精度重視、あるいはバランス型)以外にも考えられる。
例えば制御部100は、カメラ設定によって判定アルゴリズムを自動選択する仕組みが想定される。なおメニュー画面40でバランス型が指定されている場合の選択にも、以下の自動選択手法を適用することもできる。
例えば制御部100は、カメラ設定によって判定アルゴリズムを自動選択する仕組みが想定される。なおメニュー画面40でバランス型が指定されている場合の選択にも、以下の自動選択手法を適用することもできる。
判定アルゴリズムを自動選択する例として、
・高速連写スピードによる選択
・顔検出の有無による選択
・撮像装置1の省電力モードによる選択
などが考えられる。
・高速連写スピードによる選択
・顔検出の有無による選択
・撮像装置1の省電力モードによる選択
などが考えられる。
例えば、高速連写スピードが速ければ速いほどプリWB処理の精度は低くなる。WB値を計算する時間が少ないため、精度が維持しにくくなるためである。従って高速連写スピードが速いほど色ずれは大きくなる傾向にある。
そこで高速連写スピードを或る閾値速度で切り分け、閾値速度より速い場合は高速型アルゴリズムを適用し、該当しない場合は高精度型のアルゴリズムを適用するという例が考えられる。精度が維持しにくい高速連写スピードで撮像された画像では、差分ΔWBとして明確な差が検出されやすいため、高速型アルゴリズムでも正確な判定が期待できるためである。
同様の理由で、連写撮像や動画撮像によるYC-RAWデータの現像時は高速型アルゴリズム、単写撮像によるYC-RAWデータの現像時は高精度型のアルゴリズムを適用するということも考えられる。
そこで高速連写スピードを或る閾値速度で切り分け、閾値速度より速い場合は高速型アルゴリズムを適用し、該当しない場合は高精度型のアルゴリズムを適用するという例が考えられる。精度が維持しにくい高速連写スピードで撮像された画像では、差分ΔWBとして明確な差が検出されやすいため、高速型アルゴリズムでも正確な判定が期待できるためである。
同様の理由で、連写撮像や動画撮像によるYC-RAWデータの現像時は高速型アルゴリズム、単写撮像によるYC-RAWデータの現像時は高精度型のアルゴリズムを適用するということも考えられる。
顔検出の有無による選択については次の理由による。
画像内に顔が検出される場合と、顔が含まれていない場合を比較すると、顔が存在する時の方が色ずれの影響を認識しやすいものとなる。そこで、顔検出されるフレームについては高精度型のアルゴリズム、顔検出されないフレームについては高速型アルゴリズムを適用するということが考えられる。
画像内に顔が検出される場合と、顔が含まれていない場合を比較すると、顔が存在する時の方が色ずれの影響を認識しやすいものとなる。そこで、顔検出されるフレームについては高精度型のアルゴリズム、顔検出されないフレームについては高速型アルゴリズムを適用するということが考えられる。
撮像装置1の省電力モードによる選択については次の理由による。
撮像装置1においてバッテリー残量が少ない場合や、省電力モードがONとされている場合は、計算量が少ない方が好適である。そこでバッテリー残量が少ない場合や、省電力モードがONとされているときは計算量が少ない高速型アルゴリズムを適用し、そのような状況でなければ高精度型アルゴリズムを適用するということが考えられる。
撮像装置1においてバッテリー残量が少ない場合や、省電力モードがONとされている場合は、計算量が少ない方が好適である。そこでバッテリー残量が少ない場合や、省電力モードがONとされているときは計算量が少ない高速型アルゴリズムを適用し、そのような状況でなければ高精度型アルゴリズムを適用するということが考えられる。
ところで、第1の実施の形態等で説明した色ずれ修正処理を含む現像処理を行う場合は、高画質効果が期待できるが、現像処理時間が増加する場合がある。特に図15の処理で常にステップS300からステップS310に進むような場合、処理時間が長くなる傾向が現れる。
そこで処理時間を短縮する工夫も考えられる。例えば、図20のように画像をブロックに分割してパイプライン処理にすることで処理時間短縮をはかることが可能である。
また現像時に図8の色ずれ修正処理を含まないプロセスで現像画像dPDを生成し、表示しつつ、裏処理として、図10のように色ずれ修正処理を含むプロセスを行って現像画像dPDを生成し、順次現像画像dPDを置換することもできる。この場合、ユーザに対して処理の遅れを目立たせないようにすることができる。
そこで処理時間を短縮する工夫も考えられる。例えば、図20のように画像をブロックに分割してパイプライン処理にすることで処理時間短縮をはかることが可能である。
また現像時に図8の色ずれ修正処理を含まないプロセスで現像画像dPDを生成し、表示しつつ、裏処理として、図10のように色ずれ修正処理を含むプロセスを行って現像画像dPDを生成し、順次現像画像dPDを置換することもできる。この場合、ユーザに対して処理の遅れを目立たせないようにすることができる。
判定処理を行う場合の制御部100の処理例としては、図21のような処理例も考えられる。
図21のステップS300、S309,S310は図15と同様である。
例えばメニュー設定により高度色再現処理が「ON」に設定されている場合は、ステップS310で、図10等で説明した色ずれ修正処理を含む現像処理が行われる。高度色再現処理が「OFF」の場合、ステップS320で色ずれの判定処理が行われる。この場合、固定の判定アルゴリズムで判定処理が行われる。例えばステップS320では常に高速型アルゴリズムで判定処理が行われる。常に高精度型アルゴリズムで判定処理が行われるようにしてもよい。
図21のステップS300、S309,S310は図15と同様である。
例えばメニュー設定により高度色再現処理が「ON」に設定されている場合は、ステップS310で、図10等で説明した色ずれ修正処理を含む現像処理が行われる。高度色再現処理が「OFF」の場合、ステップS320で色ずれの判定処理が行われる。この場合、固定の判定アルゴリズムで判定処理が行われる。例えばステップS320では常に高速型アルゴリズムで判定処理が行われる。常に高精度型アルゴリズムで判定処理が行われるようにしてもよい。
そして色ずれの可能性が高いと判定した場合、制御部100はステップS321からステップS310に進み、画像処理部20に色ずれ修正処理を含む現像処理を指示する。色ずれの可能性が低いと判定した場合は、制御部100はステップS321からステップS309に進み、画像処理部20に色ずれ修正処理を含まない現像処理を指示する。
以上のように図21の例は、固定の判定アルゴリズムを用いる例である。また判定処理に応じてユーザの選択を待たずに、現像処理方式を選択する例である。
また、判定処理として、上記の判定アルゴリズムのように画像処理部20や制御部100の内部で得られる信号に基づく判定のみでなく、メタデータMTを用いた判定を行うこともできる。
例えば撮像装置1においてYC-RAW撮像処理を行う際のプリWB処理に係るプリWB情報MD1から、そのプリWB処理で推定された光源を判定する。或いは光源判定情報をプリWB情報MD1に含むようにしておく。一方でセンサ部23における照度センサの検出値から推定される光源情報MD3が存在する。
その場合、プリWB情報MD1に基づく光源判定情報と、光源情報MD3が一致しているか否かで、色ずれの可能性を判定できるものとなる。
例えば撮像装置1においてYC-RAW撮像処理を行う際のプリWB処理に係るプリWB情報MD1から、そのプリWB処理で推定された光源を判定する。或いは光源判定情報をプリWB情報MD1に含むようにしておく。一方でセンサ部23における照度センサの検出値から推定される光源情報MD3が存在する。
その場合、プリWB情報MD1に基づく光源判定情報と、光源情報MD3が一致しているか否かで、色ずれの可能性を判定できるものとなる。
図22の処理例は、このような判定処理を用いる例である。
ステップS330で制御部100は、プリWB情報MD1に基づく光源判定情報と、光源情報MD3が一致しているか否かを判定する。
ステップS330で制御部100は、プリWB情報MD1に基づく光源判定情報と、光源情報MD3が一致しているか否かを判定する。
そして一致していない場合は、制御部100は色ずれの可能性が高いため色ずれ修正が必要と判定し、ステップS331からステップS310に進み、画像処理部20に色ずれ修正処理を含む現像処理を指示する。ステップS330の結果が一致していれば色ずれの可能性が低く、色ずれ修正処理は不要とし、制御部100はステップS321からステップS309に進み、画像処理部20に色ずれ修正処理を含まない現像処理を指示する。
これにより現像処理の方式、つまり色ずれ修正処理を加えるか否かを簡易に切り替えることができる。
<9.まとめ及び変形例>
以上の実施の形態によれば次のような効果が得られる。
実施の形態の画像処理装置、即ち画像処理部20(又は画像処理部20を備える撮像装置1や情報処理装置70)は、イメージセンサ出力、例えばRGB形式の画像データに対してプリWB処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対して現像処理を行う。その場合に、YC-RAWデータをイメージセンサ出力形式(例えばRGB形式)へ変換する変換処理を行い、さらにプリWB処理に対する逆プリWB処理、及びデモザイク処理前の状態に戻すリモザイク処理を行う。
YC-RAWデータに対し、逆プリWB処理及びリモザイク処理を含む色ずれ修正処理を行うことで、YC-RAWデータの生成時のプリWB処理やデモザイク処理に起因する色ずれを解消できる。そしてそのYC-RAWデータを現像処理することで、現像時に色ずれが生ずるということが回避できる。これによりYC-RAWデータから現像される現像画像dPDの画質向上を実現できる。またこれにより、YC-RAWデータの利点、例えばRGB-RAWデータよりもデータサイズが小さく、リサイズしても画質劣化が少なく、高速記録にも適しているという利点を生かして、YC-RAWデータの有効に利用を促進できることになる。
なお、イメージセンサ出力形式の画像データとしてRGB形式の画像データを例にしたが、イメージセンサ出力形式の画像データは、図4で説明した補色フィルタに基づくCy,Ye,G,Mg形式の画像データや、W-RGBフィルタに基づくWRGB形式の画像データの場合もある。
以上の実施の形態によれば次のような効果が得られる。
実施の形態の画像処理装置、即ち画像処理部20(又は画像処理部20を備える撮像装置1や情報処理装置70)は、イメージセンサ出力、例えばRGB形式の画像データに対してプリWB処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対して現像処理を行う。その場合に、YC-RAWデータをイメージセンサ出力形式(例えばRGB形式)へ変換する変換処理を行い、さらにプリWB処理に対する逆プリWB処理、及びデモザイク処理前の状態に戻すリモザイク処理を行う。
YC-RAWデータに対し、逆プリWB処理及びリモザイク処理を含む色ずれ修正処理を行うことで、YC-RAWデータの生成時のプリWB処理やデモザイク処理に起因する色ずれを解消できる。そしてそのYC-RAWデータを現像処理することで、現像時に色ずれが生ずるということが回避できる。これによりYC-RAWデータから現像される現像画像dPDの画質向上を実現できる。またこれにより、YC-RAWデータの利点、例えばRGB-RAWデータよりもデータサイズが小さく、リサイズしても画質劣化が少なく、高速記録にも適しているという利点を生かして、YC-RAWデータの有効に利用を促進できることになる。
なお、イメージセンサ出力形式の画像データとしてRGB形式の画像データを例にしたが、イメージセンサ出力形式の画像データは、図4で説明した補色フィルタに基づくCy,Ye,G,Mg形式の画像データや、W-RGBフィルタに基づくWRGB形式の画像データの場合もある。
第1,第2,第3の実施の形態では、画像処理部20がリモザイク処理後の画像データに対して本WB処理、及びデモザイク処理を行う例を述べた(図10,図12,図14参照)。
逆プリWB処理及びリモザイク処理によって元のYC-RAWデータに含まれていた色ずれを解消した上で、本WB処理及びデモザイク処理を行うことで、撮像時の状態から色ずれのないRGBプレーンの画像データが得られる。この状態からマトリックス変換処理、ガンマ処理、色再現処理等を施して現像を行うことで、色ずれの生じていない高品位な現像画像dPDを得ることができる。
逆プリWB処理及びリモザイク処理によって元のYC-RAWデータに含まれていた色ずれを解消した上で、本WB処理及びデモザイク処理を行うことで、撮像時の状態から色ずれのないRGBプレーンの画像データが得られる。この状態からマトリックス変換処理、ガンマ処理、色再現処理等を施して現像を行うことで、色ずれの生じていない高品位な現像画像dPDを得ることができる。
第2の実施の形態では、画像処理部20がリモザイク処理後の画像データに対して互いに異なるパラメータ設定で複数の現像処理を行い、複数の現像画像dPDを生成する例を述べた。
例えば本WB処理、マトリックス変換処理、ガンマ処理、色再現処理について、異なるパラメータを用いて、複数の現像画像dPD1,dPD2,dPD3・・・を生成する。これにより、多様な絵づくりが施された現像画像をユーザに提供できることになる。単に撮像時の色状態に忠実な画像のみでなく、ユーザが好みにより画像を選択できるようになる。
例えば本WB処理、マトリックス変換処理、ガンマ処理、色再現処理について、異なるパラメータを用いて、複数の現像画像dPD1,dPD2,dPD3・・・を生成する。これにより、多様な絵づくりが施された現像画像をユーザに提供できることになる。単に撮像時の色状態に忠実な画像のみでなく、ユーザが好みにより画像を選択できるようになる。
第2の実施の形態では、画像処理部20が複数の現像画像dPDの一部については、基準とした現像画像との差分情報DDを生成する例を述べた。
例えば複数の現像画像dPD1,dPD2,dPD3を生成した場合、現像画像dPD2,dPD3については、基準とした現像画像dPD1との間の差分情報DD2,DD3を生成する。この差分情報DD2,DD3を記録媒体に記録させることで、現像画像dPD2,dPD3をそのまま記録する場合に比べて、必要な記録容量を大幅に低減できる。
例えば複数の現像画像dPD1,dPD2,dPD3を生成した場合、現像画像dPD2,dPD3については、基準とした現像画像dPD1との間の差分情報DD2,DD3を生成する。この差分情報DD2,DD3を記録媒体に記録させることで、現像画像dPD2,dPD3をそのまま記録する場合に比べて、必要な記録容量を大幅に低減できる。
第4の実施の形態では、制御部100がYC-RAWデータについて、色ずれ修正の必要性を判定する判定処理を行い、判定結果に応じて、画像処理部20にリモザイク処理を実行させる例を述べた。
例えば現像処理対象のYC-RAWデータについて、常に大きな色ずれが生じているとは限らない。制御部100が判定処理を行い、色ずれがある程度大きいと判定されるときに、画像処理部20で色ずれ修正ありの現像処理が行われるようにすることで、高品質な現像画像dPDが得られる。逆に言えば、色ずれがあまりない場合は、リモザイク等の処理を不要とすることができ、処理負担の削減や現像処理の高速化に適している。
例えば現像処理対象のYC-RAWデータについて、常に大きな色ずれが生じているとは限らない。制御部100が判定処理を行い、色ずれがある程度大きいと判定されるときに、画像処理部20で色ずれ修正ありの現像処理が行われるようにすることで、高品質な現像画像dPDが得られる。逆に言えば、色ずれがあまりない場合は、リモザイク等の処理を不要とすることができ、処理負担の削減や現像処理の高速化に適している。
第4の実施の形態において、制御部100が判定処理としてYC-RAWデータについて求めたWB値と、該YC-RAWデータのプリWB処理で用いたWB値との差分値(ΔWB)を用いて、色ずれ修正の必要性判定を行う例を挙げた。即ち高速型アルゴリズムによる判定処理である。
これにより簡易的に画像データの色ズレを検出可能になる。特に内部信号処理であるため、処理の直前と直後の信号差分を比較することで、遅延なくリアルタイムな検出が可能である。
これにより簡易的に画像データの色ズレを検出可能になる。特に内部信号処理であるため、処理の直前と直後の信号差分を比較することで、遅延なくリアルタイムな検出が可能である。
第4の実施の形態において、制御部100が判定処理としてYC-RAWデータについて、逆プリWB処理後の信号レベルの変化量ΔCSLに基づいて色ずれ修正の必要性判定を行う例を挙げた。即ち高精度型アルゴリズムによる判定処理である。
これも内部信号処理であるため比較的迅速に判定が可能となる。またピクセル毎/ブロック毎に判定を行うことで、色ずれが生じている領域の正確な特定ができる。
これも内部信号処理であるため比較的迅速に判定が可能となる。またピクセル毎/ブロック毎に判定を行うことで、色ずれが生じている領域の正確な特定ができる。
第4の実施の形態における図22の処理例では、制御部100が判定処理として、YC-RAWデータについてのプリWB処理で用いたWB値に基づく情報と、撮像時に検出された光源情報を用いて色ずれ修正の必要性判定を行う例を挙げた。
光源情報MD3が得られるセンサを有する撮像装置1の場合や、光源情報MD3がメタデータMTに付加されたYC-RAWデータを取得した情報処理装置70の場合、光源情報MD3を用いることができる。その場合、光源情報MD3と、プリWB処理で推定された光源とを比較すれば、色ずれの有無が推定できる。この場合、極めて簡易かつ高速に判定処理を行うことができる。
光源情報MD3が得られるセンサを有する撮像装置1の場合や、光源情報MD3がメタデータMTに付加されたYC-RAWデータを取得した情報処理装置70の場合、光源情報MD3を用いることができる。その場合、光源情報MD3と、プリWB処理で推定された光源とを比較すれば、色ずれの有無が推定できる。この場合、極めて簡易かつ高速に判定処理を行うことができる。
第4の実施の形態における図15の処理例では、制御部100が判定処理として複数の処理方式を選択可能とされ、選択した処理方式で判定処理を行う例を挙げた。
例えば判定処理の処理方式として、比較的高速に実行できる高速型アルゴリズムや、比較的精度の高い高精度型アルゴリズムなどを選択的に実行できるようにする。これにより状況に適した判定処理を行うことができるようになる。
例えば判定処理の処理方式として、比較的高速に実行できる高速型アルゴリズムや、比較的精度の高い高精度型アルゴリズムなどを選択的に実行できるようにする。これにより状況に適した判定処理を行うことができるようになる。
第4の実施の形態における図15の処理例において、制御部100が判定処理の処理方式をユーザ設定に基づいて選択する例を述べた。
例えば制御部100は、メニュー設定などでユーザが高速型、高精度型などを設定していることに応じて判定方式(アルゴリズム)を選択する。これによりユーザの目的、ユースケース等に応じた判定処理が可能になる。
例えば制御部100は、メニュー設定などでユーザが高速型、高精度型などを設定していることに応じて判定方式(アルゴリズム)を選択する。これによりユーザの目的、ユースケース等に応じた判定処理が可能になる。
第4の実施の形態における図15の処理例において、制御部100が判定処理の処理方式を自動選択する例を述べた。
例えば制御部100は、何らかのトリガ、設定、撮像状況などに応じて高速型、高精度型などの判定方式(アルゴリズム)を自動的に選択する。例えば高速連写スピード、顔画像の有無、バッテリー状況などに応じて選択する。これにより、撮像動作、画像内容、装置状況等に適した判定処理が可能になる。
例えば制御部100は、何らかのトリガ、設定、撮像状況などに応じて高速型、高精度型などの判定方式(アルゴリズム)を自動的に選択する。例えば高速連写スピード、顔画像の有無、バッテリー状況などに応じて選択する。これにより、撮像動作、画像内容、装置状況等に適した判定処理が可能になる。
第4の実施の形態における図15の処理例において、制御部100が判定処理により色ずれを検出した場合に、警告を実行させる制御を行う例を述べた。
例えば制御部100は、判定処理の結果、色ずれが生じていることを検出した場合、警告表示45や色ずれ領域表示46を実行させる(図17,図18,図19参照)。これによりユーザは、色ずれが生じることを認識することができる。
例えば制御部100は、判定処理の結果、色ずれが生じていることを検出した場合、警告表示45や色ずれ領域表示46を実行させる(図17,図18,図19参照)。これによりユーザは、色ずれが生じることを認識することができる。
第4の実施の形態における図15の処理例において、制御部100が警告に応じたユーザ操作に応じて、画像処理部20にリモザイク処理を実行させる制御を行う例を挙げた(図15のステップS308,S310参照)。
警告により色ずれが生じることを認識したユーザは、自分の目的、好み、都合等に応じて、現像処理において色ずれ修正を行うか否かを選択できることになる。
警告により色ずれが生じることを認識したユーザは、自分の目的、好み、都合等に応じて、現像処理において色ずれ修正を行うか否かを選択できることになる。
第1の実施の形態では、画像処理部20は、YC-RAWデータに関連づけられたメタデータMTにおけるプリWB情報MD1を用いて、逆プリWB処理を行う例を挙げた。
メタデータMTとしてプリWB情報MD1が付加されていることで、そのプリWB処理を処理前に戻す逆プリWB処理を正確に行うことができる。
メタデータMTとしてプリWB情報MD1が付加されていることで、そのプリWB処理を処理前に戻す逆プリWB処理を正確に行うことができる。
第1の実施の形態では、画像処理部20は、YC-RAWデータに関連づけられたメタデータMTにおけるセンサ配列情報MD2を用いて、リモザイク処理を行う例を挙げた。
メタデータMTとしてセンサ配列情報MD2が付加されていることで、そのリモザイク処理を正確に行うことができる。
メタデータMTとしてセンサ配列情報MD2が付加されていることで、そのリモザイク処理を正確に行うことができる。
第1の実施の形態では、画像処理部20は、現像処理において、現像処理対象のYC-RAWデータに関連づけられたメタデータMTにおける光源情報MD3を用いて、本WBのWB値を算出し、本WB処理を行う例を挙げた。
メタデータMTとして光源情報が付加されていることで、本WB処理を、撮像時の光源に応じた値で行うことができる。
メタデータMTとして光源情報が付加されていることで、本WB処理を、撮像時の光源に応じた値で行うことができる。
第3の実施の形態で説明した画像処理装置は、YC-RAWデータに対し、イメージセンサ出力形式への変換処理を行い、さらにプリWB処理に対する逆プリWB処理、及びデモザイク処理前の状態に戻すリモザイク処理を加えた後に得られるイメージセンサ出力形式の画像データ、又はリモザイク処理後に得られたイメージセンサ出力形式の画像データに基づいて得られたYC-RAW’データを、記録媒体に記録させる記録制御部(14,79)を備える。
YC-RAWデータに対し、逆プリWB処理及びリモザイク処理で色ずれ修正処理を加えた後、YC変換して得られるYC-RAW’データは、元のYC-RAWデータのようなプリWB処理及びデモザイク処理に起因する色ずれがないものとなる。そこで、得られたYC-RAW’データで元のYC-RAWデータを上書き記録することで、その後、当該YC-RAW’データを高品質な画像を現像できるRAW画像データとして利用できるようになる。YC-RAW’データを元のYC-RAWデータと並存させるように記録してもよい。
またYC-RAWデータに対し、逆プリWB処理及びリモザイク処理で色ずれ修正処理を行った状態のデータ、すなわち元のイメージセンサ出力形式によるRAWフォーマットのデータを、元のYC-RAWデータとともに、或いは上書きして、記録媒体に記録してもよい。その、元のイメージセンサ出力形式のデータも、高品質な画像を現像できるRAW画像データとして利用できるようになる。
またYC-RAW’データと、イメージセンサ出力形式のデータの両方を記録媒体に記録するようにしてもよい。
YC-RAWデータに対し、逆プリWB処理及びリモザイク処理で色ずれ修正処理を加えた後、YC変換して得られるYC-RAW’データは、元のYC-RAWデータのようなプリWB処理及びデモザイク処理に起因する色ずれがないものとなる。そこで、得られたYC-RAW’データで元のYC-RAWデータを上書き記録することで、その後、当該YC-RAW’データを高品質な画像を現像できるRAW画像データとして利用できるようになる。YC-RAW’データを元のYC-RAWデータと並存させるように記録してもよい。
またYC-RAWデータに対し、逆プリWB処理及びリモザイク処理で色ずれ修正処理を行った状態のデータ、すなわち元のイメージセンサ出力形式によるRAWフォーマットのデータを、元のYC-RAWデータとともに、或いは上書きして、記録媒体に記録してもよい。その、元のイメージセンサ出力形式のデータも、高品質な画像を現像できるRAW画像データとして利用できるようになる。
またYC-RAW’データと、イメージセンサ出力形式のデータの両方を記録媒体に記録するようにしてもよい。
図1に示した実施の形態の撮像装置1は、イメージセンサ12aにより撮像画像データを得る撮像部12と、撮像部12により得られたRGB形式の画像データに対して、プリWB処理、デモザイク処理、及びYC変換処理を行ってYC-RAWデータを生成する画像処理部20を備える。また撮像装置1は、イメージセンサ12aの画素配列をあらわすセンサ配列情報MD2をデモザイク処理前の状態に戻すリモザイク処理に用いるメタデータMTとし、プリWB処理のパラメータを含むプリWB情報MD1をプリWB処理に対する逆プリWB処理に用いるメタデータMTとして、YC-RAWデータに関連づける処理を行うカメラ制御部18を備える(図6、図7参照)。
YC-RAWデータに対し、メタデータMTとしてプリWB情報MD1、センサ配列情報MD2が関連づけられていることで、例えば現像処理の際などに、これらを参照して逆プリWB処理やリモザイク処理を正確に行うことができるようになる。
YC-RAWデータに対し、メタデータMTとしてプリWB情報MD1、センサ配列情報MD2が関連づけられていることで、例えば現像処理の際などに、これらを参照して逆プリWB処理やリモザイク処理を正確に行うことができるようになる。
また撮像装置1は光源情報を検出可能なセンサとして照度センサを備える場合がある。カメラ制御部18は、センサ配列情報MD2と、プリWB情報MD1と、センサの検出値に基づいて生成した光源情報MD3とを、YC-RAWデータの現像処理において用いるメタデータMTとする処理を行う例を挙げた(図7参照)。
メタデータMTとして光源情報MD3も含めることで、現像処理の際の本ホワイトバランス処理の際に、これを参照してより正確な本WB処理を行うことができるようになる。
メタデータMTとして光源情報MD3も含めることで、現像処理の際の本ホワイトバランス処理の際に、これを参照してより正確な本WB処理を行うことができるようになる。
実施の形態の現像処理に係るプログラムは、上述の図10、図12のような現像処理を、例えばCPU、DSP、GPU、GPGPU、AIプロセッサ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムとして、RGB形式の画像データに対してプリWB処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、RGB形式への変換処理を行い、さらにプリWB処理に対する逆プリWB処理、及びデモザイク処理前の状態に戻すリモザイク処理を、画像処理装置として機能する演算処理装置に実行させるプログラムが想定できる。
即ち実施の形態のプログラムとして、RGB形式の画像データに対してプリWB処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、RGB形式への変換処理を行い、さらにプリWB処理に対する逆プリWB処理、及びデモザイク処理前の状態に戻すリモザイク処理を、画像処理装置として機能する演算処理装置に実行させるプログラムが想定できる。
また実施の形態に係るプログラムは、図14のようなYC-RAW’データを生成する処理を演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムとして、イメージセンサ出力形式の画像データに対してプリWB処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、元のイメージセンサ出力形式への変換処理を行い、さらにプリWB処理に対する逆プリWB処理、及びデモザイク処理前の状態に戻すリモザイク処理を加えた後に得られるイメージセンサ出力形式の画像データを、記録媒体に記録させる処理を演算処理装置に実行させるプログラムが想定できる。
或いは、上記のリモザイク処理後に得られたイメージセンサ出力形式の画像データに基づいて得られたYC-RAWデータを、記録媒体に記録させる処理を演算処理装置に実行させるプログラムも想定できる。
即ち実施の形態のプログラムとして、イメージセンサ出力形式の画像データに対してプリWB処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、元のイメージセンサ出力形式への変換処理を行い、さらにプリWB処理に対する逆プリWB処理、及びデモザイク処理前の状態に戻すリモザイク処理を加えた後に得られるイメージセンサ出力形式の画像データを、記録媒体に記録させる処理を演算処理装置に実行させるプログラムが想定できる。
或いは、上記のリモザイク処理後に得られたイメージセンサ出力形式の画像データに基づいて得られたYC-RAWデータを、記録媒体に記録させる処理を演算処理装置に実行させるプログラムも想定できる。
これらのようなプログラムにより本開示でいう画像処理装置を各種のコンピュータ装置により実現できる。
これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、本開示の画像処理装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、これらの機器を本開示の画像処理装置として機能させることができる。
このようなプログラムによって本開示の画像処理装置として機能するコンピュータ装置は、クラウドサーバとして実現することもできる。例えば撮像装置1と連携したクラウドコンピューティングにより、実施の形態で説明した各処理を実行することもできる。
このようなプログラムによって本開示の画像処理装置として機能するコンピュータ装置は、クラウドサーバとして実現することもできる。例えば撮像装置1と連携したクラウドコンピューティングにより、実施の形態で説明した各処理を実行することもできる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を行う画像処理部を備えた
画像処理装置。
(2)
前記画像処理部は、前記リモザイク処理後の画像データに対してホワイトバランス処理、及びデモザイク処理を行う
上記(1)に記載の画像処理装置。
(3)
前記画像処理部は、前記リモザイク処理後の画像データに対して互いに異なるパラメータ設定で複数の現像処理を行い、複数の現像画像を生成する
上記(1)又は(2)に記載の画像処理装置。
(4)
前記画像処理部は、複数の現像画像の一部については、基準とした現像画像との差分情報を生成する
上記(3)に記載の画像処理装置。
(5)
YC-RAWデータについて、色ずれ修正の必要性を判定する判定処理を行い、判定結果に応じて、前記画像処理部に前記リモザイク処理を実行させる制御部を有する
上記(1)から(4)のいずれかに記載の画像処理装置。
(6)
前記制御部は、前記判定処理として、
YC-RAWデータについて求めたホワイトバランス値と、該YC-RAWデータについての前記プリホワイトバランス処理で用いたホワイトバランス値との差分値を用いて、色ずれ修正の必要性判定を行う
上記(5)に記載の画像処理装置。
(7)
前記制御部は、前記判定処理として、
YC-RAWデータについて、前記逆プリホワイトバランス処理後の信号レベルの変化量に基づいて色ずれ修正の必要性判定を行う
上記(5)又は(6)に記載の画像処理装置。
(8)
前記制御部は、前記判定処理として、
YC-RAWデータについての前記プリホワイトバランス処理で用いたホワイトバランス値に基づく情報と、撮像時に検出された光源情報を用いて、色ずれ修正の必要性判定を行う
上記(5)から(7)のいずれかに記載の画像処理装置。
(9)
前記制御部は、前記判定処理として複数の処理方式を選択可能とされ、選択した処理方式で前記判定処理を行う
上記(5)から(8)に記載の画像処理装置。
(10)
前記制御部は、前記判定処理の処理方式をユーザ設定に基づいて選択する
上記(9)に記載の画像処理装置。
(11)
前記制御部は、前記判定処理の処理方式を自動選択する
上記(9)に記載の画像処理装置。
(12)
前記制御部は、前記判定処理により色ずれ修正が必要と判定した場合に、警告を実行させる制御を行う
上記(5)から(11)のいずれかに記載の画像処理装置。
(13)
前記制御部は、前記警告に応じたユーザ操作に応じて、前記画像処理部に前記リモザイク処理を実行させる制御を行う
上記(12)に記載の画像処理装置。
(14)
前記画像処理部は、YC-RAWデータに関連づけられたメタデータにおけるプリホワイトバランス情報を用いて、前記逆プリホワイトバランス処理を行う
上記(1)から(13)のいずれかに記載の画像処理装置。
(15)
前記画像処理部は、YC-RAWデータに関連づけられたメタデータにおけるセンサ配列情報を用いて、前記リモザイク処理を行う
上記(1)から(14)のいずれかに記載の画像処理装置。
(16)
前記画像処理部は、前記現像処理において、現像処理対象のYC-RAWデータに関連づけられたメタデータにおける光源情報を用いて、前記リモザイク処理後の前記ホワイトバランス処理を行う
上記(2)に記載の画像処理装置。
(17)
イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を加えた後に得られるイメージセンサ出力形式の画像データ、又は前記リモザイク処理後に得られたイメージセンサ出力形式の画像データに基づいて得られたYC-RAWデータを、記録媒体に記録させる記録制御部を備えた
画像処理装置。
(18)
イメージセンサにより撮像画像データを得る撮像部と、
前記撮像部により得られたイメージセンサ出力形式の画像データに対して、プリホワイトバランス処理、デモザイク処理、及びYC変換処理を行ってYC-RAWデータを生成する画像処理部と、
前記イメージセンサの画素配列をあらわすセンサ配列情報を前記デモザイク処理前の状態に戻すリモザイク処理に用いるメタデータとし、前記プリホワイトバランス処理のパラメータを含むプリホワイトバランス情報を前記プリホワイトバランス処理に対する逆プリホワイトバランス処理に用いるメタデータとして、YC-RAWデータに関連づける処理を行う制御部と、を備えた
撮像装置。
(19)
光源情報を検出可能なセンサを備え、
前記制御部は、前記センサの検出値に基づいて生成した光源情報を、YC-RAWデータの現像処理において用いるメタデータとする処理を行う
上記(18)に記載の画像処理装置。
(20)
イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を行う
画像処理方法。
(1)
イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を行う画像処理部を備えた
画像処理装置。
(2)
前記画像処理部は、前記リモザイク処理後の画像データに対してホワイトバランス処理、及びデモザイク処理を行う
上記(1)に記載の画像処理装置。
(3)
前記画像処理部は、前記リモザイク処理後の画像データに対して互いに異なるパラメータ設定で複数の現像処理を行い、複数の現像画像を生成する
上記(1)又は(2)に記載の画像処理装置。
(4)
前記画像処理部は、複数の現像画像の一部については、基準とした現像画像との差分情報を生成する
上記(3)に記載の画像処理装置。
(5)
YC-RAWデータについて、色ずれ修正の必要性を判定する判定処理を行い、判定結果に応じて、前記画像処理部に前記リモザイク処理を実行させる制御部を有する
上記(1)から(4)のいずれかに記載の画像処理装置。
(6)
前記制御部は、前記判定処理として、
YC-RAWデータについて求めたホワイトバランス値と、該YC-RAWデータについての前記プリホワイトバランス処理で用いたホワイトバランス値との差分値を用いて、色ずれ修正の必要性判定を行う
上記(5)に記載の画像処理装置。
(7)
前記制御部は、前記判定処理として、
YC-RAWデータについて、前記逆プリホワイトバランス処理後の信号レベルの変化量に基づいて色ずれ修正の必要性判定を行う
上記(5)又は(6)に記載の画像処理装置。
(8)
前記制御部は、前記判定処理として、
YC-RAWデータについての前記プリホワイトバランス処理で用いたホワイトバランス値に基づく情報と、撮像時に検出された光源情報を用いて、色ずれ修正の必要性判定を行う
上記(5)から(7)のいずれかに記載の画像処理装置。
(9)
前記制御部は、前記判定処理として複数の処理方式を選択可能とされ、選択した処理方式で前記判定処理を行う
上記(5)から(8)に記載の画像処理装置。
(10)
前記制御部は、前記判定処理の処理方式をユーザ設定に基づいて選択する
上記(9)に記載の画像処理装置。
(11)
前記制御部は、前記判定処理の処理方式を自動選択する
上記(9)に記載の画像処理装置。
(12)
前記制御部は、前記判定処理により色ずれ修正が必要と判定した場合に、警告を実行させる制御を行う
上記(5)から(11)のいずれかに記載の画像処理装置。
(13)
前記制御部は、前記警告に応じたユーザ操作に応じて、前記画像処理部に前記リモザイク処理を実行させる制御を行う
上記(12)に記載の画像処理装置。
(14)
前記画像処理部は、YC-RAWデータに関連づけられたメタデータにおけるプリホワイトバランス情報を用いて、前記逆プリホワイトバランス処理を行う
上記(1)から(13)のいずれかに記載の画像処理装置。
(15)
前記画像処理部は、YC-RAWデータに関連づけられたメタデータにおけるセンサ配列情報を用いて、前記リモザイク処理を行う
上記(1)から(14)のいずれかに記載の画像処理装置。
(16)
前記画像処理部は、前記現像処理において、現像処理対象のYC-RAWデータに関連づけられたメタデータにおける光源情報を用いて、前記リモザイク処理後の前記ホワイトバランス処理を行う
上記(2)に記載の画像処理装置。
(17)
イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を加えた後に得られるイメージセンサ出力形式の画像データ、又は前記リモザイク処理後に得られたイメージセンサ出力形式の画像データに基づいて得られたYC-RAWデータを、記録媒体に記録させる記録制御部を備えた
画像処理装置。
(18)
イメージセンサにより撮像画像データを得る撮像部と、
前記撮像部により得られたイメージセンサ出力形式の画像データに対して、プリホワイトバランス処理、デモザイク処理、及びYC変換処理を行ってYC-RAWデータを生成する画像処理部と、
前記イメージセンサの画素配列をあらわすセンサ配列情報を前記デモザイク処理前の状態に戻すリモザイク処理に用いるメタデータとし、前記プリホワイトバランス処理のパラメータを含むプリホワイトバランス情報を前記プリホワイトバランス処理に対する逆プリホワイトバランス処理に用いるメタデータとして、YC-RAWデータに関連づける処理を行う制御部と、を備えた
撮像装置。
(19)
光源情報を検出可能なセンサを備え、
前記制御部は、前記センサの検出値に基づいて生成した光源情報を、YC-RAWデータの現像処理において用いるメタデータとする処理を行う
上記(18)に記載の画像処理装置。
(20)
イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を行う
画像処理方法。
1 撮像装置
12 撮像部
12a イメージセンサ
14 記録制御部
15 表示部
18 カメラ制御部
20 画像処理部
23 センサ部
40 メニュー画面
41 設定領域
45 警告表示
46 色ずれ領域表示
70 情報処理装置、
71 CPU
77 表示部
78 音声出力部
79 記録制御部
100 制御部
12 撮像部
12a イメージセンサ
14 記録制御部
15 表示部
18 カメラ制御部
20 画像処理部
23 センサ部
40 メニュー画面
41 設定領域
45 警告表示
46 色ずれ領域表示
70 情報処理装置、
71 CPU
77 表示部
78 音声出力部
79 記録制御部
100 制御部
Claims (20)
- イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を行う画像処理部を備えた
画像処理装置。 - 前記画像処理部は、前記リモザイク処理後の画像データに対してホワイトバランス処理、及びデモザイク処理を行う
請求項1に記載の画像処理装置。 - 前記画像処理部は、前記リモザイク処理後の画像データに対して互いに異なるパラメータ設定で複数の現像処理を行い、複数の現像画像を生成する
請求項1に記載の画像処理装置。 - 前記画像処理部は、複数の現像画像の一部については、基準とした現像画像との差分情報を生成する
請求項3に記載の画像処理装置。 - YC-RAWデータについて、色ずれ修正の必要性を判定する判定処理を行い、判定結果に応じて、前記画像処理部に前記リモザイク処理を実行させる制御部を有する
請求項1に記載の画像処理装置。 - 前記制御部は、前記判定処理として、
YC-RAWデータについて求めたホワイトバランス値と、該YC-RAWデータについての前記プリホワイトバランス処理で用いたホワイトバランス値との差分値を用いて、色ずれ修正の必要性判定を行う
請求項5に記載の画像処理装置。 - 前記制御部は、前記判定処理として、
YC-RAWデータについて、前記逆プリホワイトバランス処理後の信号レベルの変化量に基づいて色ずれ修正の必要性判定を行う
請求項5に記載の画像処理装置。 - 前記制御部は、前記判定処理として、
YC-RAWデータについての前記プリホワイトバランス処理で用いたホワイトバランス値に基づく情報と、撮像時に検出された光源情報を用いて、色ずれ修正の必要性判定を行う
請求項5に記載の画像処理装置。 - 前記制御部は、前記判定処理として複数の処理方式を選択可能とされ、選択した処理方式で前記判定処理を行う
請求項5に記載の画像処理装置。 - 前記制御部は、前記判定処理の処理方式をユーザ設定に基づいて選択する
請求項9に記載の画像処理装置。 - 前記制御部は、前記判定処理の処理方式を自動選択する
請求項9に記載の画像処理装置。 - 前記制御部は、前記判定処理により色ずれ修正が必要と判定した場合に、警告を実行させる制御を行う
請求項5に記載の画像処理装置。 - 前記制御部は、前記警告に応じたユーザ操作に応じて、前記画像処理部に前記リモザイク処理を実行させる制御を行う
請求項12に記載の画像処理装置。 - 前記画像処理部は、YC-RAWデータに関連づけられたメタデータにおけるプリホワイトバランス情報を用いて、前記逆プリホワイトバランス処理を行う
請求項1に記載の画像処理装置。 - 前記画像処理部は、YC-RAWデータに関連づけられたメタデータにおけるセンサ配列情報を用いて、前記リモザイク処理を行う
請求項1に記載の画像処理装置。 - 前記画像処理部は、YC-RAWデータに関連づけられたメタデータにおける光源情報を用いて、前記リモザイク処理後の前記ホワイトバランス処理を行う
請求項2に記載の画像処理装置。 - イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を加えた後に得られるイメージセンサ出力形式の画像データ、又は前記リモザイク処理後に得られたイメージセンサ出力形式の画像データに基づいて得られたYC-RAWデータを、記録媒体に記録させる記録制御部を備えた
画像処理装置。 - イメージセンサにより撮像画像データを得る撮像部と、
前記撮像部により得られたイメージセンサ出力形式の画像データに対して、プリホワイトバランス処理、デモザイク処理、及びYC変換処理を行ってYC-RAWデータを生成する画像処理部と、
前記イメージセンサの画素配列をあらわすセンサ配列情報を前記デモザイク処理前の状態に戻すリモザイク処理に用いるメタデータとし、前記プリホワイトバランス処理のパラメータを含むプリホワイトバランス情報を前記プリホワイトバランス処理に対する逆プリホワイトバランス処理に用いるメタデータとして、YC-RAWデータに関連づける処理を行う制御部と、を備えた
撮像装置。 - 光源情報を検出可能なセンサを備え、
前記制御部は、前記センサの検出値に基づいて生成した光源情報を、YC-RAWデータの現像処理において用いるメタデータとする処理を行う
請求項18に記載の撮像装置。 - イメージセンサ出力形式の画像データに対してプリホワイトバランス処理、デモザイク処理、及びYC変換処理が行われた画像データであるYC-RAWデータに対し、前記イメージセンサ出力形式への変換処理を行い、さらに前記プリホワイトバランス処理に対する逆プリホワイトバランス処理、及び前記デモザイク処理前の状態に戻すリモザイク処理を行う
画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280044851.9A CN117917087A (zh) | 2021-06-29 | 2022-02-16 | 图像处理设备、成像设备和图像处理方法 |
US18/559,469 US20240244334A1 (en) | 2021-06-29 | 2022-02-16 | Image processing device, imaging device, and image processing method |
JP2023531378A JPWO2023276249A1 (ja) | 2021-06-29 | 2022-02-16 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021107447 | 2021-06-29 | ||
JP2021-107447 | 2021-06-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023276249A1 true WO2023276249A1 (ja) | 2023-01-05 |
Family
ID=84692247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/006240 WO2023276249A1 (ja) | 2021-06-29 | 2022-02-16 | 画像処理装置、撮像装置、画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240244334A1 (ja) |
JP (1) | JPWO2023276249A1 (ja) |
CN (1) | CN117917087A (ja) |
WO (1) | WO2023276249A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012216888A (ja) * | 2011-03-31 | 2012-11-08 | Sony Corp | 画像理装置および方法、並びにプログラム |
JP2013219705A (ja) * | 2012-04-12 | 2013-10-24 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2015012040A1 (ja) * | 2013-07-25 | 2015-01-29 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2020151403A (ja) * | 2019-03-22 | 2020-09-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
-
2022
- 2022-02-16 JP JP2023531378A patent/JPWO2023276249A1/ja active Pending
- 2022-02-16 US US18/559,469 patent/US20240244334A1/en active Pending
- 2022-02-16 CN CN202280044851.9A patent/CN117917087A/zh active Pending
- 2022-02-16 WO PCT/JP2022/006240 patent/WO2023276249A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012216888A (ja) * | 2011-03-31 | 2012-11-08 | Sony Corp | 画像理装置および方法、並びにプログラム |
JP2013219705A (ja) * | 2012-04-12 | 2013-10-24 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2015012040A1 (ja) * | 2013-07-25 | 2015-01-29 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP2020151403A (ja) * | 2019-03-22 | 2020-09-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023276249A1 (ja) | 2023-01-05 |
CN117917087A (zh) | 2024-04-19 |
US20240244334A1 (en) | 2024-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6335563B2 (ja) | 撮像装置及びその制御方法 | |
JP4329125B2 (ja) | ホワイトバランス制御方法、ホワイトバランス制御装置及び撮像装置 | |
JP6472253B2 (ja) | 画像処理装置及びその制御方法 | |
US8432456B2 (en) | Digital camera for sharing digital images | |
US20140333790A1 (en) | Imaging apparatus, imaging method and program | |
JP7365133B2 (ja) | 通信装置およびその制御方法、プログラム | |
EP3490250B1 (en) | Image processing apparatus and image processing method | |
WO2023016037A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
US20150103204A1 (en) | Image processing device and method capable of displaying high-quality image while preventing display delay, and image pickup apparatus | |
JP2015195582A (ja) | 画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体 | |
US9462182B2 (en) | Imaging apparatus and control method thereof | |
WO2023276249A1 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP6741532B2 (ja) | 撮像装置および記録方法 | |
JP2009033385A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 | |
JP7458806B2 (ja) | 画像処理装置および画像処理方法 | |
US20240087093A1 (en) | Image processing apparatus, image processing method, and program | |
WO2022195910A1 (ja) | 制御装置、制御方法、プログラム | |
US11283938B2 (en) | Communication apparatus communicating with another communication apparatus based on performance, control method, and storage medium | |
WO2022244351A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
US20240080544A1 (en) | Imaging apparatus, control method for imaging apparatus, and control program | |
JP5975705B2 (ja) | 撮像装置およびその制御方法、画像処理装置および画像処理のための方法 | |
JP5957813B2 (ja) | 撮像装置、プログラム、及び記録媒体 | |
JP2019110367A (ja) | 撮像装置 | |
JP4978669B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP2021071989A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 18559469 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023531378 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202280044851.9 Country of ref document: CN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22832417 Country of ref document: EP Kind code of ref document: A1 |