WO2022195909A1 - 画像処理装置、画像処理方法、プログラム - Google Patents

画像処理装置、画像処理方法、プログラム Download PDF

Info

Publication number
WO2022195909A1
WO2022195909A1 PCT/JP2021/029167 JP2021029167W WO2022195909A1 WO 2022195909 A1 WO2022195909 A1 WO 2022195909A1 JP 2021029167 W JP2021029167 W JP 2021029167W WO 2022195909 A1 WO2022195909 A1 WO 2022195909A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
raw image
processing
raw
image
Prior art date
Application number
PCT/JP2021/029167
Other languages
English (en)
French (fr)
Inventor
圭佑 吉田
優子 芝池
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/263,479 priority Critical patent/US20240087093A1/en
Priority to JP2023506711A priority patent/JPWO2022195909A1/ja
Priority to CN202180095434.2A priority patent/CN116965052A/zh
Priority to EP21931653.6A priority patent/EP4311219A4/en
Publication of WO2022195909A1 publication Critical patent/WO2022195909A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • This technology relates to an image processing device, an image processing method, and a program, and relates to an image synthesis processing technology.
  • RAW image An image before image creation with an imaging device or the like is sometimes called a RAW image. It is common practice to record a RAW image as a captured image. This is because recording a RAW image has the advantage of increasing the degree of freedom in processing such as color reproduction after imaging.
  • Patent Document 1 discloses a technique for easily realizing image effects such as front curtain synchronization/rear curtain synchronization/multi-emission using long-time exposure without requiring skill.
  • a cameraman sets the shutter speed when taking an image with an imaging device.
  • Some imaging devices automatically set the shutter speed.
  • the shutter speed is set when the image is captured. Therefore, even if RAW image data is recorded, the shutter speed cannot be adjusted after imaging. For this reason, shooting may fail due to, for example, an inappropriate shutter speed setting before shooting.
  • RAW image data development processing is performed to generate image data in a predetermined format. is not necessarily performed.
  • the present disclosure aims to propose a technique for using RAW images more effectively.
  • An image processing apparatus includes a combining processing unit that combines a plurality of pieces of RAW image data each forming an image of one frame to generate combined RAW image data.
  • a group of RAW image data obtained by imaging are synthesized. That is, they are synthesized before development processing.
  • the image processing apparatus may further include a development processing unit that performs development processing on the combined RAW image data generated by the combining processing unit to generate image data in a predetermined format. That is, after combining the RAW image data, development processing is performed on the combined RAW image data.
  • the composition processing unit generates composite RAW image data corresponding to an image captured at a shutter speed slower than the shutter speed at the time of image capturing by composition processing.
  • the composition processing unit By synthesizing a plurality of RAW image data, it is possible to obtain an image with a shutter speed of a longer exposure period than the shutter speed at the time of capturing each RAW image.
  • the plurality of pieces of RAW image data synthesized by the synthesis processing unit are temporally continuous frames of RAW image data.
  • a plurality of frames of RAW image data obtained by temporally continuous imaging, such as continuous imaging or moving image imaging, are to be synthesized.
  • the plurality of RAW image data synthesized by the synthesis processing unit is temporally continuous multiple frames of RAW image data at a constant shutter speed.
  • a plurality of frames of RAW image data obtained by continuous shooting or moving image shooting at a constant shutter speed are to be combined.
  • the plurality of RAW image data to be synthesized by the synthesis processing unit are temporally adjacent RAW image data, and their exposure periods are temporally continuous. It is conceivable that there are multiple pieces of RAW image data. For example, temporally continuous RAW image data is assumed to be a series of RAW image data in which no non-exposure period exists.
  • the plurality of RAW image data synthesized by the synthesizing processing unit is an exposure amount corresponding to a non-exposure period in the imaging element with respect to an exposure amount in the exposure period in the imaging element. It is conceivable that the exposure period is made temporally continuous by performing the additional processing of adding the .
  • an imaging device image sensor
  • the readout period is a non-exposure period in which exposure is interrupted. Interpolation corresponding to the amount of exposure (the amount of charge accumulated by exposure) is performed during such a non-exposure period.
  • a plurality of pieces of RAW image data synthesized by the synthesis processing unit are alternately and sequentially read from a plurality of imaging elements, so that the exposure periods are temporally continuous. It is conceivable that the By using a plurality of imaging elements, it is possible to perform exposure during one readout period and the other.
  • the synthesis processing unit selects synthesis target RAW image data to be subjected to synthesis processing from a plurality of temporally continuous RAW image data based on designation of shutter speed. It is conceivable to choose For example, the user can specify the shutter speed when performing the synthesizing process.
  • the synthesis processing unit selects synthesis target RAW image data to be subjected to synthesis processing from a plurality of temporally continuous RAW image data based on designation of the number of sheets. can be considered. For example, the user can specify the number of images when performing the synthesizing process.
  • the RAW image data may be image data having the same color array as the color array of the imaging device.
  • the RAW image data is image data in which pixel values read from the imaging element are in the form of luminance values and chroma values, and are subjected to color reproduction/sharpness processing. It is conceivable that the image data does not exist.
  • the image data is so-called YC-RAW.
  • An image processing method is an image processing method in which an image processing apparatus executes a combining process of generating combined RAW image data by combining a plurality of pieces of RAW image data each forming an image of one frame. This effectively uses the RAW image data.
  • a program according to the present technology is a program that causes an information processing apparatus to execute this image processing. This makes it possible to easily realize the image processing apparatus described above.
  • FIG. 1 is a block diagram of an imaging device according to an embodiment
  • FIG. 1 is a block diagram of an information processing device according to an embodiment
  • FIG. 4A and 4B are explanatory diagrams of RAW image data and development processing
  • FIG. 4A and 4B are explanatory diagrams of synthesis processing and development processing according to an embodiment and a comparative example
  • FIG. 4 is a flowchart of processing during imaging according to the embodiment
  • 4 is a flowchart including composition processing and development processing according to an embodiment
  • FIG. 10 is an explanatory diagram of additional processing for continuing exposure periods in the embodiment
  • FIG. 10 is an explanatory diagram of imaging of RAW image data with continuous exposure periods in the embodiment; 4A and 4B are explanatory diagrams of YC-RAW image data and development processing; FIG. 4A and 4B are explanatory diagrams of composition processing and development processing according to the embodiment; FIG.
  • RAW image data an image before part or all of development processing is performed by an imaging device or the like.
  • Image data forming one image (one frame) as a RAW image is called RAW image data.
  • image data having the same color array as that of an image pickup element (image sensor) is used as an example of RAW image data.
  • the RAW image data also includes image data that has the same color array as that of the image sensor due to the same defect correction. For example, when an image sensor outputs R (red), G (green), and B (blue) pixel signals, this RAW image data is R, G, and B format image data.
  • RAW image data includes not only R, G, and B pixel values, but also image data including W (white) pixel values. Furthermore, in the case of a Bayer array image sensor, image data including pixel values of G1 (green 1), G2 (green 2), R (red), and B (blue) becomes RAW image data. There is also an image data format in which each pixel value of G1, G2, R, and B is grouped as four separate channels. For example, G1, G2, R, and B constitute one frame, and then each channel is compressed. That is, image data such as G1 image data, G2 image data, R image data, and B image data. This is also included in the example of RAW image data.
  • image data read out from the image pickup device is image data in the form of luminance values and chroma values, and image data that has not been subjected to color reproduction/sharpness processing is sometimes called RAW image data.
  • RAW image data image data that has not been subjected to color reproduction/sharpness processing
  • this is also a type of RAW image data referred to in the present disclosure, it will be referred to as "YC-RAW image data" for the sake of distinction in explanation.
  • the image processing apparatus is installed as an image processing unit in an imaging apparatus (camera) or an information processing apparatus that performs image editing or the like.
  • the imaging device and the information processing device themselves equipped with these image processing units can also be considered as the image processing device.
  • FIG. 1 schematically shows that a plurality of pieces of RAW image data from RAW image data R#1 to RAW image data R#n are synthesized to generate one piece of synthesized RAW image data.
  • Synthesizing processing in the present embodiment includes synthesizing processing in which a plurality of pieces of image data are superimposed by aligning the positions of the frames of each other, and synthesis processing in which the positions of specific subjects in a plurality of image data are aligned with each other and superimposed. processing can be considered.
  • the plurality of RAW image data (R#1 to R#n) to be combined is a group of RAW image data captured continuously and having a temporally continuous frame relationship. is considered as an example. However, it is also assumed that a plurality of pieces of RAW image data that are completely unrelated in terms of time are synthesized. Furthermore, it is also assumed that a plurality of RAW image data, which are images having no particular correlation as subjects, are synthesized.
  • one frame of combined RAW image data may be generated, or a plurality of pieces of combined RAW image data of a smaller number than the plurality of pieces of RAW image data may be generated.
  • the RAW image data to be combined can be selected selectively, such as RAW image data combining all 10 frames or RAW image data combining 7 frames. An example using it is also conceivable.
  • image data in a predetermined format such as JPEG (Joint Photographic Experts Group) image data can be obtained.
  • the image data in the predetermined format is not limited to JPEG format image data.
  • HEIF High Efficiency Image File Format
  • YUV422, YUV420, etc. may be used.
  • synthesizing a plurality of temporally continuous RAW image data to generate synthesized RAW image data will be described.
  • a plurality of consecutively recorded RAW image data are combined to generate one composite RAW image data.
  • This provides an effect equivalent to the long-second exposure effect.
  • the combined RAW image data can be created at an arbitrary shutter speed slower than the shutter speed at the time of capturing each RAW image data.
  • lens correction, NR (noise reduction), demosaicing, color reproduction, sharpness processing, etc. are applied to the synthesized RAW image data obtained by the synthesis processing, as in normal development processing.
  • This imaging device 1 includes an image processing unit 20 that performs synthesis processing of RAW image data, and the image processing unit 20 or the imaging device 1 including the image processing unit 20 is an example of the image processing device of the present disclosure. can be considered as
  • the imaging apparatus 1 includes, for example, a lens system 11, an imaging element section 12, a recording control section 14, a display section 15, a communication section 16, an operation section 17, a camera control section 18, a memory section 19, an image processing section 20, a buffer memory 21, It has a driver section 22 and a sensor section 23 .
  • the lens system 11 includes lenses such as a zoom lens and a focus lens, an aperture mechanism, and the like.
  • the lens system 11 guides the light (incident light) from the object and converges it on the imaging element section 12 .
  • the imaging device unit 12 is configured by having an image sensor 12a (imaging device) such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type.
  • image sensor 12a imaging device
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control
  • the imaging signal as digital data is output to the image processing section 20 and the camera control section 18 in the subsequent stage.
  • the image processing unit 20 is configured as an image processing processor such as a DSP (Digital Signal Processor), for example.
  • the image processing unit 20 performs various kinds of signal processing on the digital signal (captured image signal) from the image sensor unit 12, that is, RAW image data.
  • RAW image data may refer to image data obtained by partially processing the digital signal from the imaging device unit 12, such as the YC-RAW image data described above.
  • RAW image data is sometimes called RAW image data after performing correction processing between the R, G, and B color channels. Further, image data at the stage of lens correction and noise reduction may also be called RAW image data.
  • the image processing section 20 has signal processing functions as a synthesis processing section 31 and a development processing section 32 .
  • the synthesis processing unit 31 performs a synthesis process of synthesizing a plurality of pieces of RAW image data each forming an image of one frame to generate synthetic RAW image data.
  • the development processing unit 32 performs development processing for generating image data in a predetermined format by performing development processing on the RAW image data and the combined RAW image data generated by the combining processing unit 31 .
  • the development processing unit 32 performs lens correction, noise reduction, synchronization processing, YC generation processing, color reproduction/sharpness processing, and the like.
  • color separation processing is performed so that the image data for each pixel has all of the R, G, and B color components.
  • demosaic processing is performed as color separation processing.
  • YC generation process a luminance (Y) signal and a color (C) signal are generated (separated) from R, G, and B image data.
  • color reproduction/sharpness processing processing for adjusting gradation, saturation, tone, contrast, etc. is performed as so-called image creation.
  • the processing of these development processing units 32 is development processing in a broad sense, but color reproduction/sharpness processing is particularly called development processing in a narrow sense.
  • Image data that has been subjected to development processing in the narrow sense loses part of the information of the original RAW image data, so the degree of freedom in subsequent image editing is narrowed. Further, image data at a stage where development processing in a narrow sense has not been performed can be said to fall under the categories of RAW image data and YC-RAW image data referred to in the present disclosure.
  • the image processing unit 20 thus performs the development processing in a broad sense by the development processing unit 32 to generate image data in a predetermined format.
  • resolution conversion and file formation processing may be performed.
  • file forming process for example, compression encoding for recording and communication, formatting, generation and addition of metadata are performed on the image data to generate a file for recording and communication.
  • an image file in a format such as JPEG, TIFF (Tagged Image File Format), GIF (Graphics Interchange Format), HEIF, YUV422, or YUV420 is generated as a still image file.
  • an image file in the MP4 format which is used for recording MPEG-4 compliant moving images and audio.
  • An image file of RAW image data that has not undergone development processing may be generated.
  • the buffer memory 21 is formed by, for example, a D-RAM (Dynamic Random Access Memory).
  • the buffer memory 21 is used for temporary storage of image data in the course of the composition processing and development processing in the image processing section 20 .
  • the recording control unit 14 performs recording and reproduction on a recording medium such as a non-volatile memory.
  • the recording control unit 14 performs processing for recording image files such as moving image data and still image data on a recording medium, for example.
  • a recording control unit 14 may be configured as a flash memory built in the imaging device 1 and its writing/reading circuit.
  • the recording control unit 14 may be configured by a card recording/reproducing unit that performs recording/reproducing access to a recording medium detachable from the imaging apparatus 1, such as a memory card (portable flash memory, etc.).
  • the recording control unit 14 may be implemented as an HDD (Hard Disk Drive) or the like as a form incorporated in the imaging device 1 .
  • HDD Hard Disk Drive
  • the display unit 15 is a display unit that performs various displays for the user, and is a display device such as a liquid crystal panel (LCD: Liquid Crystal Display) or an organic EL (Electro-Luminescence) display arranged in the housing of the imaging device 1, for example. Due to the display panel and viewfinder.
  • the display unit 15 executes various displays on the display screen based on instructions from the camera control unit 18 .
  • the display unit 15 displays a reproduced image of image data read from the recording medium by the recording control unit 14 .
  • the display unit 15 is supplied with the image data of the picked-up image whose resolution has been converted for display by the image processing unit 20, and the display unit 15 responds to an instruction from the camera control unit 18, based on the image data of the picked-up image.
  • a so-called through image (monitoring image of the subject), which is an image captured while confirming the composition or recording a moving image, is displayed.
  • the display unit 15 displays various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) on the screen based on instructions from the camera control unit 18 .
  • GUI Graphic User Interface
  • the communication unit 16 performs wired or wireless data communication and network communication with external devices. For example, still image files and moving image files including captured image data and metadata are transmitted and output to an external information processing device, display device, recording device, playback device, or the like.
  • the communication unit 16 performs communication via various networks such as the Internet, a home network, and a LAN (Local Area Network), and can transmit and receive various data to and from servers, terminals, etc. on the network. can.
  • the imaging device 1 communicates with, for example, a PC, a smartphone, a tablet terminal, or the like via the communication unit 16, such as Bluetooth (registered trademark), Wi-Fi (registered trademark) communication, NFC (Near field communication), etc.
  • the imaging device 1 and other equipment may be able to communicate with each other through wired connection communication. Therefore, the imaging device 1 can transmit the captured image and the metadata to the information processing device 70 to be described later by using the communication unit 16 .
  • the operation unit 17 collectively indicates an input device for a user to perform various operation inputs. Specifically, the operation unit 17 indicates various operators (keys, dials, touch panels, touch pads, etc.) provided on the housing of the imaging device 1 . A user's operation is detected by the operation unit 17 , and a signal corresponding to the input operation is sent to the camera control unit 18 .
  • the camera control unit 18 is configured by a microcomputer (arithmetic processing unit) having a CPU (Central Processing Unit).
  • the memory unit 19 stores information and the like that the camera control unit 18 uses for processing.
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • flash memory and the like are comprehensively illustrated.
  • the memory section 19 may be a memory area built into a microcomputer chip as the camera control section 18, or may be configured by a separate memory chip.
  • the camera control unit 18 controls the entire imaging apparatus 1 by executing programs stored in the ROM of the memory unit 19, flash memory, or the like.
  • the camera control unit 18 controls the shutter speed of the image sensor unit 12, instructs various signal processing in the image processing unit 20, performs image capturing and recording operations in response to user operations, reproduces recorded image files, performs lens mirror It controls the operations of necessary units for operations of the lens system 11 such as zoom, focus, and aperture adjustment in the cylinder, user interface operations, and the like.
  • the RAM in the memory unit 19 is used as a work area for the CPU of the camera control unit 18 to perform various data processing, and is used for temporary storage of data, programs, and the like.
  • the ROM and flash memory (nonvolatile memory) in the memory unit 19 store an OS (Operating System) for the CPU to control each unit, content files such as image files, application programs for various operations, and firmware. , and used to store various setting information.
  • OS Operating System
  • the driver unit 22 includes, for example, a motor driver for the zoom lens drive motor, a motor driver for the focus lens drive motor, a motor driver for the motor of the aperture mechanism, and the like. These motor drivers apply drive currents to the corresponding drivers in accordance with instructions from the camera control unit 18 to move the focus lens and zoom lens, open and close the diaphragm blades of the diaphragm mechanism, and the like.
  • the sensor unit 23 comprehensively indicates various sensors mounted on the imaging device.
  • an IMU intial measurement unit
  • an acceleration sensor detects acceleration. be able to.
  • a position information sensor, an illuminance sensor, a range sensor, etc. may be mounted.
  • Various types of information detected by the sensor unit 23, such as position information, distance information, illuminance information, and IMU data, are added as metadata to the captured image together with date and time information managed by the camera control unit 18.
  • the information processing device 70 is a device such as a computer device capable of information processing, particularly image processing.
  • the information processing device 70 is assumed to be a personal computer (PC), a mobile terminal device such as a smart phone or a tablet, a mobile phone, a video editing device, a video reproducing device, or the like.
  • the information processing device 70 may be a computer device configured as a server device or an arithmetic device in cloud computing.
  • the information processing device 70 includes an image processing unit 20 that performs synthesis processing of RAW image data, and the image processing unit 20 or the information processing device 70 including the image processing unit 20 performs image It can be considered as an example of a processing device.
  • the CPU 71 of the information processing device 70 executes various programs according to a program stored in a non-volatile memory unit 74 such as a ROM 72 or an EEP-ROM (Electrically Erasable Programmable Read-Only Memory), or a program loaded from the storage unit 79 to the RAM 73. process.
  • a non-volatile memory unit 74 such as a ROM 72 or an EEP-ROM (Electrically Erasable Programmable Read-Only Memory), or a program loaded from the storage unit 79 to the RAM 73. process.
  • the RAM 73 also appropriately stores data necessary for the CPU 71 to execute various processes.
  • the image processing unit 20 has the functions of the synthesis processing unit 31 and the development processing unit 32 described in the imaging device 1 described above.
  • the composition processing section 31 and the development processing section 32 as the image processing section 20 may be provided as functions within the CPU 71 .
  • the image processing unit 20 may be realized by a CPU, a GPU (Graphics Processing Unit), a GPGPU (General-purpose computing on graphics processing units), an AI (artificial intelligence) processor, or the like, which is separate from the CPU 71 .
  • the CPU 71 , ROM 72 , RAM 73 , nonvolatile memory section 74 and image processing section 20 are interconnected via a bus 83 .
  • An input/output interface 75 is also connected to this bus 83 .
  • the input/output interface 75 is connected to an input section 76 including operators and operating devices.
  • various operators and operation devices such as a keyboard, mouse, key, dial, touch panel, touch pad, remote controller, etc. are assumed.
  • a user's operation is detected by the input unit 76 , and a signal corresponding to the input operation is interpreted by the CPU 71 .
  • a microphone is also envisioned as input 76 .
  • a voice uttered by the user can also be input as operation information.
  • the input/output interface 75 is connected integrally or separately with a display unit 77 such as an LCD or an organic EL panel, and an audio output unit 78 such as a speaker.
  • the display unit 77 is a display unit that performs various displays, and is configured by, for example, a display device provided in the housing of the information processing device 70, a separate display device connected to the information processing device 70, or the like.
  • the display unit 77 displays images for various types of image processing, moving images to be processed, etc. on the display screen based on instructions from the CPU 71 . Further, the display unit 77 displays various operation menus, icons, messages, etc., ie, as a GUI (Graphical User Interface), based on instructions from the CPU 71 .
  • GUI Graphic User Interface
  • the input/output interface 75 may be connected to a storage unit 79 made up of an HDD, a solid-state memory, etc., and a communication unit 80 made up of a modem or the like.
  • the storage unit 79 can store data to be processed and various programs.
  • the storage unit 79 stores image data to be processed (for example, RAW image data), combined RAW image data, or combined RAW image data. It is also assumed that JPEG image data or the like that has been developed for is stored.
  • the storage unit 79 also stores programs for synthesizing processing and developing processing.
  • the communication unit 80 performs communication processing via a transmission line such as the Internet, and communication by wired/wireless communication with various devices, bus communication, and the like.
  • the communication unit 80 performs communication with the imaging device 1 , particularly reception of captured images and the like.
  • a drive 81 is also connected to the input/output interface 75 as required, and a removable recording medium 82 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory is appropriately loaded.
  • Data files such as image files and various computer programs can be read from the removable recording medium 82 by the drive 81 .
  • the read data file is stored in the storage unit 79 , and the image and sound contained in the data file are output by the display unit 77 and the sound output unit 78 .
  • Computer programs and the like read from the removable recording medium 82 are installed in the storage unit 79 as required.
  • software for the processing of the present embodiment can be installed via network communication by the communication unit 80 or via the removable recording medium 82.
  • the software may be stored in advance in the ROM 72, the storage unit 79, or the like.
  • Synthesis Processing and Development Processing of RAW Image Data Synthesis processing and development processing of RAW image data performed by the image processing unit 20 in the imaging device 1 and the information processing device 70 will be described below.
  • the image processing unit 20 combines a plurality of pieces of RAW image data for the purpose of editing the shutter speed after imaging, and performs a process of generating one or more pieces of combined RAW image data.
  • FIG. 4 schematically shows the flow of development processing in the image processing section 20.
  • the image data input from the imaging device unit 12 itself or a state after preprocessing (not shown) is added becomes RAW image data.
  • FIG. 4 shows image data input from the image sensor unit 12 as RAW image data on the assumption that the image capturing apparatus 1 is used. It can be considered as image data.
  • Development processing in a broad sense includes, for example, lens correction in step ST1, NR (noise reduction) in step ST2, demosaicing in step ST3, and color reproduction/sharpness processing in step ST4, which is development processing in a narrow sense. Then, for example, JPEG image data is generated as image data after such development processing.
  • FIGS. 5A and 5B A comparative example and an embodiment are shown in FIGS. 5A and 5B as the relationship between the developing process and the synthesizing process.
  • FIG. 5A shows a comparative example with respect to the embodiment, in which a plurality of JPEG image data (from J#1 to J#n). The plurality of JPEG image data (J#1 to J#n) are combined in step ST20 to generate combined JPEG image data.
  • step ST1, ST2, ST3, ST4 development processing in a broad sense is required for each of a plurality of image data used for synthesis.
  • each individual JPEG image data J#1 to J#n
  • FIG. 5B shows a plurality of RAW image data (R#1 to R#n) as image data to be combined.
  • the compositing process in step ST10 is performed on the plurality of pieces of RAW image data (R#1 to R#n).
  • synthesized RAW image data is obtained.
  • development processing in steps ST1, ST2, ST3, and ST4 is performed on the combined RAW image data. This generates JPEG image data as a composite image.
  • the development processing is only required once after synthesis, and the burden of signal processing is reduced.
  • the image quality of the generated developed image data for example, the above-described JPEG image data can be improved. be able to.
  • the synthesized RAW image data which has not undergone image creation such as color reproduction/sharpness processing, has no loss of information due to image creation, and thus has high editability in terms of color reproduction, for example.
  • a composite image can be generated at a shutter speed obtained by multiplying the shutter speed at the time of capturing one piece of RAW image data by the number of composite images. For example, if the shutter speed is set to 1/100 second and 100 consecutive shots of RAW image data are synthesized, a synthesized image with a shutter speed of 1 second can be obtained.
  • FIG. 6 In this way of thinking, it is possible to edit the shutter speed after shooting. An example of processing for this will be described with reference to FIGS. 6 and 7.
  • FIG. 6 An example of processing for this will be described with reference to FIGS. 6 and 7.
  • FIG. 6 shows an example of processing when the imaging device 1 takes an image.
  • the imaging apparatus 1 allows the user to select the RAW synthesis mode.
  • the image processing unit 20 performs the illustrated processing based on the control of the camera control unit 18 .
  • step S ⁇ b>101 the image processing unit 20 sets the RAW synthesis mode based on an instruction from the camera control unit 18 . This is the setting of the operation mode for performing the processing from step S103 onwards.
  • step S102 the image processing unit 20 waits for a release operation.
  • a user performs a release operation such as, for example, holding down the shutter button, for example, in the manner of continuous shooting.
  • the image processing unit 20 proceeds from step S102 to step S103 according to the release instruction from the camera control unit 18, and performs the subsequent processing.
  • the image sensor unit 12 When the release operation is performed, the image sensor unit 12 performs continuous shooting operation. For example, image data is sequentially sent to the image processing unit 20 by imaging operation at a constant shutter speed.
  • the image processing unit 20 buffers the RAW image data. That is, a process of storing one frame of RAW image data input from the image sensor unit 12 in the buffer memory 21 is performed.
  • the image processing unit 20 repeats the process of step S103 while monitoring the release operation end notification from the camera control unit 18 in step S104. As a result, a plurality of pieces of RAW image data are buffered until the release operation is completed.
  • step S105 the image processing unit 20 proceeds to step S105 to perform additional processing on each of the plurality of RAW image data temporarily stored in the buffer memory 21 .
  • This additional processing is processing for making the exposure periods of a plurality of pieces of RAW image data temporally continuous, that is, making the exposure periods seamless.
  • each of the plurality of RAW image data is processed to add the exposure amount corresponding to the non-exposure period in the image sensor 12a to the exposure amount in the exposure period in the image sensor 12a.
  • the additional processing in step S105 does not necessarily have to be started after the release operation is completed.
  • the additional processing in step S105 may be started while continuous shooting is being performed.
  • a specific example of the additional processing in step S105 will be described below with reference to FIG. 8, but this additional processing itself may not be performed in some cases. In other words, a processing example in which step S105 does not exist in FIG. 6 is also assumed.
  • FIG. 8 shows an exposure period Ta and a charge readout period Tb due to exposure as imaging operations of the image sensor 12a. Although there are actually periods during which neither exposure nor readout is performed, reset periods, etc., they are included in the readout period Tb for the sake of simplification of illustration and description.
  • One frame of image data is obtained by the operation of the exposure period Ta and the readout period Tb, and the exposure period Ta and the readout period Tb are repeated by continuous shooting. However, during the readout period Tb, the image sensor 12a is not exposed. Then, even if a plurality of pieces of RAW image data are combined as they are, accurately, the shutter speed is not simply slowed down.
  • the compositing process in the sense of editing the shutter speed does not necessarily have a strict meaning. It is possible to edit the shutter speed with . In that case, the additional processing in step S105 may be unnecessary.
  • the exposure period Ta is interrupted due to the necessity of the readout period Tb.
  • Shall generate image data.
  • each pixel value of one frame is interpolated in consideration of the ratio of the period lengths of the exposure period Ta and the readout period Tb, and the amount of change from the pixel values before and after the additional processing of the previous and subsequent frames.
  • a pixel value is calculated when it is assumed that exposure is performed also during the readout period Tb.
  • each pixel value is subjected to additional processing to obtain RAW image data R#1, R#2, R#3, and so on.
  • the RAW image data R#1, R#2, R#3, is subjected to additional processing to obtain RAW image data R#1, R#2, R#3, and so on.
  • RAW image data R#1 is obtained from the output of the image sensor 12a1, for example.
  • RAW image data R#2 is obtained from the output of the image sensor 12a2.
  • the image sensor 12a1 and the image sensor 12a2 are operated so as to be synchronized with their exposure timings shifted.
  • the exposure period Ta of the image sensor 12a2 starts at the end timing of the exposure period Ta of the image sensor 12a1, and the exposure period Ta of the image sensor 12a1 starts at the end timing of the exposure period Ta of the image sensor 12a2. make it By doing so, the RAW image data R#1, R#2, R#3, R#4, .
  • a plurality of RAW image data R#1, R#2, . . . are packed and recorded as a group of image data.
  • HEIF can be used for packing.
  • a plurality of pieces of RAW image data are transferred from the image processing unit 20 to the recording control unit 14 and recorded on a recording medium as a group of image data.
  • a plurality of pieces of RAW image data may be transmitted from the communication unit 16 to an external device such as the information processing apparatus 70 as a group of grouped image data.
  • Shutter speed editing after imaging can be performed on a plurality of pieces of RAW image data packed as described above in the imaging device 1 or the information processing device 70 through the processing in FIG. 7 .
  • a group of RAW image data recorded on a recording medium is targeted.
  • a group of RAW image data received from the imaging apparatus 1 or imported via the removable recording medium 82 and stored in the storage unit 79 is processed as shown in FIG. It can be performed.
  • step S150 the image processing unit 20 sets the specified shutter speed or the specified number of combined images.
  • the user interface allows the user to specify an arbitrary shutter speed and an arbitrary number of combined images using the operation unit 17 (or the input unit 76).
  • the camera control unit 18 detects the user's operation, it notifies the image processing unit 20 of it. Accordingly, the image processing unit 20 sets the shutter speed or the number of images to be synthesized.
  • Setting the shutter speed means dividing the obtained shutter speed by the shutter speed at the time of imaging to calculate the number of pieces of RAW image data to be combined. Also, setting the number of images means determining the number of pieces of RAW image data to be directly subjected to synthesis processing.
  • step S151 the image processing unit 20 sets the range of RAW image data to be combined.
  • the range from the temporally first start image to the temporally last end image among the 50 images is set.
  • a range from synthetic RAW image data R#10 to RAW image data R#30 is set as a synthetic range.
  • step S150 since the shutter speed or the number of images is set in step S150, if either the start image or the end image is specified by the user in step S151, the range of image data to be synthesized can be set. Become.
  • the user may arbitrarily specify the start image and the end image without specifying the shutter speed or the number of images, so that a composite image with an arbitrary shutter speed can be obtained.
  • step S152 the image processing unit 20 performs synthesis processing of a plurality of RAW image data within the range set in step S151.
  • a simple synthesis process of synthesizing for example, averaging
  • a synthesis process of synthesizing a plurality of images with different weights may be performed.
  • the composite processing may be performed so that the specific portion is not blurred.
  • Synthetic RAW image data is obtained by the synthesizing process.
  • the image processing unit 20 performs development processing on the combined RAW image data.
  • JPEG image data is generated.
  • the image processing unit 20 outputs image data to be recorded.
  • JPEG image data and synthesized RAW image data are transferred to the recording control unit 14 and recorded on a recording medium.
  • the image processing unit 20 transfers the JPEG image data and the synthesized RAW image data to the storage unit 79 and causes them to be recorded.
  • the image data to be recorded may be only JPEG image data that has undergone development processing, or may be only combined RAW image data.
  • JPEG image data and synthetic RAW image data recorded as described above can be said to be image data edited to an arbitrary shutter speed after shooting.
  • FIG. 10 shows the processing flow of the image processing unit 20 when obtaining YC-RAW image data.
  • broadly defined development processing includes, for example, lens correction in step ST1, NR in step ST2, demosaicing in step ST3, and narrowly defined development processing in step ST4.
  • JPEG image data is generated by performing color reproduction/sharpness processing.
  • YC-RAW image data is obtained by performing YC conversion in step ST5 after demosaicing. Note that the lens correction in step ST1 and the NR in step ST2 may not be performed for the generation of YC-RAW image data.
  • YC-RAW image data for example, by packing and recording a plurality of temporally continuous images in a group, it is possible to perform synthesis processing using the plurality of YC-RAW image data at a later point in time. Become. In particular, since YC-RAW image data is in a state before color reproduction/sharpness processing is performed, information at the stage of RAW image data is not lost, so the same advantages as in the above-described synthesis of RAW image data can be obtained. can get.
  • FIG. 11A, 11B, and 11C show an example of synthesis processing using YC-RAW image data.
  • FIG. 11A shows a plurality of YC-RAW image data (YCR#1 to YCR#n), and is an example in which synthesis processing is performed in step ST11 to generate synthesized YC-RAW image data. Further, by performing the color reproduction/sharpness processing in step ST4 on the synthesized YC-RAW image data, developed image data such as JPEG image data can be generated as a synthesized image.
  • a plurality of RGB-RAW image data (R#1 to R#n) are combined in step ST10 to generate combined RGB-RAW image data, and the processes in steps ST1, ST2, ST3, and ST5 are performed. is performed to generate composite YC-RAW image data.
  • FIG. 11C is an example in which a plurality of YC-RAW image data are converted back to RGB-RAW image data (R#1 to R#n) and then synthesized.
  • a plurality of RGB-RAW image data (R#1 to R#n) returned from a plurality of YC-RAW image data are combined in step ST10 to generate combined RGB-RAW image data, and steps ST1 and ST2. , ST3, and ST4 are performed to generate, for example, JPEG image data as a composite image.
  • the image processing apparatus that is, the image processing unit 20 (or the imaging apparatus 1 or the information processing apparatus 70 including the image processing unit 20) synthesizes a plurality of pieces of RAW image data each forming an image of one frame.
  • a composition processing unit 31 that generates composite RAW image data is provided.
  • Performing synthesis processing for synthesizing a plurality of image data at the stage of RAW image data means that the plurality of image data are synthesized before development processing is performed, and then development processing is performed.
  • Generating JPEG image data or the like by performing development processing on the combined RAW image data means that appropriate development processing can be performed on the combined RAW image data.
  • a plurality of RAW image data to be combined may be captured as temporally continuous still images, or may be RAW image data of each frame captured as a moving image. Furthermore, the plurality of RAW image data to be combined may be a plurality of RAW image data that are not related to each other in terms of imaging time or subject. That is, it is conceivable to synthesize a plurality of arbitrary RAW image data selected by the user.
  • the image processing unit 20 of the embodiment further includes a development processing unit 32 that performs development processing on the combined RAW image data generated by the combining processing unit 31 to generate image data in a predetermined format.
  • development processing is performed with various parameters suitable for the combined RAW image data, and image data in a predetermined format after combining, such as JPEG image data, can be obtained.
  • An image based on image data) can be improved in image quality.
  • it is not necessary to perform development processing on each of a plurality of pieces of RAW image data before combining it is possible to improve the efficiency of development processing.
  • the synthesized RAW image data is obtained by synthesizing the RAW image data before development processing including compression processing, etc., and since much information remains as the original image, the user has freedom when creating images. There is also the advantage that the degree is expanded. Storing the combined RAW image data is also suitable for performing development in the future in a state where developing processing technology advances.
  • composition processing unit 31 generates composite RAW image data corresponding to an image captured at a shutter speed slower than the shutter speed at the time of image capturing by composition processing. For example, by synthesizing a plurality of pieces of RAW image data related to subject content, it is possible to obtain synthetic RAW image data corresponding to an image captured at a shutter speed slower than the shutter speed at which each piece of RAW image data was captured.
  • the plurality of RAW image data synthesized by the synthesis processing unit 31 is temporally consecutive frames of RAW image data.
  • a plurality of RAW image data to be synthesized by the synthesis processing unit 31 is temporally consecutive frames of RAW image data at a constant shutter speed.
  • a plurality of pieces of RAW image data obtained by imaging are image data with the same shutter speed. Therefore, a synthesized image with an arbitrary shutter speed can be obtained simply by setting the range of RAW image data to be synthesized.
  • the plurality of RAW image data to be synthesized by the synthesis processing unit 31 is temporally adjacent RAW image data, and is a plurality of RAW image data whose exposure periods are temporally continuous.
  • An example was given (see FIGS. 8 and 9). Since a plurality of pieces of RAW image data are in a continuous state with no break in the exposure period, the combined RAW image data can be equivalent to an image actually captured at a shutter speed slower than the shutter speed at the time of image capturing. It becomes image data that can be handled. In other words, it becomes possible to edit the shutter speed in the original sense of the length of the continuous exposure period. This makes it possible to change the shutter speed after shooting, which normally cannot be done after shooting.
  • a plurality of pieces of RAW image data synthesized by the synthesizing processing unit 31 undergo additional processing of adding an exposure amount corresponding to a non-exposure period in the imaging element to the exposure amount in the exposure period in the imaging element.
  • the exposure periods are temporally continuous
  • the plurality of RAW image data can be considered as data obtained in a state in which the non-exposure periods do not exist. Therefore, a series of RAW image data can be treated as a plurality of pieces of RAW image data whose exposure periods are temporally continuous, and can be combined.
  • the plurality of RAW image data synthesized by the synthesizing processing unit 31 are alternately and sequentially read out from the plurality of image sensors 12a1 and 12a2 so that the exposure periods are temporally continuous.
  • An example was also given (see Figure 9).
  • a plurality of image sensors 12a1 and 12a2 are used, and the exposure timings of the image sensors 12a1 and 12a2 are set so that the other is exposed during the non-exposure period of one, and RAW data is alternately and sequentially read from the image sensors 12a1 and 12a2.
  • the series of RAW image data becomes a plurality of RAW image data whose exposure periods are temporally continuous.
  • composition processing unit 31 selects the composition target RAW image data to be the composition processing target from a plurality of temporally continuous RAW image data based on the designation of the shutter speed ( See Figure 7).
  • synthesis processing is performed in accordance with the user's shutter speed specification operation, and the synthesized RAW image data becomes an image as if it were captured at the specified shutter speed. Usability is good in the sense of editing the shutter speed.
  • composition processing unit 31 selects composition target RAW image data to be subjected to composition processing from among a plurality of temporally continuous RAW image data based on designation of the number of sheets. (See FIG. 7).
  • the synthesis process is performed according to the user's operation for specifying the number of images, and the synthesized RAW image data becomes the specified number of synthesized images.
  • the user is provided with a designation method different from the designation by the shutter speed, which makes it easier for some users to use. By allowing the user to switch between an operation mode specified by the shutter speed and an operation mode specified by the number of images, usability suited to the user's preference is realized.
  • the example in which the RAW image data is RGB-RAW image data having the same color array as the color array of the image sensor is given.
  • it is R, G, B format image data. It includes image data composed of pixel values of G1, G2, R, and B pixels in the case of the Bayer array, and image data obtained by performing some of the processes described above.
  • RAW image data composed of such pixel values is the original image information read out from the image sensor unit 12, and has a high degree of freedom in development processing after synthesis.
  • the RAW image data is YC-RAW image data in which the pixel values read out from the image sensor are in the form of luminance values and chroma values, and which are not subjected to color reproduction/sharpness processing.
  • YC-RAW image data the efficiency of the developing process is improved by synthesizing the data and performing the synthesizing process.
  • YC-RAW image data can be restored to RAW image data, so that synthesis processing and subsequent development processing can be performed after returning to RAW image data.
  • the program of the embodiment is a program that causes a CPU, DSP, GPU, GPGPU, AI processor, etc., or a device including these to execute the processes shown in FIGS. That is, the program according to the embodiment is a program that causes an information processing apparatus to execute a combining process of combining a plurality of pieces of RAW image data each forming an image of one frame to generate combined RAW image data.
  • the image processing device referred to in the present disclosure can be realized by various computer devices.
  • a HDD as a recording medium built in equipment such as a computer device, or in a ROM or the like in a microcomputer having a CPU.
  • a flexible disc a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a Blu-ray disc (Blu-ray Disc (registered trademark)), a magnetic disc, a semiconductor memory
  • a removable recording medium such as a memory card.
  • Such removable recording media can be provided as so-called package software.
  • a program from a removable recording medium to a personal computer or the like, it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • Such a program is suitable for widely providing the image processing apparatus of the present disclosure.
  • a mobile terminal device such as a smartphone or tablet, a mobile phone, a personal computer, a game device, a video device, a PDA (Personal Digital Assistant), etc.
  • these devices function as the image processing device of the present disclosure. be able to.
  • An image processing apparatus comprising a synthesizing unit that synthesizes a plurality of pieces of RAW image data each forming an image of one frame to generate synthesized RAW image data.
  • a synthesizing unit that synthesizes a plurality of pieces of RAW image data each forming an image of one frame to generate synthesized RAW image data.
  • the image processing apparatus according to (1) above further comprising a development processing unit that performs development processing on the combined RAW image data generated by the combining processing unit to generate image data in a predetermined format.
  • the image processing apparatus according to any one of (1) to (3) above, wherein the plurality of RAW image data to be synthesized by the synthesis processing unit is temporally continuous RAW image data of a plurality of frames.
  • the image processing apparatus according to any one of (1) to (4) above, wherein the plurality of RAW image data to be synthesized by the synthesis processing unit are temporally consecutive frames of RAW image data at a constant shutter speed.
  • a plurality of RAW image data synthesized by the synthesizing unit is subjected to additional processing of adding an exposure amount corresponding to a non-exposure period in the imaging element to an exposure amount in the exposure period in the imaging element, thereby obtaining an exposure period
  • the plurality of RAW image data synthesized by the synthesizing processing unit are alternately and sequentially read out from a plurality of image pickup devices so that the exposure periods are in a state of being temporally continuous.
  • the synthesis processing unit The image processing according to any one of (1) to (8) above, wherein RAW image data to be combined is selected from a plurality of temporally continuous RAW image data based on designation of shutter speed. Device. (10) The synthesis processing unit The image processing apparatus according to any one of (1) to (9) above, wherein, based on designation of the number of images, synthesis target RAW image data to be subjected to synthesis processing is selected from a plurality of temporally continuous RAW image data. (11) The image processing apparatus according to any one of (1) to (10) above, wherein the RAW image data is image data having the same color arrangement as that of an image sensor.
  • the RAW image data is image data in which the pixel values read out from the imaging device are in the form of luminance values and chroma values, and is image data that has not been subjected to color reproduction/sharpness processing (1) to (10) above. ).
  • (13) 1. An image processing method in which an image processing apparatus executes a synthesis process of synthesizing a plurality of pieces of RAW image data, each of which constitutes an image of one frame, to generate synthesized RAW image data.
  • a program that causes an information processing apparatus to execute a synthesis process of synthesizing a plurality of pieces of RAW image data, each of which constitutes an image of one frame, to generate synthesized RAW image data.
  • Imaging device 12 Imaging device unit 12a, 12a1, 12a2 Image sensor 14 Recording control unit 15 Display unit 16 Communication unit 17 Operation unit 18 Camera control unit 19 Memory unit 20 Image processing unit 21 Buffer memory 31 Image synthesizing unit 32 Development processing unit 70 information processing equipment, 71 CPUs 79 storage unit 80 communication unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

複数の画像データについて現像処理を施す前のＲＡＷ画像の段階で合成を行うことができるようにする。画像処理装置は、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部を備えるようにする。

Description

画像処理装置、画像処理方法、プログラム
　本技術は画像処理装置、画像処理方法、プログラムに関し、画像の合成処理の技術に関する。
　撮像装置などで画作りを行う前の画像はＲＡＷ画像と呼ばれることがある。そして撮影結果の画像としてＲＡＷ画像を記録することは一般に行われている。ＲＡＷ画像を記録すると、撮像後に色再現などの処理における自由度が高まるという利点があるためである。
　下記特許文献１では、熟練を必要とせずに、長時間露光を利用した先幕シンクロ／後幕シンクロ／マルチ発光などの画像効果を容易に実現できるようにする技術が開示されている。
特開２００９－２３２３８２号公報
　ところで一般に、カメラマンは撮像装置で撮像を行う際にシャッタースピードを設定する。シャッタースピードが自動設定される撮像装置もある。いずれにしても、撮像実行時にシャッタースピードは設定されていることになる。
　そのため、例えＲＡＷ画像データを記録していても、撮像後にシャッタースピードの調整をすることはできない。このため、撮像前のシャッタースピード設定が適切でなかったなどとして撮影に失敗することもありえる。
　またＲＡＷ画像データについては現像処理を行って画作りをした所定形式の画像データを生成するが、特許文献１のように現像後の画像データを合成する場合に、必ずしも合成画像に適した現像処理が行われるとは限らない。
　本開示では、これらの点に注目し、よりＲＡＷ画像を有効に利用する技術を提案することを目的とする。
　本技術に係る画像処理装置は、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部を備える。
　撮像により得られる一群のＲＡＷ画像データを合成する。即ち現像処理前の段階で合成する。
　上記した本技術に係る画像処理装置においては、前記合成処理部により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部をさらに備えることが考えられる。
　つまりＲＡＷ画像データを合成した後に、その合成ＲＡＷ画像データについて現像処理を行うようにする。
　上記した本技術に係る画像処理装置においては、前記合成処理部は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成することが考えられる。
　複数のＲＡＷ画像データを合成することで、個々のＲＡＷ画像の撮像時のシャッタースピードよりも長い露光期間のシャッタースピードの画像が得られるようにする。
　上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に連続する複数フレームのＲＡＷ画像データであることが考えられる。
　例えば連写撮像や動画撮像により得られる、時間的に連続した撮像で得られた複数のフレームのＲＡＷ画像データを合成対象とする。
　上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データであることが考えられる。
　例えば一定のシャッタースピードで連写撮像や動画撮像により得られる、時間的に連続した撮像で得られた複数のフレームのＲＡＷ画像データを合成対象とする。
　上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に隣接するＲＡＷ画像データで、互いの露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データであることが考えられる。
　例えば時間的に連続するＲＡＷ画像データは、非露光期間が存在しないような一連のＲＡＷ画像データとする。
　上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、露光期間が時間的に連続する状態とされたものであることが考えられる。
　撮像素子（イメージセンサ）による撮像動作では、例えば露光期間と読出期間が時分割で行われるため、読出期間は露光が途切れた非露光期間となる。このような非露光期間に露光量（露光により蓄積される電荷量）に相当する補間を行う。
　上記した本技術に係る画像処理装置においては、前記合成処理部で合成する複数のＲＡＷ画像データは、複数の撮像素子から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものであることが考えられる。
　複数の撮像素子を用いることで、一方の読出期間に、他方で露光を行うということができる。
　上記した本技術に係る画像処理装置においては、前記合成処理部は、シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択することが考えられる。
　例えば合成処理を行う際に、ユーザがシャッタースピードを指定できるようにする。
　上記した本技術に係る画像処理装置においては、前記合成処理部は、枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データから合成処理の対象とする合成対象ＲＡＷ画像データを選択することが考えられる。
　例えば合成処理を行う際に、ユーザが画像の枚数を指定できるようにする。
　上記した本技術に係る画像処理装置においては、前記ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有する画像データであることが考えられる。
　上記した本技術に係る画像処理装置においては、前記ＲＡＷ画像データは、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データであることが考えられる。
　いわゆるＹＣ－ＲＡＷと呼ばれる画像データである。
　本技術に係る画像処理方法は、画像処理装置が、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を実行する画像処理方法である。これによりＲＡＷ画像データを有効に用いる。
　本技術に係るプログラムは、この画像処理を情報処理装置に実行させるプログラムである。これにより上記の画像処理装置を容易に実現できるようにする。
本技術の実施の形態の合成処理の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の情報処理装置のブロック図である。 ＲＡＷ画像データと現像処理の説明図である。 実施の形態及び比較例の合成処理と現像処理の説明図である。 実施の形態の撮像時の処理のフローチャートである。 実施の形態の合成処理及び現像処理を含むフローチャートである。 実施の形態で露光期間を連続させる追加処理の説明図である。 実施の形態で露光期間が連続したＲＡＷ画像データの撮像の説明図である。 ＹＣ－ＲＡＷ画像データと現像処理の説明図である。 実施の形態の合成処理と現像処理の説明図である。
　以下、実施の形態を次の順序で説明する。
＜１．概要＞
＜２．撮像装置の構成＞
＜３．情報処理装置の構成＞
＜４．ＲＡＷ画像データの合成処理と現像処理＞
＜５．ＹＣ－ＲＡＷ画像データの合成処理と現像処理＞
＜６．まとめ及び変形例＞
　なお本開示では、撮像装置などで現像処理の一部又は全部を行う前の画像をＲＡＷ画像と呼ぶ。またＲＡＷ画像としての１枚（１フレーム）の画像を構成する画像データをＲＡＷ画像データと呼ぶ。
　具体的にＲＡＷ画像データと呼ばれる画像データは各種存在するが、本実施の形態では撮像素子（イメージセンサ）の色配列と同じ色配列を有する画像データをＲＡＷ画像データの例とする。なお同じ欠陥補正がされることで撮像素子の色配列と同じ色配列を有することになった画像データもＲＡＷ画像データに含まれる。
　このＲＡＷ画像データは、例えばイメージセンサにおいてＲ（赤）、Ｇ（緑）、Ｂ（青）の画素信号を出力する場合は、Ｒ、Ｇ、Ｂ形式の画像データとなる。なお、ＲＡＷ画像データとしては、Ｒ、Ｇ、ＢだけでなくＷ（ホワイト）の画素値を含んだ画像データもある。さらにベイヤー配列のイメージセンサの場合、Ｇ１（緑１），Ｇ２（緑２），Ｒ（赤），Ｂ（青）の各画素値を含んだ画像データがＲＡＷ画像データとなる。また、Ｇ１，Ｇ２，Ｒ，Ｂの各画素値を４つの別のチャンネルとしてそれぞれを纏めるような画像データ形式もある。例えばＧ１，Ｇ２，Ｒ，Ｂのそれぞれだけで１フレームを構成し、その後、各チャンネルを圧縮したような画像データである。つまりＧ１画像データ，Ｇ２画像データ，Ｒ画像データ，Ｂ画像データなどとしての画像データである。これもＲＡＷ画像データの例に含まれる。
　また、撮像素子から読み出される画像データを、輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データもＲＡＷ画像データと呼ばれることがある。これも本開示でいうＲＡＷ画像データの一種であるが、説明上の区別のため、「ＹＣ－ＲＡＷ画像データ」と呼ぶこととする。
＜１．概要＞
　実施の形態の画像処理装置は、撮像装置（カメラ）や画像編集等を行う情報処理装置において画像処理部として搭載されることが想定される。また、これらの画像処理部を搭載した撮像装置や情報処理装置自体を、画像処理装置と考えることもできる。
　そのような画像処理装置は、複数のＲＡＷ画像データを合成して、合成ＲＡＷ画像データを生成する処理を行う。
　図１には、ＲＡＷ画像データＲ＃１からＲＡＷ画像データＲ＃ｎまでの複数のＲＡＷ画像データを合成して１枚の合成ＲＡＷ画像データを生成することを模式的に示している。本実施の形態における合成処理としては、複数の画像データを、互いのフレームの位置を合わせて重畳させるような合成処理や、複数の画像データにおいて特定被写体の位置を互いに合わせて重畳させるような合成処理が考えられる。
　この場合に、合成処理の対象とする複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）は、連続して撮像され、時間的に連続したフレームとしての関係を持つ一群のＲＡＷ画像データであることが一例として考えられる。
　但し、全く時間的には無関係な複数のＲＡＷ画像データを合成することも想定される。さらに被写体として特に相関関係がない画像である複数のＲＡＷ画像データを合成することも想定される。
　また複数のＲＡＷ画像データからは、１枚の合成ＲＡＷ画像データが生成されてもよいし、複数のＲＡＷ画像データより少ない枚数の複数の合成ＲＡＷ画像データが生成されてもよい。
　例えば時間的に連続する１０枚のＲＡＷ画像データが存在したとしたときに、１０枚全部を合成したＲＡＷ画像データや、７枚を合成したＲＡＷ画像データなど、合成するＲＡＷ画像データを選択的に用いる例も考えられる。
　また合成ＲＡＷ画像データに対して現像処理が行われる。これにより例えばＪＰＥＧ（Joint Photographic Experts Group）画像データなど、所定形式の画像データが得られるようにする。もちろん所定形式の画像データとしてはＪＰＥＧ形式の画像データに限定されない。例えばＨＥＩＦ（High Efficiency Image File Format）、ＹＵＶ４２２、ＹＵＶ４２０などでもよい。
　以下の実施の形態の説明では、主に、時間的に連続した複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する例を述べていく。
　例えば連続的に記録された複数枚のＲＡＷ画像データを合成し、１枚の合成ＲＡＷ画像データを生成する。これにより長秒露光効果と同等の効果を得る。また合成するＲＡＷ画像データの枚数の設定により、各ＲＡＷ画像データの撮像時のシャッタースピードより遅い任意のシャッタースピードで合成ＲＡＷ画像データが作成できるものとする。
　また合成処理で得られる合成ＲＡＷ画像データに対しては、通常の現像処理と同様に、レンズ補正、ＮＲ（ノイズリダクション）、デモザイク、色再現、シャープネス処理等を加える。
＜２．撮像装置の構成＞
　図２で撮像装置１の構成例を説明する。
　この撮像装置１は、ＲＡＷ画像データの合成処理を行う画像処理部２０を備えており、この画像処理部２０、又は画像処理部２０を備えた撮像装置１が、本開示の画像処理装置の例として考えることができる。
　撮像装置１は、例えばレンズ系１１、撮像素子部１２、記録制御部１４、表示部１５、通信部１６、操作部１７、カメラ制御部１８、メモリ部１９、画像処理部２０、バッファメモリ２１、ドライバ部２２、センサ部２３を有する。
　レンズ系１１は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
　撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
　この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の画像処理部２０やカメラ制御部１８に出力する。
　画像処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。
　この画像処理部２０は、撮像素子部１２からのデジタル信号（撮像画像信号）、即ちＲＡＷ画像データに対して、各種の信号処理を施す。
　なお、ＲＡＷ画像データとは、例えば上述のＹＣ－ＲＡＷ画像データのように、撮像素子部１２からのデジタル信号について一部の処理を施した画像データを指す場合もある。またＹＣ－ＲＡＷ画像データの形式に至らなくとも、例えば前処理として、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行った段階のものをＲＡＷ画像データと呼ぶ場合もある。
　またレンズ補正やノイズリダクションを行った段階の画像データも含めてＲＡＷ画像データと呼ぶ場合もある。
　本実施の形態の場合、画像処理部２０は合成処理部３１と現像処理部３２としての信号処理機能を備える。
　合成処理部３１は後述のように、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を行う。
　現像処理部３２は、ＲＡＷ画像データや、合成処理部３１により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理を行う。例えば現像処理部３２は、レンズ補正、ノイズリダクション、同時化処理、ＹＣ生成処理、色再現／シャープネス処理等を行う。
　同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
　ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
　色再現／シャープネス処理では、いわゆる画作りとしての、階調、彩度、トーン、コントラストなどを調整する処理を行う。
　これらの現像処理部３２の処理が広義の現像処理であるが、特に色再現／シャープネス処理を狭義の現像処理と呼ぶ。狭義の現像処理を施した画像データは、元のＲＡＷ画像データの情報の一部が失われるため、その後の画像編集の自由度は狭くなる。
　また狭義の現像処理を施していない段階の画像データは、本開示でいうＲＡＷ画像データ、ＹＣ－ＲＡＷ画像データの範疇といえる。
　画像処理部２０は、このように現像処理部３２による広義の現像処理を行って、所定形式の画像データを生成する。
　この場合に解像度変換や、ファイル形成処理を行ってもよい。ファイル形成処理では、画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
　例えば静止画ファイルとしてＪＰＥＧ、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）、ＨＥＩＦ、ＹＵＶ４２２、ＹＵＶ４２０等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
　なお現像処理を施していないＲＡＷ画像データの画像ファイルを生成する場合もある。
　バッファメモリ２１は、例えばＤ－ＲＡＭ（Dynamic Random Access Memory）により形成される。このバッファメモリ２１は、画像処理部２０において上記の合成処理や現像処理の過程で、画像データの一時的な記憶に用いられる。
　記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルを記録する処理を行う。
　記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよい。また記録制御部１４は、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部１４は、撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
　表示部１５はユーザに対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
　表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
　例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
　また表示部１５には画像処理部２０で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
　また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
　通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の情報処理装置、表示装置、記録装置、再生装置等に対して撮像画像データやメタデータを含む静止画ファイルや動画ファイルの送信出力を行う。
　また通信部１６はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。
　また撮像装置１は、通信部１６により、例えばＰＣ、スマートフォン、タブレット端末などとの間で、例えばブルートゥース（Bluetooth：登録商標）、Ｗｉ－Ｆｉ（登録商標）通信、ＮＦＣ（Near field communication）等の近距離無線通信、赤外線通信などにより、相互に情報通信を行うことも可能とされてもよい。また撮像装置１と他の機器が有線接続通信によって相互に通信可能とされてもよい。
　従って撮像装置１は、通信部１６により、撮像画像やメタデータを、後述の情報処理装置７０に送信することができる。
　操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
　操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。
　カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
　メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
　メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
　カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
　例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、画像処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
　メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
　ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
　これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
　センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
　センサ部２３として、例えばＩＭＵ（inertial measurement unit：慣性計測装置）が搭載された場合、例えばピッチ、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
　またセンサ部２３としては、例えば位置情報センサ、照度センサ、測距センサ等が搭載される場合もある。
　センサ部２３で検出される各種情報、例えば位置情報、距離情報、照度情報、ＩＭＵデータなどは、カメラ制御部１８が管理する日時情報とともに、撮像画像に対してメタデータとして付加される。
＜３．情報処理装置の構成＞
　次に情報処理装置７０の構成例を図３で説明する。
　情報処理装置７０はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ（ＰＣ）、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
　そして、この情報処理装置７０は、ＲＡＷ画像データの合成処理を行う画像処理部２０を備えており、この画像処理部２０，又は画像処理部２０を備えた情報処理装置７０が、本開示の画像処理装置の例として考えることができる。
　情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　画像処理部２０は、上述の撮像装置１で説明した合成処理部３１，現像処理部３２としての機能を備える。
　この画像処理部２０としての合成処理部３１，現像処理部３２は、ＣＰＵ７１内の機能として設けられてもよい。
　また画像処理部２０は、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現されてもよい。
　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、画像処理部２０は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。
　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
　また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
　入出力インタフェース７５には、ＨＤＤや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
　記憶部７９は、処理対象のデータや、各種プログラムを記憶することができる。
　情報処理装置７０が本開示の画像処理装置として機能する場合、記憶部７９には、処理対象の画像データ（例えばＲＡＷ画像データ）が記憶されることや、合成ＲＡＷ画像データ、或いは合成ＲＡＷ画像データに対して現像処理したＪＰＥＧ画像データなどが記憶されることも想定される。
　また記憶部７９には、合成処理や現像処理のためのプログラムが記憶される。
　通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
　撮像装置１との間の通信、特に撮像画像等の受信は、通信部８０によって行われる。
　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
　この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
＜４．ＲＡＷ画像データの合成処理と現像処理＞
　以下、撮像装置１や情報処理装置７０における画像処理部２０で行われるＲＡＷ画像データの合成処理と現像処理について説明する。
　例えば画像処理部２０は、撮像後におけるシャッタースピードの編集を目的として複数のＲＡＷ画像データを合成し、一枚又は複数枚の合成ＲＡＷ画像データを生成する処理を行う。
　まず図４は画像処理部２０での現像処理の流れを模式的に示している。
　例えば撮像素子部１２から入力される画像データは、それ自体が、又は図示しない前処理を加えた状態がＲＡＷ画像データとなる。
　なお図４では、撮像装置１を想定して撮像素子部１２から入力される画像データをＲＡＷ画像データとして示しているが、情報処理装置７０の場合は、例えば記憶部７９から読み出されたＲＡＷ画像データと考えればよい。
　広義の現像処理として、例えばステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲ（ノイズリダクション）、ステップＳＴ３のデモザイク、そして狭義の現像処理であるステップＳＴ４の色再現／シャープネス処理が行われる。
　そして、このような現像処理後の画像データとして、例えばＪＰＥＧ画像データが生成される。
　このような現像処理と合成処理の関係として、比較例と実施の形態を図５Ａ、図５Ｂに示す。
　図５Ａは実施の形態に対する比較例として示したものであり、それぞれがＲＡＷ画像データについての現像処理（ステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４）を経て生成された複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）を示している。
　この複数のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）について、ステップＳＴ２０として合成処理を施すことで、合成ＪＰＥＧ画像データを生成する。
　複数の画像の合成処理としては、この比較例のように、現像処理後の複数ＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）を合成することが想定される。
　ところがこの場合、次のような問題が指摘できる。
　まず、合成に用いる複数の画像データのそれぞれに対して広義の現像処理（ステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４）が必要である。例えば個々のＪＰＥＧ画像データ（Ｊ＃１からＪ＃ｎ）のそれぞれも保存対象とするものであればよいが、合成画像のみを目的とするような場合、処理負担が増えることになる。
　また現像処理は、各画像データに最適化された信号処理で行われる。このため合成後の画像データに対して最適な信号処理とは限らない。
　また合成後の画像は現像処理後であるため、編集性が制限される。特にステップＳＴ４の色再現／シャープネス処理において色情報等が間引かれているなどしてＲＡＷ画像データの時点で存在した情報の一部が失われているためである。
　そこで本実施の形態では、図５Ｂのような合成処理を行う。
　図５Ｂは、合成処理の対象とする画像データとして複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）を示している。
　例えばこの複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）について、ステップＳＴ１０の合成処理を行う。これにより合成ＲＡＷ画像データを得る。
　また合成ＲＡＷ画像データに対して、ステップＳＴ１、ＳＴ２，ＳＴ３，ＳＴ４の現像処理を行う。これにより合成画像としてのＪＰＥＧ画像データを生成する。
　このようにすると、現像処理は合成後の一回のみでよく、信号処理負担が軽減される。また、その現像処理は、合成後の合成ＲＡＷ画像データに対して最適化されたパラメータを用いて行うことができるため、生成される現像画像データ、例えば上記のＪＰＥＧ画像データの画像品質を向上させることができる。
　また色再現／シャープネス処理等の画作りが行われていない合成ＲＡＷ画像データは画作りによる情報の欠損がないため、例えば色再現などの面で高い編集性を持つものとなる。
　このように、複数のＲＡＷ画像データについて合成を行うことで、合成画像に最適化され、かつ効率化された信号処理を行うことが可能となる。
　ここで、複数のＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）が時間的に連続して記録された画像データである場合を考える。
　すると、１枚のＲＡＷ画像データの撮像時のシャッタースピードを合成枚数で掛けたシャッタースピードの合成画像が生成できるものとなる。
　例えばシャッタースピード＝１／１００秒として、連写撮像した１００枚のＲＡＷ画像データを合成すると、シャッタースピード＝１秒の合成画像を得ることができる。
　このような考え方で、撮像後にシャッタースピードの編集を行うことができる。
　このための処理例を図６，図７で説明する。
　まず図６は、撮像装置１の撮像時の処理例である。
　撮像装置１では、ユーザがＲＡＷ合成モードを選択することが可能とされている。ＲＡＷ合成モードをユーザが選択する操作を行った場合、カメラ制御部１８の制御に基づいて、画像処理部２０が図示の処理を行う。
　ステップＳ１０１で画像処理部２０は、カメラ制御部１８の指示に基づいてＲＡＷ合成モードとしての設定を行う。これはステップＳ１０３以下の処理を行う動作モードの設定である。
　ステップＳ１０２で画像処理部２０はレリーズ操作を待機する。
　ユーザが、例えば連写撮像の要領で、例えばシャッターボタンを押し続けるなどのレリーズ操作を行う。
　ユーザのレリーズ操作をカメラ制御部１８が検知した場合、画像処理部２０はカメラ制御部１８のレリーズ指示に応じて、ステップＳ１０２からステップＳ１０３に進み、以降の処理を行う。
　レリーズ操作が行われると、撮像素子部１２では、連写撮像の動作が行われる。例えば一定のシャッタースピードの撮像動作により、順次画像データを画像処理部２０に送出してくる。
　ステップＳ１０３で画像処理部２０は、ＲＡＷ画像データのバッファリングを行う。即ち撮像素子部１２から入力される１フレームのＲＡＷ画像データをバッファメモリ２１に記憶させる処理を行う。
　画像処理部２０は、ステップＳ１０４でカメラ制御部１８からのレリーズ操作終了の通知を監視しながら、ステップＳ１０３の処理を繰り返す。
　これにより、レリーズ操作が終了するまでの期間に、複数のＲＡＷ画像データがバッファリングされることになる。
　レリーズ操作終了となったら、画像処理部２０はステップＳ１０５に進み、バッファメモリ２１に一時記憶した複数のＲＡＷ画像データのそれぞれについて追加処理を行う。この追加処理とは、複数のＲＡＷ画像データの露光期間が時間的に連続するように、つまり露光期間の途切れがないようにする処理である。具体的には複数のＲＡＷ画像データのそれぞれが、イメージセンサ１２ａにおける露光期間における露光量に対して、イメージセンサ１２ａにおける非露光期間に相当する露光量を追加する処理である。
　なお、ステップＳ１０５の追加処理は、必ずしもレリーズ操作が終了した後に開始するものとしなくてもよい。連写撮像が行われている期間にステップＳ１０５の追加処理を開始してもよい。
　また、このステップＳ１０５の追加処理の具体例について以下図８で説明するが、この追加処理自体が行われない場合もある。つまり図６においてステップＳ１０５が存在しない処理例も想定される。
　図８ではイメージセンサ１２ａの撮像動作として、露光期間Ｔａと露光による電荷の読出期間Ｔｂを示している。なお実際には露光も読出も行わない期間やリセット期間などもあるが、図示及び説明の簡略化のため、それらは読出期間Ｔｂに含めるものとする。
　露光期間Ｔａと読出期間Ｔｂの動作により、１フレームの画像データが得られるが、連写撮像が行われることで、この露光期間Ｔａと読出期間Ｔｂが繰り返されることになる。
　ところが読出期間Ｔｂにおいては、イメージセンサ１２ａでは露光が行われていない。すると、そのまま複数のＲＡＷ画像データを合成しても、正確には単純にシャッタースピードを遅くしたものとはならない。
　もちろん、シャッタースピードの編集という意味での合成処理は、必ずしも厳密な意味ではなくてもよいため、このように露光期間Ｔａの途切れのある複数のＲＡＷ画像データを合成することでも、擬似的な意味でシャッタースピードの編集を行うということはできる。
　その場合は、ステップＳ１０５の追加処理は不要としてもよい。
　一方、正確な意味でシャッタースピードの編集を実現するには、露光期間Ｔａの途切れがない複数のＲＡＷ画像データを合成することが適切となる。
　実際には、読出期間Ｔｂの必要性から、露光期間Ｔａは途切れるのであるが、その読出期間の画素情報としての露光量を画素値に追加する処理を行うことで、露光期間Ｔａの途切れがない画像データを生成するものとする。
　一例としては、１つのフレームの各画素値を、露光期間Ｔａと読出期間Ｔｂの期間長の比や、前後のフレームの追加処理前の画素値との変化量を考慮して、補間演算を行うことで、読出期間Ｔｂにも露光が行われたとしたときの画素値を算出する。そしてそのよう各画素値について追加処理を行って、ＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・とする。
　これによりＲＡＷ画像データＲ＃１，Ｒ＃２、Ｒ＃３・・・は露光期間Ｔａの途切れがない複数のＲＡＷ画像データとすることができる。
　なお、撮像素子部１２に複数のイメージセンサ１２ａ１，１２ａ２が設けられることで、追加処理を行わなくとも、露光期間Ｔａの途切れのない複数のＲＡＷ画像データを得ることができる。
　図９に示すように、例えばイメージセンサ１２ａ１の出力からＲＡＷ画像データＲ＃１を得る。次に、イメージセンサ１２ａ２の出力からＲＡＷ画像データＲ＃２を得る。
　このとき、イメージセンサ１２ａ１とイメージセンサ１２ａ２は、露光タイミングがずれた状態で同期するように動作させる。即ち図示のように、イメージセンサ１２ａ１の露光期間Ｔａの終了タイミングでイメージセンサ１２ａ２の露光期間Ｔａが開始され、またイメージセンサ１２ａ２の露光期間Ｔａの終了タイミングでイメージセンサ１２ａ１の露光期間Ｔａが開始されるようにする。
　このようにすることで、イメージセンサ１２ａ１，１２ａ２から交互に得られるＲＡＷ画像データＲ＃１、Ｒ＃２、Ｒ＃３、Ｒ＃４・・・は、露光期間が連続した画像データとなる。
　また、１つのイメージセンサ１２ａを用いる場合でも、読出期間Ｔｂによる露光期間の途切れがほぼ無視できるようなイメージセンサ１２ａである場合や、最終的に得たい画像が動く被写体が存在しないなど目的によって、追加処理を行わなくともよい。換言すると、露光期間の途切れの影響が多いような撮像装置や撮像場面のときに追加処理を可能とするようにしてもよい。
　図６のステップＳ１０５で追加処理を行った後、或いは図６の処理としてステップＳ１０５の追加処理が行われない場合はステップＳ１０４でレリーズ操作終了と判定された後、画像処理部２０はステップＳ１０６で、複数のＲＡＷ画像データＲ＃１、Ｒ＃２・・・を一群の画像データとしてパッキングして記録する。例えばＨＥＩＦを用いることでパッキングを行うことができる。
　例えば画像処理部２０から複数のＲＡＷ画像データを記録制御部１４に転送して、グループ化された一群の画像データとして、記録媒体に記録させる。或いは、グループ化された一群の画像データとして、複数のＲＡＷ画像データを通信部１６から外部機器、例えば情報処理装置７０に送信させるようにしてもよい。
　以上のようにパッキングされた複数のＲＡＷ画像データに対して、撮像装置１又は情報処理装置７０において、図７の処理により、撮像後のシャッタースピード編集を行うことができる。
　撮像装置１の場合は、記録媒体に記録した一群のＲＡＷ画像データを対象とする。
　また情報処理装置７０の場合は、撮像装置１から受信したり、リムーバブル記録媒体８２を介して取り込まれたりして、記憶部７９に格納された一群のＲＡＷ画像データを対象として、図７の処理を行うことができる。
　ステップＳ１５０で画像処理部２０は、指定されたシャッタースピード、又は指定された合成枚数を設定する。
　例えばユーザインタフェースにより、ユーザが操作部１７（又は入力部７６）を用いて、任意のシャッタースピードや任意の合成枚数を指定できるようにする。
　カメラ制御部１８（又はＣＰＵ７１）は、ユーザの操作を検知したら、それを画像処理部２０に通知する。これにより画像処理部２０では、シャッタースピード又は合成する画像の枚数を設定する。
　シャッタースピードを設定するということは、その求められたシャッタースピードから、撮像時のシャッタースピードを除算して、合成処理の対象とするＲＡＷ画像データの枚数を算出するという意味となる。
　また画像の枚数を設定するというのは、そのまま合成処理の対象とするＲＡＷ画像データの枚数を決定するという意味となる。
　ステップＳ１５１で画像処理部２０は、合成するＲＡＷ画像データの範囲を設定する。例えばＲＡＷ画像データＲ＃１から合成ＲＡＷ画像データＲ＃５０までの５０枚のＲＡＷ画像データが時間的に連続する画像データとしてパッキングされているとする。この場合に、その５０枚のうちで時間的に最初となるスタート画像から時間的に最後となるエンド画像の範囲を設定するものである。
　例えば合成ＲＡＷ画像データＲ＃１０からＲＡＷ画像データＲ＃３０の範囲を合成する範囲などとして設定する。
　ユーザがスタート画像を指定する操作を行うことに応じて、そのスタート画像から指定されたシャッタースピード（又は指定枚数）で、エンド画像が決まり、合成する対象の範囲が決定される。
　なお、この処理例では、ステップＳ１５０でシャッタースピード又は枚数が設定されるため、ステップＳ１５１でスタート画像、又はエンド画像のいずれかがユーザによって指定されれば、合成する画像データの範囲が設定できることになる。
　これに対して、ユーザがシャッタースピードや枚数を指定せずに、スタート画像とエンド画像を任意に指定することで、任意のシャッタースピードの合成画像が得られるようにしてもよい。
　ステップＳ１５２で画像処理部２０は、ステップＳ１５１で設定した範囲の複数のＲＡＷ画像データの合成処理を行う。
　なお、このとき、各画素単位で画素値を合成（例えば平均化）する単純な合成処理を行ってもよいし、複数枚の画像について重み付けを変えて合成する合成処理を行ってもよい。また被写体の特定箇所の合成ＲＡＷ画像における画素位置を固定して合成することで、特定箇所がぼけない画像とする合成処理を行ってもよい。
　合成処理により、合成ＲＡＷ画像データが得られる。
　ステップＳ１５３では、画像処理部２０は、合成ＲＡＷ画像データに対して現像処理を行う。これにより例えばＪＰＥＧ画像データを生成する。
　ステップＳ１５４で画像処理部２０は、記録する画像データを出力する。例えば撮像装置１の場合、記録制御部１４にＪＰＥＧ画像データや合成ＲＡＷ画像データを転送して、記録媒体に記録させる。情報処理装置７０の場合は、画像処理部２０は記憶部７９にＪＰＥＧ画像データや合成ＲＡＷ画像データを転送して、それらを記録させる。
　なお記録する画像データは、現像処理を経たＪＰＥＧ画像データのみでもよいし、合成ＲＡＷ画像データのみの場合もあり得る。
　合成ＲＡＷ画像データを記録しておけば、その後にも、合成画像に対して自由度の高い画像編集／現像処理を行うことが可能になる。
　以上のように記録されたＪＰＥＧ画像データや合成ＲＡＷ画像データは、撮像後に任意のシャッタースピードに編集した画像データということができる。
＜５．ＹＣ－ＲＡＷ画像データの合成処理と現像処理＞
　以上の例は、撮像素子部１２で得られたＲＡＷ画像データについて合成処理を行う例としたが、同じ考え方で、輝度値とクロマ値の形式のＹＣ－ＲＡＷ画像データの合成も想定される。ＹＣ－ＲＡＷ画像データの場合について、以下説明する。
　なお以下では説明上、撮像素子部１２で得られたＲ、Ｇ、Ｂ形式のＲＡＷ画像データを、ＹＣ-ＲＡＷ画像データと区別するために「ＲＧＢ－ＲＡＷ画像データ」と表記する。またＲＧＢ－ＲＡＷ画像データによる合成ＲＡＷ画像データを「合成ＲＧＢ－ＲＡＷ画像データ」とする。
　図１０はＹＣ－ＲＡＷ画像データを得る場合の画像処理部２０の処理の流れを示している。
　撮像素子部１２から入力されるＲＧＢ－ＲＡＷ画像データに対して、広義の現像処理として、例えばステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲ、ステップＳＴ３のデモザイク、そして狭義の現像処理であるステップＳＴ４の色再現／シャープネス処理が行われることで、例えばＪＰＥＧ画像データが生成される。
　この場合に、デモザイク後においてステップＳＴ５のＹＣ変換が行われることで、ＹＣ－ＲＡＷ画像データが得られる。
　なおＹＣ－ＲＡＷ画像データの生成については、ステップＳＴ１のレンズ補正、ステップＳＴ２のＮＲが行われなくてもよい。
　このようなＹＣ－ＲＡＷ画像データとして、例えば時間的に連続した複数枚を一群にパッキングして記録することで、後の時点で、その複数のＹＣ－ＲＡＷ画像データを用いた合成処理が可能になる。
　特にＹＣ－ＲＡＷ画像データでは、色再現／シャープネス処理を施す前の状態であることから、ＲＡＷ画像データ段階の情報が失われていないため、上述のＲＡＷ画像データの合成の場合と同様の利点が得られる。
　図１１Ａ、図１１Ｂ、図１１Ｃに、ＹＣ－ＲＡＷ画像データを用いた合成処理の例を示す。
　図１１Ａは、複数のＹＣ－ＲＡＷ画像データ（ＹＣＲ＃１からＹＣＲ＃ｎ）を示しており、これをステップＳＴ１１として合成処理を行い、合成ＹＣ－ＲＡＷ画像データを生成する例である。また合成ＹＣ－ＲＡＷ画像データに対してステップＳＴ４の色再現／シャープネス処理を行って、合成画像としての例えばＪＰＥＧ画像データ等の現像画像データを生成することができる。
　図１１Ｂは、複数のＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）についてステップＳＴ１０の合成処理を行い、合成ＲＧＢ－ＲＡＷ画像データを生成するとともに、ステップＳＴ１、ＳＴ２、ＳＴ３、ＳＴ５の処理を行って合成ＹＣ－ＲＡＷ画像データを生成する例である。
　図１１Ｃは、複数のＹＣ－ＲＡＷ画像データをそれぞれＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）に戻してから合成する例である。複数のＹＣ－ＲＡＷ画像データから戻した複数のＲＧＢ－ＲＡＷ画像データ（Ｒ＃１からＲ＃ｎ）についてステップＳＴ１０の合成処理を行い、合成ＲＧＢ－ＲＡＷ画像データを生成するとともに、ステップＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４の処理を行って合成画像としての例えばＪＰＥＧ画像データを生成する。
　以上の各例のようにＹＣ－ＲＡＷ画像データを用いての合成処理例も各種考えられる。
＜６．まとめ及び変形例＞
　以上の実施の形態によれば次のような効果が得られる。
　実施の形態の画像処理装置、即ち画像処理部２０（又は画像処理部２０を備える撮像装置１や情報処理装置７０）は、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部３１を備える。
　複数の画像データを合成する合成処理を、ＲＡＷ画像データの段階で行うということは、複数の画像データについて現像処理を施す前の段階で合成し、その後、現像処理を行うということである。そして合成ＲＡＷ画像データについて現像処理を行って、ＪＰＥＧ画像データなどを生成することは、その合成ＲＡＷ画像データに対して適した現像処理ができるということになる。
　合成の対象とする複数のＲＡＷ画像データは、時間的に連続した静止画として撮像されたものでもよいし、動画として撮像された各フレームのＲＡＷ画像データでもよい。さらには、合成の対象とする複数のＲＡＷ画像データは、撮像時刻としての関連性や、或いは被写体の関連性などのない、互いに無関係な複数のＲＡＷ画像データでもよい。つまりユーザが選択した任意の複数のＲＡＷ画像データを合成することも考えられる。
　実施の形態の画像処理部２０は、合成処理部３１により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部３２をさらに備えている。
　このようにすることで合成ＲＡＷ画像データに適した各種のパラメータで現像処理が行われ、例えばＪＰＥＧ画像データなどの合成後の所定形式の画像データが得られるため、生成される合成画像（例えばＪＰＥＧ画像データによる画像）の画像品質の向上が実現できる。
　また、合成する前の複数のＲＡＷ画像データのそれぞれについての現像処理を行わなくてもよいことで、現像処理の効率化が実現できる。
　また合成ＲＡＷ画像データは、圧縮処理等を含めた現像処理前のＲＡＷ画像データを合成したものであり、元の画像としての多くの情報が残っているため、ユーザが画作りを行うときの自由度が拡大するという利点もある。
　また合成ＲＡＷ画像データを保存することで、将来的に現像処理技術が進歩した状態で現像を行うということにも適している。
　実施の形態の合成処理部３１は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成する例を挙げた。
　例えば被写体内容として関連する複数のＲＡＷ画像データを合成することで、個々のＲＡＷ画像データの撮像時のシャッタースピードよりも遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを得ることができる。
　実施の形態では、合成処理部３１が合成する複数のＲＡＷ画像データが、時間的に連続する複数フレームのＲＡＷ画像データである例を挙げた。
　これにより例えば撮像時のシャッタースピードよりも遅いシャッタースピードで撮像したかのような画像を、撮像後に生成できることになる。つまり、撮影後にシャッタースピードを編集することが可能となる。
　またこれにより、例えば貴重なシャッターチャンスにおいてシャッタースピードの設定ミスによる失敗を防ぐことができる。
　シャッタースピードの調整に手間取ってシャッターチャンスを逃すということもなくなる。
　また撮像時のシャッタースピードを変化させるものではないため、光量調整が不要であり、その上で、適切な光量で撮像された画像から、任意のシャッタースピードの合成画像を得ることができる。
　さらに、撮像後にシャッタースピードを詳細に調整することで新たな画像表現につながる。
　またシャッタースピードを編集した後の合成ＲＡＷ画像データに対し、現像処理を行うことができる。
　実施の形態では、合成処理部３１で合成する複数のＲＡＷ画像データが、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データである例を挙げた。
　撮像により得られた複数のＲＡＷ画像データは、同じシャッタースピードの画像データとなる。従って合成するＲＡＷ画像データの範囲を設定するのみで、任意のシャッタースピードの合成画像を得ることができる。
　実施の形態では、合成処理部３１で合成する複数のＲＡＷ画像データが、時間的に隣接するＲＡＷ画像データで、互いの露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データである例を挙げた（図８，図９参照）。
　複数のＲＡＷ画像データが、露光期間が途切れないような連続した状態とされていることで、合成ＲＡＷ画像データは、実際に、撮像時のシャッタースピードよりも遅いシャッタースピードで撮像した画像と同等に扱うことができる画像データとなる。つまり、連続した露光期間の長短という本来の意味でのシャッタースピードの編集が可能になる。
　これにより通常は撮影後では行うことができないシャッタースピードの変更を、撮影後に可能とするということが実現できる。
　実施の形態では、合成処理部３１で合成する複数のＲＡＷ画像データが、撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、露光期間が時間的に連続する状態とされたものである例を挙げた（図８参照）。
　これにより複数のＲＡＷ画像データは、読出期間や電荷リセット期間などの非露光期間があっても、その非露光期間が存在しない状態で得られたデータと考えることができる。従って、一連のＲＡＷ画像データを、露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データとして扱って合成処理を行うことができる。
　実施の形態では、合成処理部３１で合成する複数のＲＡＷ画像データは、複数のイメージセンサ１２ａ１，１２ａ２から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものとする例も挙げた（図９参照）。
　複数のイメージセンサ１２ａ１，１２ａ２を用い、一方の非露光期間には他方で露光が行われるように、イメージセンサ１２ａ１，１２ａ２の露光タイミングを設定し、イメージセンサ１２ａ１，１２ａ２から交互に順次読み出したＲＡＷ画像データであることで、その一連のＲＡＷ画像データは、露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データとなる。
　実施の形態では、合成処理部３１が、シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択する例を挙げた（図７参照）。
　これによりユーザのシャッタースピードの指定操作に応じた合成処理が行われ、合成ＲＡＷ画像データは、指定されたシャッタースピードで撮像されたかのような画像となる。シャッタースピードの編集という意味で使用性のよいものとなる。
　また実施の形態では、合成処理部３１が、枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データのうちで、合成処理の対象とする合成対象ＲＡＷ画像データを選択する例も挙げた（図７参照）。
　これによりユーザの枚数の指定操作に応じた合成処理が行われ、合成ＲＡＷ画像データは、指定された枚数の合成画像となる。シャッタースピードでの指定とは異なる指定手法がユーザに提供されることになり、ユーザによっては使いやすいものとなる。
　なお、ユーザがシャッタースピードで指定する操作モードと、枚数で指定する操作モードを切り替えることができるようにすることで、ユーザの好みに合わせた使用性が実現される。
　実施の形態では、ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有するＲＧＢ-ＲＡＷ画像データである例を挙げた。
　例えばＲ、Ｇ、Ｂ形式の画像データである。ベイヤー配列の場合のＧ１、Ｇ２、Ｒ、Ｂの各画素の画素値で構成される場合や、それらに上述した一部の処理を施した画像データを含む。このような画素値で構成されるＲＡＷ画像データは、撮像素子部１２から読み出された元々の画像情報であり、合成後の現像処理でも自由度が高い。
　また実施の形態では、ＲＡＷ画像データとして、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていないＹＣ－ＲＡＷ画像データの例を挙げた。
　ＹＣ－ＲＡＷ画像データについても、それを合成して合成処理を行うことで、現像処理の効率が向上する。またＹＣ－ＲＡＷ画像データは、ＲＡＷ画像データに戻すこともできるため、ＲＡＷ画像データに戻した上での合成処理やその後の現像処理も可能となる。
　実施の形態のプログラムは、上述の図６、図７のような処理を、例えばＣＰＵ、ＤＳＰ、ＧＰＵ、ＧＰＧＰＵ、ＡＩプロセッサ等、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を情報処理装置に実行させるプログラムである。
　このようなプログラムにより本開示でいう画像処理装置を各種のコンピュータ装置により実現できる。
　これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
　またこのようなプログラムによれば、本開示の画像処理装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの機器を本開示の画像処理装置として機能させることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
　なお本技術は以下のような構成も採ることができる。
　（１）
　それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部を備えた
　画像処理装置。
　（２）
　前記合成処理部により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部をさらに備えた
　上記（１）に記載の画像処理装置。
　（３）
　前記合成処理部は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成する
　上記（１）又は（２）に記載の画像処理装置。
　（４）
　前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に連続する複数フレームのＲＡＷ画像データである
　上記（１）から（３）のいずれかに記載の画像処理装置。
　（５）
　前記合成処理部で合成する複数のＲＡＷ画像データは、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データである
　上記（１）から（４）のいずれかに記載の画像処理装置。
　（６）
　前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に隣接するＲＡＷ画像データで、互いの露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データである　上記（１）から（５）のいずれかに記載の画像処理装置。
　（７）
　前記合成処理部で合成する複数のＲＡＷ画像データは、撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、露光期間が時間的に連続する状態とされたものである
　上記（６）に記載の画像処理装置。
　（８）
　前記合成処理部で合成する複数のＲＡＷ画像データは、複数の撮像素子から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものである
　上記（６）に記載の画像処理装置。
　（９）
　前記合成処理部は、
　シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択する
　上記（１）から（８）のいずれかに記載の画像処理装置。
　（１０）
　前記合成処理部は、
　枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データから合成処理の対象とする合成対象ＲＡＷ画像データを選択する
　上記（１）から（９）のいずれかに記載の画像処理装置。
　（１１）
　前記ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有する画像データである　上記（１）から（１０）のいずれかに記載の画像処理装置。
　（１２）
　前記ＲＡＷ画像データは、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データである
　上記（１）から（１０）のいずれかに記載の画像処理装置。
　（１３）
　それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を
　画像処理装置が実行する画像処理方法。
　（１４）
　それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を
　情報処理装置に実行させるプログラム。
１　撮像装置
１２　撮像素子部
１２ａ，１２ａ１，１２ａ２　イメージセンサ
１４　記録制御部
１５　表示部
１６　通信部
１７　操作部
１８　カメラ制御部
１９　メモリ部
２０　画像処理部
２１　バッファメモリ
３１　画像合成部
３２　現像処理部
７０　情報処理装置、
７１　ＣＰＵ
７９　記憶部
８０　通信部

Claims (14)

  1. 　それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理部を備えた
    　画像処理装置。
  2. 　前記合成処理部により生成された合成ＲＡＷ画像データに対する現像処理を行って所定形式の画像データを生成する現像処理部をさらに備えた
    　請求項１に記載の画像処理装置。
  3. 　前記合成処理部は、合成処理により撮像時のシャッタースピードより遅いシャッタースピードで撮像した画像に相当する合成ＲＡＷ画像データを生成する
    　請求項１に記載の画像処理装置。
  4. 　前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に連続する複数フレームのＲＡＷ画像データである
    　請求項１に記載の画像処理装置。
  5. 　前記合成処理部で合成する複数のＲＡＷ画像データは、一定のシャッタースピードで時間的に連続する複数フレームのＲＡＷ画像データである
    　請求項１に記載の画像処理装置。
  6. 　前記合成処理部で合成する複数のＲＡＷ画像データは、時間的に隣接するＲＡＷ画像データで、互いの露光期間が時間的に連続する状態とされた複数のＲＡＷ画像データである
    　請求項１に記載の画像処理装置。
  7. 　前記合成処理部で合成する複数のＲＡＷ画像データは、撮像素子における露光期間における露光量に対して、前記撮像素子における非露光期間に相当する露光量を追加する追加処理を行うことで、露光期間が時間的に連続する状態とされたものである
    　請求項６に記載の画像処理装置。
  8. 　前記合成処理部で合成する複数のＲＡＷ画像データは、複数の撮像素子から交互に順次読み出されることで、露光期間が時間的に連続する状態とされたものである
    　請求項６に記載の画像処理装置。
  9. 　前記合成処理部は、
    　シャッタースピードの指定に基づいて、時間的に連続する複数のＲＡＷ画像データから、合成処理の対象とする合成対象ＲＡＷ画像データを選択する
    　請求項１に記載の画像処理装置。
  10. 　前記合成処理部は、
    　枚数の指定に基づいて、時間的に連続する複数のＲＡＷ画像データから合成処理の対象とする合成対象ＲＡＷ画像データを選択する
    　請求項１に記載の画像処理装置。
  11. 　前記ＲＡＷ画像データは、撮像素子の色配列と同じ色配列を有する画像データである
    　請求項１に記載の画像処理装置。
  12. 　前記ＲＡＷ画像データは、撮像素子から読み出される画素値を輝度値とクロマ値の形式にした画像データであって、色再現／シャープネス処理が施されていない画像データである
    　請求項１に記載の画像処理装置。
  13. 　それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を
    　画像処理装置が実行する画像処理方法。
  14. 　それぞれが１フレームの画像を構成する複数のＲＡＷ画像データを合成して合成ＲＡＷ画像データを生成する合成処理を
    　情報処理装置に実行させるプログラム。
PCT/JP2021/029167 2021-03-15 2021-08-05 画像処理装置、画像処理方法、プログラム WO2022195909A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/263,479 US20240087093A1 (en) 2021-03-15 2021-08-05 Image processing apparatus, image processing method, and program
JP2023506711A JPWO2022195909A1 (ja) 2021-03-15 2021-08-05
CN202180095434.2A CN116965052A (zh) 2021-03-15 2021-08-05 图像处理装置、图像处理方法和程序
EP21931653.6A EP4311219A4 (en) 2021-03-15 2021-08-05 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021041617 2021-03-15
JP2021-041617 2021-03-15

Publications (1)

Publication Number Publication Date
WO2022195909A1 true WO2022195909A1 (ja) 2022-09-22

Family

ID=83322108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029167 WO2022195909A1 (ja) 2021-03-15 2021-08-05 画像処理装置、画像処理方法、プログラム

Country Status (5)

Country Link
US (1) US20240087093A1 (ja)
EP (1) EP4311219A4 (ja)
JP (1) JPWO2022195909A1 (ja)
CN (1) CN116965052A (ja)
WO (1) WO2022195909A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097033A (ja) * 2005-09-30 2007-04-12 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2008301286A (ja) * 2007-05-31 2008-12-11 Canon Inc 撮像装置及びその制御方法
JP2012010105A (ja) * 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097033A (ja) * 2005-09-30 2007-04-12 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2008301286A (ja) * 2007-05-31 2008-12-11 Canon Inc 撮像装置及びその制御方法
JP2012010105A (ja) * 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4311219A4 *

Also Published As

Publication number Publication date
US20240087093A1 (en) 2024-03-14
JPWO2022195909A1 (ja) 2022-09-22
EP4311219A4 (en) 2024-10-09
EP4311219A1 (en) 2024-01-24
CN116965052A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US8878951B2 (en) Image processing apparatus and method of controlling the same
JP4914026B2 (ja) 画像処理装置及び画像処理方法
JP4560422B2 (ja) 撮像装置及びその制御方法
JP4777180B2 (ja) 撮像装置及びその制御方法
JP7444162B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2006339903A (ja) 撮像装置、画像処理方法及びプログラム
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4639965B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2009194770A (ja) 撮像装置、動画再生装置及びそのプログラム
JP6049425B2 (ja) 撮像装置、画像処理装置、及び制御方法
JP2006203334A (ja) 画像記録装置及びその制御方法、並びにプログラム
WO2022195909A1 (ja) 画像処理装置、画像処理方法、プログラム
JP5836578B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6663282B2 (ja) 撮像装置、撮像システム、撮像方法およびプログラム
JP5300627B2 (ja) 撮像装置、その制御方法及びプログラム
JP2010098599A (ja) 撮像装置、その制御方法及びプログラム
JP2006080892A (ja) 画像記録再生装置
JP2015122731A (ja) 動画再生装置及び動画再生方法
JP2007096809A (ja) 撮像装置、動画記憶方法および動画記憶プログラム
WO2023276249A1 (ja) 画像処理装置、撮像装置、画像処理方法
WO2022195910A1 (ja) 制御装置、制御方法、プログラム
JP7550805B2 (ja) 撮像装置、及びそれらの制御方法、プログラム
WO2022158202A1 (ja) 撮像装置、撮像制御方法、プログラム
JP4306182B2 (ja) 撮像制御装置および撮像制御方法、並びにプログラムおよび記録媒体
JP2007072210A (ja) 撮像装置、その制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931653

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023506711

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18263479

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180095434.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021931653

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021931653

Country of ref document: EP

Effective date: 20231016