WO2022209264A1 - 画像処理装置、画像処理プログラム、及び、画像処理方法 - Google Patents

画像処理装置、画像処理プログラム、及び、画像処理方法 Download PDF

Info

Publication number
WO2022209264A1
WO2022209264A1 PCT/JP2022/004076 JP2022004076W WO2022209264A1 WO 2022209264 A1 WO2022209264 A1 WO 2022209264A1 JP 2022004076 W JP2022004076 W JP 2022004076W WO 2022209264 A1 WO2022209264 A1 WO 2022209264A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
processing
image data
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/004076
Other languages
English (en)
French (fr)
Inventor
創真 山口
理弘 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Priority to CN202280023282.XA priority Critical patent/CN117099123A/zh
Priority to US18/284,064 priority patent/US20240161249A1/en
Publication of WO2022209264A1 publication Critical patent/WO2022209264A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an image processing device, an image processing program, and an image processing method.
  • Patent Document 1 discloses a processor that sequentially applies a plurality of image processes to RAW image data output from an image sensor. Multiple image processing includes pre-processing, white balance, demosaicing, color conversion, color correction, and post-processing. The final image data is generated by a series of image processing flows that are applied sequentially. A series of image processing flows that are applied sequentially is also called an image processing pipeline.
  • the processor described in Patent Document 1 is typically provided as a system-on-chip as a general-purpose processing unit.
  • it is common to incorporate software that applies some kind of image processing to the image data output from the image processing pipeline in the latter stage of the image processing pipeline.
  • the software installed in the latter stage performs processing based on the characteristics of the image data output from the image processing pipeline, there are cases where the performance of the software cannot be fully exhibited.
  • the present disclosure provides a technique capable of imparting scalability to a series of image processing flows that are applied sequentially.
  • An image processing device includes an image sensor, a pipeline processing unit, a storage unit, an extended image processing unit, and a switching unit.
  • the image sensor produces at least one RAW image data.
  • the pipeline processing unit performs a series of image processing groups on each of at least one piece of RAW image data generated by the image sensor so that the image data resulting from the preceding image processing is subjected to the succeeding image processing.
  • the extended image processing unit executes extended image processing different from each image processing included in the image processing group.
  • the storage unit stores a definition designating target image processing, which is image processing to be bypassed among image processing included in the image processing group, and extended image processing.
  • the switching unit selects the intermediate image data, which is the result of the image processing before the target image processing, as the target of the extended image processing based on the definition stored in the storage unit in response to the satisfaction of the predetermined switching condition. , the flow of processing in the image processing group is switched.
  • FIG. 1 is a block diagram showing the hardware configuration of an image processing apparatus according to an embodiment
  • FIG. 2 is a block diagram illustrating a series of image processing groups
  • FIG. FIG. 4 is a block diagram illustrating processing for bypassing part of preprocessing
  • 4 is a flow chart of an image processing method including a switching step
  • 4 is a flowchart of extended image processing steps in the image processing method
  • It is a schematic diagram explaining super-resolution processing. It is a block diagram explaining the modification of extended image processing.
  • FIG. 1 is a block diagram showing the hardware configuration of an image processing apparatus according to an embodiment.
  • An image processing apparatus 1 shown in FIG. 1 is a device having an imaging function, such as a smartphone.
  • the image processing apparatus 1 sequentially applies a series of image processing groups to image data.
  • the flow of a series of image processing groups is also referred to as an image processing pipeline.
  • the image processing apparatus 1 includes an image sensor 10, a processor 11, a memory 12 (an example of a storage section), a storage 13, an input section 14, and an output section 15.
  • Processor 11 is connected to image sensor 10, memory 12, storage 13, input section 14, and output section 15 so as to be able to communicate with each other.
  • the image sensor 10 is a solid-state imaging device and outputs RAW image data.
  • RAW image data is color image data recorded in a mosaic arrangement.
  • An example of a mosaic array is the Bayer array.
  • the image sensor 10 may have a continuous shooting function. In this case, the image sensor 10 generates a series of RAW image data.
  • the processor 11 is an arithmetic device that executes an image processing pipeline, and is, for example, an ISP (Image Signal Processor) optimized for image signal processing.
  • the processor 11 may be not only an ISP but also a GPU (Graphics Processing Unit) or CPU (Central Processing Unit). Depending on the type of image processing in the image processing pipeline, the ISP may be combined with the GPU or CPU to execute each image processing.
  • the processor 11 executes an image processing pipeline for each RAW image data output from the image sensor 10 .
  • the memory 12 and storage 13 are storage media.
  • the memory 12 stores program modules to be executed by the processor 11, definition data, RAW image data, intermediate image data to be described later, and the like.
  • the memory 12 is, for example, SDRAM (Synchronous Dynamic Random Access Memory).
  • the storage 13 stores image data processed by the image processing pipeline. Image data processed by the image processing pipeline is, for example, RGB image data or YUV image data.
  • the storage 13 is, for example, an HDD (Hard Disk Drive). Note that the memory 12 and the storage 13 are not particularly limited as long as they are storage media.
  • the memory 12 and storage 13 may be configured with a single piece of hardware.
  • the memory 12 includes a pipeline processing module 121 (an example of a pipeline processing unit) for executing an image processing pipeline.
  • the processor 11 refers to the memory 12 and executes the image processing pipeline.
  • the memory 12 also stores definition data 122, a switching module 123 (an example of a switching unit), and an extended image processing module 124 (an example of an extended image processing unit) for realizing switching of image processing pipelines, which will be described later. Store.
  • the input unit 14 is a user interface that accepts user operations, and is an operation button as an example.
  • the output unit 15 is a device that displays image data, and is, for example, a display device.
  • the input unit 14 and the output unit 15 may be composed of single hardware such as a touch screen.
  • FIG. 2 is a block diagram illustrating a series of image processing groups.
  • Processor 11 executes image processing pipeline P2 based on pipeline processing module 121 .
  • the processor 11 loads RAW image data stored in the memory 12 (load processing P1).
  • the processor 11 sequentially executes a plurality of image processes on the RAW image data (image processing pipeline P2).
  • the processor 11 obtains YUV image data as a processing result.
  • the processor 11 outputs the processing result to the output unit 15 or stores it in the storage 13 (display/storage processing P3).
  • Pipeline processing module 121 is a program that causes processor 11 to perform the operations described above.
  • the pipeline processing module 121 causes the processor 11 to sequentially execute preprocessing P20, white balance processing P21, demosaicing processing P22, color correction processing P23, and postprocessing P24 as the image processing pipeline P2.
  • the pre-processing P20 image processing is performed on Bayer format image data, which is RAW image data. Details of the preprocessing P20 will be described later.
  • the white balance processing P21 the intensity of each RGB color component is corrected for the image data on which the preprocessing P20 has been executed.
  • the demosaicing process P22 pixels lacking color information in the Bayer format are interpolated for the image data on which the white balance process P21 has been performed, and RGB image data is generated.
  • color correction processing P23 the RGB image data is color-corrected.
  • post-processing P24 color space conversion from the RGB format to the YUV format and image processing for the YUV format are performed.
  • the image processing pipeline P2 shown in FIG. 2 is an example and can take various forms.
  • the image processing pipeline P2 is not limited to the example shown in FIG. 2, and the order of image processing shown in FIG. 2 can be changed, image processing can be deleted, and new image processing can be added.
  • the image processing apparatus 1 has a function of selecting a process bypass for each image processing in the image processing pipeline P2 as necessary. After bypassing the target image processing, the image processing apparatus 1 executes the extended image processing P4 instead of the target image processing.
  • the target image processing is bypassed image processing among the image processing included in the image processing pipeline P2.
  • the extended image processing P4 is processing different from each image processing in the image processing pipeline P2. This provides a new image processing option to the image processing pipeline P2.
  • a process P5 including an image processing pipeline P2 and extended image processing P4 is executed by the processor 11.
  • the user creates the definition data 122 so that one or more image processes included in the image processing pipeline P2 are bypassed according to the content of the extended image processing P4.
  • Definition data 122 is stored in memory 12 .
  • the definition data 122 includes a definition indicating which image processing is the target image processing, and a definition indicating that the image processing to be executed after the bypass is extended image processing.
  • the extended image processing P4 is noise reduction processing based on a plurality of image data
  • Noise reduction processing based on a plurality of image data is called MFNR (Multi-Frame Noise Reduction), and reduces noise contained in image data by calculating the average value of pixels in continuously shot image data.
  • moving objects are detected based on the difference in pixel values between images in order to prevent multiple blurring due to synthesis.
  • it In order to properly detect a moving object, it must be determined whether the difference in pixel values between images is caused by the movement of the object or by noise contained in the images.
  • it is important to appropriately estimate the intensity of noise contained in the image.
  • the noise intensity can be accurately estimated from the ISO sensitivity at the time of shooting using factory calibration data or the like. This is because their intensities vary according to natural laws.
  • the image processing pipeline P2 may include processing for changing the noise intensity of the image.
  • processing includes, for example, SFNR (Single-Frame Noise Reduction) or peripheral light falloff correction processing.
  • SFNR Single-Frame Noise Reduction
  • Peripheral light falloff correction processing amplifies the luminance of the image peripheral region in order to improve the phenomenon that the light quantity at the periphery of the image is reduced due to the characteristics of the lens.
  • the noise intensity estimation method using the law of nature described above does not assume image data that has been subjected to processing to change the noise intensity, so when such image data is targeted, sufficient estimation accuracy is achieved. may not be possible.
  • the definition data 122 is generated so as to bypass the processing for changing the noise intensity of the image.
  • the image data having the premise noise characteristics is input to the extended image processing P4, and more appropriate image processing is realized.
  • the processor 11 bypasses the target image processing of the image processing pipeline P2 based on the switching module 123. For example, processor 11 determines whether a predetermined switching condition is satisfied.
  • the predetermined switching condition is a condition for determining whether or not bypassing is necessary, and is determined in advance.
  • the predetermined switching condition may be, for example, reception of a user operation to enable the extended image processing P4, or satisfaction of a predetermined condition of time or environment.
  • the processor 11 bypasses the target image processing of the image processing pipeline P2 according to the definition data 122 when a predetermined switching condition is satisfied.
  • the switching module 123 is a program that causes the processor 11 to perform a series of operations that bypass the target image processing described above. In the example shown in FIG.
  • the preprocessing P20 is switched to the extended image processing P4 in the middle, and the extended image processing P4 is executed.
  • the processing result of the extended image processing P4 is returned to the image processing pipeline P2, and white balance processing P21, demosaicing processing P22, color correction processing P23, and post-processing P24 are sequentially executed.
  • FIG. 3 is a block diagram illustrating the process of bypassing part of the preprocessing.
  • the preprocessing P20 constitutes a series of image processing groups, including base processing P201, ABF application processing P203, dark correction processing P204, and light amount adjustment processing P205.
  • base processing P201 image processing such as basic correction and linearization is performed on the Bayer format image data, which is the input RAW image data D1.
  • ABF application process P203 an ABF (Adaptive Bilateral Filter) is applied to the image data resulting from the base process P201 to adjust the edge strength.
  • the dark correction process P204 noise is removed by subtracting the previously obtained black level from the image data that is the result of the ABF application process P203.
  • the image data resulting from the dark correction process P204 is corrected so that the brightness of the image peripheral area is amplified.
  • a single processed RAW image data D2 is generated as a processing result of the preprocessing P20.
  • One processed RAW image data D2 is generated for one RAW image data D1.
  • the processor 11 switches the image processing pipeline P2 based on the definition data 122 when a predetermined switching condition is satisfied.
  • the intermediate image data D3 is generated instead of the single processed RAW image data D2.
  • the intermediate image data D3 is the result of image processing immediately before the target image processing, and one intermediate image data D3 is generated for one RAW image data D1.
  • the intermediate image data D3 is subject to the extended image processing P4.
  • the processor 11 may store the intermediate image data D3 in the memory 12 each time it generates the intermediate image data D3.
  • the processor 11 executes the extended image processing P4 based on the extended image processing module 124. As described above, the extended image processing P4 is processing different from each image processing in the image processing pipeline P2. This provides a new image processing option to the image processing pipeline P2. Processor 11 refers to memory 12 and generates single image data based on the N pieces of intermediate image data.
  • the definition data 122 may include the output destination of the single image data generated by the extended image processing P4.
  • the definition data 122 stores the white balance processing P21 as the output destination.
  • the extended image processing module 124 causes the processor 11 to output the generated single image data to the output destination defined by the definition data 122 .
  • the processing result of the extended image processing P4 is handed over to the white balance processing P21, and the image processing pipeline P2 is executed.
  • FIG. 4 is a flow chart of an image processing method including a switching step.
  • the flowchart shown in FIG. 4 is started at the timing when one piece of RAW image data D1 is read from the memory 12, for example.
  • the extended image processing P4 is noise reduction processing, and that the switching condition is satisfied when a user operation enabling the noise reduction processing is received.
  • the processor 11 determines whether or not the switching condition is satisfied as a determination step (step S10). If the user's operation to enable the noise reduction process has not been received (step S10: NO), the processor 11 executes the normal process (step S11) through the image processing pipeline.
  • the processor 11 refers to the definition data 122 as a definition acquisition step (step S12), and performs ABF application processing P203, which is the target image processing, A definition identifying the dark correction processing P204 and the light amount adjustment processing P205, and a definition indicating that the image processing to be executed after the bypass is the noise reduction processing (extended image processing P4) are acquired.
  • the processor 11 performs target image processing (ABF application processing P203, dark correction processing P204, and light amount adjustment processing P205) based on the definition obtained in the definition acquisition step (step S12). ) is set in the image processing pipeline P2 to bypass the switching process P202.
  • target image processing ABSF application processing P203, dark correction processing P204, and light amount adjustment processing P205
  • the processor 11 executes the image processing pipeline P2 until just before the target image processing. Specifically, the processor 11 performs the processing up to the base processing P201 immediately before the ABF application processing P203.
  • the processor 11 applies noise reduction processing (extended image processing) to the intermediate image data, which is the processing result of the base processing P201, based on the definition obtained in the definition acquisition step (step S12).
  • noise reduction processing extended image processing
  • the flow of the image processing pipeline P2 is switched so that it becomes the processing target of P4).
  • step S11 When the normal process (step S11) or the switching process (step S18) ends, the flowchart shown in FIG. 4 ends.
  • the flowchart shown in FIG. 4 starts from the beginning when the processor 11 reads the next RAW image data D1 from the memory 12 .
  • FIG. 5 is a flowchart of extended image processing steps in the image processing method. The flowchart shown in FIG. 5 is executed after the switching step (step S18) shown in FIG. 4 is completed.
  • the processor 11 acquires the processing result of the base processing P201 as intermediate image data D3 as an intermediate image data acquisition step (step S20). Subsequently, the processor 11 causes the memory 12 to record the intermediate image data D3 obtained in the intermediate image data obtaining step (step S20) as an intermediate image data holding step (step S22).
  • the processor 11 determines whether or not the number of intermediate image data D3 recorded in the memory 12 is N as a data number determination step (step S24).
  • the processor 11 executes noise reduction processing as an extended image processing step (step S26).
  • the processor 11 outputs the single image data, which is the processing result of the noise reduction processing, to the white balance processing P21, which is the output destination defined by the definition data 122.
  • Processor 11 clears the intermediate image data in memory 12 .
  • step S28 When the output step (step S28) is completed, or when it is determined that the number of intermediate image data D3 recorded in the memory 12 is not N (step S24: YES), the flow chart shown in FIG. ends. As shown in the flow chart of FIG. 5, this method executes the extended image processing step (step S26) when a predetermined number (N) of intermediate image data D3 is available, and the subsequent image processing pipeline Image data can be handed over to P2.
  • the image processing pipeline for each of at least one piece of RAW image data D1 generated by the image sensor 10, the image processing pipeline is configured so that the image data resulting from the preceding image processing is subjected to the succeeding image processing. P2 is executed. Then, when a predetermined switching condition is satisfied, the intermediate image data D3, which is the result of image processing immediately before the target image processing, is processed in the image processing pipeline P2 so as to be subject to the extended image processing P4. flow can be switched.
  • the image processing apparatus 1 bypasses arbitrary image processing included in the image processing pipeline P2, and performs extended image processing P4 on the intermediate image data D3. can be executed. Therefore, the image processing apparatus 1 can provide extensibility to the image processing pipeline P2.
  • the image processing pipeline P2 includes processing to change the noise intensity
  • the intermediate image data D3 that has not undergone the process of changing the noise intensity
  • noise according to the laws of nature appears, so the noise intensity can be estimated appropriately.
  • the image processing apparatus 1 performs noise reduction processing based on a plurality of pieces of intermediate image data D3, it is possible to generate single image data with improved characteristics.
  • the image processing apparatus 1 can appropriately reduce noise and appropriately increase the resolution as compared with the case where noise reduction processing is performed on the processing result of the image processing pipeline P2.
  • the image processing device 1 can return the result of the extended image processing P4 to the image processing pipeline P2.
  • the extended image processing P4 is noise reduction processing, but the extended image processing P4 can be arbitrary processing.
  • the extended image processing P4 may be image processing for a single intermediate image data D3, or may be image processing for a plurality of intermediate image data.
  • Super-resolution processing is processing for increasing the resolution of image data based on a plurality of image data.
  • the plurality of pieces of image data are, for example, time-series image data (eg, continuous-shot image data).
  • the resolution of image data can be increased by aligning a plurality of image data and integrating pixels.
  • extended image processing P4A when the extended image processing is super-resolution processing, it is referred to as extended image processing P4A.
  • FIG. 6A shows how RAW image data 301, 302, and 303 are input (loaded) in chronological order.
  • the time axis extends from the top to the bottom of the figure, and each piece of RAW image data is aligned with a predetermined pixel position as a reference in consideration of the ease of explanation and understanding. are displayed.
  • the processor 11 acquires RAW image data 301, 302, and 303 in order.
  • the input RAW image data 301, 302, and 303 each have R component pixels, G component pixels, and B component pixels in a Bayer array.
  • FIG. 6B is a diagram schematically showing the RAW image data group 304 after alignment.
  • the processor 11 performs sampling processing on the RAW image data group 304 after alignment. In this sampling processing, pixel values are combined for each color component at pixel intervals smaller than the pixel intervals of the input RAW image data. Combining the pixel values may be performed by simple averaging or weighted averaging of the pixel values of the RAW image data group 304 at the target pixel position.
  • the processor 11 calculates the pixel value difference between the reference RAW image data and the synthesis target RAW image data at the target pixel position. If the pixel value difference is equal to or greater than the threshold, the processor 11 may estimate that the RAW image data to be synthesized has failed in registration, and may reduce the synthesis contribution of the RAW image data.
  • FIG. 6C is a diagram schematically showing single RGB image data 305 composed of R, G, and B components output as a result of sampling processing.
  • FIG. 7 is a block diagram illustrating a modification of extended image processing.
  • the output destination of the extended image processing P4A is the color correction processing P23. That is, when the extended image processing P4A is executed, the white balance processing P21 and the demosaicing processing P22 in the image processing pipeline P2 are bypassed.
  • the RGB color tone adjustment corresponding to the white balance processing P21 may be applied to the single RGB image data 305.
  • FIG. The processor 11 performs color correction processing P23 and post-processing P24 on the RGB image data output by the extended image processing P4.
  • the output destination of the extended image processing P4 is different than when the extended image processing P4 is MFNR, and other pipeline processing is the same.
  • the image processing pipeline P2 can have extensibility such as super-resolution processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

画像処理装置は、ＲＡＷ画像データを生成する画像センサと、ＲＡＷ画像データに対して、前段の画像処理の結果である画像データが後段の画像処理の対象となるように一連の画像処理群を実行するパイプライン処理部と、画像処理群に含まれる画像処理それぞれとは異なる拡張画像処理を実行する拡張画像処理部と、画像処理群に含まれる画像処理のうちバイパスされる対象画像処理を識別する定義、及び、バイパス前後の少なくとも一方で実行される画像処理が拡張画像処理であることを示す定義を記憶する記憶部と、所定の切替条件が満たされたことに応じて、記憶部に記憶された定義に基づいて、対象画像処理前の画像処理の結果である中間画像データが拡張画像処理の対象となるように、画像処理群における処理の流れを切り替える切替部とを備える。

Description

画像処理装置、画像処理プログラム、及び、画像処理方法
　本開示は、画像処理装置、画像処理プログラム、及び、画像処理方法に関する。
　特許文献１は、画像センサから出力されたＲＡＷ画像データに対して複数の画像処理を順次適用するプロセッサを開示する。複数の画像処理は、前処理、ホワイトバランス、デモザイキング、色変換、色補正、及び後処理を含む。順次適用される一連の画像処理の流れによって、最終的な画像データが生成される。順次適用される一連の画像処理の流れは、画像処理パイプラインとも呼ばれる。
特許第６６７６５３９号公報
　特許文献１記載のプロセッサは、典型的には汎用処理ユニットとしてシステムオンチップで提供される。このようなプロセッサの画像処理を拡張するためには、画像処理パイプラインから出力される画像データに対して何らかの画像処理を適用するソフトウェアを、画像処理パイプラインの後段に組み込むことが一般的である。しかしながら、後段に組み込まれるソフトウェアは画像処理パイプラインから出力される画像データの特性を前提として処理することになるため、ソフトウェアの性能を十分に発揮できない場合がある。本開示は、順次適用される一連の画像処理の流れに拡張性を持たせることができる技術を提供する。
　本開示の一形態に係る画像処理装置は、画像センサ、パイプライン処理部、記憶部、拡張画像処理部、及び、切替部を備える。画像センサは、少なくとも１つのＲＡＷ画像データを生成する。パイプライン処理部は、画像センサで生成された少なくとも１つのＲＡＷ画像データそれぞれに対して、前段の画像処理の結果である画像データが後段の画像処理の対象となるように一連の画像処理群を実行する。拡張画像処理部は、画像処理群に含まれる画像処理それぞれとは異なる拡張画像処理を実行する。記憶部は、画像処理群に含まれる画像処理のうちバイパスされる画像処理である対象画像処理、及び、拡張画像処理を指定する定義を記憶する。切替部は、所定の切替条件が満たされたことに応じて、記憶部に記憶された定義に基づいて、対象画像処理前の画像処理の結果である中間画像データが拡張画像処理の対象となるように、画像処理群における処理の流れを切り替える。
　本開示によれば、順次適用される一連の画像処理の流れに拡張性を持たせることができる。
実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 一連の画像処理群を説明するブロック図である。 前処理の一部をバイパスする処理を説明するブロック図である。 切替工程を含む画像処理方法のフローチャートである。 画像処理方法における拡張画像処理工程のフローチャートである。 超解像処理を説明する概要図である。 拡張画像処理の変形例を説明するブロック図である。
　以下、図面を参照して、本開示の実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明を省略する。
（画像処理装置の構成）
　図１は、実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。図１に示される画像処理装置１は、例えばスマートフォンなどの撮像機能を有するデバイスである。画像処理装置１は、画像データに対して一連の画像処理群を順次適用する。以下では、一連の画像処理群の流れを画像処理パイプラインともいう。
　図１に示されるように、画像処理装置１は、画像センサ１０、プロセッサ１１、メモリ１２（記憶部の一例）、ストレージ１３、入力部１４、及び、出力部１５を備える。プロセッサ１１は、画像センサ１０、メモリ１２、ストレージ１３、入力部１４、及び、出力部１５に相互に通信可能に接続されている。
　画像センサ１０は、固体撮像素子であり、ＲＡＷ画像データを出力する。ＲＡＷ画像データは、モザイク配列で記録されたカラー画像データである。モザイク配列の一例は、ベイヤー配列である。画像センサ１０は、連写機能を備えてもよい。この場合、画像センサ１０は、連続する複数のＲＡＷ画像データを生成する。プロセッサ１１は、画像処理パイプラインを実行する演算装置であり、一例として画像信号処理に最適化されたＩＳＰ（Image Signal Processor）である。プロセッサ１１は、ＩＳＰだけではなく、ＧＰＵ（Graphics Processing Unit）又はＣＰＵ（Central Processing Unit）であってもよい。画像処理パイプラインにおける各画像処理の種類に応じて、ＩＳＰと、ＧＰＵ又はＣＰＵとを組み合わせて各画像処理を実行させてもよい。プロセッサ１１は、画像センサ１０から出力されたＲＡＷ画像データに対して、ＲＡＷ画像データごとに画像処理パイプラインを実行する。
　メモリ１２及びストレージ１３は、記憶媒体である。図１に示される例では、メモリ１２は、プロセッサ１１により実行されるプログラムのモジュール、定義データ、ＲＡＷ画像データ、及び、後述する中間画像データなどを記憶する。メモリ１２は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。ストレージ１３は、画像処理パイプラインによる処理済みの画像データなどを記憶する。画像処理パイプラインによる処理済みの画像データは、例えば、ＲＧＢ画像データ又はＹＵＶ画像データである。ストレージ１３は、例えばＨＤＤ（Hard Disk Drive）である。なお、メモリ１２及びストレージ１３は、記憶媒体であれば特に限定されない。メモリ１２及びストレージ１３は、単一のハードウェアで構成されてもよい。
　メモリ１２は、画像処理パイプラインを実行するためのパイプライン処理モジュール１２１（パイプライン処理部の一例）を含む。プロセッサ１１は、メモリ１２を参照して画像処理パイプラインを実行する。また、メモリ１２は、後述する画像処理パイプラインの切り替えを実現するための、定義データ１２２、切替モジュール１２３（切替部の一例）、及び、拡張画像処理モジュール１２４（拡張画像処理部の一例）を格納する。
　入力部１４は、ユーザ操作を受け付けるユーザインターフェイスであり、一例として操作ボタンである。出力部１５は、画像データを表示する機器であり、一例としてディスプレイ装置である。入力部１４及び出力部１５は、タッチスクリーンなどの単一のハードウェアで構成されてもよい。
（画像処理パイプラインの概要）
　図２は、一連の画像処理群を説明するブロック図である。プロセッサ１１は、パイプライン処理モジュール１２１に基づいて画像処理パイプラインＰ２を実行する。最初に、プロセッサ１１は、メモリ１２に格納されたＲＡＷ画像データをロードする（ロード処理Ｐ１）。そして、プロセッサ１１は、ＲＡＷ画像データに対して複数の画像処理を順次実行する（画像処理パイプラインＰ２）。そして、プロセッサ１１は、処理結果としてＹＵＶ画像データを得る。プロセッサ１１は、処理結果を出力部１５に出力させ、又は、ストレージ１３に記憶させる（表示／記憶処理Ｐ３）。パイプライン処理モジュール１２１は、プロセッサ１１が上述した動作を実行するように機能させるプログラムである。
　パイプライン処理モジュール１２１は、画像処理パイプラインＰ２として、前処理Ｐ２０、ホワイトバランス処理Ｐ２１、デモザイク処理Ｐ２２、色補正処理Ｐ２３及び後処理Ｐ２４の順にプロセッサ１１に実行させる。
　前処理Ｐ２０では、ＲＡＷ画像データであるベイヤーフォーマットの画像データを対象とした画像処理が実行される。前処理Ｐ２０の詳細は後述する。次に、ホワイトバランス処理Ｐ２１では、前処理Ｐ２０が実行された画像データに対してＲＧＢの各色成分の強度が補正される。次に、デモザイク処理Ｐ２２では、ホワイトバランス処理Ｐ２１が実行された画像データに対してベイヤーフォーマットにおいて色情報が欠けている画素が補間され、ＲＧＢ画像データが生成される。次に、色補正処理Ｐ２３では、ＲＧＢ画像データが色補正される。最後に、後処理Ｐ２４では、ＲＧＢフォーマットからＹＵＶフォーマットへの色空間変換、及び、ＹＵＶフォーマットを対象とした画像処理が施される。なお、図２に示される画像処理パイプラインＰ２は、一例であり、様々な形態を取り得る。画像処理パイプラインＰ２は、図２に示される例に限定されず、図２に示される画像処理の順序の変更、画像処理の削除及び新たな画像処理の追加が可能である。
（画像処理パイプラインの拡張）
　画像処理装置１は、画像処理パイプラインＰ２における各画像処理に対し、必要に応じて処理のバイパスを選択する機能を有する。画像処理装置１は、対象画像処理をバイパスさせた後に、対象画像処理の替わりに拡張画像処理Ｐ４を実行する。対象画像処理とは、画像処理パイプラインＰ２に含まれる画像処理のうちバイパスされる画像処理である。拡張画像処理Ｐ４は、画像処理パイプラインＰ２における各画像処理とは異なる処理である。これにより、画像処理パイプラインＰ２に新たな画像処理のオプションが付与される。画像処理パイプラインＰ２及び拡張画像処理Ｐ４を含む処理Ｐ５は、プロセッサ１１によって実行される。
　具体的にどの画像処理をバイパスするかについては、組み込まれる拡張画像処理Ｐ４の内容に依存して決定される。ユーザは、拡張画像処理Ｐ４の内容に応じて画像処理パイプラインＰ２に含まれる１又は複数の画像処理がバイパスされるように、定義データ１２２を作成する。定義データ１２２は、メモリ１２に格納される。定義データ１２２は、どの画像処理が対象画像処理であるかを示す定義、及び、バイパス後に実行される画像処理が拡張画像処理であることを示す定義を含む。ユーザは、拡張画像処理Ｐ４の性能が低下する画像処理をバイパスするように設定することで、拡張画像処理Ｐ４の機能を十分に発揮した画像データを後続の処理へ渡すことができる。
　以下では、一例として、拡張画像処理Ｐ４が複数の画像データに基づいたノイズリダクション処理である場合を説明する。複数の画像データに基づいたノイズリダクション処理は、ＭＦＮＲ（Multi-Frame Noise Reduction）と呼ばれ、連写された画像データの画素の平均値を算出することにより画像データに含まれるノイズを削減する。
　ＭＦＮＲの実行においては、合成による多重ブレを防ぐために、画像間の画素値の差分に基づいて移動物体が検出される。移動物体を適切に検出するためには、画像間の画素値の差分が、物体の移動によって生じたのか、あるいは画像に含まれるノイズによって生じたのかを判別しなければならない。このためには、画像に含まれるノイズの強度を適切に推定することが重要となる。一般的に、ノイズ強度は、工場出荷時の校正データなどを用いて撮影時のＩＳＯ感度から精度良く推定することができる。これらの強度は自然法則に従って変化するためである。
　ところで、画像処理パイプラインＰ２は、画像のノイズ強度を変化させる処理を含む場合がある。このような処理としては、例えば、ＳＦＮＲ（Single-Frame Noise Reduction）又は周辺光量落ち補正処理などが挙げられる。ＳＦＮＲは、１枚の画像中から低周波フィルタなどを用いてノイズを低減する。周辺光量落ち補正処理は、レンズの特性により画像周辺の光量が低減するという事象を改善するために、画像周辺領域の輝度を増幅させる。上述した自然法則を用いたノイズ強度の推定手法は、ノイズ強度を変化させる処理が施された画像データを前提としていないため、このような画像データを対象とした場合、十分な推定精度を達成することができないおそれがある。
　このため、拡張画像処理Ｐ４を実行する場合には、画像のノイズ強度を変化させる処理をバイパスするように、定義データ１２２が生成される。これにより、拡張画像処理Ｐ４には、前提となるノイズ特性を持った画像データが入力されることになり、より適切な画像処理が実現される。
　プロセッサ１１は、切替モジュール１２３に基づいて画像処理パイプラインＰ２の対象画像処理をバイパスさせる。例えば、プロセッサ１１は、所定の切替条件が満たされたか否かを判定する。所定の切替条件は、バイパスの要否を決定するための条件であり、予め定められる。所定の切替条件は、例えば、拡張画像処理Ｐ４を有効とするユーザ操作を受け付けたこととしてもよいし、時間又は環境が所定の条件を満たしたこととしてもよい。そして、プロセッサ１１は、所定の切替条件が満たされた場合に、定義データ１２２に従って画像処理パイプラインＰ２の対象画像処理をバイパスする。切替モジュール１２３は、プロセッサ１１が上述した対象画像処理をバイパスする一連の動作を実行するように機能させるプログラムである。図２に示される例では、前処理Ｐ２０の途中から拡張画像処理Ｐ４に切り替わり、拡張画像処理Ｐ４が実行される。拡張画像処理Ｐ４の処理結果は、画像処理パイプラインＰ２に戻され、ホワイトバランス処理Ｐ２１、デモザイク処理Ｐ２２、色補正処理Ｐ２３、及び、後処理Ｐ２４が順に実行される。
（切替処理の詳細）
　図３は、前処理の一部をバイパスする処理を説明するブロック図である。図３に示されるように、前処理Ｐ２０は、一連の画像処理群を構成しており、ベース処理Ｐ２０１、ＡＢＦ適用処理Ｐ２０３、ダーク補正処理Ｐ２０４、及び、光量調整処理Ｐ２０５を含む。ベース処理Ｐ２０１では、入力されたＲＡＷ画像データＤ１であるベイヤーフォーマットの画像データに対して、基礎補正及び線形化などの画像処理が実行される。ＡＢＦ適用処理Ｐ２０３では、ＡＢＦ（Adaptive Bilateral Filter：適応的バイラテラルフィルタ）がベース処理Ｐ２０１の処理結果である画像データに適用され、エッジ強度が調整される。ダーク補正処理Ｐ２０４では、ＡＢＦ適用処理Ｐ２０３の処理結果である画像データに対して、予め取得された黒レベルが減算されて、ノイズが除去される。光量調整処理Ｐ２０５では、ダーク補正処理Ｐ２０４の処理結果である画像データが、画像周辺領域の輝度が増幅するように補正される。光量調整処理Ｐ２０５が完了した場合、前処理Ｐ２０の処理結果として、単一の処理済みＲＡＷ画像データＤ２が生成される。処理済みＲＡＷ画像データＤ２は、１つのＲＡＷ画像データＤ１に対して１つ生成される。
　拡張画像処理Ｐ４がノイズリダクション処理であるため、図３に示される例においては、ベース処理Ｐ２０１とＡＢＦ適用処理Ｐ２０３との間に、定義データ１２２に基づいて切替処理Ｐ２０２が組み込まれる。切替処理Ｐ２０２では、所定の切替条件が満たされた場合に、プロセッサ１１によって定義データ１２２に基づいて画像処理パイプラインＰ２が切り替えられる。これにより、単一の処理済みＲＡＷ画像データＤ２の替わりに、中間画像データＤ３が生成される。中間画像データＤ３は、対象画像処理の直前の画像処理の結果であり、１つのＲＡＷ画像データＤ１に対して１つ生成される。中間画像データＤ３は、拡張画像処理Ｐ４の処理対象となる。プロセッサ１１は、例えば、Ｎ個の連写されたＲＡＷ画像データＤ１を順次読み込み、それぞれ前処理Ｐ２０を実行し、対応する中間画像データＤ３をＮ個生成する。プロセッサ１１は、中間画像データＤ３を生成する度にメモリ１２に格納してもよい。
　プロセッサ１１は、拡張画像処理モジュール１２４に基づいて拡張画像処理Ｐ４を実行する。上述したとおり、拡張画像処理Ｐ４は、画像処理パイプラインＰ２における各画像処理とは異なる処理である。これにより、画像処理パイプラインＰ２に新たな画像処理のオプションが付与される。プロセッサ１１は、メモリ１２を参照し、Ｎ個の中間画像データに基づいて単一の画像データを生成する。
　定義データ１２２は、拡張画像処理Ｐ４によって生成される単一の画像データの出力先を含んでもよい。図２に示される例では、定義データ１２２は、出力先としてホワイトバランス処理Ｐ２１を記憶する。拡張画像処理モジュール１２４は、生成された単一の画像データが定義データ１２２によって定義された出力先に出力されるように、プロセッサ１１を動作させる。これにより、拡張画像処理Ｐ４の処理結果は、ホワイトバランス処理Ｐ２１に引き継がれ、画像処理パイプラインＰ２が実行される。
（画像処理方法）
　図４は、切替工程を含む画像処理方法のフローチャートである。図４に示されるフローチャートは、例えば１つのＲＡＷ画像データＤ１をメモリ１２から読み込んだタイミングで開始される。なお、以下では、拡張画像処理Ｐ４がノイズリダクション処理であり、切替条件は、ノイズリダクション処理を有効とするユーザ操作を受け付けた場合に満たされるものとして説明する。
　図４に示されるように、プロセッサ１１は、判定工程（ステップＳ１０）として、切替条件が満たされたか否かを判定する。ノイズリダクション処理を有効とするユーザ操作を受け付けていない場合（ステップＳ１０：ＮＯ）、プロセッサ１１は、通常工程（ステップＳ１１）として、画像処理パイプラインを通しで実行する。
　ノイズリダクション処理を有効とするユーザ操作を受け付けた場合（ステップＳ１０：ＹＥＳ）、プロセッサ１１は、定義取得工程（ステップＳ１２）として、定義データ１２２を参照し、対象画像処理であるＡＢＦ適用処理Ｐ２０３、ダーク補正処理Ｐ２０４、及び光量調整処理Ｐ２０５を識別する定義、及び、バイパス後に実行される画像処理がノイズリダクション処理（拡張画像処理Ｐ４）であることを示す定義を取得する。
　続いて、プロセッサ１１は、設定工程（ステップＳ１４）として、定義取得工程（ステップＳ１２）において得られた定義に基づいて、対象画像処理（ＡＢＦ適用処理Ｐ２０３、ダーク補正処理Ｐ２０４、及び光量調整処理Ｐ２０５）をバイパスするように画像処理パイプラインＰ２に切替処理Ｐ２０２を設定する。
　続いて、プロセッサ１１は、画像処理工程（ステップＳ１６）として、画像処理パイプラインＰ２を対象画像処理の直前まで実施する。具体的には、プロセッサ１１は、ＡＢＦ適用処理Ｐ２０３の直前であるベース処理Ｐ２０１まで処理を実施する。
　続いて、プロセッサ１１は、切替工程（ステップＳ１８）として、定義取得工程（ステップＳ１２）において得られた定義に基づいて、ベース処理Ｐ２０１の処理結果である中間画像データがノイズリダクション処理（拡張画像処理Ｐ４）の処理対象となるように、画像処理パイプラインＰ２の流れを切り替える。
　通常工程（ステップＳ１１）又は切替工程（ステップＳ１８）が終了した場合、図４に示されるフローチャートは終了する。図４に示されるフローチャートは、プロセッサ１１が次のＲＡＷ画像データＤ１をメモリ１２から読み込んだタイミングで最初から開始される。
　次に、画像処理方法の拡張画像処理工程について概説する。図５は、画像処理方法における拡張画像処理工程のフローチャートである。図５に示されるフローチャートは、図４に示される切替工程（ステップＳ１８）の終了後に実行される。
　図５に示されるように、プロセッサ１１は、中間画像データ取得工程（ステップＳ２０）として、ベース処理Ｐ２０１の処理結果を中間画像データＤ３として取得する。続いて、プロセッサ１１は、中間画像データ保持工程（ステップＳ２２）として、中間画像データ取得工程（ステップＳ２０）において取得された中間画像データＤ３をメモリ１２に記録させる。
　続いて、プロセッサ１１は、データ数判定工程（ステップＳ２４）として、メモリ１２に記録された中間画像データＤ３のデータ数がＮ個であるか否かを判定する。メモリ１２に記録された中間画像データＤ３のデータ数がＮ個であると判定された場合（ステップＳ２４：ＹＥＳ）、プロセッサ１１は、拡張画像処理工程（ステップＳ２６）として、ノイズリダクション処理を実行する。続いて、プロセッサ１１は、出力工程（ステップＳ２８）として、定義データ１２２によって定義された出力先であるホワイトバランス処理Ｐ２１へ、ノイズリダクション処理の処理結果である単一の画像データを出力する。プロセッサ１１は、メモリ１２の中間画像データをクリアする。
　出力工程（ステップＳ２８）が終了した場合、又は、メモリ１２に記録された中間画像データＤ３のデータ数がＮ個でないと判定された場合（ステップＳ２４：ＹＥＳ）には、図５に示されるフローチャートは終了する。図５に示されるフローチャートのとおり、この方法は、予め決められた数（Ｎ個）の中間画像データＤ３が揃った段階で拡張画像処理工程（ステップＳ２６）を実行し、後続の画像処理パイプラインＰ２へ画像データを引き継ぐことができる。
（実施形態のまとめ）
　画像処理装置１では、画像センサ１０で生成された少なくとも１つのＲＡＷ画像データＤ１それぞれに対して、前段の画像処理の結果である画像データが後段の画像処理の対象となるように画像処理パイプラインＰ２が実行される。そして、所定の切替条件が満たされたことに応じて、対象画像処理の直前の画像処理の結果である中間画像データＤ３が拡張画像処理Ｐ４の対象となるように、画像処理パイプラインＰ２における処理の流れが切り替えられる。メモリ１２に記憶された定義データ１２２を適宜設定することにより、画像処理装置１は、画像処理パイプラインＰ２に含まれる任意の画像処理をバイパスさせ、中間画像データＤ３に対して拡張画像処理Ｐ４を実行させることができる。よって、画像処理装置１は、画像処理パイプラインＰ２に拡張性を持たせることができる。
　画像処理パイプラインＰ２にノイズ強度を変化させる処理が含まれる場合、画像処理パイプラインＰ２の処理結果である画像データから当該画像データにおけるノイズ強度を推定することは困難である。これに対して、ノイズ強度を変化させる処理が未だ実行されていない中間画像データＤ３には、自然法則に従ったノイズが現れるため、ノイズ強度を適切に推定できる。画像処理装置１は、複数の中間画像データＤ３に基づいてノイズリダクション処理を行うため、改善された特性を有する単一の画像データを生成できる。画像処理装置１は、画像処理パイプラインＰ２の処理結果に対してノイズリダクション処理をする場合と比べて、適切にノイズを低減したり適切に解像度を高めたりすることができる。画像処理装置１は、画像処理パイプラインＰ２に拡張画像処理Ｐ４の結果を戻すことができる。
（変形例）
　以上、本開示の実施形態について説明したが、本開示は、上述した実施形態に限定されるものではない。例えば、上述した実施形態において、画像処理パイプラインＰ２に拡張画像処理Ｐ４を複数設定してもよい。この場合、拡張画像処理Ｐ４ごとに定義データ１２２を用意すればよい。また、上述した実施形態に係る画像処理装置１の動作は、コンピュータを機能させる画像処理プログラムによって実現されてもよい。
　上述した実施形態においては、拡張画像処理Ｐ４がノイズリダクション処理である場合を例示したが、拡張画像処理Ｐ４は任意の処理とすることができる。拡張画像処理Ｐ４は、単一の中間画像データＤ３を対象とする画像処理であってもよいし、複数の中間画像データを対象とする画像処理であってもよい。
（拡張画像処理の他の例の詳細）
　拡張画像処理の他の一例は、超解像処理である。超解像処理は、複数の画像データに基づいて、画像データの解像度を高める処理である。複数の画像データは、例えば、時系列の画像データ（一例として連写された画像データ）である。超解像処理においては、複数の画像データの位置合わせを行い、画素を集積させることにより、画像データの解像度を高めることができる。以下では拡張画像処理が超解像処理である場合には、拡張画像処理Ｐ４Ａという。
　図６の（Ａ）～（Ｃ）は、超解像処理を説明する概要図である。図６の（Ａ）～（Ｃ）においては、複数の画像データの一例として３枚のＲＡＷ画像データを用いる。図６の（Ａ）は、ＲＡＷ画像データ３０１、３０２、３０３が時系列順に入力（ロード）される様子を示す。図６の（Ａ）においては、図中の上方から下方に向けて時間軸が延びており、各ＲＡＷ画像データは、説明理解の容易性を考慮し、所定の画素位置を基準に位置合わせして表示されている。プロセッサ１１は、ＲＡＷ画像データ３０１、３０２、３０３を順に取得する。入力されたＲＡＷ画像データ３０１、３０２、３０３はそれぞれ、Ｒ成分の画素、Ｇ成分の画素、Ｂ成分の画素をベイヤー配列で有する。
　次に、プロセッサ１１は、入力されたＲＡＷ画像データ３０１、３０２、３０３の特徴点を抽出し、特徴点を基準としてＲＡＷ画像データ３０１、３０２、３０３を位置合わせする。この位置合わせには、特徴点の画素値の差分が用いられる。図６の（Ｂ）は、位置合わせ後のＲＡＷ画像データ群３０４を模式的に示す図である。次に、プロセッサ１１は、位置合わせ後のＲＡＷ画像データ群３０４を対象にサンプリング処理を実行する。このサンプリング処理では、入力されたＲＡＷ画像データの画素間隔よりも小さい画素間隔で、かつ、色成分ごとに画素値の合成が行われる。画素値の合成は、注目画素位置におけるＲＡＷ画像データ群３０４の画素値を単純平均してもよいし、重み付け平均してもよい。重み付け平均によって画素値の合成が行われる場合、プロセッサ１１は、注目画素位置において、基準となるＲＡＷ画像データと合成対象のＲＡＷ画像データとの画素値の差分を算出する。プロセッサ１１は、画素値の差分が閾値以上である場合には合成対象のＲＡＷ画像データが位置合わせに失敗していると推定し、当該ＲＡＷ画像データの合成寄与度を下げてもよい。
　入力されるＲＡＷ画像データよりも小さい画素間隔でサンプリングが行われる場合には、すべての画素位置でＲ成分、Ｇ成分、Ｂ成分の画素値を検出できないおそれがある。このため、プロセッサ１１は、ＲＡＷ画像データ３０１、３０２、３０３について、欠損画素を予め補間してもよい。あるいは、プロセッサ１１は、注目画素だけをサンプリング対象とするのではなく、注目画素を中心とした３×３画素範囲をサンプリング対象としてもよい。図６の（Ｃ）は、サンプリング処理の結果として出力された、Ｒ成分、Ｇ成分、Ｂ成分からなる単一のＲＧＢ画像データ３０５を模式的に示す図である。このように、超解像処理では、複数のＲＡＷ画像データを入力として、単一のＲＧＢ画像データが出力される。
　上述したように、複数の画像データに基づいた超解像処理は、連写された画像データの位置合わせの際に画像間の画素値の差分が必要となる。よって、超解像処理は、ＭＦＮＲと同様に、ノイズ強度を適切に推定することが重要となる。つまり、拡張画像処理Ｐ４Ａが行われる場合には、プロセッサ１１は、ＭＦＮＲと同様に画像のノイズ強度を変化させる処理をバイパスさせる。より具体的には、拡張画像処理Ｐ４Ａが行われる場合には、プロセッサ１１は、図３で示される切替処理Ｐ２０２が実行されるように定義データ１２２を生成する。これにより、拡張画像処理Ｐ４Ａには、前提となるノイズ特性を持った画像データが入力されることになり、より適切な画像処理が実現される。つまり、拡張画像処理Ｐ４の場合と同様に、図３で示される切替処理Ｐ２０２で生成された複数の中間画像データＤ３が拡張画像処理Ｐ４Ａの入力データとなる。
　上述したように、拡張画像処理Ｐ４Ａにおいては、単一のＲＧＢ画像データが出力される。このため、プロセッサ１１は、画像処理パイプラインＰ２に含まれる画像処理のうちＲＡＷ画像データをＲＧＢ画像データへ変換する処理をバイパスするように、拡張画像処理Ｐ４Ａの出力先を定義する定義データ１２２を生成する。図７は、拡張画像処理の変形例を説明するブロック図である。図７に示されるように、拡張画像処理Ｐ４Ａの出力先は色補正処理Ｐ２３となる。つまり、拡張画像処理Ｐ４Ａが実行される場合には、画像処理パイプラインＰ２におけるホワイトバランス処理Ｐ２１及びデモザイク処理Ｐ２２がバイパスされる。この場合、拡張画像処理Ｐ４Ａにおいて、ホワイトバランス処理Ｐ２１に相当するＲＧＢ間の色味調整を、単一のＲＧＢ画像データ３０５に対して施してもよい。プロセッサ１１は、拡張画像処理Ｐ４によって出力されたＲＧＢ画像データに対して色補正処理Ｐ２３及び後処理Ｐ２４を行う。このように、拡張画像処理Ｐ４が超解像処理である場合には、拡張画像処理Ｐ４がＭＦＮＲである場合と比べて、拡張画像処理Ｐ４の出力先が異なり、その他のパイプライン処理は同一である。以上、変形例にかかる画像処理装置１は、画像処理パイプラインＰ２に超解像処理という拡張性を持たせることができる。
　１…画像処理装置、１０…画像センサ、１１…プロセッサ、１２…メモリ（記憶部の一例）、１２１…パイプライン処理モジュール（パイプライン処理部の一例）、１２３…切替モジュール（切替部の一例）、１２４…拡張画像処理モジュール（拡張画像処理部の一例）、Ｄ１…ＲＡＷ画像データ、Ｄ３…中間画像データ、Ｐ４…拡張画像処理。

Claims (8)

  1. 　少なくとも１つのＲＡＷ画像データを生成する画像センサと、
    　前記画像センサで生成された前記少なくとも１つのＲＡＷ画像データそれぞれに対して、前段の画像処理の結果である画像データが後段の画像処理の対象となるように一連の画像処理群を実行するパイプライン処理部と、
    　前記画像処理群に含まれる画像処理それぞれとは異なる拡張画像処理を実行する拡張画像処理部と、
    　前記画像処理群に含まれる画像処理のうちバイパスされる画像処理である対象画像処理を識別する定義、及び、バイパス前後の少なくとも一方で実行される画像処理が前記拡張画像処理であることを示す定義を記憶する記憶部と、
    　所定の切替条件が満たされたことに応じて、前記記憶部に記憶された定義に基づいて、前記対象画像処理前の画像処理の結果である中間画像データが前記拡張画像処理の対象となるように、前記画像処理群における処理の流れを切り替える切替部と、
    を備える画像処理装置。
  2. 　前記画像センサは、複数のＲＡＷ画像データを生成し、
    　前記パイプライン処理部は、前記画像センサで生成されたＲＡＷ画像データごとに前記画像処理群を実行し、
    　前記切替部は、前記切替条件が満たされたことに応じて、ＲＡＷ画像データごとに前記画像処理群の処理の流れを切り換え、
    　前記拡張画像処理部は、複数の中間画像データに基づいて単一の画像データを生成する、請求項１に記載の画像処理装置。
  3. 　前記拡張画像処理はノイズリダクション処理であり、
    　前記対象画像処理は前記画像データのノイズ強度を変化させる処理である、請求項２に記載の画像処理装置。
  4. 　前記拡張画像処理は超解像処理であり、
    　前記対象画像処理は前記画像データのノイズ強度を変化させる処理である、請求項２に記載の画像処理装置。
  5. 　前記拡張画像処理は超解像処理であり、
    　前記対象画像処理は前記画像センサで生成されたＲＡＷ画像データにおいて色情報が欠けている画素を補間させる処理である、請求項２に記載の画像処理装置。
  6. 　前記記憶部は、前記拡張画像処理部によって生成される前記単一の画像データの出力先の定義をさらに記憶し、
    　前記拡張画像処理部は、前記記憶部に記憶された定義に基づいて、生成された前記単一の画像データを前記出力先に出力する、請求項２～５の何れか一項に記載の画像処理装置。
  7. 　画像センサで生成された少なくとも１つのＲＡＷ画像データそれぞれに対して、前段の画像処理の結果である画像データが後段の画像処理の対象となるように一連の画像処理群を実行するパイプライン処理部、
    　前記画像処理群に含まれる画像処理それぞれとは異なる拡張画像処理を実行する拡張画像処理部、及び、
    　前記画像処理群に含まれる画像処理のうちバイパスされる画像処理である対象画像処理を識別する定義、及び、バイパス前後の少なくとも一方で実行される画像処理が前記拡張画像処理であることを示す定義を取得し、所定の切替条件が満たされたことに応じて、取得された前記定義に基づいて、前記対象画像処理前の画像処理の結果である中間画像データが前記拡張画像処理の対象となるように、前記画像処理群における処理の流れを切り替える切替部としてコンピュータを機能させる画像処理プログラム。
  8. 　画像センサで生成された少なくとも１つのＲＡＷ画像データそれぞれに対して、前段の画像処理の結果である画像データが後段の画像処理の対象となるように一連の画像処理群を実行する画像処理方法であって、
    　所定の切替条件が満たされたか否かを判定するステップと、
    　前記切替条件が満たされたと判定されたことに応じて、前記画像処理群に含まれる画像処理のうち対象画像処理前の画像処理の結果である中間画像データが、前記画像処理群に含まれる画像処理それぞれとは異なる拡張画像処理の対象となるように、前記画像処理群における処理の流れを切り替えるステップと、
    　前記拡張画像処理を実行するステップと、
    を含む画像処理方法。

     
PCT/JP2022/004076 2021-03-30 2022-02-02 画像処理装置、画像処理プログラム、及び、画像処理方法 Ceased WO2022209264A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280023282.XA CN117099123A (zh) 2021-03-30 2022-02-02 图像处理装置、图像处理程序及图像处理方法
US18/284,064 US20240161249A1 (en) 2021-03-30 2022-02-02 Image processing device, non-transitory computer-readable medium, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021057626A JP7374505B2 (ja) 2021-03-30 2021-03-30 画像処理装置、画像処理プログラム、及び、画像処理方法
JP2021-057626 2021-03-30

Publications (1)

Publication Number Publication Date
WO2022209264A1 true WO2022209264A1 (ja) 2022-10-06

Family

ID=83458670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004076 Ceased WO2022209264A1 (ja) 2021-03-30 2022-02-02 画像処理装置、画像処理プログラム、及び、画像処理方法

Country Status (4)

Country Link
US (1) US20240161249A1 (ja)
JP (1) JP7374505B2 (ja)
CN (1) CN117099123A (ja)
WO (1) WO2022209264A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149591A1 (ja) * 2016-02-29 2017-09-08 オリンパス株式会社 画像処理装置
WO2019021793A1 (ja) * 2017-07-24 2019-01-31 オリンパス株式会社 画像処理装置および撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149591A1 (ja) * 2016-02-29 2017-09-08 オリンパス株式会社 画像処理装置
WO2019021793A1 (ja) * 2017-07-24 2019-01-31 オリンパス株式会社 画像処理装置および撮像装置

Also Published As

Publication number Publication date
US20240161249A1 (en) 2024-05-16
CN117099123A (zh) 2023-11-21
JP7374505B2 (ja) 2023-11-07
JP2022154539A (ja) 2022-10-13

Similar Documents

Publication Publication Date Title
US9560290B2 (en) Image processing including image correction
JP5019543B2 (ja) 撮像装置
US8436910B2 (en) Image processing apparatus and image processing method
US8982232B2 (en) Image processing apparatus and image processing method
JP5589446B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
US9083898B2 (en) Solid-state imaging device and camera module
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP5910043B2 (ja) 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
JP2011071616A (ja) 画像処理装置
JP2015156615A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP6039188B2 (ja) 画像処理装置および画像処理方法
WO2017068652A1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
JP5631769B2 (ja) 画像処理装置
JP2023111637A (ja) 画像処理装置及び方法、及び撮像装置
JP7374505B2 (ja) 画像処理装置、画像処理プログラム、及び、画像処理方法
JP2010239600A (ja) 明るさ補正プログラム、明るさ補正方法及び明るさ補正装置
JP2009049575A (ja) 画像処理装置及び画像処理方法及びプログラム
JP7287692B2 (ja) 画像処理装置、画像処理プログラム、及び、画像処理方法
JP2010187394A (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP2005295302A (ja) カメラ画像処理装置
US20250392800A1 (en) Image capture apparatus and control method thereof, and image processing apparatus
JP2009239396A (ja) 画像処理装置
JP2025185570A (ja) 輝度マップ生成装置及び撮像装置
JP2025185540A (ja) シーン情報生成装置及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779493

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280023282.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18284064

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779493

Country of ref document: EP

Kind code of ref document: A1