WO2026018671A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法

Info

Publication number
WO2026018671A1
WO2026018671A1 PCT/JP2025/023600 JP2025023600W WO2026018671A1 WO 2026018671 A1 WO2026018671 A1 WO 2026018671A1 JP 2025023600 W JP2025023600 W JP 2025023600W WO 2026018671 A1 WO2026018671 A1 WO 2026018671A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
defect information
unit
pixel
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/023600
Other languages
English (en)
French (fr)
Inventor
武文 名雲
義基 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2026018671A1 publication Critical patent/WO2026018671A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • This disclosure relates to an image processing device and method, and in particular to an image processing device and method that can suppress an increase in the amount of image sensor output data while suppressing a decrease in image quality after defect correction.
  • the pixel array of an image sensor could contain defective pixels whose pixel values could not be detected correctly, resulting in images detected by the image sensor containing defective pixels with incorrect pixel values. These pixel defects were classified into static pixel defects that occurred during the manufacture of the image sensor, and dynamic pixel defects that occurred for some reason after the image sensor was manufactured.
  • One method is for the image sensor to grasp and store the positions of such defective pixels, and then correct the pixel defects contained in the image based on that position information before outputting the image externally (see, for example, Patent Document 1).
  • the defect information may be degraded, resulting in a reduction in the quality of the image after defect correction.
  • This disclosure has been made in light of these circumstances, and aims to prevent a decrease in image quality after defect correction while suppressing an increase in the amount of image sensor output data.
  • An image processing device includes a defect information conversion unit that converts the format of defect information relating to defective pixels in a pixel array for detecting luminance and generates defect information for transmission; an image encoding unit that encodes image data representing the distribution of luminance detected in the pixel array and generates image encoding data with a bit rate set based on the bit rate of the defect information for transmission; and a multiplexing unit that multiplexes the defect information for transmission and the image encoding data to generate a bit stream.
  • An image processing method includes converting the format of defect information relating to defective pixels in a pixel array for detecting luminance to generate defect information for transmission; encoding image data representing the distribution of luminance detected in the pixel array to generate coded image data with a bit rate set based on the bit rate of the defect information for transmission; and multiplexing the defect information for transmission and the coded image data to generate a bit stream.
  • An image processing device includes a demultiplexing unit that demultiplexes a bit stream and extracts transmission defect information and image coding data, a defect information inverse conversion unit that inversely converts the format of the transmission defect information and generates defect information related to defective pixels in a pixel array for detecting luminance, and an image decoding unit that decodes the image coding data using a bit rate of the image coding data estimated based on the bit rate of the transmission defect information and generates image data representing the distribution of luminance detected in the pixel array.
  • An image processing method includes demultiplexing a bit stream to extract transmission defect information and image coding data, inversely converting the format of the transmission defect information to generate defect information related to defective pixels in a pixel array for detecting luminance, and decoding the image coding data using a bit rate of the image coding data estimated based on the bit rate of the transmission defect information to generate image data representing the distribution of luminance detected in the pixel array.
  • the format of defect information relating to defective pixels in a pixel array for detecting luminance is converted, defect information for transmission is generated, image data representing the distribution of luminance detected in the pixel array is encoded, image coding data with a bit rate set based on the bit rate of the defect information for transmission is generated, and the defect information for transmission and the image coding data are multiplexed to generate a bit stream.
  • the bit stream is demultiplexed, transmission defect information and image coding data are extracted, the format of the transmission defect information is inversely converted, defect information regarding defective pixels in a pixel array for detecting luminance is generated, the image coding data is decoded using a bit rate of the image coding data estimated based on the bit rate of the transmission defect information, and image data representing the distribution of luminance detected in the pixel array is generated.
  • FIG. 1 is a block diagram illustrating an example of the main configuration of an image sensor.
  • FIG. 2 is a block diagram showing an example of the main configuration of an image sensor and a signal processing unit.
  • FIG. 10 is a diagram illustrating an example of pixel values.
  • FIG. 10 is a diagram showing an example of defect information.
  • FIG. 10 is a diagram showing an example of defect information.
  • 10A and 10B are diagrams illustrating examples of methods for transmitting defect information and image data.
  • 1 is a block diagram showing an example of the main configuration of an imaging device.
  • FIG. 2 is a block diagram illustrating an example of the main configuration of an encoding unit.
  • FIG. 2 is a block diagram illustrating an example of the main configuration of a decoding unit.
  • FIG. 10 is a flowchart illustrating an example of the flow of an imaging process.
  • 10 is a flowchart illustrating an example of the flow of an encoding process.
  • 10 is a flowchart illustrating an example of the flow of a decoding process.
  • FIG. 10 is a diagram illustrating an example of an interface for transmitting image data in units of frames.
  • FIG. 10 is a diagram illustrating an example of a block.
  • 10 is a flowchart illustrating an example of the flow of an encoding process.
  • 10 is a flowchart illustrating an example of the flow of a decoding process.
  • FIG. 10 is a diagram showing an example of transmission defect information.
  • FIG. 10 is a diagram illustrating an example of the syntax of transmission defect information.
  • FIG. 10 is a diagram illustrating an example of a bitstream.
  • FIG. 10 is a diagram illustrating an example of a bitstream.
  • FIG. 10 is a diagram illustrating an example of the syntax of transmission defect information.
  • FIG. 10 is a diagram illustrating an example of the syntax of transmission defect information.
  • FIG. 10 is a diagram illustrating an example of the syntax of transmission defect information.
  • FIG. 10 is a diagram illustrating an example of the syntax of transmission defect information.
  • FIG. 10 is a diagram illustrating an example of a bitstream.
  • FIG. 10 is a diagram illustrating an example of a bitstream.
  • FIG. 10 is a diagram illustrating an example of preprocessing.
  • FIG. 2 is a block diagram illustrating an example of the main configuration of an encoding unit.
  • FIG. 10 is a flowchart illustrating an example of the flow of an encoding process.
  • FIG. 2 is a block diagram illustrating an example of the main configuration of a decoding unit.
  • 10 is a flowchart illustrating an example of the flow of a decoding process.
  • FIG. 2 is a block diagram showing an example of the main configuration of a post-processing unit.
  • 10 is a flowchart illustrating an example of the flow of post-processing.
  • FIG. 2 is a block diagram showing an example of the main configuration of a post-processing unit.
  • 10 is a flowchart illustrating an example of the flow of post-processing.
  • FIG. 2 is a block diagram showing an example of the main configuration of a post-processing unit.
  • FIG. 10 is a flowchart illustrating an example of the flow of post-processing.
  • FIG. 10 is a diagram illustrating an example of a method for replacing defective pixel values.
  • FIG. 2 is a block diagram illustrating an example of the main configuration of an encoding unit.
  • 10 is a flowchart illustrating an example of the flow of an encoding process.
  • FIG. 2 is a block diagram illustrating an example of the main configuration of an encoding unit.
  • 10 is a flowchart illustrating an example of the flow of an encoding process.
  • FIG. 2 is a block diagram illustrating an example of the main configuration of a decoding unit.
  • 10 is a flowchart illustrating an example of the flow of a decoding process.
  • 1 is a block diagram showing an example of the main configuration of an image processing system.
  • FIG. 1 is a block diagram illustrating an example of the main configuration of a computer.
  • Patent Document 1 (mentioned above)
  • a point defect is a condition in which the pixel value of a single image is significantly different from the image values of the eight surrounding pixels, resulting in a protruding (or depressed) value.
  • a stain defect is a condition in which the pixel values of multiple pixels in a certain area of an image each have a difference with the surrounding pixel values that is smaller than the difference in a point defect.
  • a unevenness defect is a condition in which multiple pixels with an even smaller difference in pixel value than the pixels in a stain defect are gathered in a wider area than a stain defect.
  • a line defect is a condition in which the pixel values of pixels lined up in a column direction, row direction, or diagonally at an arbitrary angle in an image are significantly different from the surrounding pixel values, resulting in a protruding (or depressed) value.
  • Patent Document 1 there is a method in which an image sensor identifies and stores the positions of such defective pixels, and then corrects the pixel defects contained in the image based on that position information before outputting it externally.
  • the brightness detection unit 11 is configured with a pixel array, and photoelectrically converts incident light at each pixel to generate a brightness signal, outputting image data for the captured image.
  • the defect detector (static) 21 detects pixel defects in the image data during the manufacture of the image sensor 10 and stores the defect positions (positions of defective pixels) in the memory unit 13 of the image sensor 10.
  • the defect detection unit (dynamic) 12 of the image sensor 10 detects pixel defects at a predetermined timing and stores the defect positions (positions of defective pixels) in the memory unit 13.
  • the defect correction unit 14 corrects the pixel values of defective pixels in the image data (RAW image) output from the brightness detection unit 11, as indicated by the defect information supplied from the memory unit 13.
  • the defect correction unit 14 then outputs the defect-corrected RAW image (i.e., image data in which the pixel values of defective pixels have been corrected) from the image sensor 10.
  • ⁇ Correction of pixel defects in a post-processor> In response to this, with the recent advances in semiconductor technology leading to higher processor performance, efforts have been made to correct such pixel defects in a processor downstream of the image sensor.
  • a signal processing unit 30 is provided downstream of the image sensor 10, and pixel defects are corrected in a defect correction unit 33 of the signal processing unit 30.
  • defect information which is information about defective pixels, must be transmitted from the image sensor 10 to the signal processing unit 30 along with the image data. That is, the multiplexing unit 15 multiplexes the RAW image output from the brightness detection unit 11 with the defect information stored in the storage unit 13, and supplies the multiplexed signal to the signal processing unit 30 via a bus.
  • defect information is transmitted from the image sensor 10 to the signal processing unit 30 together with the image data.
  • the defect information includes map information for defective pixels corresponding to the pixel array of the brightness detection unit 11 in order to indicate the position of the defective pixels. For example, assume that a RAW image like the one shown in Figure 3 is output from the brightness detection unit 11. In Figure 3, each square indicates information on a pixel-by-pixel basis, and the value within the square indicates the pixel value. A pixel value of 1023 on a white background or a pixel value of 0 on a black background indicates that this is the pixel value of a defective pixel that always outputs a saturated value (abnormal value).
  • the defect detector 21 and defect detection unit 12 distinguish between defective and non-defective pixels, as shown in A of Figure 4, and assign an ID (binary notation) to each pixel. For example, an ID of "0" ("0" in binary notation) is assigned to normal pixels that are not defective, and an ID of "1" ("1" in binary notation) is assigned to defective pixels.
  • defect information such as that shown in B of Figure 4 is generated for the brightness detection unit 11 that outputs the RAW image of Figure 3. In this defect information, a value of "1" indicates a defective pixel, so the defect correction unit 33 corrects the pixel value at that position.
  • the defect information may also indicate the type of defect (for example, a point defect, a spot defect, an unevenness defect, a line defect, etc.).
  • a different ID may be assigned to each of no defect, a point defect, a spot defect or unevenness defect, and a line defect.
  • the ID will be 2-bit information in binary notation.
  • defect information such as that shown in B of FIG. 5 is generated for the brightness detection unit 11 that outputs the RAW image of FIG. 3.
  • the values "01", "10", and "11" indicate defective pixels, so the defect correction unit 33 corrects the pixel value at that position.
  • the bus bandwidth While it is possible to mitigate bandwidth shortages by designing the bus bandwidth to be sufficiently wide, this could result in increased costs.
  • the number of pixel defects varies from image sensor to image sensor.
  • the I/F bandwidth must be designed to accommodate the worst-case number of defects, and if there are few pixel defects or no pixel defects at all, only information indicating "no pixel defects" will be transmitted. Expanding the bus width to accommodate this inefficient transmission of defect information could also be cost-inefficient.
  • one possible method is to suppress the increase in data volume due to the transmission of defect information by encoding and transmitting a multiplexed signal that combines image data and defect information.
  • lossless encoding it is difficult to sufficiently reduce the data volume of image data within the allowable short processing time, and relatively simple lossy encoding, such as reducing the bit length, is generally applied.
  • lossy encoding is applied to a multiplexed signal, there is a risk that the defect information will deteriorate (change). If the defect information changes, there is a risk that the accuracy of information such as the position of defective pixels indicated by the defect information will decrease. As a result, there is a risk that the accuracy of pixel defect correction performed based on that defect information will decrease. For example, when correcting pixel defects, there is a risk of problems such as not correcting the pixel values of defective pixels or correcting the pixel values of normal pixels. This could result in a decrease in the quality of the image after defect correction.
  • the defect information is converted into transmission defect information, and the image encoding rate is set based on the rate of the transmission defect information (Method 1). That is, in order to reduce the data volume of the defect information, the defect information is converted into transmission defect information using a reversible method. Then, based on the bit rate of the transmission defect information, the bit rate after encoding of the RAW image is set so as not to increase the bit rate of the entire (multiplexed signal), and the RAW image is encoded according to that setting.
  • the first image processing device may include a defect information conversion unit that converts the format of defect information related to defective pixels in a pixel array for detecting luminance and generates defect information for transmission; an image encoding unit that encodes image data representing the distribution of luminance detected in the pixel array and generates image encoding data with a bit rate set based on the bit rate of the defect information for transmission; and a multiplexing unit that multiplexes the defect information for transmission and the image encoding data to generate a bit stream.
  • a defect information conversion unit that converts the format of defect information related to defective pixels in a pixel array for detecting luminance and generates defect information for transmission
  • an image encoding unit that encodes image data representing the distribution of luminance detected in the pixel array and generates image encoding data with a bit rate set based on the bit rate of the defect information for transmission
  • a multiplexing unit that multiplexes the defect information for transmission and the image encoding data to generate a bit stream.
  • the first image processing method may include the first image processing device converting the format of defect information related to defective pixels in a pixel array for detecting luminance and generating defect information for transmission; the first image processing device encoding image data representing the distribution of luminance detected in the pixel array and generating image encoding data with a bit rate set based on the bit rate of the defect information for transmission; and multiplexing the defect information for transmission and the image encoding data to generate a bit stream.
  • the first program also causes the computer to perform processes including converting the format of defect information related to defective pixels in a pixel array for detecting luminance and generating defect information for transmission; encoding image data representing the distribution of luminance detected in the pixel array and generating coded image data with a bit rate set based on the bit rate of the defect information for transmission; and multiplexing the defect information for transmission and the coded image data to generate a bit stream.
  • the first image processing device can suppress an increase in the amount of data to be transmitted while suppressing a decrease in the accuracy of the defect information.
  • the first image processing device can suppress a decrease in the quality of the image after defect correction while suppressing an increase in the amount of image sensor output data.
  • the second image processing device may include a demultiplexing unit that demultiplexes the bit stream and extracts transmission defect information and image coding data; a defect information inverse conversion unit that inversely converts the format of the transmission defect information and generates defect information related to defective pixels in a pixel array for detecting luminance; and an image decoding unit that decodes the image coding data using a bit rate of the image coding data estimated based on the bit rate of the transmission defect information and generates image data representing the distribution of luminance detected in the pixel array.
  • the second image processing method may include the second image processing device demultiplexing the bit stream and extracting transmission defect information and image coding data; the second image processing device inversely converting the format of the transmission defect information and generating defect information related to defective pixels in the pixel array for detecting luminance; and the second image processing device decoding the image coding data using the bit rate of the image coding data estimated based on the bit rate of the transmission defect information and generating image data representing the distribution of luminance detected in the pixel array.
  • the second program also causes the computer to perform processes including demultiplexing the bit stream to extract transmission defect information and image coding data, inversely converting the format of the transmission defect information to generate defect information related to defective pixels in the pixel array for detecting luminance, and decoding the image coding data using a bit rate of the image coding data estimated based on the bit rate of the transmission defect information to generate image data representing the distribution of luminance detected in the pixel array.
  • the second image processing device can suppress an increase in the amount of data to be transmitted while suppressing a decrease in the accuracy of the defect information.
  • the second image processing device can suppress a decrease in the quality of the image after defect correction while suppressing an increase in the amount of data output from the image sensor.
  • the present technology can be applied to any device.
  • the present technology can be applied to an imaging device that captures an image of a subject.
  • Fig. 7 is a block diagram showing an example of the configuration of an imaging device that is one aspect of an image processing device to which the present technology is applied.
  • the imaging device 100 shown in Fig. 7 has an image sensor 110 and a signal processing unit 120, and is a device that captures an image of a subject using the image sensor 110 and performs signal processing on the RAW image (captured image) using the signal processing unit 120.
  • the imaging device 100 may have processing units not shown in Figure 7, may exchange data not shown in Figure 7, or may perform any type of processing.
  • the image sensor 110 has a brightness detection unit 111, a defect detection unit (Dynamic) 112, a memory unit 113, and an encoding unit 114.
  • the signal processing unit 120 has a decoding unit 121 and a defect correction unit 122.
  • the image sensor 110 and the signal processing unit 120 are connected via a bus 130.
  • the brightness detection unit 111 has a so-called pixel array, and performs photoelectric conversion on incident light at each pixel to convert the brightness amount into a brightness value.
  • the brightness detection unit 111 supplies image data of the captured image (RAW image) including the brightness values obtained at each pixel to the encoding unit 114.
  • the defect detector (static) 141 detects pixel defects in the RAW image of the image sensor 110 when it is manufactured, and stores the defect positions (positions of defective pixels) in the memory unit 113 of the image sensor 110.
  • the brightness detection unit 111 captures an image of a test pattern, and the defect detector 141 determines whether a pixel defect has occurred in the captured image, and stores the positions of the defective pixels and the type of defect in the memory unit 113.
  • this pixel defect detection is often processed outside the image sensor 110 (imaging device 100).
  • the defect detection unit (Dynamic) 112 detects pixel defects in the RAW image at a predetermined time after manufacture and stores the defect locations in the memory unit 113.
  • the defect detection unit 112 detects pixel defects when pixel values are corrupted for some reason after the imaging device 100 is shipped. Similar to the defect detector 141, the defect detection unit 112 detects whether pixel defects have occurred in the captured image and stores the locations of defective pixels, the type of defect, and so on in the memory unit 113.
  • the memory unit 113 has a storage medium such as a semiconductor memory, and stores defect information such as the position of defective pixels and the type of defect supplied from the defect detector 141 and the defect detection unit 112.
  • the memory unit 113 supplies the stored defect information to the encoding unit 114 at a predetermined timing or based on a request from the encoding unit 114, etc.
  • the encoding unit 114 performs processing related to encoding. For example, the encoding unit 114 may acquire captured image data (RAW image data) supplied from the brightness detection unit 111. The encoding unit 114 may read and acquire defect information stored in the storage unit 113. The encoding unit 114 may encode the acquired RAW image data to generate image encoding data. The encoding unit 114 may also generate a bit stream including the image encoding data and the defect information, and supply it to the signal processing unit 120 (the decoding unit 121) via the bus 130.
  • RAW image data captured image data supplied from the brightness detection unit 111.
  • the encoding unit 114 may read and acquire defect information stored in the storage unit 113.
  • the encoding unit 114 may encode the acquired RAW image data to generate image encoding data.
  • the encoding unit 114 may also generate a bit stream including the image encoding data and the defect information, and supply it to the signal processing unit 120 (the decoding unit 121) via the bus 130.
  • the decoding unit 121 performs decoding-related processing. For example, the decoding unit 121 may acquire a bit stream supplied from the image sensor 110 (the encoding unit 114 thereof) via the bus 130. The decoding unit 121 may decode the bit stream to generate defect information and RAW image data, and supply them to the defect correction unit 122.
  • the defect correction unit 122 performs processing related to the correction of pixel values of defective pixels.
  • the defect correction unit 122 may acquire defect information and RAW image data supplied from the decoding unit 121.
  • the defect correction unit 122 may correct pixel defects contained in the RAW image data based on the defect information.
  • the defect correction unit 122 may refer to pixel values of pixels (also referred to as surrounding pixels) surrounding the defective pixel indicated by the defect information, predict the true pixel value if the pixel defect does not occur, and replace the predicted value with the pixel value of the defective pixel in the RAW image data.
  • the defect correction unit 122 may output such defect-corrected RAW image data externally to the signal processing unit 120.
  • Fig. 8 is a diagram showing an example of the main configuration of the encoding unit 114.
  • the encoding unit 114 (first image processing device) may include a defect information conversion unit 151, an image encoding unit 152, and a multiplexing unit 153.
  • the defect information conversion unit 151 performs processing related to the conversion of defect information.
  • the defect information conversion unit 151 may read and acquire defect information stored in the storage unit 113.
  • This defect information includes information related to defective pixels in the brightness detection unit 111.
  • this defect information may include information indicating the position of the defective pixel and information indicating the type of defect.
  • the defect information conversion unit 151 may convert the format of the acquired defect information to generate defect information for transmission.
  • the defect information conversion unit 151 may convert the format of defect information related to defective pixels in a pixel array for detecting brightness, and generate defect information for transmission.
  • the defect information for transmission is information obtained by converting the format of the defect information in a reversible manner, and includes at least the content of the defect information.
  • the defect information conversion unit 151 may supply the generated defect information for transmission to the multiplexing unit 153.
  • the defect information conversion unit 151 may also supply the bit rate of the defect information for transmission to the image encoding unit 152.
  • the defect information conversion unit 151 may also supply the bit rate of the defect information for transmission to the multiplexing unit 153.
  • the image encoding unit 152 performs processing related to encoding of the captured image (RAW image). For example, the image encoding unit 152 may acquire RAW image data supplied from the brightness detection unit 111. The image encoding unit 152 may encode the RAW image data to generate image encoding data. Essentially, any encoding method may be used. As long as the method satisfies the required conditions, such as processing speed and encoding efficiency, it may be a lossless method or a lossy method. For example, encoding methods such as COMP6, COMP7, COMP8, and MPC specified by MIPI (Mobile Industry Processor Interface) may be applied.
  • MIPI Mobile Industry Processor Interface
  • the image encoding unit 152 may acquire the bit rate of the transmission defect information supplied from the defect information conversion unit 151 and set the bit rate of the image encoding data based on the acquired bit rate of the transmission defect information.
  • the image encoding unit 152 may encode image data representing the distribution of brightness detected in the pixel array and generate image encoding data with a bit rate set based on the bit rate of the transmission defect information.
  • the image encoding unit 152 may supply the generated image encoded data to the multiplexing unit 153.
  • the multiplexing unit 153 performs multiplexing-related processing.
  • the multiplexing unit 153 may acquire transmission defect information supplied from the defect information conversion unit 151.
  • the multiplexing unit 153 may acquire image encoding data supplied from the image encoding unit 152.
  • the multiplexing unit 153 may multiplex the transmission defect information and the image encoding data to generate a bit stream. Any method may be used for multiplexing the transmission defect information and the image encoding data.
  • the transmission defect information may be added to the lower bits of the pixel-based image encoding data.
  • the transmission defect information and the image encoding data may be linked so that the transmission defect information is processed first. Conversely, the transmission defect information and the image encoding data may be linked so that the transmission defect information is processed later.
  • the multiplexing unit 153 may also acquire the bit rate of the transmission defect information supplied from the defect information conversion unit 151 and store it in the bit stream.
  • the multiplexing unit 153 may supply the generated bitstream to the signal processing unit 120 (decoding unit 121) via the bus 130.
  • the image encoding unit 152 may subtract the bit rate of the defect information for transmission from the target bit rate of the bit stream and use the difference as the bit rate of the encoded image data. By doing so, the image encoding unit 152 can set the bit rate of the encoded image data so that the bit rate of the bit stream does not increase (for example, so that it remains constant). Therefore, the encoding unit 114 can suppress an increase in the amount of image sensor output data. This can suppress an increase in transmission time and the occurrence of processing delays and failures. Furthermore, since there is no need to expand the bus bandwidth, an increase in costs can be suppressed. Furthermore, by transmitting the defect information for transmission, loss (deterioration) of defect information can be suppressed. In other words, the encoding unit 114 can suppress a decrease in the quality of the image after defect correction while suppressing an increase in the amount of image sensor output data.
  • Fig. 9 is a diagram showing an example of the main configuration of the decoding unit 121.
  • the decoding unit 121 (second image processing device) may have a demultiplexing unit 171, a defect information inverse conversion unit 172, and an image decoding unit 173.
  • the demultiplexing unit 171 performs processing related to demultiplexing. For example, the demultiplexing unit 171 may acquire a bit stream supplied from the image sensor 110 (the multiplexing unit 153 thereof) via the bus 130. The demultiplexing unit 171 may demultiplex the bit stream and extract transmission defect information and image coding data. In this case, the demultiplexing unit 171 may acquire the bit rate of the transmission defect information supplied from the defect information inverse conversion unit 172 and demultiplex the bit stream based on the bit rate. The demultiplexing unit 171 may supply the extracted transmission defect information to the defect information inverse conversion unit 172. The demultiplexing unit 171 may supply the extracted image coding data to the image decoding unit 173.
  • the defect information inverse conversion unit 172 performs processing related to the inverse conversion of the defect information for transmission.
  • the defect information inverse conversion unit 172 may acquire the defect information for transmission supplied from the demultiplexing unit 171.
  • the defect information inverse conversion unit 172 may inversely convert the format of the acquired defect information for transmission to generate defect information.
  • the defect information inverse conversion unit 172 may inversely convert the format of the defect information for transmission to generate defect information related to defective pixels in a pixel array for detecting luminance.
  • this "inverse conversion" is the inverse process of the defect information format conversion performed by the defect information conversion unit 151.
  • the defect information format conversion performed by the defect information conversion unit 151 is performed in a reversible manner.
  • the defect information inverse conversion unit 172 can generate (restore) defect information with the same content as the defect information before its format was converted by the defect information conversion unit 151.
  • the defect information inverse conversion unit 172 may supply the generated defect information to the defect correction unit 122.
  • the defect information inverse conversion unit 172 may supply the bit rate of the transmission defect information to be inversely converted to the demultiplexing unit 171.
  • the defect information inverse conversion unit 172 may supply the bit rate of the transmission defect information to be inversely converted to the image decoding unit 173.
  • the image decoding unit 173 performs processing related to the decoding of image coded data. For example, the image decoding unit 173 may acquire image coded data supplied from the demultiplexing unit 171. The image decoding unit 173 may decode the acquired image coded data to generate RAW image data.
  • This decoding method may be any method that corresponds to the coding method applied by the image coding unit 152. In this case, the image decoding unit 173 may acquire the bit rate of the defect information for transmission supplied from the defect information inverse conversion unit 172, estimate the bit rate of the image coded data based on that bit rate, and decode the image coded data using the estimated bit rate.
  • the image decoding unit 173 may decode the image coded data using the bit rate of the image coded data estimated based on the bit rate of the defect information for transmission, and generate image data representing the distribution of luminance detected in the pixel array.
  • the image decoding unit 173 may supply the generated RAW image data to the defect correction unit 122.
  • the image decoding unit 173 may subtract the bit rate of the defect information for transmission from the bit rate of the bit stream and estimate the difference as the bit rate of the image encoding data. By doing so, the image decoding unit 173 can correctly estimate the bit rate of the image encoding data, which is set so that the bit rate of the bit stream does not increase (for example, so that it is constant). Therefore, the decoding unit 121 can suppress an increase in the amount of image sensor output data. This can suppress an increase in transmission time and the occurrence of processing delays and failures. Furthermore, since there is no need to expand the bus bandwidth, an increase in costs can be suppressed. Furthermore, by transmitting the defect information for transmission, loss (deterioration) of defect information can be suppressed. In other words, the decoding unit 121 can suppress a decrease in the quality of the image after defect correction while suppressing an increase in the amount of image sensor output data.
  • step S101 the brightness detection unit 111 of the image sensor 110 captures an image of the subject and generates a captured image (RAW image).
  • step S102 the encoding unit 114 performs an encoding process, encoding the RAW image using the defect information from the brightness detection unit 111, and generating a bitstream.
  • the encoding unit 114 supplies the bitstream to the signal processing unit 120 via the bus 130.
  • step S103 the decoding unit 121 of the signal processing unit 120 acquires the bitstream transmitted via the bus 130, performs a decoding process, and decodes the bitstream to generate (restore) defect information and a RAW image.
  • step S104 the defect correction unit 122 uses the defect information to correct pixel defects in the RAW image.
  • step S104 the imaging process ends.
  • the defect information conversion unit 151 of the encoding unit 114 converts the format of the defect information from the brightness detection unit 111 into the format of defect information for transmission.
  • the defect information conversion unit 151 converts the format of defect information related to defective pixels in the pixel array for detecting brightness, and generates defect information for transmission.
  • step S122 the image encoding unit 152 generates encoded image data by encoding the RAW image at a bit rate based on the bit rate of the generated transmission defect information.
  • the image encoding unit 152 encodes image data representing the luminance distribution detected in the pixel array, and generates encoded image data at a bit rate set based on the bit rate of the transmission defect information.
  • step S123 the multiplexing unit 153 multiplexes the transmission defect information and the image encoding data to generate a bitstream.
  • step S124 the multiplexing unit 153 transmits the generated bit stream to the signal processing unit 120 via the bus 130.
  • step S124 the encoding process ends and processing returns to Figure 10.
  • the encoding unit 114 can suppress an increase in the amount of image sensor output data while suppressing a reduction in the quality of the image after defect correction, as described above.
  • step S141 the demultiplexing unit 171 of the decoding unit 121 receives the bit stream transmitted from the image sensor 110 via the bus 130.
  • step S142 the demultiplexer 171 demultiplexes the bit stream and distinguishes between the transmission defect information and the image coding data.
  • step S143 the defect information inverse conversion unit 172 inversely converts the transmission defect information into defect information.
  • the defect information inverse conversion unit 172 inversely converts the format of the transmission defect information and generates defect information regarding defective pixels in the pixel array for detecting brightness.
  • step S144 the image decoding unit 173 decodes the image coding data at a bit rate based on the bit rate of the transmission defect information to generate a RAW image.
  • the image decoding unit 173 decodes the image coding data using the bit rate of the image coding data estimated based on the bit rate of the transmission defect information, and generates image data representing the luminance distribution detected in the pixel array.
  • step S144 When the processing of step S144 is completed, the decoding process ends and the process returns to Figure 10.
  • the decoding unit 121 can suppress an increase in the amount of image sensor output data while suppressing a reduction in the quality of the image after defect correction, as described above.
  • the defect information may be transmitted from the image sensor 110 to the signal processing unit 120 in any data unit.
  • the defect information may be transmitted as embedded data of CIS-2 defined by MIPI.
  • embedded data as shown in FIG. 13 , embedded data (shaded areas in the figure) can be transmitted frame by frame before and after pixel data.
  • defect information when defect information is transmitted on a frame-by-frame basis, a time lag occurs in the timing of transmission between the defect information and pixel values. As a result, the signal processing unit 120 needs to retain the acquired defect information until it is time to use it. With this method, one frame's worth of defect information is transmitted all at once, so it is necessary to retain that one frame's worth of defect information. This increases the required memory capacity, which could lead to increased costs.
  • defect information may be processed in predetermined block units, as shown in the second row from the top of the table in Figure 6 (method 1-1).
  • a defect information conversion unit may convert the format of defect information for each predetermined block into which a picture of image data is divided, to generate defect information for transmission.
  • a defect information inverse conversion unit may inversely convert the format of defect information for transmission for each predetermined block into which a picture of image data is divided, to generate defect information.
  • the "block” that serves as the processing unit for this defect information can be any size or shape, as long as it is a partial area within a frame (an area smaller than a frame).
  • a block may be a pixel area of 8 pixels horizontally and 2 pixels vertically (8x2 pixels), as shown in Figure 14A.
  • a block may also be a pixel area of 2 pixels horizontally and 2 pixels vertically (2x2 pixels), as shown in Figure 14B.
  • a block may also be a pixel area of 4 pixels horizontally and 2 pixels vertically (4x2 pixels), as shown in Figure 14C.
  • a block may also be a pixel area of 8 pixels horizontally and 1 pixel vertically (8x1 pixel), as shown in Figure 14D.
  • blocks may be of other sizes and shapes.
  • the defect information is divided into blocks and supplied to the signal processing unit 120, which prevents an increase in the amount of data held at one time in the signal processing unit 120. It also prevents an increase in the time lag between the timing of transmission and the timing of use of the defect information. Therefore, the first image processing device and the second image processing device can prevent an increase in the memory capacity required to hold the defect information. This prevents an increase in costs.
  • the "block” that serves as the processing unit for this defect information may be the same as the processing unit for image coding (hereinafter also referred to as the coding block). That is, in the first image processing device, the block may be the same as the coding block that is the processing unit for the image coding unit to code image data. Furthermore, in the second image processing device, the block may be the same as the coding block that is the processing unit for the image decoding unit to decode image coding data (i.e., the processing unit for generating image data).
  • the processing unit of defect information the same as the processing unit of image encoding and decoding, it is possible to further reduce the increase in the time lag between the timing of transmission of defect information and the timing of its use. Therefore, the first image processing device and the second image processing device can reduce the increase in memory capacity required to store defect information. Therefore, it is possible to reduce increases in costs.
  • the processing order (scan order) of each pixel may also be aligned. By doing so, it is possible to further reduce the time lag between the timing of transmission and usage of defect information.
  • the configuration of the encoding unit 114 may be the same as the example shown in Fig. 8.
  • the configuration of the decoding unit 121 may be the same as the example shown in Fig. 9.
  • step S161 the defect information conversion unit 151 of the encoding unit 114 converts the format of the defect information for the processing target block in the pixel array of the brightness detection unit 111 into the format of defect information for transmission.
  • step S162 the image encoding unit 152 encodes the RAW image of the processing target block at a bit rate based on the bit rate of the generated transmission defect information to generate image encoding data.
  • step S163 the multiplexing unit 153 multiplexes the transmission defect information and image coding data for the block to be processed to generate a bitstream.
  • step S164 the multiplexing unit 153 transmits the generated bitstream of the processing target block to the signal processing unit 120 via the bus 130.
  • step S164 When the processing of step S164 is completed, the encoding process ends and processing returns to FIG. 10.
  • the encoding unit 114 performs this encoding process for each block.
  • the encoding unit 114 can suppress an increase in memory capacity required to store defect information, as described above.
  • step S181 the demultiplexing unit 171 of the decoding unit 121 receives the bit stream of the block to be processed transmitted from the image sensor 110 via the bus 130.
  • step S183 the defect information inverse conversion unit 172 inversely converts the transmission defect information of the processing target block into defect information.
  • the defect information inverse conversion unit 172 inversely converts the format of the transmission defect information and generates defect information corresponding to the processing target block.
  • step S184 the image decoding unit 173 decodes the image coding data of the target block at a bit rate based on the bit rate of the transmission defect information, and generates a RAW image of the target block.
  • the image decoding unit 173 decodes the image coding data of the target block using the bit rate of the image coding data estimated based on the bit rate of the transmission defect information, and generates image data of the target block.
  • step S184 When the processing of step S184 is completed, the decoding process ends and processing returns to FIG. 10.
  • the decoding unit 121 performs this decoding process for each block.
  • the decoding unit 121 can suppress an increase in memory capacity required to store defect information, as described above.
  • the transmission defect information may take any format.
  • the defect information may be converted into transmission defect information in a format corresponding to the number of defective pixels, as shown in the third row from the top of the table in FIG. 6 (method 1-2). That is, as shown in the example in the table in FIG. 17, the format of the transmission defect information may differ depending on whether the number of defective pixels contained in the RAW image (the processing target block) is 0, 1, 2, or 3 or more. That is, the format of the transmission defect information may depend on the number of defective pixels present in the pixel array.
  • the data volume of the defect information for transmission may be reduced as the number of defective pixels in the pixel array (or the block to be processed) decreases.
  • the fewer the number of defective pixels the shorter the bit string of the defect information for transmission.
  • an image sensor 110 in a normal state has a small number of defective pixels.
  • FIG. 18A shows an example of the syntax of the defect information for transmission when the defect information is processed for each 8x2 pixel block (FIG. 14A).
  • "defectNum” is a parameter indicating the number of defective pixels in the block.
  • "defectPoxX” is a parameter indicating the X coordinate of the defective pixel (the horizontal position within the block).
  • "defectPosY” is a parameter indicating the Y coordinate of the defective pixel (the vertical position within the block).
  • “defectPosBitMap” indicates map information in which the "identification values indicating whether a pixel is defective" assigned to each pixel in the block are arranged according to the pixel arrangement (or scan order).
  • the defect information to be transmitted may include first information indicating the number of defective pixels and second information indicating the positions of the defective pixels.
  • the first information indicating the number of defective pixels may include a predetermined bit pattern corresponding to the number of defective pixels.
  • the bit pattern may be shorter the fewer the number of defective pixels.
  • an image sensor 110 in a normal state has a small number of defective pixels. In other words, it is highly likely that a short bit pattern will be applied. Therefore, it is possible to prevent an increase in the amount of data for defect information to be transmitted. Therefore, it is possible to prevent a reduction in the bit rate allocated to the image encoding data, and to prevent a reduction in the quality of the RAW image due to encoding and decoding.
  • the method of expressing the positions of defective pixels may differ depending on the number of defective pixels. For example, as shown in the syntax of A in Figure 18, if the number of defective pixels is two or less, the positions of the defective pixels may be indicated by coordinates. Also, if the number of defective pixels is three or more, the positions of the defective pixels may be indicated by map information. In other words, if the second information indicating the positions of defective pixels indicates the number of defective pixels is less than a predetermined standard, the positions of the defective pixels may be indicated by coordinates. Also, if the second information indicates the number of defective pixels is equal to or greater than a predetermined standard, the positions of the defective pixels may be indicated by a map showing the distribution of defective pixels.
  • the second information indicating the position of the defective pixel may be omitted.
  • the second information may be omitted.
  • the data volume of the defect information to be transmitted can be reduced the fewer the number of defective pixels.
  • an image sensor 110 in a normal state has a small number of defective pixels. In other words, it is highly likely that a short bit pattern will be applied. Therefore, it is possible to prevent an increase in the data volume of the defect information to be transmitted. Therefore, it is possible to prevent a reduction in the bit rate allocated to the image encoding data, and to prevent a reduction in the quality of the RAW image due to encoding and decoding.
  • ⁇ Bitstream> 19 and 20 show examples of bitstreams when the example of FIG. 18 is applied (when the block is 8x2 pixels).
  • a in FIG. 19 shows an example of a bitstream in which transmission defect information and image coding data are multiplexed when the number of defective pixels is 0. In this case, the transmission defect information is a single "0". Therefore, in a RAW image, MIPI COMP7 compression is applied to the first pixel, and MIPI COMP8 compression is applied to the remaining pixels.
  • B of Figure 19 shows an example of a bit stream in which the defect information for transmission and image encoding data are multiplexed when there is one defective pixel.
  • the defect information for transmission is a bit pattern "100100" consisting of a bit pattern "10" indicating the number of defective pixels, "010” indicating the X coordinate of the defective pixel, and "0" indicating the Y coordinate of the defective pixel. Therefore, in the RAW image, MIPI COMP7 compression is applied to the first six pixels, and MIPI COMP8 compression is applied to the remaining pixels.
  • a in Figure 20 shows an example of a bit stream in which transmission defect information and image coding data are multiplexed when there are two defective pixels.
  • the transmission defect information is a bit pattern "11001001101” consisting of the bit pattern "110" indicating the number of defective pixels, "010" indicating the X coordinate of the first defective pixel and "0" indicating its Y coordinate, and "110" indicating the X coordinate of the second defective pixel and "1” indicating its Y coordinate. Therefore, in the RAW image, MIPI COMP7 compression is applied to the first 11 pixels, and MIPI COMP8 compression is applied to the remaining pixels.
  • B of Figure 20 shows an example of a bit stream in which the defect information for transmission and image coding data are multiplexed when the number of defective pixels is three.
  • the defect information for transmission is the bit pattern "1110010000010000010" which is made up of the bit pattern "111" indicating the number of defective pixels and the defective pixel map information "0010000010000010". Therefore, MIPI COMP6 compression is applied to the first three pixels of the RAW image, and MIPI COMP7 compression is applied to the remaining pixels.
  • FIG. 21A is a diagram showing an example of the syntax of the transmission defect information when the defect information is processed for each 2x2 pixel block (FIG. 14B).
  • FIG. 21B is a diagram showing an example of a bit pattern (first information) indicating the number of defective pixels in this case.
  • FIG. 22A is a diagram showing an example of the syntax of the transmission defect information when the defect information is processed for each 4x2 pixel block (FIG. 14C).
  • FIG. 22B is a diagram showing an example of the bit pattern (first information) indicating the number of defective pixels in this case.
  • FIG. 23A is a diagram showing an example of the syntax of the transmission defect information when the defect information is processed for each 8x1 pixel block (FIG. 14D).
  • FIG. 23B is a diagram showing an example of the bit pattern (first information) indicating the number of defective pixels in this case.
  • the syntax and bit pattern (first information) may be changed to suppress an increase in the amount of data for transmission defect information depending on the shape and size of the block.
  • information indicating the type of defect may be stored in the defect information for transmission, as in the syntax shown in A of Figure 24.
  • the syntax in A of Figure 24 shows an example of the syntax of the defect information for transmission when the defect information is processed for each 8x2 pixel block (A of Figure 14).
  • "defetType" is a parameter indicating the type of defect. The value of this parameter identifies the type of defect, such as a point defect, stain defect, unevenness defect, line defect, etc.
  • the defect information for transmission may further include third information indicating the type of defect.
  • defect correction can be performed more easily and accurately.
  • any encoding/decoding method may be applied to a RAW image.
  • an encoding/decoding method using an 8 ⁇ 2 pixel block as a processing unit may be applied.
  • the processing unit of the defect information and the processing unit of the encoding/decoding are the same (8 ⁇ 2 pixels).
  • a in FIG. 25 shows an example of a bitstream when the number of defective pixels is 0, corresponding to example A in FIG. 19 .
  • B in FIG. 25 shows an example of a bitstream when the number of defective pixels is 1, corresponding to example B in FIG. 19 .
  • FIG. 26 shows an example of a bitstream when the number of defective pixels is 2, corresponding to example A in FIG. 20 .
  • B in FIG. 26 shows an example of a bitstream when the number of defective pixels is 3, corresponding to example B in FIG. 20 .
  • a method in which image data and defect information are always equal at a fixed processing unit may be adopted.
  • ⁇ Method 1-3> when a defective pixel is present in the pixel array of the brightness detection unit 111, the pixel value of the defective pixel may differ significantly from the pixel values of its surrounding pixels, as shown in the example of A in FIG. 27 .
  • white circles indicate pixel values of normal pixels (pixels that are not defective), and black circles indicate pixel values of the defective pixel.
  • data volume compression is often achieved by utilizing the correlation (similarity) between pixel values of surrounding pixels. Therefore, as shown in the example of A in FIG. 27 , there is a risk that the encoding efficiency of the RAW image may decrease due to an increase in the difference between the pixel value of the defective pixel and the pixel values of the surrounding pixels.
  • pre-encoding processing may be performed on the image as shown in the fourth row from the top of the table in Figure 6 (method 1-3).
  • the first image processing device may further include a pre-processing unit that performs predetermined pre-processing on the image data.
  • the image encoding unit may then encode the image data that has been subjected to the pre-processing to generate encoded image data.
  • the first image processing device can suppress a reduction in the encoding efficiency of the image data due to the pixel values of defective pixels. It can also suppress a reduction in the quality of the image after decoding.
  • Fig. 28 is a block diagram showing an example of the main configuration of the encoding unit 114. As shown in Fig. 28, in this case, the encoding unit 114 has a pre-processing unit 211 in addition to the configuration in the example of Fig. 8.
  • the pre-processing unit 211 performs pre-processing on the RAW image.
  • the pre-processing unit 211 may acquire a RAW image supplied from the brightness detection unit 111.
  • the pre-processing unit 211 may perform predetermined image processing on the acquired RAW image as pre-processing.
  • the pre-processing unit 211 may supply the RAW image that has been subjected to the pre-processing (hereinafter also referred to as the pre-processed RAW image) to the image encoding unit 152.
  • the image encoding unit 152 encodes the preprocessed RAW image supplied from the preprocessing unit 211 to generate image encoding data. Therefore, it is possible to suppress a decrease in encoding efficiency.
  • the multiplexing unit 153 multiplexes the image encoding data with the defect information for transmission.
  • the preprocessed RAW image (encoded data) is transmitted to the signal processing unit 120. This makes it possible to suppress an increase in the bit rate of the bitstream. This makes it possible to suppress a decrease in the quality of the image after decoding.
  • step S201 the preprocessing unit 211 of the encoding unit 114 preprocesses the RAW image and generates a preprocessed RAW image.
  • step S202 the defect information conversion unit 151 converts the format of the defect information into the format of defect information for transmission.
  • step S203 the image encoding unit 152 encodes the preprocessed RAW image at a bit rate based on the bit rate of the generated transmission defect information to generate encoded image data.
  • step S204 the multiplexing unit 153 multiplexes the transmission defect information and the image encoding data to generate a bitstream.
  • step S205 the multiplexing unit 153 transmits the generated bit stream to the signal processing unit 120 via the bus 130.
  • step S205 When step S205 is completed, the encoding process ends and processing returns to Figure 10.
  • the encoding unit 114 can suppress a decrease in the encoding efficiency of the RAW image, as described above, and as a result, suppress a decrease in the quality of the decoded image.
  • the pre-processing performed by the pre-processing unit 211 in this manner may be any processing that corrects the pixel values of defective pixels in a RAW image and suppresses a decrease in the coding efficiency of the RAW image.
  • the preprocessing unit 211 may replace the pixel value of a defective pixel with a copy of the pixel value of a pixel adjacent to the defective pixel.
  • the preprocessing unit 211 may copy the pixel value of a pixel adjacent to the defective pixel and replace the pixel value of the defective pixel with the copied pixel value.
  • the pixel adjacent to the defective pixel may be adjacent in any direction relative to the defective pixel.
  • the preprocessing unit 211 may copy the pixel value of the pixel (also referred to as the previous value) that is processed immediately before the defective pixel in the processing order. For example, as shown in B of Figure 27, the pixel value of the pixel to the left of the defective pixel may be copied and the pixel value of the defective pixel may be replaced with the copied pixel value.
  • the preprocessing unit 211 may also replace the pixel value of a defective pixel with a calculated value based on the pixel values of surrounding pixels located around the defective pixel.
  • This calculated value may be derived by any calculation, for example, a statistical value using the pixel values of the surrounding pixels.
  • this calculated value may be the average of the pixel values of the surrounding pixels derived using an FIR (Finite Impulse Response) filter or an adaptive filter.
  • FIR Finite Impulse Response
  • the average of the pixel values of the pixels adjacent to the left and right of the defective pixel may be derived, and the pixel value of the defective pixel may be replaced with this derived average.
  • This calculated value may also be the median of the pixel values of the surrounding pixels.
  • This calculated value may also be a value derived using a learning model that uses the pixel values of the surrounding pixels as input (i.e., the output of the learning model).
  • the preprocessing unit 211 may replace the pixel value of the defective pixel with a predetermined value.
  • This predetermined value may be any value. For example, it may be the median value of the range of pixel values.
  • the encoding unit 114 can suppress a decrease in the encoding efficiency of the RAW image, and as a result, suppress a decrease in the quality of the decoded image.
  • the surrounding pixels may be located physically close to the defective pixel, or may be located close in the processing order.
  • the surrounding pixels need only be located in the periphery of the defective pixel (not relatively far away), and their positional relationship (relative direction, etc.) is arbitrary.
  • the size and shape of the range from the reference pixel that is considered to be the periphery may be predetermined.
  • the range may be one-dimensional or two-dimensional.
  • the range may be centered around the reference pixel, or it may be a range that is directional biased relative to the reference pixel.
  • the range may be to the left of the reference pixel, the range may be to the right of the reference pixel, or the reference pixel may be the center of the range. Only pixels that are processed before the reference pixel may be considered as surrounding pixels.
  • Post-processing may be performed on the decoded RAW image.
  • post-decoding processing may be performed on defective pixel values of the image (method 1-4), as shown in the fifth row from the top of the table in Fig. 6.
  • the second image processing device may further include a post-processing unit that performs predetermined post-processing on image data generated by decoding the image encoding data.
  • ⁇ Decoding section> 30 is a block diagram showing an example of the main configuration of the decoding unit 121 in this case. As shown in Fig. 30, the decoding unit 121 in this case has a post-processing unit 221 in addition to the configuration in the example of Fig. 9.
  • the post-processing unit 221 performs post-processing on the RAW image.
  • the image decoding unit 173 may supply the RAW image generated by decoding the image encoding data to the post-processing unit 221.
  • the post-processing unit 221 may acquire the RAW image.
  • the defect information inverse conversion unit 172 may supply the generated defect information to the post-processing unit 221.
  • the post-processing unit 221 may acquire the defect information.
  • the post-processing unit 221 may perform predetermined image processing on the acquired RAW image as post-encoding processing.
  • the post-processing unit 221 may perform predetermined processing on the pixel values of defective pixels included in the RAW image based on the acquired defect information.
  • the post-processing unit 221 may supply the RAW image that has been subjected to post-processing (hereinafter also referred to as the post-processed RAW image) to the defect correction unit 122.
  • This post-processing may be any type of processing performed on a RAW image.
  • the post-processing unit 221 may perform processing on the RAW image that is useful for defect correction.
  • the post-processing unit 221 may identify defective pixels based on defect information and perform processing to modify the pixel values.
  • the decoding unit 121 can perform post-processing on the RAW image and supply it to the defect correction unit 122.
  • the decoding unit 121 may use this post-processing to include the contents of the defect information in the RAW image.
  • the defect correction unit 122 can perform defect correction without requiring defect information (using only the post-processed RAW image).
  • steps S221 to S224 are executed in the same manner as steps S141 to S144 in Figure 12.
  • step S225 the post-processing unit 221 performs post-processing on the RAW image obtained by the processing in step S224, and generates a post-processed RAW image.
  • step S225 the decoding process ends and processing returns to Figure 10.
  • the decoding unit 121 can perform post-processing on the restored RAW image, as described above.
  • this post-processing may be a process of replacing pixel values of defective pixels contained in the RAW image with identification values for identifying the defective pixels. That is, when the above-described method 1-4 is applied, the defective pixel values may be replaced with identification values (method 1-4-1) as shown in the sixth row from the top of Fig. 6.
  • the post-processing may be a process of replacing pixel values of defective pixels in image data (RAW image) generated by decoding image encoded data with identification values for identifying the defective pixels.
  • the defect correction unit 122 can identify defective pixels based on the identification value.
  • the post-processing unit 221 can include the contents of the defect information in the RAW image. Therefore, the defect correction unit 122 can identify defective pixels included in the post-processed RAW image without requiring defect information. Therefore, the defect correction unit 122 can easily perform defect correction without requiring defect information.
  • this identification value may be any value.
  • the identification value may be a predetermined fixed value.
  • the identification value may also be set externally (for example, by a user or an application).
  • the pixel values of normal pixels that are not defective pixels may have the same value as this identification value.
  • identification values may exist not only for defective pixels but also for normal pixels in the post-processed RAW image.
  • the defect correction unit 122 cannot distinguish between them, there is a risk that the pixel values of normal pixels may also be corrected. As a result, there is a risk that this correction may reduce the quality of the RAW image. Therefore, before the pixel values of such defective pixels are replaced with identification values, pixel values of normal pixels that are not defective pixels and have the same value as the identification value may be changed to other values.
  • the post-processing unit may, as post-processing, change pixel values that are the same as the identification values of normal pixels that are not defective pixels in image data (RAW image) generated by decoding image encoding data to other values, and then replace the pixel values of the defective pixels with those identification values.
  • RAW image image data
  • defect correction can be performed more accurately.
  • degradation of the quality of the RAW image can be suppressed.
  • This changed value (other value) can be any value that is different from the identification value.
  • this change results in a large change in pixel value, there is a risk that the quality of the RAW image will decrease. Therefore, in order to prevent a decrease in the quality of the RAW image, it is desirable to change the value to a value close to the value before the change (identification value), such as "identification value +1" or "identification value -1.”
  • ⁇ Post-processing section> 32 is a block diagram showing an example of the main configuration of the post-processing unit 221.
  • the post-processing unit 221 in this case includes a normal pixel value changing unit 231 and an identification value replacing unit 232.
  • the normal pixel value modification unit 231 performs processing related to the modification of normal pixel values.
  • the normal pixel value modification unit 231 may acquire a RAW image supplied from the image decoding unit 173.
  • This RAW image is a RAW image generated by the image decoding unit 173 by decoding image encoding data. If the acquired RAW image contains a pixel value of a normal pixel that has the same value as the identification value, the normal pixel value modification unit 231 may modify the pixel value to another value.
  • the identification value may be changeable. For example, it may be set by a user, an application, etc.
  • the normal pixel value modification unit 231 is supplied with an identification value set externally (for example, by a user or an application, etc.).
  • the normal pixel value modification unit 231 may use the supplied identification value to modify the pixel values of normal pixels as described above.
  • the normal pixel value modification unit 231 may supply the RAW image in which the pixel values of normal pixels have been modified as necessary as described above to the identification value replacement unit 232.
  • the identification value replacement unit 232 performs processing related to the replacement of identification values. For example, the identification value replacement unit 232 may acquire a RAW image supplied from the normal pixel value modification unit 231. The identification value replacement unit 232 may also acquire defect information supplied from the defect information inverse conversion unit 172. The identification value replacement unit 232 may identify defective pixels in the acquired RAW image based on the acquired defect information, and replace the pixel values with identification values. The identification value replacement unit 232 may supply the RAW image that has been subjected to this processing to the defect correction unit 122 as a post-processed RAW image.
  • the post-processing unit 221 can replace the pixel values of defective pixels with identification values. Therefore, the defect correction unit 122 can easily perform defect correction without requiring defect information.
  • step S241 the normal pixel value modification unit 231 of the post-processing unit 221 modifies the pixel values of normal pixels that have the same value as the identification value.
  • step S242 the identification value replacement unit 232 identifies defective pixels based on the identification information and replaces the pixel values with identification values.
  • step S242 post-processing ends and processing returns to FIG. 31.
  • the post-processing unit 221 can replace the pixel values of defective pixels with identification values. Therefore, the defect correction unit 122 can easily perform defect correction without requiring defect information.
  • this post-processing may be a process of replacing the pixel value of a defective pixel included in the RAW image with a neighboring reference value derived by referring to neighboring pixel values of the defective pixel. That is, when the above-described method 1-4 is applied, the defective pixel value may be replaced with a neighboring reference value (method 1-4-2) as shown in the seventh row from the top of Figure 6.
  • the post-processing unit may, as post-processing, replace the pixel value of a defective pixel in image data (RAW image) generated by decoding image encoding data with a neighboring reference value derived by referring to neighboring pixel values of the defective pixel.
  • the defect correction unit 122 may be omitted.
  • this surrounding reference value may be any value derived by referencing surrounding pixel values.
  • this surrounding reference value may be a copy of the value of a pixel adjacent to the defective pixel.
  • the pixel adjacent to this defective pixel may be adjacent to the defective pixel in any direction, including above, below, left, right, or diagonally.
  • the pixel adjacent to this defective pixel may be the pixel that is processed immediately before the defective pixel in the processing order.
  • this surrounding reference value may be a calculated value based on the pixel values surrounding the defective pixel.
  • This calculated value may be a value derived by any calculation.
  • this calculated value may be a statistical value using the pixel values of pixels surrounding the defective pixel.
  • this calculated value may be the average pixel values of the surrounding pixels derived using an FIR filter or an adaptive filter.
  • this calculated value may be the median pixel value of the surrounding pixels.
  • this calculated value may be a value derived using a learning model that uses the pixel values of the surrounding pixels as input (i.e., the output of the learning model).
  • the surrounding pixels may be located physically close to the defective pixel, or may be located close in the processing order.
  • the surrounding pixels need only be located in the periphery of the defective pixel (not relatively far away), and their positional relationship (relative direction, etc.) is arbitrary.
  • the size and shape of the range from the reference pixel that is considered to be the periphery may be predetermined.
  • the range may be one-dimensional or two-dimensional.
  • the range may be centered around the reference pixel, or it may be a range that is directional biased relative to the reference pixel.
  • the range may be to the left of the reference pixel, the range may be to the right of the reference pixel, or the reference pixel may be the center of the range. Only pixels that are processed before the reference pixel may be considered as surrounding pixels.
  • the defect correction unit 122 (or its associated defect correction) can be omitted.
  • ⁇ Post-processing section> 34 is a block diagram showing an example of the main configuration of the post-processing unit 221 in this case. As shown in FIG. 34, the post-processing unit 221 in this case has a neighboring reference value replacing unit 241.
  • the surrounding reference value replacement unit 241 performs processing related to the replacement of surrounding reference values.
  • the surrounding reference value replacement unit 241 may acquire a RAW image supplied from the image decoding unit 173.
  • This RAW image is a RAW image generated by the image decoding unit 173 by decoding image encoding data.
  • the surrounding reference value replacement unit 241 may also acquire defect information supplied from the defect information inverse conversion unit 172.
  • the surrounding reference value replacement unit 241 may identify defective pixels in the acquired RAW image based on the acquired defect information, and replace the pixel values with surrounding reference values.
  • the surrounding reference value replacement unit 241 may supply the RAW image that has been subjected to this processing to the defect correction unit 122 as a post-processed RAW image.
  • the post-processing unit 221 can replace the pixel values of defective pixels with surrounding reference values. Therefore, the defect correction unit 122 (defect correction by the defect correction unit 122) can be omitted.
  • the surrounding reference value replacement unit 241 of the post-processing unit 221 replaces the defective pixel value with the surrounding reference value in step S261.
  • step S261 When the processing of step S261 is completed, post-processing ends and processing returns to Figure 31.
  • the post-processing unit 221 can replace the pixel values of defective pixels with surrounding reference values. Therefore, the defect correction unit 122 (defect correction by the defect correction unit 122) can be omitted.
  • ⁇ Method 1-4-3> multiple post-processing modes may be prepared as candidates, and a mode selected from the candidates may be applied. That is, when the above-described method 1-4 is applied, a post-processing mode may be selected (method 1-4-3) as shown in the bottom row of Fig. 6. For example, in the second image processing device, a post-processing unit may select a post-processing mode to be applied, and post-processing may be performed in the selected mode.
  • this post-processing mode (i.e., the processing content that can be executed as post-processing) may be any mode.
  • the post-processing unit may select one of the following: an identification value replacement mode, which replaces the pixel value of a defective pixel in image data with an identification value for identifying the defective pixel; a peripheral reference mode, which replaces the pixel value of a defective pixel in image data with a peripheral reference value derived by referencing the pixel values of the defective pixel; or a through mode, which omits replacing the pixel value of the defective pixel, and perform post-processing in the selected mode.
  • the identification value replacement mode is a mode that performs the post-processing described as method 1-4-1.
  • the peripheral reference mode is a mode that performs the post-processing described as method 1-4-2.
  • the through mode is a mode that supplies the RAW image to the defect correction unit 122 without performing post-processing.
  • ⁇ Post-processing section> 36 is a block diagram showing an example of the main configuration of the post-processing unit 221 in this case.
  • the post-processing unit 221 in this case includes a normal pixel value changing unit 231, an identification value replacing unit 232, a neighboring reference value replacing unit 241, and a mode selecting unit 251.
  • the normal pixel value changing unit 231 and the discrimination value replacing unit 232 are as described with reference to FIG. 32.
  • the surrounding reference value replacing unit 241 is as described with reference to FIG. 34.
  • the discrimination value replacing unit 232 may supply the mode selecting unit 251 with a RAW image in which the pixel values of defective pixels have been replaced with discrimination values.
  • the surrounding reference value replacing unit 241 may supply the mode selecting unit 251 with a RAW image in which the pixel values of defective pixels have been replaced with surrounding reference values.
  • the mode selection unit 251 performs processing related to the selection of a post-processing mode. For example, the mode selection unit 251 may acquire a RAW image supplied from the identification value replacement unit 232. In this RAW image, the pixel values of defective pixels have been replaced with identification values. The mode selection unit 251 may also acquire a RAW image supplied from the surrounding reference value replacement unit 241. In this RAW image, the pixel values of defective pixels have been replaced with surrounding reference values. Furthermore, the mode selection unit 251 may acquire a RAW image supplied to the post-processing unit 221 from the image decoding unit 173.
  • the mode selection unit 251 may then acquire a mode selection instruction from outside (for example, a user or an application).
  • the mode selection unit 251 selects the information to output according to the mode specified by the mode selection instruction.
  • the post-processing unit 221 selects the post-processing mode to apply using the mode selection unit 251, and performs the post-processing in the selected mode.
  • the mode selection unit 251 may supply the RAW image supplied from the identification value replacement unit 232 to the defect correction unit 122 as a post-processed RAW image. Also, if the peripheral reference mode is selected by this mode selection instruction, the mode selection unit 251 may supply the RAW image supplied from the peripheral reference value replacement unit 241 to the defect correction unit 122 as a post-processed RAW image. Also, if the through mode is selected by this mode selection instruction, the mode selection unit 251 may supply the RAW image supplied from the image decoding unit 173 to the defect correction unit 122 as a post-processed RAW image.
  • the post-processing unit 221 can perform a wider variety of post-processing on the RAW image. Therefore, the post-processing unit 221 can perform more appropriate post-processing in a wider variety of situations, and can prevent a reduction in the quality of the RAW image.
  • step S281 the mode selection unit 251 of the post-processing unit 221 selects the post-processing mode to be applied in accordance with the mode selection instruction.
  • step S282 the mode selection unit 251 determines whether the identification value replacement mode has been selected. If it is determined that the identification value replacement mode has been selected, processing proceeds to step S283.
  • step S283 the normal pixel value modification unit 231 modifies the pixel values of normal pixels that have the same value as the identification value to another value.
  • step S284 the identification value replacement unit 232 replaces the pixel value of the defective pixel with the identification value.
  • step S284 post-processing ends and processing returns to FIG. 31.
  • step S282 determines whether the identification value replacement mode has been selected. If it is determined in step S282 that the identification value replacement mode has not been selected, processing proceeds to step S285.
  • step S285 the mode selection unit 251 determines whether the peripheral reference mode has been selected. If it is determined that the peripheral reference mode has been selected, processing proceeds to step S286.
  • step S286 the surrounding reference value replacement unit 241 replaces the pixel value of the defective pixel with the surrounding reference value.
  • step S286 post-processing ends and processing returns to Figure 31.
  • step S285 if it is determined in step S285 that the peripheral reference mode has not been selected (i.e., the through mode has been selected), post-processing is not performed, and the RAW image supplied from the image decoding unit 173 is supplied to the defect correction unit 122. Then, post-processing ends, and processing returns to FIG. 31.
  • the post-processing unit 221 can perform a wider variety of post-processing on RAW images. Therefore, the post-processing unit 221 can perform more appropriate post-processing in a wider variety of situations, and can prevent degradation of the quality of the RAW images.
  • ⁇ Combination> Note that each of the methods described above in ⁇ 3. Transmission of defect information and image data for transmission> may be applied in combination with any other method as long as no contradiction occurs. Three or more methods may be applied in combination. For example, any two or more of Methods 1-1 to 1-4 may be applied in combination. Furthermore, the methods that can be combined are not limited to those shown in the table of FIG. 6 as "methods," but may include all elements described in this specification. Furthermore, each of the methods described above in ⁇ 3. Transmission of defect information and image data for transmission> may be applied in combination with methods other than those described above.
  • the defect information may be included in the RAW image, and a bitstream containing image coding data obtained by coding the RAW image including the defect information may be transmitted from image sensor 110 to signal processing unit 120 via bus 130.
  • a bitstream containing image coding data obtained by coding the RAW image including the defect information may be transmitted from image sensor 110 to signal processing unit 120 via bus 130.
  • defective pixel values may be replaced with identification values before coding (Method 2).
  • the defect information for transmission is not multiplexed into the image coding data as in Method 1.
  • a first image processing device may include an identification value replacement unit that replaces pixel values of defective pixels in image data representing the distribution of luminance detected in a pixel array for detecting luminance with an identification value for identifying the defective pixel, and an encoding unit that encodes the image data in which the pixel values of the defective pixels have been replaced with the identification value to generate a bit stream.
  • a first image processing method may include the first image processing device replacing pixel values of defective pixels in image data representing the distribution of luminance detected in a pixel array for detecting luminance with an identification value for identifying the defective pixel, and the first image processing device encoding the image data in which the pixel values of the defective pixels have been replaced with the identification value to generate a bit stream.
  • a first program may cause a computer to execute processes that include replacing pixel values of defective pixels in image data representing the distribution of luminance detected in the pixel array for detecting luminance with an identification value for identifying the defective pixel, and encoding the image data in which the pixel values of the defective pixels have been replaced with the identification value to generate a bit stream.
  • the first image processing device can suppress an increase in the amount of data to be transmitted while suppressing a decrease in the accuracy of the defect information.
  • the first image processing device can suppress a decrease in the quality of the image after defect correction while suppressing an increase in the amount of image sensor output data.
  • this identification value may be any value.
  • the identification value may be a predetermined fixed value.
  • the identification value may be an externally set value set by an external party (for example, a user or an application).
  • the pixel value of a normal pixel that is not a defective pixel may be the same as this identification value. In such cases, it may be difficult to distinguish whether the identification value is the replacement value for the defective pixel or the pixel value of a normal pixel. For example, when defect correction is performed on such a RAW image, the pixel values of normal pixels may also be corrected, resulting in a decrease in the quality of the RAW image. Therefore, before the pixel value of such a defective pixel is replaced with an identification value, the pixel value of a normal pixel that is not a defective pixel and has the same value as the identification value may be changed to another value.
  • the first image processing device may further include a normal pixel value change unit that changes a pixel value in the image data that is the same as the identification value of a normal pixel that is not a defective pixel to another value.
  • the identification value replacement unit may then replace the pixel value of the defective pixel in the image data, in which the pixel value that is the same as the identification value of a normal pixel that is not a defective pixel has been changed to another value, with the identification value.
  • the present technology can be applied to any device.
  • the present technology can be applied to an imaging device that captures an image of a subject.
  • the imaging device 100 also has a configuration similar to that of the example in FIG. 7 .
  • Figure 39 is a block diagram showing an example of the main configuration of the encoding unit 114 when Method 2 is applied.
  • the encoding unit 114 has a normal pixel value modification unit 311, an identification value replacement unit 312, and an encoding unit 313.
  • the normal pixel value modification unit 311 is a processing unit that is basically the same as the normal pixel value modification unit 231 ( Figure 32) of the post-processing unit 221, and performs the same processing as the normal pixel value modification unit 231.
  • the normal pixel value modification unit 311 may acquire a RAW image supplied from the brightness detection unit 111. If the acquired RAW image contains a pixel value of a normal pixel that has the same value as the identification value, the normal pixel value modification unit 311 may change the pixel value to another value. In other words, the normal pixel value modification unit 311 may change the pixel value of a normal pixel in the image data that is not a defective pixel and that is the same as the identification value to another value.
  • the identification value may be changeable. For example, it may be set by the user or an application.
  • the other values may be any value different from the identification value, but in order to prevent a reduction in the quality of the RAW image, it is desirable to change them to a value close to the value before the change (identification value), such as "identification value + 1" or "identification value - 1.”
  • the normal pixel value modification unit 311 may supply the RAW image in which the pixel values of normal pixels have been modified as necessary to the identification value replacement unit 312.
  • the identification value replacement unit 312 is a processing unit basically similar to the identification value replacement unit 232 ( Figure 32) of the post-processing unit 221, and performs the same processing as the identification value replacement unit 232.
  • the identification value replacement unit 312 may acquire a RAW image supplied from the normal pixel value modification unit 311.
  • the identification value replacement unit 312 may also read and acquire defect information stored in the storage unit 113.
  • the identification value replacement unit 312 may identify defective pixels in the acquired RAW image based on the acquired defect information and replace the pixel values with identification values.
  • the identification value replacement unit 312 may replace the pixel values of defective pixels in the pixel array for detecting luminance in image data representing the distribution of luminance, detected in the pixel array, with an identification value for identifying the defective pixel.
  • the identification value replacement unit 312 may supply the RAW image that has been processed in this way to the encoding unit 313 as a defective pixel-processed RAW image.
  • the encoding unit 313 performs processing related to encoding of a RAW image.
  • the encoding unit 313 may acquire a RAW image after defective pixel processing supplied from the identification value replacement unit 312. As described above, this RAW image after defective pixel processing has the pixel values of the defective pixels replaced with identification values. In other words, this RAW image after defective pixel processing is a RAW image that includes the contents of defect information.
  • the encoding unit 313 encodes the acquired RAW image after defective pixel processing to generate a bit stream. In other words, the encoding unit 313 can apply an encoding method for general images.
  • the encoding unit 313 may supply the generated bit stream to the signal processing unit 120 via the bus 130.
  • the encoding unit 114 can omit the transmission of defect information. In other words, the encoding unit 114 can suppress an increase in the amount of data to be transmitted while suppressing a decrease in the accuracy of the defect information. In other words, the encoding unit 114 can suppress a decrease in the quality of the image after defect correction while suppressing an increase in the amount of image sensor output data.
  • step S301 the normal pixel value modification unit 311 of the encoding unit 114 modifies the pixel values of normal pixels that have the same value as the identification value of the RAW image.
  • step S302 the identification value replacement unit 312 replaces the defective pixel values of the RAW image with identification values, generating a RAW image that has undergone defective pixel processing.
  • step S303 the encoding unit 313 encodes the RAW image after the defective pixel processing to generate a bitstream.
  • step S304 the encoding unit 313 transmits the generated bitstream to the signal processing unit 120 via the bus 130.
  • step S304 the encoding process ends and processing returns to Figure 10.
  • the encoding unit 114 can suppress an increase in the amount of image sensor output data while suppressing a reduction in the quality of the image after defect correction, as described above.
  • the decoding unit 121 of the signal processing unit 120 simply decodes the bit stream using a decoding method corresponding to the encoding method of the encoding unit 114. As a result, a RAW image after defective pixel processing is generated (restored). Therefore, the decoding unit 121 simply supplies the RAW image after defective pixel processing to the defect correction unit 122.
  • the defect correction unit 122 can detect the identification value of the RAW image after defective pixel processing and correct the pixel values of the defective pixels. Therefore, the decoding unit 121 can apply a decoding method for general images.
  • the defect information may be encoded and the bit length of the image encoding may be set based on the bit length of the defect information (method 2-1), as shown in the bottom row of the table in Fig. 38.
  • the encoding unit may include a discrimination unit that discriminates, based on the discrimination value, image data in which the pixel values of defective pixels have been replaced with the discrimination value, into defect information about the defective pixels and the image data, a defect information encoding unit that encodes the defect information and generates defect information encoded data, an image encoding unit that encodes the image data and generates image encoded data, and a multiplexing unit that multiplexes the defect information encoded data and the image encoded data to generate a bit stream.
  • a discrimination unit that discriminates, based on the discrimination value, image data in which the pixel values of defective pixels have been replaced with the discrimination value, into defect information about the defective pixels and the image data
  • a defect information encoding unit that encodes the defect information and generates defect information encoded data
  • an image encoding unit that encodes the image data and generates image encoded data
  • a multiplexing unit that multiplexes the defect information encoded data and the image encoded data to generate a
  • the encoding unit 114 can suppress an increase in the amount of image sensor output data while also suppressing a reduction in image quality after defect correction.
  • Fig. 41 is a block diagram showing an example of the main configuration of the encoding unit 313 in this case.
  • the encoding unit 313 includes a discrimination unit 321, a defect information encoding unit 322, an image encoding unit 323, and a multiplexing unit 324.
  • the discrimination unit 321 performs processing related to data discrimination. For example, the discrimination unit 321 may acquire a defective pixel-processed RAW image supplied from the identification value replacement unit 312. The discrimination unit 321 may detect defective pixels contained in the defective pixel-processed RAW image based on the identification value, and discriminate the defective pixel-processed RAW image into defect information related to the defective pixels and the RAW image. The discrimination unit 321 may supply the defect information to the defect information encoding unit 322. The discrimination unit 321 may supply the RAW image to the image encoding unit 323.
  • the defect information encoding unit 322 performs processing related to the encoding of defect information.
  • the defect information encoding unit 322 may acquire defect information supplied from the discrimination unit 321.
  • the defect information encoding unit 322 may encode the defect information to generate defect information encoded data. Any encoding method may be used. For example, a lossless encoding method may be applied to suppress degradation of the defect information.
  • the defect information encoding unit 322 may supply the generated defect information encoded data to the multiplexing unit 324.
  • the defect information encoding unit 322 may also supply the bit length of the defect information encoded data to the image encoding unit 323.
  • the image encoding unit 323 performs processing related to encoding of RAW images.
  • the image encoding unit 323 may acquire a RAW image supplied from the discrimination unit 321.
  • the image encoding unit 323 may encode the acquired RAW image to generate encoded image data.
  • Any encoding method may be used.
  • a lossy encoding method may be applied to prevent an increase in the amount of data.
  • the image encoding unit 323 may acquire the bit length of the defect information encoded data supplied from the defect information encoding unit 322 and set the bit length of the encoded image data based on the acquired bit length.
  • the image encoding unit 323 may encode image data representing the distribution of luminance detected in the pixel array and generate encoded image data with a bit length set based on the bit length of the encoded defect information data.
  • the image encoding unit 323 may supply the generated encoded image data to the multiplexing unit 324.
  • the multiplexing unit 324 performs processing related to data multiplexing. For example, the multiplexing unit 324 may acquire defect information encoded data supplied from the defect information encoding unit 322. The multiplexing unit 324 may acquire image encoded data supplied from the image encoding unit 323. The multiplexing unit 324 may multiplex the acquired defect information encoded data and image encoded data to generate a bit stream. The multiplexing unit 324 may supply the generated bit stream to the signal processing unit 120 (the decoding unit 121) via the bus 130.
  • the encoding unit 114 can suppress an increase in the amount of image sensor output data while also suppressing a reduction in image quality after defect correction.
  • step S321 the normal pixel value modification unit 311 of the encoding unit 114 modifies the pixel values of normal pixels that have the same value as the identification value of the RAW image.
  • step S322 the identification value replacement unit 312 replaces the defective pixel values of the RAW image with identification values, generating a RAW image that has undergone defective pixel processing.
  • step S323 the discrimination unit 321 of the encoding unit 313 discriminates between defect information and image data based on the discrimination value.
  • step S324 the defect information encoding unit 322 encodes the defect information.
  • step S325 the image encoding unit 323 encodes the image data based on the bit length of the defect information.
  • step S326 the multiplexing unit 324 multiplexes the defect information encoded data and the image encoded data to generate a bitstream.
  • step S327 the multiplexing unit 324 transmits the generated bit stream to the signal processing unit 120 via the bus 130.
  • step S327 When step S327 is completed, the encoding process ends and processing returns to Figure 10.
  • the encoding unit 114 can suppress an increase in the amount of image sensor output data while suppressing a reduction in the quality of the image after defect correction, as described above.
  • ⁇ Decoding section> 43 is a block diagram showing an example of the main configuration of the decoding unit 121. As shown in FIG. 43, the decoding unit 121 has a demultiplexing unit 331, a defect information decoding unit 332, and an image decoding unit 333.
  • the demultiplexing unit 331 performs processing related to demultiplexing. For example, the demultiplexing unit 331 may acquire a bit stream supplied from the image sensor 110 (the multiplexing unit 324 thereof) via the bus 130. The demultiplexing unit 331 may demultiplex the bit stream and extract the defect information encoded data and the image encoded data. The demultiplexing unit 331 may supply the extracted defect information encoded data to the defect information decoding unit 332. The demultiplexing unit 331 may supply the extracted image encoded data to the image decoding unit 333.
  • the defect information decoding unit 332 performs processing related to the decoding of the defect information encoded data. For example, the defect information decoding unit 332 may acquire the defect information encoded data supplied from the demultiplexing unit 331. The defect information decoding unit 332 may decode the acquired defect information encoded data to generate defect information. The defect information decoding unit 332 may supply the generated defect information to the defect correction unit 122. The defect information decoding unit 332 may supply the bit length of the defect information encoded data to be decoded to the image decoding unit 333.
  • the image decoding unit 333 performs processing related to the decoding of image encoded data. For example, the image decoding unit 333 may acquire image encoded data supplied from the demultiplexing unit 331. The image decoding unit 333 may decode the acquired image encoded data to generate RAW image data.
  • This decoding method may be any method that corresponds to the encoding method applied by the image encoding unit 323. In this case, the image decoding unit 333 may acquire the bit length of the defect information encoded data supplied from the defect information decoding unit 332, estimate the bit length of the image encoded data based on that bit length, and decode the image encoded data using the estimated bit length. The image decoding unit 333 may supply the generated RAW image data to the defect correction unit 122.
  • the decoding unit 121 can suppress an increase in the amount of image sensor output data while also suppressing a reduction in image quality after defect correction.
  • step S341 the demultiplexing unit 331 of the decoding unit 121 receives the bit stream transmitted from the image sensor 110 via the bus 130.
  • step S342 the demultiplexing unit 331 demultiplexes the bit stream and distinguishes between the defect information encoded data and the image encoded data.
  • step S343 the defect information decoding unit 332 decodes the defect information encoded data and generates defect information.
  • step S344 the image decoding unit 333 decodes the image encoding data based on the bit length of the defect information encoding data to generate a RAW image.
  • step S344 When the processing of step S344 is completed, the decoding process ends and the process returns to Figure 10.
  • the decoding unit 121 can suppress an increase in the amount of image sensor output data while suppressing a reduction in the quality of the image after defect correction, as described above.
  • the present technology may be applied to any configuration.
  • the present technology may be applied to a system configured with multiple devices.
  • the brightness detection unit 111, the encoding unit 114, the decoding unit 121, and the defect correction unit 122 of the imaging device 100 shown in FIG. 7 may be configured as independent devices, and the present technology may be applied to an image processing system configured with these devices.
  • FIG. 45 is a block diagram showing an example of the configuration of an image processing system, which is one aspect of a system to which the present technology is applied.
  • the image processing system 500 shown in FIG. 45 is a system that performs processing similar to that of the image capture device 100 in FIG. 7. As shown in FIG. 45, the image processing system 500 has an image capture device 511, an encoding device 512, a decoding device 513, and a signal processing device 514.
  • the imaging device 511 has the same function as the brightness detection unit 111 of the imaging device 100, and captures an image of a subject to generate a RAW image, which is then supplied to the encoding device 512.
  • the encoding device 512 has the same function as the encoding unit 114 of the imaging device 100, and generates a bitstream containing encoded data of the RAW image and defect information of the imaging device 511.
  • the encoding device 512 supplies the bitstream to the decoding device 513 via the network 520.
  • the decoding device 513 has the same function as the decoding unit 121 of the imaging device 100, and acquires and decodes the bitstream to generate defect information and a RAW image.
  • the decoding device 513 supplies the defect information and RAW image to the signal processing device 514.
  • the signal processing device 514 acquires the defect information and the RAW image and uses them to perform defect correction.
  • the image processing system 500 like the imaging device 100, can suppress an increase in the amount of image sensor output data while suppressing a decrease in image quality after defect correction.
  • ⁇ Image> In the above description, a RAW image is used as an example of an image corresponding to defect information. However, the image corresponding to defect information may be any image and is not limited to a RAW image.
  • Figure 46 is a block diagram showing an example of the hardware configuration of a computer that executes the above-mentioned series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input/output interface 910 Connected to the input/output interface 910 are an input unit 911, an output unit 912, a memory unit 913, a communication unit 914, and a drive 915.
  • the input unit 911 includes, for example, a keyboard, mouse, microphone, touch panel, and input terminal.
  • the output unit 912 includes, for example, a display, speaker, and output terminal.
  • the storage unit 913 includes, for example, a hard disk, RAM disk, and non-volatile memory.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives removable media 921 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 901 performs the above-described series of processes by, for example, loading a program stored in the storage unit 913 into the RAM 903 via the input/output interface 910 and bus 904 and executing it.
  • the RAM 903 also stores data necessary for the CPU 901 to execute various processes as appropriate.
  • the program executed by the computer can be recorded on removable media 921, such as package media, and applied.
  • the program can be installed in the storage unit 913 via the input/output interface 910 by inserting the removable media 921 into the drive 915.
  • This program can also be provided via wired or wireless transmission media such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can also be pre-installed in ROM 902 or memory unit 913.
  • the present technology can be applied to any configuration, for example, various electronic devices.
  • this technology can be implemented as part of a device, such as a processor (e.g., a video processor) as a system LSI (Large Scale Integration), a module using multiple processors (e.g., a video module), a unit using multiple modules (e.g., a video unit), or a set in which other functions are added to a unit (e.g., a video set).
  • a processor e.g., a video processor
  • system LSI Large Scale Integration
  • modules using multiple processors e.g., a video module
  • a unit using multiple modules e.g., a video unit
  • a set in which other functions are added to a unit e.g., a video set.
  • this technology can also be applied to a network system made up of multiple devices.
  • this technology may be implemented as cloud computing, in which multiple devices share and collaborate on processing via a network.
  • this technology may be implemented in a cloud service that provides image (video) related services to any terminal, such as a computer, AV (Audio Visual) equipment, portable information processing terminal, or IoT (Internet of Things) device.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all of the components are contained in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device with multiple modules housed in a single housing, are both systems.
  • Systems, devices, processing units, etc. to which the present technology is applied can be used in any field, for example, transportation, medical care, crime prevention, agriculture, livestock farming, mining, beauty, factories, home appliances, weather, nature monitoring, etc. In addition, their uses are also arbitrary.
  • a "flag” refers to information for identifying multiple states, and includes not only information used to identify two states, true (1) or false (0), but also information capable of identifying three or more states. Therefore, the value that this "flag” can take may be, for example, two values, 1/0, or three or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be one bit or multiple bits. Furthermore, identification information (including flags) can be included not only in a bitstream, but also in a bitstream that includes differential information of the identification information relative to certain reference information. Therefore, in this specification, "flag” and “identification information” encompass not only the information itself, but also differential information relative to the reference information.
  • various information (metadata, etc.) related to the encoded data may be transmitted or recorded in any form as long as it is associated with the encoded data.
  • the term "associate” means, for example, making it possible to use (link) one piece of data when processing the other.
  • data that are associated with each other may be combined into one piece of data, or may be each individual piece of data.
  • information associated with encoded data (image) may be transmitted over a transmission path separate from that of the encoded data (image).
  • information associated with encoded data (image) may be recorded on a recording medium separate from that of the encoded data (image) (or on a different recording area of the same recording medium).
  • this "association" need not refer to the entire data, but may refer to only part of the data.
  • an image and information corresponding to that image may be associated with each other in any unit, such as multiple frames, one frame, or a portion of a frame.
  • a configuration described as a single device may be divided and configured as multiple devices (or processing units).
  • configurations described above as multiple devices (or processing units) may be combined and configured as a single device (or processing unit).
  • configurations other than those described above may also be added to the configuration of each device (or each processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit).
  • the above-mentioned program may be executed on any device.
  • that device has the necessary functions (functional blocks, etc.) and is able to obtain the necessary information.
  • each step in a single flowchart may be executed by a single device, or may be shared and executed by multiple devices.
  • a single step includes multiple processes, those multiple processes may be executed by a single device, or may be shared and executed by multiple devices.
  • multiple processes included in a single step can be executed as multiple step processes.
  • processes described as multiple steps can also be executed collectively as a single step.
  • the processing of the steps describing a program executed by a computer may be executed in chronological order in the order described in this specification, or may be executed in parallel, or individually at the required timing, such as when a call is made. In other words, as long as no contradictions arise, the processing of each step may be executed in an order different from that described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the present technology can also be configured as follows.
  • a defect information conversion unit that converts the format of defect information about defective pixels in a pixel array for detecting luminance, and generates defect information for transmission; an image encoding unit that encodes image data representing the luminance distribution detected in the pixel array and generates encoded image data with a bit rate set based on a bit rate of the defect information for transmission; a multiplexing unit that multiplexes the defect information for transmission and the image coding data to generate a bit stream.
  • the defect information conversion unit generates the transmission defect information for each of a predetermined number of blocks obtained by dividing a picture of the image data into a plurality of blocks.
  • the image processing device wherein the block is the same as an encoding block, which is a processing unit for encoding the image data by the image encoding unit.
  • the image processing device according to any one of (1) to (3), wherein the format of the defect information for transmission depends on the number of the defective pixels present in the pixel array.
  • the image processing device (4), wherein the amount of data of the defect information to be transmitted is smaller as the number of defective pixels present in the pixel array is smaller.
  • the defect information for transmission includes first information indicating the number of the defective pixels and second information indicating the positions of the defective pixels.
  • the image processing device wherein the first information includes a predetermined bit pattern according to the number of the defective pixels.
  • the bit pattern is shorter as the number of defective pixels is smaller.
  • the second information indicates the positions of the defective pixels using coordinates when the number of the defective pixels is less than a predetermined standard.
  • the defect information for transmission omits the second information when the defective pixel does not exist in the pixel array.
  • the image processing device according to any one of (6) to (10), wherein the second information indicates the positions of the defective pixels using a map showing a distribution of the defective pixels when the number of the defective pixels is equal to or greater than a predetermined standard.
  • the defect information for transmission further includes third information indicating a type of defect.
  • a preprocessing unit that performs predetermined preprocessing on the image data is further provided.
  • the image processing device according to any one of (1) to (12), wherein the image encoding unit is configured to encode the image data that has been subjected to the preprocessing, and generate the encoded image data.
  • a demultiplexing unit that demultiplexes the bit stream and extracts the transmission defect information and the image coding data; a defect information inverse conversion unit that inversely converts the format of the defect information for transmission and generates defect information regarding defective pixels in a pixel array for detecting luminance; an image decoding unit that decodes the image coding data using a bit rate of the image coding data estimated based on a bit rate of the defect information for transmission, and generates image data that represents the distribution of the luminance detected in the pixel array.
  • the defect information inverse conversion unit generates the defect information for each of a predetermined number of blocks obtained by dividing a picture of the image data into a plurality of blocks.
  • the image processing device (22), wherein the block is the same as an encoding block, which is a processing unit for generating the image data by the image decoding unit.
  • the image processing device according to any one of (21) to (23), wherein the format of the defect information for transmission depends on the number of the defective pixels present in the pixel array.
  • the image processing device (24), wherein the amount of data of the defect information to be transmitted is smaller as the number of defective pixels present in the pixel array is smaller.
  • the image processing device (24), wherein the defect information for transmission includes first information indicating the number of the defective pixels and second information indicating the positions of the defective pixels.
  • the image processing device wherein the first information includes a predetermined bit pattern according to the number of the defective pixels.
  • the image processing device 27), wherein the bit pattern is shorter as the number of defective pixels is smaller.
  • the second information indicates the positions of the defective pixels using coordinates when the number of the defective pixels is less than a predetermined standard.
  • the defect information for transmission omits the second information when the defective pixel does not exist in the pixel array.
  • the image processing device (26), wherein the second information indicates the positions of the defective pixels using a map showing a distribution of the defective pixels when the number of the defective pixels is equal to or greater than a predetermined standard.
  • the defect information for transmission further includes third information indicating a type of defect.
  • the image processing device according to any one of (21) to (32), further comprising a post-processing unit that executes predetermined post-processing on the generated image data.
  • the post-processing unit replaces a pixel value of the defective pixel in the image data with an identification value for identifying the defective pixel.
  • the post-processing unit selects one from among an identification value replacement mode in which the pixel value of the defective pixel in the image data is replaced with an identification value for identifying the defective pixel, a surrounding reference mode in which the pixel value of the defective pixel in the image data is replaced with a surrounding reference value derived by referring to pixel values surrounding the defective pixel, and a through mode in which replacement of the pixel value of the defective pixel is omitted, and performs the post-processing in the selected mode.
  • (41) Demultiplexing the bitstream to extract the transmission defect information and the image coding data; converting the format of the defect information for transmission inversely to generate defect information regarding defective pixels in the pixel array for detecting luminance; decoding the image coding data using a bit rate of the image coding data estimated based on a bit rate of the defect information for transmission, and generating image data representing the distribution of the luminance detected in the pixel array.
  • (42) demultiplexing the bitstream to extract the transmission defect information and the image coding data; converting the format of the defect information for transmission inversely to generate defect information regarding defective pixels in the pixel array for detecting luminance; decoding the image coding data using a bit rate of the image coding data estimated based on the bit rate of the defect information for transmission, and generating image data representing the distribution of the luminance detected in the pixel array.
  • An identification value replacement unit that replaces pixel values of defective pixels in a pixel array in image data representing a distribution of luminance detected in the pixel array for detecting luminance with an identification value for identifying the defective pixel; an encoding unit that encodes the image data in which the pixel values of the defective pixels have been replaced with the identification values, and generates a bit stream.
  • the image processing device (51), wherein the identification value is a predetermined fixed value.
  • the identification value is an externally set value that is set externally.
  • a normal pixel value changing unit that changes a pixel value in the image data that is the same as the identification value of a normal pixel that is not a defective pixel to another value
  • the image processing device according to any one of (51) to (53), wherein the identification value replacement unit replaces the pixel value of the defective pixel in the image data in which a pixel value identical to the identification value of a normal pixel that is not the defective pixel has been changed to another value, with the identification value.
  • the encoding unit a discriminator that discriminates the image data, in which the pixel values of the defective pixels have been replaced with the discrimination values, into defect information regarding the defective pixels and the image data, based on the discrimination values; a defect information encoding unit that encodes the defect information and generates defect information encoded data; an image encoding unit that encodes the image data and generates image encoded data;
  • the image processing device according to any one of (51) to (54), further comprising: a multiplexing unit that multiplexes the defect information coded data and the image coded data to generate the bit stream.
  • Imaging device 110 Image sensor, 111 Brightness detection unit, 112 Defect detection unit, 113 Memory unit, 114 Encoding unit, 120 Signal processing unit, 121 Decoding unit, 122 Defect correction unit, 130 Bus, 140 Defect detector, 151 Defect information conversion unit, 152 Image encoding unit, 153 Multiplexing unit, 171 Demultiplexing unit, 172 Defect information inverse conversion unit, 173 Image decoding unit, 211 Preprocessing unit, 221 Postprocessing unit, 231 Normal pixel value polarization unit, 232 Identification value replacement Detector, 241: Surrounding reference value replacement unit, 251: Mode selection unit, 311: Normal pixel value change unit, 312: Discrimination value replacement unit, 313: Encoder, 321: Discrimination unit, 322: Defect information encoding unit, 323: Image encoding unit, 324: Multiplexer, 331: Demultiplexer, 332: Defect information decoding unit, 333: Image decoding unit, 500: Image processing system, 511

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができるようにする画像処理装置および方法に関する。 輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成し、画素配列において検出された輝度の分布を表す画像データを符号化し、伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成し、伝送用欠陥情報と画像符号化データとを多重化し、ビットストリームを生成する。本開示は、例えば、画像処理装置、電子機器、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができるようにした画像処理装置および方法に関する。
　従来、イメージセンサの画素アレイに画素値を正しく検出できない欠陥画素が含まれることにより、そのイメージセンサにおいて検出される画像に、画素値が正常でない画素欠陥が含まれることがあった。このような画素欠陥には、そのイメージセンサの製造時に発生した静的な画素欠陥（static）と、イメージセンサの製造後に何らかの理由で生じた動的な画素欠陥（dynamic）とがあった。
　イメージセンサが、このような欠陥画素の位置を把握して記憶しておき、その位置情報に基づいて、画像に含まれる画素欠陥を補正してから外部に出力する方法があった（例えば、特許文献１参照）。
　これに対して、近年、半導体技術の向上によるプロセッサの高性能化に伴い、イメージセンサの後段のプロセッサにおいてこのような画素欠陥を補正することが検討されている。その場合、画像データとともに、欠陥画素の位置を示す欠陥情報を、イメージセンサから後段のプロセッサへ伝送する必要があった。しかしながら、伝送帯域や伝送時間を増大させることが困難な場合があった。そのため、画像データおよび欠陥情報を合成して符号化して伝送することにより、欠陥情報の伝送によるデータ量の増大を抑制する方法が考えられた。
特開２０２１－６１４８７号公報
　しかしながら、その場合、欠陥情報が劣化し、欠陥補正後の画像の品質が低減するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができるようにするものである。
　本技術の一側面の画像処理装置は、輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成する欠陥情報変換部と、前記画素配列において検出された前記輝度の分布を表す画像データを符号化し、前記伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成する画像符号化部と、前記伝送用欠陥情報と前記画像符号化データとを多重化し、ビットストリームを生成する多重化部とを備える画像処理装置である。
　本技術の一側面の画像処理方法は、輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成することと、前記画素配列において検出された前記輝度の分布を表す画像データを符号化し、前記伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成することと、前記伝送用欠陥情報と前記画像符号化データとを多重化し、ビットストリームを生成することとを含む画像処理方法である。
　本技術の他の側面の画像処理装置は、ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出する逆多重化部と、前記伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成する欠陥情報逆変換部と、前記伝送用欠陥情報のビットレートに基づいて推定した前記画像符号化データのビットレートを用いて前記画像符号化データを復号し、前記画素配列において検出された前記輝度の分布を表す画像データを生成する画像復号部とを備える画像処理装置である。
　本技術の他の側面の画像処理方法は、ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出することと、前記伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成することと、前記伝送用欠陥情報のビットレートに基づいて推定した前記画像符号化データのビットレートを用いて前記画像符号化データを復号し、前記画素配列において検出された前記輝度の分布を表す画像データを生成することとを含む画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式が変換され、伝送用欠陥情報が生成され、画素配列において検出された輝度の分布を表す画像データが符号化され、その伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データが生成され、その伝送用欠陥情報とその画像符号化データとが多重化されて、ビットストリームが生成される。
　本技術の他の側面の画像処理装置および方法においては、ビットストリームが逆多重化され、伝送用欠陥情報と画像符号化データとが抽出され、その伝送用欠陥情報の形式が逆変換され、輝度を検出する画素配列における欠陥画素に関する欠陥情報が生成され、その伝送用欠陥情報のビットレートに基づいて推定した画像符号化データのビットレートを用いて画像符号化データが復号され、画素配列において検出された輝度の分布を表す画像データが生成される。
イメージセンサの主な構成例を示すブロック図である。 イメージセンサと信号処理部の主な構成例を示すブロック図である。 画素値の例を示す図である。 欠陥情報の例を示す図である。 欠陥情報の例を示す図である。 伝送用欠陥情報および画像データの伝送方法の例を示す図である。 撮像装置の主な構成例を示すブロック図で得ある。 符号化部の主な構成例を示すブロック図である。 復号部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 フレーム単位の画像データ伝送のインタフェースの例を示す図である。 ブロックの例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 伝送用欠陥情報の例を示す図である。 伝送用欠陥情報のシンタックスの例を示す図である。 ビットストリームの例を示す図である。 ビットストリームの例を示す図である。 伝送用欠陥情報のシンタックスの例を示す図である。 伝送用欠陥情報のシンタックスの例を示す図である。 伝送用欠陥情報のシンタックスの例を示す図である。 伝送用欠陥情報のシンタックスの例を示す図である。 ビットストリームの例を示す図である。 ビットストリームの例を示す図である。 前処理の例を示す図である。 符号化部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 後処理部の主な構成例を示すブロック図である。 後処理の流れの例を説明するフローチャートである。 後処理部の主な構成例を示すブロック図である。 後処理の流れの例を説明するフローチャートである。 後処理部の主な構成例を示すブロック図である。 後処理の流れの例を説明するフローチャートである。 欠陥画素値の置き換え方法の例を示す図である。 符号化部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 符号化部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図で得ある。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．技術内容・技術用語をサポートする文献等
　２．画素欠陥
　３．伝送用欠陥情報と画像データの伝送
　４．欠陥画素値の置き換え
　５．画像処理システム
　６．付記
　＜１．技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の特許文献等に記載されている内容や以下の特許文献において参照されている他の文献の内容等も含まれる。
　特許文献１：（上述）
　つまり、上述の特許文献に記載されている内容や、上述の特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
　＜２．画素欠陥＞
　　＜イメージセンサにおける画素欠陥の補正＞
　従来、イメージセンサの画素アレイに画素値を正しく検出できない欠陥画素が含まれることにより、そのイメージセンサにおいて検出される画像に、画素値が正常でない画素欠陥が含まれることがあった。このような画素欠陥には、そのイメージセンサの製造時に発生した静的な画素欠陥（static）と、イメージセンサの製造後に何らかの理由で生じた動的な画素欠陥（dynamic）とがあった。
　このような画素欠陥は、発生原因や発生の仕方により、例えば、点欠陥、シミ欠陥、ムラ欠陥、線欠陥等といったように、いくつかの種類に分類された。点欠陥は、画像の１つの画素値が、その周囲の８画素の画像値に比べて著しく大きな差があり突出（または陥没）した値となる状態を示す。シミ欠陥は、画像のある領域における複数の画素値のそれぞれが、周囲の画素値に対して、点欠陥における差分よりも小さな差がある状態を示す。ムラ欠陥は、シミ欠陥の画素よりもさらに画素値の差が小さい複数の画素が、シミ欠陥よりも広い領域に集まった状態を示す。線欠陥は、画像の、列方向、行方向、または任意の角度での斜め方向に並ぶ画素値が、その周囲の画素値に比べて著しく大きな差があり突出（または陥没）した値となる状態を示す。
　例えば、特許文献１に記載のように、イメージセンサが、このような欠陥画素の位置を把握して記憶しておき、その位置情報に基づいて、画像に含まれる画素欠陥を補正してから外部に出力する方法があった。
　例えば、図１に示されるイメージセンサ１０において、輝度検出部１１は、所謂画素配列により構成され、各画素において入射光を光電変換して輝度信号を生成し、所謂撮像画像の画像データを出力する。欠陥検出器（Static）２１は、イメージセンサ１０の製造時にその画像データの画素欠陥を検出し、欠陥位置（欠陥画素の位置）をイメージセンサ１０の記憶部１３に記憶させる。製造後は、イメージセンサ１０の欠陥検出部（Dynamic）１２が、所定のタイミングにおいて画素欠陥を検出し、欠陥位置（欠陥画素の位置）を記憶部１３に記憶させる。欠陥補正部１４は、輝度検出部１１から出力される画像データ（RAW画像）の、記憶部１３から供給される欠陥情報により示される欠陥画素の画素値を補正する。そして、欠陥補正部１４は、その欠陥補正済RAW画像（つまり、欠陥画素の画素値が補正された画像データ）をイメージセンサ１０から出力する。
　　＜後段プロセッサにおける画素欠陥の補正＞
　これに対して、近年、半導体技術の向上によるプロセッサの高性能化に伴い、イメージセンサの後段のプロセッサにおいてこのような画素欠陥を補正することが検討されている。例えば、図２に示されるように、イメージセンサ１０の後段に信号処理部３０を設け、その信号処理部３０の欠陥補正部３３において画素欠陥の補正を行うようにする。その場合、画像データとともに、欠陥画素に関する情報である欠陥情報を、イメージセンサ１０から信号処理部３０へ伝送する必要があった。つまり、多重化部１５は、輝度検出部１１から出力されるRAW画像と記憶部１３の欠陥情報とを多重化し、その多重化信号を、バスを介して信号処理部３０へ供給する。信号処理部３０の逆多重化部３１は、その多重化信号を受信して逆多重化し、欠陥情報およびRAW画像を抽出する。欠陥情報は記憶部３２により保持された後、所定のタイミングにおいて欠陥補正部３３へ供給される。欠陥補正部３３は、その欠陥情報に基づいてRAW画像の画素欠陥を補正し、その欠陥補正済RAW画像を信号処理部３０から出力する。
　　＜欠陥情報＞
　このように、信号処理部３０において画素欠陥を補正する場合、画像データとともに欠陥情報がイメージセンサ１０から信号処理部３０へ伝送される。
　欠陥情報は、欠陥画素の位置を示すために、輝度検出部１１の画素配列に対応する欠陥画素のマップ情報を含む。例えば、図３のようなRAW画像が輝度検出部１１から出力されるとする。図３において各四角が画素単位の情報を示し、その四角内の値が画素値を示す。白地の画素値（1023）や黒地の画素値（0）は、常にこのような飽和値（異常値）が出力される欠陥画素の画素値であることを示している。
　このような場合、欠陥検出器２１や欠陥検出部１２は、図４のＡに示されるように、欠陥有りの画素と欠陥無しの画素を識別し、各画素にID（２進数表記）を割り当てる。例えば、欠陥画素でない正常画素に対してID「0」（２進数表記の場合「0」）が割り当てられ、欠陥画素に対してID「1」（２進数表記の場合「1」）が割り当てられる。つまり、図３のRAW画像を出力する輝度検出部１１に対して、図４のＢに示されるような欠陥情報が生成される。この欠陥情報において値「1」が欠陥画素を示しているので、欠陥補正部３３は、その位置の画素値を補正する。
　なお、欠陥情報において欠陥の種類（例えば、点欠陥、シミ欠陥、ムラ欠陥、線欠陥等）が示されてもよい。例えば、図５のＡに示されるように、欠陥無し、点欠陥、シミ欠陥若しくはムラ欠陥、および線欠陥のそれぞれに対して異なるIDが割り当てられてもよい。その場合、IDは、２進数表記において２ビットの情報となる。つまり、図３のRAW画像を出力する輝度検出部１１に対して、図５のＢに示されるような欠陥情報が生成される。この欠陥情報において値「01」、「10」、「11」が欠陥画素を示しているので、欠陥補正部３３は、その位置の画素値を補正する。
　　＜多重化信号の符号化＞
　図２の例のように信号処理部３０において画素欠陥を補正する場合、このような欠陥情報を伝送する分、イメージセンサ１０から信号処理部３０へ伝送されるデータ量が増大する。しかしながら、伝送帯域や伝送時間を増大させることが困難な場合があった。例えば、図２の構成を撮像装置内で実現する場合、一般的に、イメージセンサ１０と信号処理部３０との間のバスの帯域幅は設計の際に固定化される。また、例えば動画像のようにタイムラグに制限がある場合、そのバスを介したRAW画像の伝送時間も制限される。このように帯域幅が固定化され、伝送時間にも余裕がない場合、それらを増大させることは困難であった。
　例えば、バスの帯域幅を十分に広く設計することにより、帯域幅の不足を抑制することは可能であるが、コストが増大するおそれがあった。特に、画素欠陥は、イメージセンサ毎に欠陥個数が異なる。I/F帯域は、欠陥個数の最悪値に併せて設計する必要があり、画素欠陥が少ない場合、もしくは画素欠陥が存在しない場合には、「画素欠陥が無い」ことを示す情報のみが伝送されることになる。このような非効率な欠陥情報の伝送に合わせてバス幅を拡張することは、コストについても非効率となるおそれがあった。
　そのような場合、画像データおよび欠陥情報を合成した多重化信号を符号化して伝送することにより、欠陥情報の伝送によるデータ量の増大を抑制する方法が考えられる。しかしながら、可逆符号化の場合、許容される短い処理時間において画像データのデータ量を十分に低減させることが困難であり、一般的には、例えばビット長を低減させる等の比較的単純な非可逆符号化が適用される。多重化信号にこのような非可逆符号化を適用する場合、欠陥情報が劣化（変化）するおそれがあった。欠陥情報が変化すると、その欠陥情報により示される欠陥画素の位置等の情報の精度が低減するおそれがあった。そのため、その欠陥情報に基づいて実行される画素欠陥の補正の精度が低減するおそれがあった。例えば、画素欠陥の補正において、欠陥画素の画素値を補正しなかったり、正常画素の画素値を補正したりする等の不具合が発生するおそれがあった。そのため、欠陥補正後の画像の品質が低減するおそれがあった。
　＜３．伝送用欠陥情報と画像データの伝送＞
　　＜方法１＞
　そこで、図６の表の最上段に示されるように、欠陥情報を伝送用欠陥情報に変換し、その伝送用欠陥情報のレートに基づいて画像の符号化のレートを設定する（方法１）。つまり、欠陥情報のデータ量を低減させるために、欠陥情報を可逆な方法で伝送用欠陥情報に変換する。そして、その伝送用欠陥情報のビットレートに基づいて、全体（多重化信号）のビットレートを増大させないようにRAW画像の符号化後のビットレートを設定し、その設定に従ってRAW画像の符号化を実行する。
　例えば、第１の画像処理装置が、輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成する欠陥情報変換部と、その画素配列において検出された輝度の分布を表す画像データを符号化し、伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成する画像符号化部と、その伝送用欠陥情報と画像符号化データとを多重化し、ビットストリームを生成する多重化部とを備えるようにする。また、第１の画像処理装置が、輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成することと、第１の画像処理装置が、その画素配列において検出された輝度の分布を表す画像データを符号化し、伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成することと、その伝送用欠陥情報と画像符号化データとを多重化し、ビットストリームを生成することとが、第１の画像処理方法に含まれるようにする。また、第１のプログラムが、輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成することと、その画素配列において検出された輝度の分布を表す画像データを符号化し、伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成することと、その伝送用欠陥情報と画像符号化データとを多重化し、ビットストリームを生成することとを含む処理をコンピュータに実行させるようにする。
　このようにすることにより、第１の画像処理装置は、欠陥情報の精度の低減を抑制しながら、伝送するデータ量の増大を抑制することができる。すなわち、第１の画像処理装置は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　例えば、第２の画像処理装置が、ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出する逆多重化部と、その伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成する欠陥情報逆変換部と、その伝送用欠陥情報のビットレートに基づいて推定した画像符号化データのビットレートを用いてその画像符号化データを復号し、画素配列において検出された輝度の分布を表す画像データを生成する画像復号部とを備えるようにする。また、第２の画像処理装置が、ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出することと、第２の画像処理装置が、その伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成することと、第２の画像処理装置が、その伝送用欠陥情報のビットレートに基づいて推定した画像符号化データのビットレートを用いてその画像符号化データを復号し、画素配列において検出された輝度の分布を表す画像データを生成することとが、第２の画像処理方法に含まれるようにする。また、第２のプログラムが、ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出することと、その伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成することと、その伝送用欠陥情報のビットレートに基づいて推定した画像符号化データのビットレートを用いてその画像符号化データを復号し、画素配列において検出された輝度の分布を表す画像データを生成することとを含む処理をコンピュータに実行させるようにする。
　このようにすることにより、第２の画像処理装置は、欠陥情報の精度の低減を抑制しながら、伝送するデータ量の増大を抑制することができる。すなわち、第２の画像処理装置は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜撮像装置＞
　本技術は、任意の装置に適用することができる。例えば、本技術は、被写体を撮像する撮像装置に適用することができる。図７は、本技術を適用した画像処理装置の一態様である撮像装置の構成の一例を示すブロック図である。図７に示される撮像装置１００は、イメージセンサ１１０および信号処理部１２０を有し、そのイメージセンサ１１０において被写体を撮像し、信号処理部１２０においてそのRAW画像（撮像画像）に対する信号処理を行う装置である。
　図７においては、本技術に関する処理部やデータの流れ等の主なものを示しており、図７に示されるものが全てとは限らない。つまり、撮像装置１００は、図７において示されていない処理部を有してもよいし、図７において示されていないデータ等の授受を行ってもよいし、どのような処理を実行してもよい。
　イメージセンサ１１０は、輝度検出部１１１、欠陥検出部（Dynamic）１１２、記憶部１１３、および符号化部１１４を有する。信号処理部１２０は、復号部１２１および欠陥補正部１２２を有する。イメージセンサ１１０および信号処理部１２０は、バス１３０を介して接続される。
　輝度検出部１１１は、所謂画素配列を有し、各画素において入射光を光電変換して輝度量を輝度値に変換する。輝度検出部１１１は、各画素において得られる輝度値を含む撮像画像（RAW画像）の画像データを、符号化部１１４へ供給する。
　欠陥検出器（Static）１４１は、イメージセンサ１１０の製造時にそのRAW画像の画素欠陥を検出し、欠陥位置（欠陥画素の位置）をイメージセンサ１１０の記憶部１１３に記憶させる。例えば、輝度検出部１１１がテストパターンなどを撮影し、欠陥検出器１４１が、その撮像画像において画素欠陥が発生しているかどうかを判定し、欠陥画素の位置や欠陥の種類などを記憶部１１３に記憶させる。一般に、この画素欠陥検出はイメージセンサ１１０（撮像装置１００）の外部で処理されることが多い。
　欠陥検出部（Dynamic）１１２は、製造後の所定のタイミングにおいて、そのRAW画像の画素欠陥を検出し、欠陥位置を記憶部１１３に記憶させる。欠陥検出部１１２は、この撮像装置１００の出荷後、何らかの理由により画素値が破損した場合などの画素欠陥検出を行う。欠陥検出部１１２は、欠陥検出器１４１と同様に、撮影画像において画素欠陥が発生しているかを検出し、欠陥画素の位置や欠陥の種類などを記憶部１１３に記憶させる。
　記憶部１１３は、半導体メモリ等の記憶媒体を有し、欠陥検出器１４１や欠陥検出部１１２から供給される、欠陥画素の位置や欠陥の種類等の欠陥情報を記憶する。記憶部１１３は、所定のタイミングにおいて、または、符号化部１１４等の要求に基づいて、記憶している欠陥情報を符号化部１１４へ供給する。
　符号化部１１４は、符号化に関する処理を実行する。例えば、符号化部１１４は、輝度検出部１１１から供給される撮像画像データ（RAW画像データ）を取得してもよい。符号化部１１４は、記憶部１１３に記憶されている欠陥情報を読み出し、取得してもよい。符号化部１１４は、取得したRAW画像データを符号化し、画像符号化データを生成してもよい。また、符号化部１１４は、その画像符号化データと欠陥情報とを含むビットストリームを生成し、バス１３０を介して、信号処理部１２０（の復号部１２１）へ供給してもよい。
　復号部１２１は、復号に関する処理を実行する。例えば、復号部１２１は、バス１３０を介してイメージセンサ１１０（の符号化部１１４）から供給されるビットストリームを取得してもよい。復号部１２１は、そのビットストリームを復号して欠陥情報とRAW画像データを生成し、それらを欠陥補正部１２２へ供給してもよい。
　欠陥補正部１２２は、欠陥画素の画素値の補正に関する処理を実行する。例えば、欠陥補正部１２２は、復号部１２１から供給される欠陥情報およびRAW画像データを取得してもよい。欠陥補正部１２２は、その欠陥情報に基づいてRAW画像データに含まれる画素欠陥を補正してもよい。例えば、欠陥補正部１２２は、欠陥情報により示される欠陥画素の周辺の画素（周辺画素とも称する）の画素値を参照し、画素欠陥が発生しなかった場合の真の画素値を予測し、その予測値をRAW画像データの欠陥画素との画素値と置き換えてもよい。欠陥補正部１２２は、このような欠陥補正済みのRAW画像データを信号処理部１２０の外部へ出力してもよい。
　　＜符号化部＞
　図８は、符号化部１１４の主な構成例を示す図である。図８に示されるように、符号化部１１４（第１の画像処理装置）は、欠陥情報変換部１５１、画像符号化部１５２、および多重化部１５３を有してもよい。
　欠陥情報変換部１５１は、欠陥情報の変換に関する処理を実行する。例えば、欠陥情報変換部１５１は、記憶部１１３に記憶されている欠陥情報を読み出し、取得してもよい。この欠陥情報は、輝度検出部１１１の欠陥画素に関する情報を含む。例えば、この欠陥情報は、欠陥画素の位置を示す情報や、欠陥の種類を示す情報を含み得る。欠陥情報変換部１５１は、その取得した欠陥情報の形式を変換し、伝送用欠陥情報を生成してもよい。つまり、欠陥情報変換部１５１は、輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成してもよい。
　伝送用欠陥情報は、欠陥情報の形式を可逆な方法で変換した情報であり、少なくとも欠陥情報の内容を含む。欠陥情報変換部１５１は、生成した伝送用欠陥情報を多重化部１５３へ供給してもよい。また、欠陥情報変換部１５１は、その伝送用欠陥情報のビットレートを画像符号化部１５２へ供給してもよい。また、欠陥情報変換部１５１は、その伝送用欠陥情報のビットレートを多重化部１５３へ供給してもよい。
　画像符号化部１５２は、撮像画像（RAW画像）の符号化に関する処理を実行する。例えば、画像符号化部１５２は、輝度検出部１１１から供給されるRAW画像データを取得してもよい。画像符号化部１５２は、そのRAW画像データを符号化し、画像符号化データを生成してもよい。この符号化方法は基本的にどのような方法であってもよい。要求される処理速度や符号化効率等の条件を満たす方法であれば、可逆な方法であってもよいし、非可逆な方法であってもよい。例えば、MIPI（Mobile Industry Processor Interface）で規定されるCOMP6、COMP7、COMP8、MPCといった符号化方式が適用されてもよい。その際、画像符号化部１５２は、欠陥情報変換部１５１から供給される伝送用欠陥情報のビットレートを取得し、その取得した伝送用欠陥情報のビットレートに基づいて、その画像符号化データのビットレートを設定してもよい。つまり、画像符号化部１５２は、画素配列において検出された輝度の分布を表す画像データを符号化し、伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成してもよい。画像符号化部１５２は、生成した画像符号化データを多重化部１５３へ供給してもよい。
　多重化部１５３は、多重化に関する処理を実行する。例えば、多重化部１５３は、欠陥情報変換部１５１から供給される伝送用欠陥情報を取得してもよい。多重化部１５３は、画像符号化部１５２から供給される画像符号化データを取得してもよい。多重化部１５３は、その伝送用欠陥情報と画像符号化データを多重化し、ビットストリームを生成してもよい。この伝送用欠陥情報と画像符号化データの多重化方法は、どのような方法であってもよい。例えば、画素単位の画像符号化データの下位ビットに伝送用欠陥情報を付加してもよい。また、伝送用欠陥情報が先に処理されるように、伝送用欠陥情報と画像符号化データとを連結してもよい。その逆に、伝送用欠陥情報が後に処理されるように、伝送用欠陥情報と画像符号化データとを連結してもよい。もちろん、これらの例以外の多重化方法であってもよい。また、多重化部１５３は、欠陥情報変換部１５１から供給される伝送用欠陥情報のビットレートを取得し、ビットストリームに格納してもよい。多重化部１５３は、その生成したビットストリームを、バス１３０を介して信号処理部１２０（の復号部１２１）へ供給してもよい。
　例えば、画像符号化部１５２が、ビットストリームの目標ビットレートから伝送用欠陥情報のビットレートを減算し、その差分値を、画像符号化データのビットレートとしてもよい。このようにすることにより、画像符号化部１５２は、ビットストリームのビットレートが増大しないように（例えば、一定となるように）、画像符号化データのビットレートを設定することができる。したがって、符号化部１１４は、イメージセンサ出力データ量の増大を抑制することができる。したがって、伝送時間の増大を抑制し、処理の遅延や破綻の発生を抑制することができる。また、バスの帯域幅の拡張が不要になるので、コストの増大を抑制することができる。また、伝送用欠陥情報を伝送することにより欠陥情報の損失（劣化）を抑制することができる。すなわち、符号化部１１４は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜復号部＞
　図９は、復号部１２１の主な構成例を示す図である。図９に示されるように、復号部１２１（第２の画像処理装置）は、逆多重化部１７１、欠陥情報逆変換部１７２、および画像復号部１７３を有してもよい。
　逆多重化部１７１は、逆多重化に関する処理を実行する。例えば、逆多重化部１７１は、バス１３０を介してイメージセンサ１１０（の多重化部１５３）から供給されるビットストリームを取得してもよい。逆多重化部１７１は、そのビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データを抽出してもよい。その際、逆多重化部１７１は、欠陥情報逆変換部１７２から供給される伝送用欠陥情報のビットレートを取得し、そのビットレートに基づいてビットストリームを逆多重化してもよい。逆多重化部１７１は、その抽出した伝送用欠陥情報を欠陥情報逆変換部１７２へ供給してもよい。逆多重化部１７１は、その抽出した画像符号化データを画像復号部１７３へ供給してもよい。
　欠陥情報逆変換部１７２は、伝送用欠陥情報の逆変換に関する処理を実行する。例えば、欠陥情報逆変換部１７２は、逆多重化部１７１から供給される伝送用欠陥情報を取得してもよい。欠陥情報逆変換部１７２は、その取得した伝送用欠陥情報の形式を逆変換し、欠陥情報を生成してもよい。つまり、欠陥情報逆変換部１７２は、伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成してもよい。なお、この「逆変換」は、欠陥情報変換部１５１による欠陥情報の形式変換の逆処理である。また、欠陥情報変換部１５１による欠陥情報の形式変換は可逆な方法で実行される。したがって、欠陥情報逆変換部１７２は、伝送用欠陥情報の形式を逆変換することにより、欠陥情報変換部１５１により形式が変換される前の欠陥情報と同一内容の欠陥情報を生成（復元）することができる。欠陥情報逆変換部１７２は、生成した欠陥情報を欠陥補正部１２２へ供給してもよい。欠陥情報逆変換部１７２は、その逆変換する伝送用欠陥情報のビットレートを逆多重化部１７１へ供給してもよい。欠陥情報逆変換部１７２は、その逆変換する伝送用欠陥情報のビットレートを画像復号部１７３へ供給してもよい。
　画像復号部１７３は、画像符号化データの復号に関する処理を実行する。例えば、画像復号部１７３は、逆多重化部１７１から供給される画像符号化データを取得してもよい。画像復号部１７３は、その取得した画像符号化データを復号し、RAW画像データを生成してもよい。この復号方法は、画像符号化部１５２が適用する符号化方法に対応するものであればどのような方法であってもよい。その際、画像復号部１７３は、欠陥情報逆変換部１７２から供給される伝送用欠陥情報のビットレートを取得し、そのビットレートに基づいて画像符号化データのビットレートを推定し、その推定したビットレートを用いて画像符号化データを復号してもよい。つまり、画像復号部１７３は、伝送用欠陥情報のビットレートに基づいて推定した画像符号化データのビットレートを用いて画像符号化データを復号し、画素配列において検出された輝度の分布を表す画像データを生成してもよい。画像復号部１７３は、その生成したRAW画像データを欠陥補正部１２２へ供給してもよい。
　例えば、画像復号部１７３が、ビットストリームのビットレートから伝送用欠陥情報のビットレートを減算し、その差分値を、画像符号化データのビットレートとして推定してもよい。このようにすることにより、画像復号部１７３は、ビットストリームのビットレートが増大しないように（例えば、一定となるように）設定された画像符号化データのビットレートを正しく推定することができる。したがって、復号部１２１は、イメージセンサ出力データ量の増大を抑制することができる。したがって、伝送時間の増大を抑制し、処理の遅延や破綻の発生を抑制することができる。また、バスの帯域幅の拡張が不要になるので、コストの増大を抑制することができる。また、伝送用欠陥情報を伝送することにより欠陥情報の損失（劣化）を抑制することができる。すなわち、復号部１２１は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜撮像処理の流れ＞
　撮像装置１００により実行される撮像処理の流れの例を、図１０のフローチャートを参照して説明する。
　撮像処理が開始されると、ステップＳ１０１において、イメージセンサ１１０の輝度検出部１１１は、被写体を撮像し、撮像画像（RAW画像）を生成する。
　ステップＳ１０２において、符号化部１１４は、符号化処理を実行し、輝度検出部１１１の欠陥情報を用いてそのRAW画像を符号化し、ビットストリームを生成する。符号化部１１４は、バス１３０を介して、そのビットストリームを信号処理部１２０へ供給する。
　ステップＳ１０３において、信号処理部１２０の復号部１２１は、そのバス１３０を介して伝送されるビットストリームを取得し、復号処理を実行し、そのビットストリームを復号して欠陥情報およびRAW画像を生成（復元）する。
　ステップＳ１０４において、欠陥補正部１２２は、その欠陥情報を用いてRAW画像の画素欠陥を補正する。
　ステップＳ１０４の処理が終了すると、撮像処理が終了する。
　　＜符号化処理の流れ＞
　次に、図１０のステップＳ１０２において実行される符号化処理の流れの例を、図１１のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化部１１４の欠陥情報変換部１５１は、ステップＳ１２１において、輝度検出部１１１の欠陥情報の形式を伝送用欠陥情報の形式に変換する。つまり、欠陥情報変換部１５１は、輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成する。
　ステップＳ１２２において、画像符号化部１５２は、その生成された伝送用欠陥情報のビットレートに基づくビットレートでRAW画像を符号化して画像符号化データを生成する。つまり、画像符号化部１５２は、画素配列において検出された輝度の分布を表す画像データを符号化し、伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成する。
　ステップＳ１２３において、多重化部１５３は、その伝送用欠陥情報と画像符号化データを多重化してビットストリームを生成する。
　ステップＳ１２４において、多重化部１５３は、その生成したビットストリームを、バス１３０を介して信号処理部１２０へ送信する。
　ステップＳ１２４の処理が終了すると符号化処理が終了し、処理は図１０に戻る。
　このように各処理を実行することにより、符号化部１１４は、上述したように、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜復号処理の流れ＞
　次に、図１０のステップＳ１０３において実行される復号処理の流れの例を、図１２のフローチャートを参照して説明する。
　復号処理が開始されると、復号部１２１の逆多重化部１７１は、ステップＳ１４１において、バス１３０を介してイメージセンサ１１０から伝送されるビットストリームを受信する。
　ステップＳ１４２において、逆多重化部１７１は、そのビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データを弁別する。
　ステップＳ１４３において、欠陥情報逆変換部１７２は、その伝送用欠陥情報を欠陥情報に逆変換する。つまり、欠陥情報逆変換部１７２は、伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成する。
　ステップＳ１４４において、画像復号部１７３は、その伝送用欠陥情報のビットレートに基づくビットレートで画像符号化データを復号してRAW画像を生成する。つまり、画像復号部１７３は、その伝送用欠陥情報のビットレートに基づいて推定した画像符号化データのビットレートを用いてその画像符号化データを復号し、画素配列において検出された輝度の分布を表す画像データを生成する。
　ステップＳ１４４の処理が終了すると復号処理が終了し、処理は図１０に戻る。
　このように各処理を実行することにより、復号部１２１は、上述したように、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜方法１－１＞
　欠陥情報は、どのようなデータ単位でイメージセンサ１１０から信号処理部１２０へ伝送されてもよい。例えば、欠陥情報は、MIPIにおいて規定されるCIS-2のエンベデッドデータ（Embedded data）として伝送されてもよい。このCIS-2では、図１３に示されるように、画素データの前後において、フレーム単位でエンベデッドデータ（図中の斜線部分）を伝送することができる。
　しかしながら、欠陥情報をフレーム単位で伝送する場合、欠陥情報と画素値との間で伝送されるタイミングにタイムラグ（時間差）が生じる。そのため、信号処理部１２０において、取得した欠陥情報を、それを利用するタイミングになるまで保持する必要がある。そして、この方法の場合、１フレーム分の欠陥情報がまとめて伝送されるので、その１フレーム分の欠陥情報を保持する必要がある。そのため、必要なメモリ容量が増大し、コストが増大するおそれがあった。
　そこで、上述の方法１が適用される場合において、図６の表の上から２段目に示されるように、欠陥情報を所定のブロック単位で処理してもよい（方法１－１）。
　例えば、第１の画像処理装置において、欠陥情報変換部が、画像データのピクチャを複数に分割した所定のブロック毎に、欠陥情報の形式を変換して伝送用欠陥情報を生成してもよい。また、第２の画像処理装置において、欠陥情報逆変換部が、画像データのピクチャを複数に分割した所定のブロック毎に、伝送用欠陥情報の形式を逆変換して欠陥情報を生成してもよい。
　この欠陥情報の処理単位となる「ブロック」は、１フレーム内の部分領域（１フレームよりも小さい領域）であれば、その大きさや形状はどのようなものであってもよい。例えば、ブロックは、図１４のＡに示されるように、水平方向に８画素、垂直方向に２画素の画素領域（8x2画素）であってもよい。また、ブロックは、図１４のＢに示されるように、水平方向・垂直方向にそれぞれ２画素の画素領域（2x2画素）であってもよい。また、ブロックは、図１４のＣに示されるように、水平方向に４画素、垂直方向に２画素の画素領域（4x2画素）であってもよい。また、ブロックは、図１４のＤに示されるように、水平方向に８画素、垂直方向に１画素の画素領域（8x1画素）であってもよい。もちろん、ブロックは、これら以外の大きさ・形状であってもよい。
　このようにすることにより、欠陥情報がブロック単位に分けて信号処理部１２０に供給されるので、信号処理部１２０において１度に保持するデータ量の増大を抑制することができる。また、欠陥情報の伝送タイミングと利用タイミングとのタイムラグの増大を抑制することができる。したがって、第１の画像処理装置および第２の画像処理装置は、欠陥情報の保持に必要なメモリ容量の増大を抑制することができる。したがって、コストの増大を抑制することができる。
　また、この欠陥情報の処理単位となる「ブロック」は、画像符号化の処理単位（以下、符号化ブロックとも称する）と同一であってもよい。つまり、第１の画像処理装置において、ブロックは、画像符号化部が画像データを符号化する処理単位である符号化ブロックと同一であってもよい。まだ、第２の画像処理装置において、ブロックは、画像復号部が画像符号化データを復号する処理単位（すなわち画像データを生成する処理単位）である符号化ブロックと同一であってもよい。
　このように、欠陥情報の処理単位と画像符号化・復号の処理単位とを同一とすることにより、欠陥情報の伝送タイミングと利用タイミングとのタイムラグの増大をさらに抑制することができる。したがって、第１の画像処理装置および第２の画像処理装置は、欠陥情報の保持に必要なメモリ容量の増大を抑制することができる。したがって、コストの増大を抑制することができる。
　なお、欠陥情報の処理と画像符号化・復号の処理単位（ブロック）を互いに同一とする場合、さらに、各画素の処理順（スキャン順）を揃えてもよい。このようにすることにより、欠陥情報の伝送タイミングと利用タイミングとのタイムラグの増大をさらに抑制することができる。
　　＜構成＞
　この場合、符号化部１１４の構成は、図８に示される例と同様であってもよい。また、復号部１２１の構成は、図９に示される例と同様であってもよい。
　　＜符号化処理の流れ＞
　このように符号化ブロックと同一のブロック毎に欠陥情報が処理される場合の、図１０のステップＳ１０２において実行される符号化処理の流れの例を、図１５のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化部１１４の欠陥情報変換部１５１は、ステップＳ１６１において、輝度検出部１１１の画素配列中における処理対象ブロックの欠陥情報の形式を伝送用欠陥情報の形式に変換する。
　ステップＳ１６２において、画像符号化部１５２は、その生成された伝送用欠陥情報のビットレートに基づくビットレートで、その処理対象ブロックのRAW画像を符号化して画像符号化データを生成する。
　ステップＳ１６３において、多重化部１５３は、その処理対象ブロックの、伝送用欠陥情報と画像符号化データとを多重化して、ビットストリームを生成する。
　ステップＳ１６４において、多重化部１５３は、その生成した処理対象ブロックのビットストリームを、バス１３０を介して信号処理部１２０へ送信する。
　ステップＳ１６４の処理が終了すると符号化処理が終了し、処理は図１０に戻る。符号化部１１４は、このような符号化処理を各ブロックについて実行する。
　このように各処理を実行することにより、符号化部１１４は、上述したように、欠陥情報を保持するためのメモリ容量の増大を抑制することができる。
　　＜復号処理の流れ＞
　このように符号化ブロックと同一のブロック毎に欠陥情報が処理される場合の、図１０のステップＳ１０３において実行される復号処理の流れの例を、図１６のフローチャートを参照して説明する。
　復号処理が開始されると、復号部１２１の逆多重化部１７１は、ステップＳ１８１において、バス１３０を介してイメージセンサ１１０から伝送される処理対象ブロックのビットストリームを受信する。
　ステップＳ１８２において、逆多重化部１７１は、その処理対象ブロックのビットストリームを逆多重化し、その処理対象ブロックについての、伝送用欠陥情報と画像符号化データを弁別する。
　ステップＳ１８３において、欠陥情報逆変換部１７２は、その処理対象ブロックの伝送用欠陥情報を欠陥情報に逆変換する。つまり、欠陥情報逆変換部１７２は、伝送用欠陥情報の形式を逆変換し、その処理対象ブロックに対応する欠陥情報を生成する。
　ステップＳ１８４において、画像復号部１７３は、その伝送用欠陥情報のビットレートに基づくビットレートで、処理対象ブロックの画像符号化データを復号して、処理対象ブロックのRAW画像を生成する。つまり、画像復号部１７３は、その伝送用欠陥情報のビットレートに基づいて推定した画像符号化データのビットレートを用いてその処理対象ブロックの画像符号化データを復号し、処理対象ブロックの画像データを生成する。
　ステップＳ１８４の処理が終了すると復号処理が終了し、処理は図１０に戻る。復号部１２１は、このような復号処理を各ブロックについて実行する。
　このように各処理を実行することにより、復号部１２１は、上述したように、欠陥情報を保持するためのメモリ容量の増大を抑制することができる。
　　＜方法１－２＞
　なお、伝送用欠陥情報の形式はどのような形式であってもよい。例えば、上述の方法１が適用される場合において、図６の表の上から３段目に示されるように、欠陥情報が欠陥画素数に応じた形式の伝送用欠陥情報に変換されてもよい（方法１－２）。つまり、図１７の表に示される例のように、RAW画像（の処理対象ブロック）に含まれる欠陥画素数が０画素の場合、１画素の場合、２画素の場合、３画素以上の場合で、伝送用欠陥情報の形式が異なってもよい。つまり、伝送用欠陥情報の形式は、画素配列に存在する欠陥画素の数に依存してもよい。
　例えば、画素配列（または処理対象ブロック）に存在する欠陥画素の数が少ない程、伝送用欠陥情報のデータ量が少なくなるようにしてもよい。図１７の例の場合、欠陥画素数が少なくなる程、伝送用欠陥情報のビット列が短くなっている。一般的に、正常な状態のイメージセンサ１１０は欠陥画素数が少ない。つまり、短いビット列の形式が適用される可能性が高い。したがって、このような形式とすることにより、伝送用欠陥情報のデータ量の増大を抑制することができる。したがって、画像符号化データに割り当てるビットレートの低減を抑制することができ、符号化・復号によるRAW画像の品質の低減を抑制することができる。
　　＜伝送用欠陥情報＞
　図１８のＡは、欠陥情報が8x2画素のブロック（図１４のＡ）毎に処理される場合の、伝送用欠陥情報のシンタックスの例を示す図である。このシンタックス例において、「defectNum」は、そのブロック内の欠陥画素数を示すパラメータである。「defectPoxX」は、欠陥画素のＸ座標（ブロック内における水平方向の位置）を示すパラメータである。「defectPosY」は、欠陥画素のＹ座標（ブロック内における垂直方向の位置）を示すパラメータである。「defectPosBitMap」は、ブロック内の各画素に割り当てられた「欠陥画素であるか否かを示す識別値」が、その画素配列（またはスキャン順）に従って並べられたマップ情報を示す。このように、伝送用欠陥情報においては、「defectPoxX」、「defectPosY」、「defectPosBitMap」等のパラメータが必要に応じてセットされる。これらのパラメータは、欠陥画素の位置を示す。また、伝送用欠陥情報においては、図１８のＢにセマンティクスが示されるように、欠陥画素数を示すビットパタン（VLC code value）がセットされる。このように、伝送用欠陥情報が、欠陥画素の数を示す第１の情報と、欠陥画素の位置を示す第２の情報とを含むようにしてもよい。
　そして、図１８のＢに示される例のように、欠陥画素の数を示す第１の情報が、欠陥画素の数に応じた所定のビットパタンを含むようにしてもよい。そしてそのビットパタンは、欠陥画素の数が少ない程短くなるようにしてもよい。一般的に、正常な状態のイメージセンサ１１０は欠陥画素数が少ない。つまり、短いビットパタンが適用される可能性が高い。したがって、伝送用欠陥情報のデータ量の増大を抑制することができる。したがって、画像符号化データに割り当てるビットレートの低減を抑制することができ、符号化・復号によるRAW画像の品質の低減を抑制することができる。
　欠陥画素数に応じて、欠陥画素の位置の表現方法が異なってもよい。例えば、図１８のＡのシンタックスに示されるように、欠陥画素数が２画素以下の場合、座標により欠陥画素の位置が示されてもよい。また、欠陥画素数が３以上の場合、マップ情報により欠陥画素の位置が示されてもよい。つまり、欠陥画素の位置を示す第２の情報が、欠陥画素の数が所定の基準よりも少ない場合、座標を用いて欠陥画素の位置を示してもよい。また、その第２の情報が、欠陥画素の数が所定の基準以上である場合、欠陥画素の分布を示すマップにより欠陥画素の位置を示してもよい。
　なお、図１７の例のように、欠陥画素が存在しない場合、欠陥画素の位置を示す第２の情報を省略してもよい。つまり、伝送用欠陥情報において、欠陥画素が画素配列（または処理対象ブロック）に存在しない場合、第２の情報が省略されてもよい。
　第２の情報のシンタックスをこのようにすることにより、欠陥画素数が少ない場合程、伝送用欠陥情報のデータ量を低減させることができる。一般的に、正常な状態のイメージセンサ１１０は欠陥画素数が少ない。つまり、短いビットパタンが適用される可能性が高い。したがって、伝送用欠陥情報のデータ量の増大を抑制することができる。したがって、画像符号化データに割り当てるビットレートの低減を抑制することができ、符号化・復号によるRAW画像の品質の低減を抑制することができる。
　　＜ビットストリーム＞
　図１９および図２０は、図１８の例を適用する場合（ブロックが8x2画素の場合）の、ビットストリームの例を示す。図１９のＡは、欠陥画素数が０画素である場合の、伝送用欠陥情報と画像符号化データとが多重化されたビットストリームの例を示す。この場合、伝送用欠陥情報は１ビットの「0」である。したがって、RAW画像には、先頭の画素に対してMIPI COMP7圧縮が適用され、それ以外の画素に対してMIPI COMP8圧縮が適用される。
　図１９のＢは、欠陥画素数が１画素である場合の、伝送用欠陥情報と画像符号化データとが多重化されたビットストリームの例を示す。図１９のＢの上側に示されるように、この場合、上から１列目の左から３番目の画素が欠陥画素である。その場合、伝送用欠陥情報は、欠陥画素数を示すビットパタン「10」と、欠陥画素のＸ座標を示す「010」と、欠陥画素のＹ座標を示す「0」とにより構成されるビットパタン「100100」である。したがって、RAW画像には、先頭から６画素に対してMIPI COMP7圧縮が適用され、それ以外の画素に対してMIPI COMP8圧縮が適用される。
　図２０のＡは、欠陥画素数が２画素である場合の、伝送用欠陥情報と画像符号化データとが多重化されたビットストリームの例を示す。図２０のＡの上側に示されるように、この場合、上から１列目の左から３番目の画素と、上から２列目の左から７番目の画素とが欠陥画素である。その場合、伝送用欠陥情報は、欠陥画素数を示すビットパタン「110」と、１つめの欠陥画素のＸ座標を示す「010」とそのＹ座標を示す「0」と、２つめの欠陥画素のＸ座標を示す「110」とそのＹ座標を示す「1」とにより構成されるビットパタン「11001001101」である。したがって、RAW画像には、先頭から１１画素に対してMIPI COMP7圧縮が適用され、それ以外の画素に対してMIPI COMP8圧縮が適用される。
　図２０のＢは、欠陥画素数が３画素である場合の、伝送用欠陥情報と画像符号化データとが多重化されたビットストリームの例を示す。図２０のＢの上側に示されるように、この場合、上から１列目の左から３番目の画素と、上から２列目の左から１番目の画素と、上から２列目の左から７番目の画素とが欠陥画素である。その場合、伝送用欠陥情報は、欠陥画素数を示すビットパタン「111」と、欠陥画素のマップ情報「0010000010000010」とにより構成されるビットパタン「1110010000010000010」である。したがって、RAW画像には、先頭から３画素に対してMIPI COMP6圧縮が適用され、それ以外の画素に対してMIPI COMP7圧縮が適用される。
　このように、ビットストリームにおいて、伝送用欠陥情報のデータ量の増大を抑制することができるとともに、伝送用欠陥情報の劣化を抑制することができるので、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　もちろんこれらは一例であり、上述したように多重化の方法は任意であり、この例に限定されない。
　　＜他のブロックの場合＞
　図２１のＡは、欠陥情報が2x2画素のブロック（図１４のＢ）毎に処理される場合の、伝送用欠陥情報のシンタックスの例を示す図である。図２１のＢは、その場合の、欠陥画素の数を示すビットパタン（第１の情報）の例を示す図である。図２２のＡは、欠陥情報が4x2画素のブロック（図１４のＣ）毎に処理される場合の、伝送用欠陥情報のシンタックスの例を示す図である。図２２のＢは、その場合の、欠陥画素の数を示すビットパタン（第１の情報）の例を示す図である。図２３のＡは、欠陥情報が8x1画素のブロック（図１４のＤ）毎に処理される場合の、伝送用欠陥情報のシンタックスの例を示す図である。図２３のＢは、その場合の、欠陥画素の数を示すビットパタン（第１の情報）の例を示す図である。
　これらの例のように、ブロックの形状および大きさに応じて伝送用欠陥情報のデータ量の増大を抑制するように、シンタックスやビットパタン（第１の情報）を変えてもよい。
　また、図２４のＡに示されるシンタックスのように、欠陥の種類を示す情報を伝送用欠陥情報に格納してもよい。図２４のＡのシンタックスは、欠陥情報が8x2画素のブロック（図１４のＡ）毎に処理される場合の、伝送用欠陥情報のシンタックスの例を示す。この例において、「defetType」は、欠陥の種類を示すパラメータである。このパラメータの値によって、例えば、点欠陥、シミ欠陥、ムラ欠陥、線欠陥等といった、欠陥の種類が識別される。つまり、伝送用欠陥情報が、欠陥のタイプを示す第３の情報をさらに含むようにしてもよい。
　このような情報を利用して欠陥補正を実行することにより、より容易に欠陥補正をより正しく補正することができる。
　　＜符号化方式＞
　なお、上述したように、RAW画像に対して適用される符号化・復号方法は、どのようなものであってもよい。例えば、図２５および図２６に示されるように、8x2画素のブロック単位を処理単位とする符号化・復号方式を適用してもよい。つまり、この場合、欠陥情報の処理単位と符号化・復号の処理単位とが同一（8x2画素）となる。図２５のＡは、欠陥画素数が０画素の場合のビットストリームの例を示し、図１９のＡの例に対応する。図２５のＢは、欠陥画素数が１画素の場合のビットストリームの例を示し、図１９のＢの例に対応する。図２６のＡは、欠陥画素数が２画素の場合のビットストリームの例を示し、図２０のＡの例に対応する。図２６のＢは、欠陥画素数が３画素の場合のビットストリームの例を示し、図２０のＢの例に対応する。このように一定の処理単位で画像データと欠陥情報が常に等しくなる方法を採用しても良い。
　　＜方法１－３＞
　一般的に、輝度検出部１１１の画素配列に欠陥画素が存在する場合、その欠陥画素の画素値は、図２７のＡに示される例のように、その周辺の画素の画素値と大きく異なることがあり得る。図２７のＡの例において、白丸は正常画素（欠陥画素でない画素）の画素値を示し、黒丸は欠陥画素の画素値を示す。一般的に、画像の符号化においては、周辺画素との間の画素値の相関性（類似性）を利用してデータ量の圧縮が実現される場合が多い。そのため、図２７のＡの例のように、欠陥画素の画素値と周辺画素の画素値との差が増大することにより、RAW画像の符号化効率が低減するおそれがあった。
　そこで、上述の方法１が適用される場合において、図６の表の上から４段目に示されるように、画像に対して符号化前処理を行うようにしてもよい（方法１－３）。
　例えば、第１の画像処理装置が、画像データに対して所定の前処理を実行する前処理部をさらに備えてもよい。そして、画像符号化部が、その前処理が施された画像データを符号化し、画像符号化データを生成してもよい。このようにすることにより、第１の画像処理装置は、欠陥画素の画素値による画像データの符号化効率の低減を抑制することができる。また、復号後の画像の品質の低減を抑制することができる。
　　＜符号化部＞
　図２８は、その場合の符号化部１１４の主な構成例を示すブロック図である。図２８に示されるように、この場合、符号化部１１４は、図８の例の構成に加え、前処理部２１１を有する。
　前処理部２１１は、RAW画像に対する前処理に関する処理を実行する。例えば、前処理部２１１は、輝度検出部１１１から供給されるRAW画像を取得してもよい。前処理部２１１は、その取得したRAW画像に対して、前処理として、所定の画像処理を施してもよい。前処理部２１１は、その前処理が施されたRAW画像（以下において、前処理済RAW画像とも称する）を画像符号化部１５２へ供給してもよい。
　この場合、画像符号化部１５２は、前処理部２１１から供給される前処理済RAW画像を符号化して画像符号化データを生成する。したがって、符号化効率の低減を抑制することができる。
　多重化部１５３は、その画像符号化データを伝送用欠陥情報と多重化する。つまり、前処理済RAW画像（の符号化データ）が信号処理部１２０へ伝送される。したがって、ビットストリームのビットレートの増大を抑制することができる。したがって、復号後の画像の品質の低減を抑制することができる。
　　＜符号化処理の流れ＞
　この場合の、図１０のステップＳ１０２において実行される符号化処理の流れの例を、図２９のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化部１１４の前処理部２１１は、ステップＳ２０１において、RAW画像を前処理し、前処理済RAW画像を生成する。
　ステップＳ２０２において、欠陥情報変換部１５１は、欠陥情報の形式を伝送用欠陥情報の形式に変換する。
　ステップＳ２０３において、画像符号化部１５２は、その生成された伝送用欠陥情報のビットレートに基づくビットレートで、前処理済RAW画像を符号化して画像符号化データを生成する。
　ステップＳ２０４において、多重化部１５３は、伝送用欠陥情報と画像符号化データとを多重化して、ビットストリームを生成する。
　ステップＳ２０５において、多重化部１５３は、その生成したビットストリームを、バス１３０を介して信号処理部１２０へ送信する。
　ステップＳ２０５の処理が終了すると符号化処理が終了し、処理は図１０に戻る。
　このように各処理を実行することにより、符号化部１１４は、上述したように、RAW画像の符号化効率の低減を抑制することができ、結果として、復号後の画像の品質の低減を抑制することができる。
　　＜前処理＞
　このように前処理部２１１により実行される前処理は、RAW画像における欠陥画素の画素値を補正し、そのRAW画像の符号化効率の低減を抑制するものであれば、どのような処理であってもよい。
　例えば、前処理部２１１は、欠陥画素の画素値を、その欠陥画素に隣接する画素の画素値の複製に置き換えてもよい。つまり、前処理部２１１は、欠陥画素に隣接する画素の画素値を複製し、欠陥画素の画素値をその複製した画素値に置き換えてもよい。この欠陥画素に隣接する画素は、欠陥画素に対してどの方向に隣接してもよい。例えば、前処理部２１１が、処理順において欠陥画素の１つ前に処理される画素の画素値（前値とも称する）を複製してもよい。例えば、図２７のＢに示されるように、欠陥画素の左隣の画素の画素値を複製し、欠陥画素の画素値をその複製した画素値に置き換えてもよい。
　また、前処理部２１１が、欠陥画素の画素値を、その欠陥画素の周辺に位置する周辺画素の画素値に基づく計算値に置き換えてもよい。この計算値は、どのような計算により導出される値であってもよいが、例えば、周辺画素の画素値を用いた統計値であってもよい。例えば、この計算値は、FIR（Finite Impulse Response）フィルタや適応的フィルタを用いて導出される周辺画素の画素値の平均等であってもよい。例えば、図２７のＣに示されるように、欠陥画素の左右の隣接画素の画素値の平均を導出し、欠陥画素の画素値をその導出した平均値に置き換えてもよい。また、この計算値は、周辺画素の画素値の中央値であってもよい。また、この計算値は、周辺画素の画素値を入力とする学習モデルを用いて導出される値（つまり、その学習モデルの出力）であってもよい。
　また、前処理部２１１が、欠陥画素の画素値を所定の値に置き換えてもよい。この所定の値はどのような値であってもよい。例えば、画素値のレンジの中央値であってもよい。
　このように欠陥画素の画素値に対して前処理を施すことにより、欠陥画素とその周辺画素との間の画素値の差分の増大を抑制することができる。典型的には、その差分を低減させることができる。したがって、符号化部１１４は、上述したように、RAW画像の符号化効率の低減を抑制することができ、結果として、復号後の画像の品質の低減を抑制することができる。
　なお、周辺画素は、欠陥画素に対して物理的に近傍に位置してもよいし、処理順において近傍に位置してもよい。また、周辺画素は、欠陥画素に対して周辺（比較的遠くない位置）に存在していればよく、その位置関係（相対方向等）は任意である。例えば、基準画素から周辺とする範囲（基準画素に対して周辺画素となり得る範囲）の広さや形状等が予め定められていてもよい。例えば、その範囲は、１次元方向であってもよいし、２次元方向であってもよい。また、その範囲は基準画素を中心とする範囲であってもよいし、基準画素に対して方向の偏りのある範囲であってもよい。例えば、左右方向の１次元の範囲である場合、基準画素の左側をその範囲としてもよいし、基準画素の右側をその範囲としてもよいし、基準画素をその範囲の中央としてもよい。また、基準画素の前に処理される画素のみを周辺画素の対象としてもよい。
　　＜方法１－４＞
　復号したRAW画像に対して後処理を行ってもよい。上述の方法１が適用される場合において、図６の表の上から５段目に示されるように、画像の欠陥画素値に対して復号後処理を行ってもよい（方法１－４）。例えば、第２の画像処理装置が、画像符号化データが復号されて生成された画像データに対して所定の後処理を実行する後処理部をさらに備えてもよい。
　　＜復号部＞
　図３０は、その場合の復号部１２１の主な構成例を示すブロック図である。図３０に示されるように、この場合の復号部１２１は、図９の例の構成に加え、後処理部２２１を有する。
　後処理部２２１は、RAW画像に対する後処理に関する処理を実行する。例えば、画像復号部１７３は、画像符号化データを復号して生成したRAW画像を後処理部２２１に供給してもよい。後処理部２２１は、そのRAW画像を取得してもよい。また、欠陥情報逆変換部１７２は、生成した欠陥情報を後処理部２２１へ供給してもよい。後処理部２２１は、その欠陥情報を取得してもよい。後処理部２２１は、その取得したRAW画像に対して、符号化後処理として、所定の画像処理を施してもよい。例えば、後処理部２２１は、取得した欠陥情報に基づいて、RAW画像に含まれる欠陥画素の画素値に対して所定の処理を実行してもよい。後処理部２２１は、その後処理が施されたRAW画像（以下において、後処理済RAW画像とも称する）を欠陥補正部１２２へ供給してもよい。
　この後処理は、RAW画像に対する処理であれば、どのような内容の処理であってもよい。例えば、後処理部２２１は、RAW画像に対して欠陥補正において有用な処理を実行してもよい。後処理部２２１は、欠陥情報に基づいて欠陥画素を特定し、その画素値を加工するような処理を実行してもよい。
　このようにすることにより、復号部１２１は、RAW画像に対して後処理を施して欠陥補正部１２２へ供給することができる。例えば、復号部１２１は、この後処理により、欠陥情報の内容をRAW画像に含めてもよい。このようにすることにより、欠陥補正部１２２は、欠陥情報を必要とせずに（後処理済RAW画像のみにより）欠陥補正を実行することができる。
　　＜復号処理の流れ＞
　この場合の、図１０のステップＳ１０３において実行される復号処理の流れの例を、図３１のフローチャートを参照して説明する。
　復号処理が開始されると、ステップＳ２２１からステップＳ２２４の各処理が、図１２のステップＳ１４１からステップＳ１４４の各処理と同様に実行される。
　ステップＳ２２５において、後処理部２２１は、ステップＳ２２４の処理により得られたRAW画像に対して後処理を実行し、後処理済RAW画像を生成する。
　ステップＳ２２５の処理が終了すると、復号処理が終了し、処理は図１０に戻る。
　このように各処理を実行することにより、復号部１２１は、上述したように、復元されたRAW画像に対して後処理を施すことができる。
　　＜方法１－４－１＞
　例えば、この後処理が、RAW画像に含まれる欠陥画素の画素値を、欠陥画素を識別するための識別値に置き換える処理であってもよい。つまり、上述の方法１－４が適用される場合において、図６の上から６段目に示されるように、欠陥画素値を識別値に置き換えてもよい（方法１－４－１）。例えば、第２の画像処理装置において、後処理部が、後処理として、画像符号化データを復号して生成された画像データ（RAW画像）における欠陥画素の画素値を、その欠陥画素を識別するための識別値に置き換えてもよい。
　後処理部２２１が、このような後処理をRAW画像に対して施すことにより、欠陥補正部１２２は、その識別値に基づいて欠陥画素を識別することができる。つまり、後処理部２２１は、欠陥情報の内容をRAW画像に含めることができる。したがって、欠陥補正部１２２は、欠陥情報を必要とせずに、後処理済RAW画像に含まれる欠陥画素を特定することができる。したがって、欠陥補正部１２２は、欠陥情報を必要とせずに、容易に欠陥補正を実行することができる。
　なお、この識別値は、どのような値であってもよい。例えば、識別値は、予め定められた固定値であってもよい。また、識別値は、外部（例えばユーザやアプリケーション等）により設定されてもよい。
　なお、欠陥画素でない正常画素の画素値が、この識別値と同じ値となる可能性がある。その場合、後処理済RAW画像において、欠陥画素だけでなく正常画素にも識別値が存在し得る。しかしながら、欠陥補正部１２２は、それらを識別することができないので、正常画素の画素値も補正するおそれがあった。結果として、その補正によりRAW画像の品質が低減するおそれがあった。そこで、このような欠陥画素の画素値が識別値に置き換えられる前に、欠陥画素でない正常画素の画素値であって、その識別値と同じ値の画素値が、他の値に変更されてもよい。例えば、第２の画像処理装置において、後処理部が、後処理として、画像符号化データを復号して生成された画像データ（RAW画像）における、欠陥画素でない正常画素の識別値と同一の画素値を他の値に変更してから、欠陥画素の画素値をその識別値に置き換えてもよい。
　このようにすることにより、より正確に欠陥補正を実行することができる。結果として、RAW画像の品質の低減を抑制することができる。
　この変更後の値（他の値）は、識別値と異なる値であればどのような値であってもよい。ただし、この変更により画素値が大きく変化すると、RAW画像の品質が低減するおそれがある。したがって、RAW画像の品質の低減を抑制するために、例えば、「識別値＋１」や「識別値－１」等のように、変更する前の値（識別値）に近い値に変更するのが望ましい。
　　＜後処理部＞
　図３２は、その場合の後処理部２２１の主な構成例を示すブロック図である。図３２に示されるように、この場合の後処理部２２１は、正常画素値変更部２３１および識別値置き換え部２３２を有する。
　正常画素値変更部２３１は、正常画素値の変更に関する処理を実行する。例えば、正常画素値変更部２３１は、画像復号部１７３から供給されるRAW画像を取得してもよい。このRAW画像は、画像復号部１７３が画像符号化データを復号して生成したRAW画像である。正常画素値変更部２３１は、識別値と同値の正常画素の画素値がその取得したRAW画像に含まれる場合、その画素値を他の値に変更してもよい。
　なお、識別値は変更可能であってもよい。例えば、ユーザやアプリケーション等により設定されてもよい。その場合、正常画素値変更部２３１には、外部（例えばユーザやアプリケーション等）により設定された識別値が供給される。正常画素値変更部２３１には、その供給された識別値を用いて上述のような正常画素の画素値の変更を実行してもよい。
　正常画素値変更部２３１は、以上のように必要に応じて正常画素の画素値を変更したRAW画像を識別値置き換え部２３２へ供給してもよい。
　識別値置き換え部２３２は、識別値の置き換えに関する処理を実行する。例えば、識別値置き換え部２３２は、正常画素値変更部２３１から供給されるRAW画像を取得してもよい。また、識別値置き換え部２３２は、欠陥情報逆変換部１７２から供給される欠陥情報を取得してもよい。識別値置き換え部２３２は、その取得した欠陥情報に基づいて、その取得したRAW画像における欠陥画素を特定し、その画素値を識別値に置き換えてもよい。識別値置き換え部２３２は、このような処理を施したRAW画像を後処理済RAW画像として欠陥補正部１２２へ供給してもよい。
　このようにすることにより、後処理部２２１は、欠陥画素の画素値を識別値へ置き換えることができる。したがって、欠陥補正部１２２は、欠陥情報を必要とせずに容易に欠陥補正を実行することができる。
　　＜後処理の流れ＞
　この場合の、図３１のステップＳ２２５において実行される後処理の流れの例を、図３３のフローチャートを参照して説明する。
　後処理が開始されると、後処理部２２１の正常画素値変更部２３１は、ステップＳ２４１において、識別値と同値の正常画素の画素値を変更する。
　ステップＳ２４２において、識別値置き換え部２３２は、識別情報に基づいて欠陥画素を特定し、その画素値を識別値に置き換える。
　ステップＳ２４２の処理が終了すると、後処理が終了し、処理は図３１へ戻る。
　このように各処理を実行することにより、後処理部２２１は、欠陥画素の画素値を識別値へ置き換えることができる。したがって、欠陥補正部１２２は、欠陥情報を必要とせずに容易に欠陥補正を実行することができる。
　　＜方法１－４－２＞
　また、この後処理が、RAW画像に含まれる欠陥画素の画素値を、その欠陥画素の周辺画素値を参照して導出される周辺参照値に置き換える処理であってもよい。つまり、上述の方法１－４が適用される場合において、図６の上から７段目に示されるように、欠陥画素値を周辺参照値に置き換えてもよい（方法１－４－２）。例えば、第２の画像処理装置において、後処理部が、後処理として、画像符号化データを復号して生成された画像データ（RAW画像）における欠陥画素の画素値を、その欠陥画素の周辺画素値を参照して導出される周辺参照値に置き換えてもよい。
　つまり、欠陥画素の画素値が周辺画素値に基づいて補正される。したがって、この場合、欠陥補正部１２２を省略してもよい。
　なお、この周辺参照値は、周辺画素値を参照して導出される値であれば、どのような値であってもよい。例えば、この周辺参照値が、欠陥画素の隣接画素値の複製であってもよい。この欠陥画素に隣接する画素は、欠陥画素に対して、上下左右斜め方向のいずれの方向に隣接してもよい。また、この欠陥画素に隣接する画素は、処理順においてその欠陥画素の１つ前に処理される画素であってもよい。
　また、この周辺参照値は、その欠陥画素の周辺画素値に基づく計算値であってもよい。この計算値は、どのような計算により導出される値であってもよい。例えば、この計算値は、欠陥画素の周辺画素の画素値を用いた統計値であってもよい。例えば、この計算値は、FIRフィルタや適応的フィルタを用いて導出される周辺画素の画素値の平均等であってもよい。また、この計算値は、周辺画素の画素値の中央値であってもよい。また、この計算値は、周辺画素の画素値を入力とする学習モデルを用いて導出される値（つまり、その学習モデルの出力）であってもよい。
　なお、周辺画素は、欠陥画素に対して物理的に近傍に位置してもよいし、処理順において近傍に位置してもよい。また、周辺画素は、欠陥画素に対して周辺（比較的遠くない位置）に存在していればよく、その位置関係（相対方向等）は任意である。例えば、基準画素から周辺とする範囲（基準画素に対して周辺画素となり得る範囲）の広さや形状等が予め定められていてもよい。例えば、その範囲は、１次元方向であってもよいし、２次元方向であってもよい。また、その範囲は基準画素を中心とする範囲であってもよいし、基準画素に対して方向の偏りのある範囲であってもよい。例えば、左右方向の１次元の範囲である場合、基準画素の左側をその範囲としてもよいし、基準画素の右側をその範囲としてもよいし、基準画素をその範囲の中央としてもよい。また、基準画素の前に処理される画素のみを周辺画素の対象としてもよい。
　このようにすることにより、欠陥画素の画素値が周辺画素値に基づいて補正されるので、欠陥補正部１２２（による欠陥補正）を省略することができる。
　　＜後処理部＞
　図３４は、その場合の後処理部２２１の主な構成例を示すブロック図である。図３４に示されるように、この場合の後処理部２２１は、周辺参照値置き換え部２４１を有する。
　周辺参照値置き換え部２４１は、周辺参照値の置き換えに関する処理を実行する。例えば、周辺参照値置き換え部２４１は、画像復号部１７３から供給されるRAW画像を取得してもよい。このRAW画像は、画像復号部１７３が画像符号化データを復号して生成したRAW画像である。また、周辺参照値置き換え部２４１は、欠陥情報逆変換部１７２から供給される欠陥情報を取得してもよい。周辺参照値置き換え部２４１は、その取得した欠陥情報に基づいて、その取得したRAW画像における欠陥画素を特定し、その画素値を周辺参照値に置き換えてもよい。周辺参照値置き換え部２４１は、このような処理を施したRAW画像を後処理済RAW画像として欠陥補正部１２２へ供給してもよい。
　このようにすることにより、後処理部２２１は、欠陥画素の画素値を周辺参照値へ置き換えることができる。したがって、欠陥補正部１２２（による欠陥補正）を省略することができる。
　　＜後処理の流れ＞
　この場合の、図３１のステップＳ２２５において実行される後処理の流れの例を、図３５のフローチャートを参照して説明する。
　後処理が開始されると、後処理部２２１の周辺参照値置き換え部２４１は、ステップＳ２６１において、欠陥画素値を周辺参照値に置き換える。
　ステップＳ２６１の処理が終了すると、後処理が終了し、処理は図３１へ戻る。
　このように各処理を実行することにより、後処理部２２１は、欠陥画素の画素値を周辺参照値へ置き換えることができる。したがって、欠陥補正部１２２（による欠陥補正）を省略することができる。
　　＜方法１－４－３＞
　また、この後処理の候補として複数のモードが用意され、その候補の中から選択されたモードが適用されてもよい。つまり、上述の方法１－４が適用される場合において、図６の最下段に示されるように、後処理モードを選択してもよい（方法１－４－３）。例えば、第２の画像処理装置において、後処理部が、適用する後処理のモードを選択し、その選択したモードで後処理を実行してもよい。
　このようにすることにより、RAW画像に対してより多様な後処理を実行することができる。したがって、より多様な状況において、より適切な後処理を実行することができ、RAW画像の品質の低減を抑制することができる。
　なお、この後処理のモード（すなわち、後処理として実行され得る処理内容）は、どのようなものであってもよい。また、選択肢として用意される後処理の数はいくつであってもよい。例えば、第２の画像処理装置において、後処理部が、画像データにおける欠陥画素の画素値を、その欠陥画素を識別するための識別値に置き換える識別値置き換えモード、画像データにおける欠陥画素の画素値を、その欠陥画素の周辺画素値を参照して導出される周辺参照値に置き換える周辺参照モード、欠陥画素の画素値の置き換えを省略するスルーモードの中から、いずれか１つを選択し、その選択したモードで後処理を実行してもよい。
　識別値置き換えモードは、方法１－４－１として説明した後処理を実行するモードである。周辺参照モードは、方法１－４－２として説明した後処理を実行するモードである。スルーモードは、後処理を施さずにRAW画像を欠陥補正部１２２へ供給するモードである。
　　＜後処理部＞
　図３６は、その場合の後処理部２２１の主な構成例を示すブロック図である。図３６に示されるように、この場合の後処理部２２１は、正常画素値変更部２３１、識別値置き換え部２３２、周辺参照値置き換え部２４１、およびモード選択部２５１を有する。
　正常画素値変更部２３１および識別値置き換え部２３２は、図３２を参照して説明したとおりである。周辺参照値置き換え部２４１は、図３４を参照して説明したとおりである。ただし、識別値置き換え部２３２は、欠陥画素の画素値を識別値に置き換えたRAW画像をモード選択部２５１へ供給してもよい。また、周辺参照値置き換え部２４１は、欠陥画素の画素値を周辺参照値に置き換えたRAW画像をモード選択部２５１へ供給してもよい。
　モード選択部２５１は、後処理のモードの選択に関する処理を実行する。例えば、モード選択部２５１は、識別値置き換え部２３２から供給されるRAW画像を取得してもよい。このRAW画像は、欠陥画素の画素値が識別値に置き換えられている。また、モード選択部２５１は、周辺参照値置き換え部２４１から供給されるRAW画像を取得してもよい。このRAW画像は、欠陥画素の画素値が周辺参照値に置き換えられている。さらに、モード選択部２５１は、画像復号部１７３から後処理部２２１に供給されるRAW画像を取得してもよい。
　そして、モード選択部２５１は、外部（例えば、ユーザやアプリケーション等）からのモード選択指示を取得してもよい。モード選択部２５１は、そのモード選択指示により指定されるモードに応じて出力する情報を選択する。つまり、後処理部２２１は、このモード選択部２５１によって適用する後処理のモードを選択し、その選択したモードで後処理を実行する。
　例えば、このモード選択指示により識別値置き換えモードが選択される場合、モード選択部２５１は、識別値置き換え部２３２から供給されるRAW画像を、後処理済RAW画像として欠陥補正部１２２へ供給してもよい。また、このモード選択指示により周辺参照モードが選択される場合、モード選択部２５１は、周辺参照値置き換え部２４１から供給されるRAW画像を、後処理済RAW画像として欠陥補正部１２２へ供給してもよい。また、このモード選択指示によりスルーモードが選択される場合、モード選択部２５１は、画像復号部１７３から供給されるRAW画像を、後処理済RAW画像として欠陥補正部１２２へ供給してもよい。
　このようにすることにより、後処理部２２１は、RAW画像に対してより多様な後処理を実行することができる。したがって、後処理部２２１は、より多様な状況において、より適切な後処理を実行することができ、RAW画像の品質の低減を抑制することができる。
　　＜後処理の流れ＞
　この場合の、図３１のステップＳ２２５において実行される後処理の流れの例を、図３７のフローチャートを参照して説明する。
　後処理が開始されると、後処理部２２１のモード選択部２５１は、ステップＳ２８１において、モード選択指示に従って適用する後処理のモードを選択する。
　ステップＳ２８２において、モード選択部２５１は、識別値置き換えモードを選択したか否かを判定する。識別値置き換えモードが選択されたと判定された場合、処理はステップＳ２８３へ進む。
　ステップＳ２８３において、正常画素値変更部２３１は、識別値と同値の正常画素の画素値を他の値に変更する。
　ステップＳ２８４において、識別値置き換え部２３２は、欠陥画素の画素値を識別値に置き換える。
　ステップＳ２８４の処理が終了すると、後処理が終了し、処理は図３１へ戻る。
　また、ステップＳ２８２において、識別値置き換えモードが選択されていないと判定された場合、処理はステップＳ２８５へ進む。
　ステップＳ２８５において、モード選択部２５１は、周辺参照モードを選択したか否かを判定する。周辺参照モードが選択されたと判定された場合、処理はステップＳ２８６へ進む。
　ステップＳ２８６において、周辺参照値置き換え部２４１は、欠陥画素の画素値を周辺参照値に置き換える。
　ステップＳ２８６の処理が終了すると、後処理が終了し、処理は図３１へ戻る。
　また、ステップＳ２８５において、周辺参照モードが選択されていない（すなわち、スルーモードが選択された）と判定された場合、後処理が実行されず、画像復号部１７３から供給されるRAW画像が欠陥補正部１２２へ供給される。そして、後処理が終了し、処理は図３１へ戻る。
　このように各処理を実行することにより、後処理部２２１は、RAW画像に対してより多様な後処理を実行することができる。したがって、後処理部２２１は、より多様な状況において、より適切な後処理を実行することができ、RAW画像の品質の低減を抑制することができる。
　　＜説明の適用範囲＞
　＜３．伝送用欠陥情報と画像データの伝送＞において上位の方法について行った説明は、矛盾が生じない限り、その方法に属する下位の方法にも適用される。例えば、「方法１を適用してもよい」と説明した場合、方法１－１から方法１－４のいずれか１つ以上を適用してもよいことを意味する。もちろん、さらに下位の方法（例えば、方法１－４－１から方法１－４－３等）を適用してもよいことも意味する。
　　＜組み合わせ＞
　なお、＜３．伝送用欠陥情報と画像データの伝送＞において上述した各方法は、矛盾が生じない限り、任意の他の方法と組み合わせて適用してもよい。３以上の方法を組み合わせて適用してもよい。例えば、方法１－１から方法１－４のうちのいずれか２つ以上を組み合わせて適用してもよい。また、組み合わせ可能な手法は、「方法」として図６の表に示したものだけでなく、本明細書において説明する全ての要素を含み得る。また、＜３．伝送用欠陥情報と画像データの伝送＞において上述した各方法は、上述した以外の他の方法と組み合わせて適用してもよい。
　＜４．欠陥画素値の置き換え＞
　　＜方法２＞
　ビットストリームの符号化効率の低減を抑制するために、欠陥情報の内容をRAW画像に含めるようにし、その欠陥情報の内容を含むRAW画像を符号化した画像符号化データを含むビットストリームを、バス１３０を介してイメージセンサ１１０から信号処理部１２０へ伝送してもよい。例えば、図３８の表の最上段に示されるように、符号化前に欠陥画素値を識別値に置き換えてもよい（方法２）。つまり、このビットストリームにおいては、方法１のように伝送用欠陥情報が画像符号化データに多重化されない。
　例えば、第１の画像処理装置が、輝度を検出する画素配列において検出された、その輝度の分布を表す画像データにおける、その画素配列における欠陥画素の画素値を、その欠陥画素を識別するための識別値に置き換える識別値置き換え部と、その欠陥画素の画素値が識別値に置き換えられた画像データを符号化し、ビットストリームを生成する符号化部とを備えるようにする。また、第１の画像処理装置が、輝度を検出する画素配列において検出された、その輝度の分布を表す画像データにおける、その画素配列における欠陥画素の画素値を、その欠陥画素を識別するための識別値に置き換えることと、第１の画像処理装置が、その欠陥画素の画素値が識別値に置き換えられた画像データを符号化し、ビットストリームを生成することとが、第１の画像処理方法に含まれるようにする。また、第１のプログラムが、輝度を検出する画素配列において検出された、その輝度の分布を表す画像データにおける、その画素配列における欠陥画素の画素値を、その欠陥画素を識別するための識別値に置き換えることと、その欠陥画素の画素値が識別値に置き換えられた画像データを符号化し、ビットストリームを生成することとを含む処理をコンピュータに実行させるようにする。
　このようにすることにより、第１の画像処理装置は、欠陥情報の精度の低減を抑制しながら、伝送するデータ量の増大を抑制することができる。すなわち、第１の画像処理装置は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　なお、この識別値は、どのような値であってもよい。例えば、識別値は、予め定められた所定の固定値であってもよい。また、識別値は、外部（例えばユーザやアプリケーション等）により設定される外部設定値であってもよい。
　なお、欠陥画素でない正常画素の画素値が、この識別値と同じ値となる可能性がある。その場合、欠陥画素の画素値を置き換えた識別値であるのか、正常画素の画素値であるのかの識別が困難になるおそれがあった。例えば、そのようなRAW画像に対して欠陥補正が行われることにより、正常画素の画素値も補正されてしまい、結果として、RAW画像の品質が低減するおそれがあった。そこで、このような欠陥画素の画素値が識別値に置き換えられる前に、欠陥画素でない正常画素の画素値であって、その識別値と同じ値の画素値が、他の値に変更されてもよい。例えば、第１の画像処理装置が、画像データにおける、欠陥画素でない正常画素の識別値と同一の画素値を他の値に変更する正常画素値変更部をさらに備えてもよい。そして、識別値置き換え部が、欠陥画素でない正常画素の識別値と同一の画素値が他の値に変更された画像データにおける欠陥画素の画素値を識別値に置き換えてもよい。
　このようにすることにより、欠陥補正において、より正確に欠陥画素を識別することができる。したがって、RAW画像の品質の低減を抑制することができる。
　　＜符号化部＞
　本技術は、任意の装置に適用することができる。例えば、本技術は、被写体を撮像する撮像装置に適用することができる。この方法２が適用される場合も、撮像装置１００は、図７の例と同様の構成を有する。
　図３９は、この方法２が適用される場合の、符号化部１１４の主な構成例を示すブロック図である。図３９に示されるように、この場合、符号化部１１４は、正常画素値変更部３１１、識別値置き換え部３１２、および符号化部３１３を有する。
　正常画素値変更部３１１は、後処理部２２１の正常画素値変更部２３１（図３２）と基本的に同様の処理部であり、その正常画素値変更部２３１と同様の処理を実行する。例えば、正常画素値変更部３１１は、輝度検出部１１１から供給されるRAW画像を取得してもよい。正常画素値変更部３１１は、識別値と同値の正常画素の画素値がその取得したRAW画像に含まれる場合、その画素値を他の値に変更してもよい。つまり、正常画素値変更部３１１は、画像データにおける、欠陥画素でない正常画素の、識別値と同一の画素値を、他の値に変更してもよい。
　この識別値や他の値については、図３２の例の場合と同様である。つまり、識別値は変更可能であってもよい。例えば、ユーザやアプリケーション等により設定されてもよい。また、他の値は、識別値と異なる値であればどのような値であってもよいが、RAW画像の品質の低減を抑制するために、例えば、「識別値＋１」や「識別値－１」等のように、変更する前の値（識別値）に近い値に変更するのが望ましい。
　正常画素値変更部３１１は、以上のように必要に応じて正常画素の画素値を変更したRAW画像を識別値置き換え部３１２へ供給してもよい。
　識別値置き換え部３１２は、後処理部２２１の識別値置き換え部２３２（図３２）と基本的に同様の処理部であり、その識別値置き換え部２３２と同様の処理を実行する。例えば、識別値置き換え部３１２は、正常画素値変更部３１１から供給されるRAW画像を取得してもよい。また、識別値置き換え部３１２は、記憶部１１３に記憶されている欠陥情報を読み出し、取得してもよい。識別値置き換え部３１２は、その取得した欠陥情報に基づいて、その取得したRAW画像における欠陥画素を特定し、その画素値を識別値に置き換えてもよい。つまり、識別値置き換え部３１２は、輝度を検出する画素配列において検出された、その輝度の分布を表す画像データにおける、その画素配列における欠陥画素の画素値を、その欠陥画素を識別するための識別値に置き換えてもよい。識別値置き換え部３１２は、このような処理を施したRAW画像を欠陥画素処理済RAW画像として符号化部３１３へ供給してもよい。
　符号化部３１３は、RAW画像の符号化に関する処理を実行する。例えば、符号化部３１３は、識別値置き換え部３１２から供給される欠陥画素処理済RAW画像を取得してもよい。この欠陥画素処理済RAW画像は、上述したように、欠陥画素の画素値が識別値に置き換えられている。つまり、この欠陥画素処理済RAW画像は、欠陥情報の内容を含むRAW画像である。符号化部３１３は、その取得した欠陥画素処理済RAW画像を符号化し、ビットストリームを生成する。つまり、符号化部３１３は、一般的な画像用の符号化方式を適用することができる。符号化部３１３は、その生成したビットストリームを、バス１３０を介して信号処理部１２０へ供給してもよい。
　このようにすることにより、符号化部１１４は、欠陥情報の伝送を省略することができる。つまり、符号化部１１４は、欠陥情報の精度の低減を抑制しながら、伝送するデータ量の増大を抑制することができる。すなわち、符号化部１１４は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜符号化処理の流れ＞
　この場合の、図１０のステップＳ１０２において実行される符号化処理の流れの例を、図４０のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化部１１４の正常画素値変更部３１１は、ステップＳ３０１において、RAW画像の識別値と同値の正常画素の画素値を変更する。
　ステップＳ３０２において、識別値置き換え部３１２は、そのRAW画像の欠陥画素値を識別値に置き換え、欠陥画素処理済RAW画像を生成する。
　ステップＳ３０３において、符号化部３１３は、その欠陥画素処理済RAW画像を符号化してビットストリームを生成する。
　ステップＳ３０４において、符号化部３１３は、その生成したビットストリームを、バス１３０を介して信号処理部１２０へ送信する。
　ステップＳ３０４の処理が終了すると符号化処理が終了し、処理は図１０に戻る。
　このように各処理を実行することにより、符号化部１１４は、上述したように、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜復号について＞
　なお、この場合、信号処理部１２０の復号部１２１は、符号化部１１４の符号化方式に対応する復号方式でそのビットストリームを復号すればよい。これにより、欠陥画素処理済RAW画像が生成（復元）される。したがって、復号部１２１が、その欠陥画素処理済RAW画像を欠陥補正部１２２へ供給すればよい。欠陥補正部１２２は、その欠陥画素処理済RAW画像の識別値を検出し、欠陥画素の画素値を補正することができる。したがって、復号部１２１は、一般的な画像用の復号方式を適用することができる。
　　＜方法２－１＞
　上述した方法２－１が適用される場合において、図３８の表の最下段に示されるように、欠陥情報を符号化し、欠陥情報のビット長に基づいて画像符号化のビット長を設定してもよい（方法２－１）。例えば、第１の画像処理装置において、符号化部が、識別値に基づいて、欠陥画素の画素値がその識別値に置き換えられた画像データを、その欠陥画素に関する欠陥情報と、その画像データとに弁別する弁別部と、その欠陥情報を符号化し、欠陥情報符号化データを生成する欠陥情報符号化部と、その画像データを符号化し、画像符号化データを生成する画像符号化部と、その欠陥情報符号化データと画像符号化データとを多重化し、ビットストリームを生成する多重化部とを備えてもよい。
　このようにすることにより、符号化部１１４は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜符号化部＞
　図４１は、この場合の符号化部３１３の主な構成例を示すブロック図である。図４１に示されるように、符号化部３１３は、弁別部３２１、欠陥情報符号化部３２２、画像符号化部３２３、および多重化部３２４を有する。
　弁別部３２１は、データの弁別に関する処理を実行する。例えば、弁別部３２１は、識別値置き換え部３１２から供給される欠陥画素処理済RAW画像を取得してもよい。弁別部３２１は、その欠陥画素処理済RAW画像に含まれる欠陥画素を識別値に基づいて検出し、その欠陥画素処理済RAW画像を、その欠陥画素に関する欠陥情報と、RAW画像とに弁別してもよい。弁別部３２１は、欠陥情報を欠陥情報符号化部３２２へ供給してもよい。弁別部３２１は、RAW画像を画像符号化部３２３へ供給してもよい。
　欠陥情報符号化部３２２は、欠陥情報の符号化に関する処理を実行する。例えば、欠陥情報符号化部３２２は、弁別部３２１から供給される欠陥情報を取得してもよい。欠陥情報符号化部３２２は、その欠陥情報を符号化し、欠陥情報符号化データを生成してもよい。この符号化方法はどのような方法であってもよい。例えば、欠陥情報の劣化を抑制するために、可逆な符号化方法が適用されてもよい。欠陥情報符号化部３２２は、その生成した欠陥情報符号化データを多重化部３２４へ供給してもよい。また、欠陥情報符号化部３２２は、その欠陥情報符号化データのビット長を画像符号化部３２３へ供給してもよい。
　画像符号化部３２３は、RAW画像の符号化に関する処理を実行する。例えば、画像符号化部３２３は、弁別部３２１から供給されるRAW画像を取得してもよい。画像符号化部３２３は、その取得したRAW画像を符号化し、画像符号化データを生成してもよい。この符号化方法はどのような方法であってもよい。例えば、データ量の増大を抑制するために、非可逆な符号化方法が適用されてもよい。また、その際、画像符号化部３２３は、欠陥情報符号化部３２２から供給される欠陥情報符号化データのビット長を取得し、その取得したビット長に基づいて、その画像符号化データのビット長を設定してもよい。つまり、画像符号化部３２３は、画素配列において検出された輝度の分布を表す画像データを符号化し、欠陥情報符号化データのビット長に基づいて設定されるビット長の画像符号化データを生成してもよい。画像符号化部３２３は、その生成した画像符号化データを多重化部３２４へ供給してもよい。
　多重化部３２４は、データの多重化に関する処理を実行する。例えば、多重化部３２４は、欠陥情報符号化部３２２から供給される欠陥情報符号化データを取得してもよい。多重化部３２４は、画像符号化部３２３から供給される画像符号化データを取得してもよい。多重化部３２４は、その取得した欠陥情報符号化データと画像符号化データとを多重化し、ビットストリームを生成してもよい。多重化部３２４は、その生成したビットストリームを、バス１３０を介して信号処理部１２０（の復号部１２１）へ供給してもよい。
　このようにすることにより、符号化部１１４は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜符号化処理の流れ＞
　この場合の、図１０のステップＳ１０２において実行される符号化処理の流れの例を、図４２のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化部１１４の正常画素値変更部３１１は、ステップＳ３２１において、RAW画像の識別値と同値の正常画素の画素値を変更する。
　ステップＳ３２２において、識別値置き換え部３１２は、そのRAW画像の欠陥画素値を識別値に置き換え、欠陥画素処理済RAW画像を生成する。
　ステップＳ３２３において、符号化部３１３の弁別部３２１は、識別値に基づいて欠陥情報と画像データを弁別する。
　ステップＳ３２４において、欠陥情報符号化部３２２は、欠陥情報を符号化する。
　ステップＳ３２５において、画像符号化部３２３は、欠陥情報のビット長に基づいて画像データを符号化する。
　ステップＳ３２６において、多重化部３２４は、欠陥情報符号化データと画像符号化データとを多重化してビットストリームを生成する。
　ステップＳ３２７において、多重化部３２４は、その生成したビットストリームを、バス１３０を介して信号処理部１２０へ送信する。
　ステップＳ３２７の処理が終了すると符号化処理が終了し、処理は図１０に戻る。
　このように各処理を実行することにより、符号化部１１４は、上述したように、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜復号部＞
　図４３は、この場合の復号部１２１の主な構成例を示すブロック図である。図４３に示されるように、復号部１２１は、逆多重化部３３１、欠陥情報復号部３３２、および画像復号部３３３を有する。
　逆多重化部３３１は、逆多重化に関する処理を実行する。例えば、逆多重化部３３１は、バス１３０を介してイメージセンサ１１０（の多重化部３２４）から供給されるビットストリームを取得してもよい。逆多重化部３３１は、そのビットストリームを逆多重化し、欠陥情報符号化データと画像符号化データを抽出してもよい。逆多重化部３３１は、その抽出した欠陥情報符号化データを欠陥情報復号部３３２へ供給してもよい。逆多重化部３３１は、その抽出した画像符号化データを画像復号部３３３へ供給してもよい。
　欠陥情報復号部３３２は、欠陥情報符号化データの復号に関する処理を実行する。例えば、欠陥情報復号部３３２は、逆多重化部３３１から供給される欠陥情報符号化データを取得してもよい。欠陥情報復号部３３２は、その取得した欠陥情報符号化データを復号し、欠陥情報を生成してもよい。欠陥情報復号部３３２は、生成した欠陥情報を欠陥補正部１２２へ供給してもよい。欠陥情報復号部３３２は、その復号する欠陥情報符号化データのビット長を画像復号部３３３へ供給してもよい。
　画像復号部３３３は、画像符号化データの復号に関する処理を実行する。例えば、画像復号部３３３は、逆多重化部３３１から供給される画像符号化データを取得してもよい。画像復号部３３３は、その取得した画像符号化データを復号し、RAW画像データを生成してもよい。この復号方法は、画像符号化部３２３が適用する符号化方法に対応するものであればどのような方法であってもよい。その際、画像復号部３３３は、欠陥情報復号部３３２から供給される欠陥情報符号化データのビット長を取得し、そのビット長に基づいて画像符号化データのビット長を推定し、その推定したビット長を用いて画像符号化データを復号してもよい。画像復号部３３３は、その生成したRAW画像データを欠陥補正部１２２へ供給してもよい。
　このようにすることにより、復号部１２１は、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜復号処理の流れ＞
　この場合の、図１０のステップＳ１０３において実行される復号処理の流れの例を、図４４のフローチャートを参照して説明する。
　復号処理が開始されると、復号部１２１の逆多重化部３３１は、ステップＳ３４１において、バス１３０を介してイメージセンサ１１０から伝送されるビットストリームを受信する。
　ステップＳ３４２において、逆多重化部３３１は、そのビットストリームを逆多重化し、欠陥情報符号化データと画像符号化データを弁別する。
　ステップＳ３４３において、欠陥情報復号部３３２は、その欠陥情報符号化データを復号し、欠陥情報を生成する。
　ステップＳ３４４において、画像復号部３３３は、その欠陥情報符号化データのビット長に基づいて画像符号化データを復号してRAW画像を生成する。
　ステップＳ３４４の処理が終了すると復号処理が終了し、処理は図１０に戻る。
　このように各処理を実行することにより、復号部１２１は、上述したように、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　　＜説明の適用範囲＞
　＜４．欠陥画素値の置き換え＞において上位の方法について行った説明は、矛盾が生じない限り、その方法に属する下位の方法にも適用される。例えば、「方法２を適用してもよい」と説明した場合、方法２－１を適用してもよいことを意味する。
　　＜組み合わせ＞
　なお、＜４．欠陥画素値の置き換え＞において上述した各方法は、矛盾が生じない限り、任意の他の方法と組み合わせて適用してもよい。また、組み合わせ可能な手法は、「方法」として図３８の表に示したものだけでなく、本明細書において説明する全ての要素を含み得る。また、＜４．欠陥画素値の置き換え＞において上述した各方法は、上述した以外の他の方法と組み合わせて適用してもよい。例えば、＜３．伝送用欠陥情報と画像データの伝送＞において説明したいずれかの方法と、＜４．欠陥画素値の置き換え＞において説明したいずれかの方法とを適宜組み合わせて適用してもよい。
　＜５．画像処理システム＞
　以上においては、撮像装置１００を例に説明したが、本技術は、任意の構成に適用し得る。例えば、複数の装置により構成されるシステムに本技術を適用してもよい。例えば、図７に示される撮像装置１００の輝度検出部１１１、符号化部１１４、復号部１２１、および欠陥補正部１２２を独立した装置として構成し、それらの装置からなる画像処理システムに本技術を適用してもよい。
　図４５は、本技術を適用したシステムの一態様である画像処理システムの構成の一例を示すブロック図である。図４５に示される画像処理システム５００は、図７の撮像装置１００と同様の処理を実行するシステムである。図４５に示されるように、画像処理システム５００は、撮像装置５１１、符号化装置５１２、復号装置５１３、および信号処理装置５１４を有する。
　撮像装置５１１は、撮像装置１００の輝度検出部１１１と同様の機能を有し、被写体を撮像しRAW画像を生成し、そのRAW画像を符号化装置５１２へ供給する。
　符号化装置５１２は、撮像装置１００の符号化部１１４と同様の機能を有し、そのRAW画像の符号化データと撮像装置５１１の欠陥情報とを含むビットストリームを生成する。符号化装置５１２は、そのビットストリームを、ネットワーク５２０を介して復号装置５１３へ供給する。
　復号装置５１３は、撮像装置１００の復号部１２１と同様の機能を有し、そのビットストリームを取得して復号し、欠陥情報とRAW画像を生成する。復号装置５１３は、その欠陥情報とRAW画像を信号処理装置５１４へ供給する。
　信号処理装置５１４は、その欠陥情報とRAW画像を取得し、それらを用いて欠陥補正を実行する。
　このような構成の画像処理システム５００の符号化装置５１２や復号装置５１３において、＜３．伝送用欠陥情報と画像データの伝送＞または＜４．欠陥画素値の置き換え＞において説明した本技術を適用してもよい。このようにすることにより、画像処理システム５００は、撮像装置１００の場合と同様に、イメージセンサ出力データ量の増大を抑制しながら、欠陥補正後の画像の品質の低減を抑制することができる。
　＜６．付記＞
　　＜画像＞
　なお、以上においては、欠陥情報に対応する画像としてRAW画像を例に説明したが、欠陥情報に対応する画像はどのような画像であってもよくRAW画像に限定されない。
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図４６に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成する欠陥情報変換部と、
　前記画素配列において検出された前記輝度の分布を表す画像データを符号化し、前記伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成する画像符号化部と、
　前記伝送用欠陥情報と前記画像符号化データとを多重化し、ビットストリームを生成する多重化部と
　を備える画像処理装置。
　（２）　前記欠陥情報変換部は、前記画像データのピクチャを複数に分割した所定のブロック毎に、前記伝送用欠陥情報を生成する
　（１）に記載の画像処理装置。
　（３）　前記ブロックは、前記画像符号化部が前記画像データを符号化する処理単位である符号化ブロックと同一である
　（２）に記載の画像処理装置。
　（４）　前記伝送用欠陥情報の形式は、前記画素配列に存在する前記欠陥画素の数に依存する
　（１）から（３）のいずれかに記載の画像処理装置。
　（５）　前記伝送用欠陥情報は、前記画素配列に存在する前記欠陥画素の数が少ない程、データ量が少ない
　（４）に記載の画像処理装置。
　（６）　前記伝送用欠陥情報は、前記欠陥画素の数を示す第１の情報と、前記欠陥画素の位置を示す第２の情報とを含む
　（４）または（５）に記載の画像処理装置。
　（７）　前記第１の情報は、前記欠陥画素の数に応じた所定のビットパタンを含む
　（６）に記載の画像処理装置。
　（８）　前記ビットパタンは、前記欠陥画素の数が少ない程短い
　（７）に記載の画像処理装置。
　（９）　前記第２の情報は、前記欠陥画素の数が所定の基準よりも少ない場合、座標を用いて前記欠陥画素の位置を示す
　（６）から（８）のいずれかに記載の画像処理装置。
　（１０）　前記伝送用欠陥情報は、前記欠陥画素が前記画素配列に存在しない場合、前記第２の情報を省略する
　（９）に記載の画像処理装置。
　（１１）　前記第２の情報は、前記欠陥画素の数が所定の基準以上である場合、前記欠陥画素の分布を示すマップにより前記欠陥画素の位置を示す
　（６）から（１０）のいずれかに記載の画像処理装置。
　（１２）　前記伝送用欠陥情報は、欠陥のタイプを示す第３の情報をさらに含む
　（６）から（１１）のいずれかに記載の画像処理装置。
　（１３）　前記画像データに対して所定の前処理を実行する前処理部をさらに備え、
　前記画像符号化部は、前記前処理が施された前記画像データを符号化し、前記画像符号化データを生成するように構成される
　（１）から（１２）のいずれかに記載の画像処理装置。
　（１４）　前記前処理部は、前記欠陥画素の画素値を、前記欠陥画素に隣接する画素の画素値の複製に置き換える
　（１３）に記載の画像処理装置。
　（１５）　前記前処理部は、前記欠陥画素の画素値を、前記欠陥画素の周辺画素の画素値に基づく計算値に置き換える
　（１３）または（１４）に記載の画像処理装置。
　（１６）　前記前処理部は、前記欠陥画素の画素値を所定の値に置き換える
　（１３）から（１５）のいずれかに記載の画像処理装置。
　（１７）　輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成することと、
　前記画素配列において検出された前記輝度の分布を表す画像データを符号化し、前記伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成することと、
　前記伝送用欠陥情報と前記画像符号化データとを多重化し、ビットストリームを生成することと
　を含む画像処理方法。
　（１８）　輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成することと、
　前記画素配列において検出された前記輝度の分布を表す画像データを符号化し、前記伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成することと、
　前記伝送用欠陥情報と前記画像符号化データとを多重化し、ビットストリームを生成することと
　を含む処理をコンピュータに実行させるためのプログラム。
　（２１）　ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出する逆多重化部と、
　前記伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成する欠陥情報逆変換部と、
　前記伝送用欠陥情報のビットレートに基づいて推定した前記画像符号化データのビットレートを用いて前記画像符号化データを復号し、前記画素配列において検出された前記輝度の分布を表す画像データを生成する画像復号部と
　を備える画像処理装置。
　（２２）　前記欠陥情報逆変換部は、前記画像データのピクチャを複数に分割した所定のブロック毎に、前記欠陥情報を生成する
　（２１）に記載の画像処理装置。
　（２３）　前記ブロックは、前記画像復号部が前記画像データを生成する処理単位である符号化ブロックと同一である
　（２２）に記載の画像処理装置。
　（２４）　前記伝送用欠陥情報の形式は、前記画素配列に存在する前記欠陥画素の数に依存する
　（２１）から（２３）のいずれかに記載の画像処理装置。
　（２５）　前記伝送用欠陥情報は、前記画素配列に存在する前記欠陥画素の数が少ない程、データ量が少ない
　（２４）に記載の画像処理装置。
　（２６）　前記伝送用欠陥情報は、前記欠陥画素の数を示す第１の情報と、前記欠陥画素の位置を示す第２の情報とを含む
　（２４）または（２５）に記載の画像処理装置。
　（２７）　前記第１の情報は、前記欠陥画素の数に応じた所定のビットパタンを含む
　（２６）に記載の画像処理装置。
　（２８）　前記ビットパタンは、前記欠陥画素の数が少ない程短い
　（２７）に記載の画像処理装置。
　（２９）　前記第２の情報は、前記欠陥画素の数が所定の基準よりも少ない場合、座標を用いて前記欠陥画素の位置を示す
　（２６）から（２８）のいずれかに記載の画像処理装置。
　（３０）　前記伝送用欠陥情報は、前記欠陥画素が前記画素配列に存在しない場合、前記第２の情報を省略する
　（２９）に記載の画像処理装置。
　（３１）　前記第２の情報は、前記欠陥画素の数が所定の基準以上である場合、前記欠陥画素の分布を示すマップにより前記欠陥画素の位置を示す
　（２６）に記載の画像処理装置。
　（３２）　前記伝送用欠陥情報は、欠陥のタイプを示す第３の情報をさらに含む
　（２６）から（３１）のいずれかに記載の画像処理装置。
　（３３）　生成された前記画像データに対して所定の後処理を実行する後処理部をさらに備える
　（２１）から（３２）のいずれかに記載の画像処理装置。
　（３４）　前記後処理部は、前記後処理として、前記画像データにおける前記欠陥画素の画素値を、前記欠陥画素を識別するための識別値に置き換える
　（３３）に記載の画像処理装置。
　（３５）　前記後処理部は、前記後処理として、前記画像データにおける、前記欠陥画素でない正常画素の前記識別値と同一の画素値を他の値に変更してから、前記欠陥画素の画素値を前記識別値に置き換える
　（３４）に記載の画像処理装置。
　（３６）　前記後処理部は、前記後処理として、前記画像データにおける前記欠陥画素の画素値を、前記欠陥画素の周辺画素値を参照して導出される周辺参照値に置き換える
　（３３）から（３５）のいずれかに記載の画像処理装置。
　（３７）　前記周辺参照値は、前記欠陥画素の隣接画素値の複製である
　（３６）に記載の画像処理装置。
　（３８）　前記周辺参照値は、前記欠陥画素の周辺画素値に基づく計算値である
　（３６）または（３７）に記載の画像処理装置。
　（３９）　前記後処理部は、適用する前記後処理のモードを選択し、選択した前記モードで前記後処理を実行する
　（３３）から（３８）のいずれかに記載の画像処理装置。
　（４０）　前記後処理部は、前記画像データにおける前記欠陥画素の画素値を、前記欠陥画素を識別するための識別値に置き換える識別値置き換えモード、前記画像データにおける前記欠陥画素の画素値を、前記欠陥画素の周辺画素値を参照して導出される周辺参照値に置き換える周辺参照モード、前記欠陥画素の画素値の置き換えを省略するスルーモードの中から、いずれか１つを選択し、選択した前記モードで前記後処理を実行する
　（３９）に記載の画像処理装置。
　（４１）　ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出することと、
　前記伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成することと、
　前記伝送用欠陥情報のビットレートに基づいて推定した前記画像符号化データのビットレートを用いて前記画像符号化データを復号し、前記画素配列において検出された前記輝度の分布を表す画像データを生成することと
　を含む画像処理方法。
　（４２）　ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出することと、
　前記伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成することと、
　前記伝送用欠陥情報のビットレートに基づいて推定した前記画像符号化データのビットレートを用いて前記画像符号化データを復号し、前記画素配列において検出された前記輝度の分布を表す画像データを生成することと
　を含む処理をコンピュータに実行させるためのプログラム。
　（５１）　輝度を検出する画素配列において検出された前記輝度の分布を表す画像データにおける、前記画素配列における欠陥画素の画素値を、前記欠陥画素を識別するための識別値に置き換える識別値置き換え部と、
　前記欠陥画素の画素値が前記識別値に置き換えられた前記画像データを符号化し、ビットストリームを生成する符号化部と
　を備える画像処理装置。
　（５２）　前記識別値は、予め定められた所定の固定値である
　（５１）に記載の画像処理装置。
　（５３）　前記識別値は、外部により設定される外部設定値である
　（５１）または（５２）に記載の画像処理装置。
　（５４）　前記画像データにおける、前記欠陥画素でない正常画素の前記識別値と同一の画素値を他の値に変更する正常画素値変更部をさらに備え、
　前記識別値置き換え部は、前記欠陥画素でない正常画素の前記識別値と同一の画素値が他の値に変更された前記画像データにおける前記欠陥画素の画素値を前記識別値に置き換える
　（５１）から（５３）のいずれかに記載の画像処理装置。
　（５５）　前記符号化部は、
　　前記識別値に基づいて、前記欠陥画素の画素値が前記識別値に置き換えられた前記画像データを、前記欠陥画素に関する欠陥情報と、前記画像データとに弁別する弁別部と、
　　前記欠陥情報を符号化し、欠陥情報符号化データを生成する欠陥情報符号化部と、
　　前記画像データを符号化し、画像符号化データを生成する画像符号化部と、
　　前記欠陥情報符号化データと前記画像符号化データとを多重化し、前記ビットストリームを生成する多重化部と
　を備える（５１）から（５４）のいずれかに記載の画像処理装置。
　（５６）　輝度を検出する画素配列において検出された前記輝度の分布を表す画像データにおける、前記画素配列における欠陥画素の画素値を、前記欠陥画素を識別するための識別値に置き換えることと、
　前記欠陥画素の画素値が前記識別値に置き換えられた前記画像データを符号化し、ビットストリームを生成することと
　を含む画像処理方法。
　（５７）　輝度を検出する画素配列において検出された前記輝度の分布を表す画像データにおける、前記画素配列における欠陥画素の画素値を、前記欠陥画素を識別するための識別値に置き換えることと、
　前記欠陥画素の画素値が前記識別値に置き換えられた前記画像データを符号化し、ビットストリームを生成することと
　を含む処理をコンピュータに実行させるためのプログラム。
　１００　撮像装置，　１１０　イメージセンサ，　１１１　輝度検出部，　１１２　欠陥検出部，　１１３　記憶部，　１１４　符号化部，　１２０　信号処理部，　１２１　復号部，　１２２　欠陥補正部，　１３０　バス，　１４０　欠陥検出器，　１５１　欠陥情報変換部，　１５２　画像符号化部，　１５３　多重化部，　１７１　逆多重化部，　１７２　欠陥情報逆変換部，　１７３　画像復号部，　２１１　前処理部，　２２１　後処理部，　２３１　正常画素値偏光部，　２３２　識別値置き換え部，　２４１　周辺参照値置き換え部，　２５１　モード選択部，　３１１　正常画素値変更部，　３１２　識別値置き換え部，　３１３　符号化部，　３２１　弁別部，　３２２　欠陥情報符号化部，　３２３　画像符号化部，　３２４　多重化部，　３３１　逆多重化部，　３３２　欠陥情報復号部，　３３３　画像復号部，　５００　画像処理システム，　５１１　撮像装置，　５１２　符号化装置，　５１３　復号装置，　５１４　信号処理装置、　５２０　ネットワーク，　９００　コンピュータ

Claims (20)

  1. 　輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成する欠陥情報変換部と、
    　前記画素配列において検出された前記輝度の分布を表す画像データを符号化し、前記伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成する画像符号化部と、
    　前記伝送用欠陥情報と前記画像符号化データとを多重化し、ビットストリームを生成する多重化部と
    　を備える画像処理装置。
  2. 　前記欠陥情報変換部は、前記画像データのピクチャを複数に分割した所定のブロック毎に、前記伝送用欠陥情報を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記ブロックは、前記画像符号化部が前記画像データを符号化する処理単位である符号化ブロックと同一である
    　請求項２に記載の画像処理装置。
  4. 　前記伝送用欠陥情報の形式は、前記画素配列に存在する前記欠陥画素の数に依存する
    　請求項１に記載の画像処理装置。
  5. 　前記伝送用欠陥情報は、前記画素配列に存在する前記欠陥画素の数が少ない程、データ量が少ない
    　請求項４に記載の画像処理装置。
  6. 　前記伝送用欠陥情報は、前記欠陥画素の数を示す第１の情報と、前記欠陥画素の位置を示す第２の情報とを含む
    　請求項４に記載の画像処理装置。
  7. 　前記第１の情報は、前記欠陥画素の数が少ない程短い所定のビットパタンを含む
    　請求項６に記載の画像処理装置。
  8. 　前記第２の情報は、前記欠陥画素の数が所定の基準よりも少ない場合、座標を用いて前記欠陥画素の位置を示す
    　請求項６に記載の画像処理装置。
  9. 　前記第２の情報は、前記欠陥画素の数が所定の基準以上である場合、前記欠陥画素の分布を示すマップにより前記欠陥画素の位置を示す
    　請求項６に記載の画像処理装置。
  10. 　前記伝送用欠陥情報は、欠陥のタイプを示す第３の情報をさらに含む
    　請求項６に記載の画像処理装置。
  11. 　前記画像データに対して所定の前処理を実行する前処理部をさらに備え、
    　前記画像符号化部は、前記前処理が施された前記画像データを符号化し、前記画像符号化データを生成するように構成される
    　請求項１に記載の画像処理装置。
  12. 　前記前処理部は、前記欠陥画素の画素値を、前記欠陥画素に隣接する画素の画素値の複製に置き換える
    　請求項１１に記載の画像処理装置。
  13. 　前記前処理部は、前記欠陥画素の画素値を、前記欠陥画素の周辺画素の画素値に基づく計算値に置き換える
    　請求項１１に記載の画像処理装置。
  14. 　輝度を検出する画素配列における欠陥画素に関する欠陥情報の形式を変換し、伝送用欠陥情報を生成することと、
    　前記画素配列において検出された前記輝度の分布を表す画像データを符号化し、前記伝送用欠陥情報のビットレートに基づいて設定されるビットレートの画像符号化データを生成することと、
    　前記伝送用欠陥情報と前記画像符号化データとを多重化し、ビットストリームを生成することと
    　を含む画像処理方法。
  15. 　ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出する逆多重化部と、
    　前記伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成する欠陥情報逆変換部と、
    　前記伝送用欠陥情報のビットレートに基づいて推定した前記画像符号化データのビットレートを用いて前記画像符号化データを復号し、前記画素配列において検出された前記輝度の分布を表す画像データを生成する画像復号部と
    　を備える画像処理装置。
  16. 　生成された前記画像データに対して所定の後処理を実行する後処理部をさらに備える
    　請求項１５に記載の画像処理装置。
  17. 　前記後処理部は、前記後処理として、前記画像データにおける前記欠陥画素の画素値を、前記欠陥画素を識別するための識別値に置き換える
    　請求項１６に記載の画像処理装置。
  18. 　前記後処理部は、前記後処理として、前記画像データにおける前記欠陥画素の画素値を、前記欠陥画素の周辺画素値を参照して導出される周辺参照値に置き換える
    　請求項１６に記載の画像処理装置。
  19. 　前記後処理部は、適用する前記後処理のモードを選択し、選択した前記モードで前記後処理を実行する
    　請求項１６に記載の画像処理装置。
  20. 　ビットストリームを逆多重化し、伝送用欠陥情報と画像符号化データとを抽出することと、
    　前記伝送用欠陥情報の形式を逆変換し、輝度を検出する画素配列における欠陥画素に関する欠陥情報を生成することと、
    　前記伝送用欠陥情報のビットレートに基づいて推定した前記画像符号化データのビットレートを用いて前記画像符号化データを復号し、前記画素配列において検出された前記輝度の分布を表す画像データを生成することと
    　を含む画像処理方法。
PCT/JP2025/023600 2024-07-17 2025-07-01 画像処理装置および方法 Pending WO2026018671A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024113840 2024-07-17
JP2024-113840 2024-07-17

Publications (1)

Publication Number Publication Date
WO2026018671A1 true WO2026018671A1 (ja) 2026-01-22

Family

ID=98437213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/023600 Pending WO2026018671A1 (ja) 2024-07-17 2025-07-01 画像処理装置および方法

Country Status (1)

Country Link
WO (1) WO2026018671A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104525A (ja) * 2005-10-07 2007-04-19 Matsushita Electric Ind Co Ltd 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置
JP2021061487A (ja) * 2019-10-03 2021-04-15 キヤノン株式会社 画像符号化装置、画像符号化方法
JP2021078008A (ja) * 2019-11-08 2021-05-20 キヤノン株式会社 画像処理装置、画像処理方法及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104525A (ja) * 2005-10-07 2007-04-19 Matsushita Electric Ind Co Ltd 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置
JP2021061487A (ja) * 2019-10-03 2021-04-15 キヤノン株式会社 画像符号化装置、画像符号化方法
JP2021078008A (ja) * 2019-11-08 2021-05-20 キヤノン株式会社 画像処理装置、画像処理方法及び撮像装置

Similar Documents

Publication Publication Date Title
US12231658B2 (en) Image processing device and method
CN111201549B (zh) 信息处理装置和信息处理方法
JP5467141B2 (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
US11943457B2 (en) Information processing apparatus and method
US9113231B2 (en) Changeable block list
KR20200053499A (ko) 정보 처리 장치 및 방법
US20240040152A1 (en) Encoding device and encoding method
JP2019500811A (ja) 画像復号化・符号化方法、復号化・符号化装置
JP2022502955A (ja) ビデオエンコードおよびデコード方法、および装置
US20240338486A1 (en) Systems and methods for privacy protection in video communication systems
US10754242B2 (en) Adaptive resolution and projection format in multi-direction video
JP6065613B2 (ja) 動画像符号化装置
US11902505B2 (en) Video decoding device and video decoding method
KR20240124304A (ko) 포인트 클라우드 압축을 위한 하이브리드 프레임워크
JP2022527882A (ja) ポイントクラウドの処理
WO2026018671A1 (ja) 画像処理装置および方法
US20210375003A1 (en) Image processing apparatus and method
CN114097242B (zh) 信息处理装置和方法
KR20220062556A (ko) 중간 샘플들에 대한 패치들을 사용하는 포인트 클라우드의 인코딩 및 디코딩
US20050100239A1 (en) Image signal processing method, image signal processing apparatus, and image signal processing program
US8270497B2 (en) Complementing bitstream error and decoding
WO2024211955A1 (en) Method, apparatus and system for encoding and decoding a tensor
WO2019167673A1 (ja) 画像処理装置および方法、撮像素子、並びに、撮像装置
US12537944B2 (en) Image processing device and method
AU2023200117B2 (en) Method, apparatus and system for encoding and decoding a tensor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25840622

Country of ref document: EP

Kind code of ref document: A1