WO2022044839A1 - 撮像装置、および画像処理システム - Google Patents

撮像装置、および画像処理システム Download PDF

Info

Publication number
WO2022044839A1
WO2022044839A1 PCT/JP2021/029773 JP2021029773W WO2022044839A1 WO 2022044839 A1 WO2022044839 A1 WO 2022044839A1 JP 2021029773 W JP2021029773 W JP 2021029773W WO 2022044839 A1 WO2022044839 A1 WO 2022044839A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
image processing
image
raw data
sensor
Prior art date
Application number
PCT/JP2021/029773
Other languages
English (en)
French (fr)
Inventor
幹太 安田
直也 羽田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/042,020 priority Critical patent/US20240015409A1/en
Publication of WO2022044839A1 publication Critical patent/WO2022044839A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to an image pickup device suitable for a stacked image sensor and an image processing system.
  • Japanese Unexamined Patent Publication No. 2017-135760 Japanese Unexamined Patent Publication No. 2011-166219 Japanese Unexamined Patent Publication No. 2018-129753 International Publication No. 2015/064202
  • the image pickup apparatus has a light receiving unit that outputs a pixel signal corresponding to incident light, and is laminated on a sensor layer and a sensor layer that outputs RAW data based on the pixel signal.
  • An image processing circuit that performs at least a part of the preprocessing performed before the demosaic processing on the RAW data from, and a encoder that encodes the RAW data after the preprocessing by the image processing circuit. It is provided with a logic circuit layer having the above.
  • the image processing system includes an image pickup device that encodes and outputs RAW data based on a pixel signal, and a player that decodes and reproduces the RAW data encoded by the image pickup device.
  • the image pickup device has a light receiving unit that outputs a pixel signal according to the incident light, and is laminated on a sensor layer that outputs RAW data based on the pixel signal and a sensor layer, and demosaic processing is performed on the RAW data from the sensor layer.
  • a logic circuit layer having a pre-stage image processing circuit that performs at least a part of pre-processing among a plurality of pre-processing performed before, and a encoder that encodes RAW data after pre-processing by the pre-processing image processing circuit. To prepare for.
  • the image pickup apparatus or the image processing system according to the embodiment of the present disclosure, among the plurality of preprocessing performed before the demosaic processing on the RAW data from the sensor layer in the logic circuit layer laminated on the sensor layer. At least a part of preprocessing is performed, and the RAW data after the preprocessing is encoded and output.
  • FIG. 1 shows a configuration example of an image processing system according to a comparative example.
  • the image processing system transmits the coded data of the moving image encoded by the camera system 101 as an image pickup device to the player 102 via the network 103, decodes the image, and obtains the image. It is a network camera system that reproduces.
  • the camera system 101 includes an image sensor 110, an image processing circuit 113, a moving image encoder 114, a network interface 115, and an auxiliary sensor 116.
  • the image sensor 110 has a light receiving unit 111 and an A (analog) / D (digital) conversion circuit 112.
  • the light receiving unit 111 outputs a pixel signal corresponding to the incident light incident through a photographing lens (not shown).
  • the light receiving unit 111 has a photoelectric conversion element such as a photodiode, and has a plurality of pixels.
  • the light receiving unit 111 is a solid-state image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the A / D conversion circuit 112 performs A / D conversion of the pixel signal from the light receiving unit 111, and outputs RAW data of the moving image based on the pixel signal.
  • the auxiliary sensor 116 outputs the sensor information to the image processing circuit 113.
  • the auxiliary sensor 116 is, for example, a gyro sensor or the like, and outputs, for example, posture data as sensor information to the image processing circuit 113.
  • the image processing circuit 113 performs various image processing on the RAW data from the image sensor 110 to generate Y / C data.
  • the moving image encoder 114 outputs the encoded data in which the Y / C data from the image processing circuit 113 is encoded.
  • the network interface 115 transmits the coded data output from the moving image encoder 114 to the player 102 via the network 103.
  • the player 102 includes a network interface 121 and a moving image decoder 122.
  • the network interface 121 receives the coded data transmitted from the camera system 101 and outputs it to the moving image decoder 122.
  • the moving image decoder 122 decodes the coded data.
  • FIG. 2 shows a configuration example of the image processing circuit 113 in the camera system 101 of the image processing system according to the comparative example.
  • the image processing circuit 113 includes a black level correction circuit 31, a grid defect correction circuit 32, a noise reduction circuit 33, and an AE (Auto Exposure) / AWB (Auto White Balance) detection circuit 34 as circuits for processing RAW data. And a white balance adjusting circuit 35 and a demosaic circuit 36.
  • the image processing circuit 113 further includes a linear matrix circuit 41, a gamma correction circuit 42, and a Y / C conversion circuit 43 as circuits for processing RGB data.
  • the image processing circuit 113 further includes a sharpness processing circuit 51, a chroma processing circuit 52, and a correction circuit 53 as circuits for processing Y / C data.
  • the black level correction circuit 31 performs a clamping process for adjusting the black level to the RAW data.
  • the lattice defect correction circuit 32 performs defect correction processing for correcting the pixel signal of the defective pixel in the light receiving unit 111 with respect to the RAW data.
  • the noise reduction circuit 33 performs a process of removing noise components from the RAW data.
  • the AE / AWB detection circuit 34 performs detection processing on the RAW data.
  • the AE / AWB detection circuit 34 includes an exposure detection circuit and a white balance detection circuit.
  • the exposure detection circuit performs detection processing for performing exposure control (exposure compensation) of the image sensor 110.
  • the white balance detection circuit performs detection processing for adjusting the white balance.
  • the white balance adjustment circuit 35 adjusts the white balance of the RAW data based on the AWB detection information detected by the white balance detection circuit of the AE / AWB detection circuit 34.
  • the demosaic circuit 36 performs demosaic processing on the RAW data and generates RGB data. For example, when the pixels of the light receiving unit 111 are in a Bayer array, since each pixel has information of only one color, an RGB plane signal having information of three colors of RGB per pixel is generated as RGB data.
  • the linear matrix circuit 41 performs matrix calculation processing on RGB data so as to improve color reproducibility.
  • the gamma correction circuit 42 performs gamma correction processing on the RGB data.
  • the Y / C conversion circuit 43 performs a process of converting RGB data into Y / C data including a Y (luminance) signal and a C (chroma) signal.
  • the sharpness processing circuit 51 performs sharpness processing on the Y signal.
  • the chroma processing circuit 52 performs chroma processing on the C signal.
  • the correction circuit 53 performs image correction processing on the Y / C data that has undergone sharpness processing and chroma processing.
  • the correction circuit 53 includes a lens distortion correction circuit 54 and a camera shake correction circuit 55.
  • the lens distortion correction circuit 54 performs a process of correcting lens distortion of an image caused by a photographing lens (not shown).
  • the image stabilization circuit 55 performs image stabilization processing based on, for example, posture data from the auxiliary sensor 116.
  • the image pickup device can be miniaturized, and power consumption can be suppressed by reducing extra signal processing between the light receiving unit and the logic circuit.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2017-135760
  • a coding circuit is included in the logic circuit of the stacked image sensor, and the signal band between the light receiving unit and the logic circuit is reduced.
  • the limited size logic circuit of the stacked image sensor includes all the circuits of the image processing circuit 113 and the moving image encoder 114 in the configuration of the image pickup apparatus according to the comparative examples shown in FIGS. 1 and 2. Then, the circuit area becomes large and the power consumption also becomes large.
  • FIG. 3 shows a configuration example of an image processing system according to the first embodiment of the present disclosure.
  • the image processing system transmits the coded data of the moving image encoded by the camera system 1 as an image pickup device to the player 2 via the network 3 to decode the image, and obtains the image. It is a network camera system that plays back.
  • the camera system 1 includes a stacked image sensor 10 and a network interface 17.
  • FIG. 4 shows an example of the laminated structure of the laminated image sensor 10.
  • the laminated image sensor 10 has a multilayer board structure in which a sensor layer 10A and a logic circuit layer 10B are laminated.
  • the sensor layer 10A and the logic circuit layer 10B are electrically connected by, for example, vias.
  • the sensor layer 10A has a light receiving unit 11 and an A / D conversion circuit 12.
  • the light receiving unit 11 outputs a pixel signal corresponding to the incident light incident through a photographing lens (not shown).
  • the light receiving unit 11 has a photoelectric conversion element such as a photodiode, and has a plurality of pixels.
  • the light receiving unit 11 is a solid-state image sensor such as a CCD or CMOS.
  • the A / D conversion circuit 12 performs A / D conversion of the pixel signal from the light receiving unit 11 and outputs RAW data of the moving image based on the pixel signal.
  • the logic circuit layer 10B has an image processing circuit 13, a moving image encoder 14, an auxiliary sensor 16, and an output interface 15.
  • the auxiliary sensor 16 outputs the sensor information to the moving image encoder 14.
  • the auxiliary sensor 16 is, for example, a gyro sensor or the like, and outputs, for example, posture data as sensor information to the moving image encoder 14.
  • the sensor information is used as control data for performing image correction processing performed after decoding the RAW data in the player 2.
  • the image processing circuit 13 performs at least a part of the preprocessing of the plurality of preprocessing performed before the demosaic processing on the RAW data from the sensor layer 10A.
  • the image processing circuit 13 moves the RAW data after a part of the demosaic processing is preprocessed and the control data for performing the image correction processing performed after the RAW data is decoded in the player 2. It is output to the image encoder 14.
  • the image processing circuit 13 includes a white balance detection circuit (AE / AWB detection circuit 34) that performs detection processing for adjusting white balance as a part of preprocessing. As shown in FIG.
  • the image processing circuit 13 receives detection information including white balance detection information (AWB detection information) for adjusting the white balance detected by the white balance detection circuit as control data. Output. Further, as shown in FIG. 5, which will be described later, the image processing circuit 13 outputs information regarding lens distortion of an image caused by a photographing lens (not shown) and information including shading information of the image as control data.
  • AVB detection information white balance detection information
  • the moving image encoder 14 encodes the RAW data after preprocessing by the image processing circuit 13 and the control data from the image processing circuit 13 and the auxiliary sensor 16 and outputs them to the network interface 17 via the output interface 15. .
  • the moving image encoder 14 generates stream data including RAW data in which control data is superimposed on a header area and outputs the stream data as encoded data.
  • the network interface 17 transmits the coded data output from the moving image encoder 14 via the output interface 15 to the player 2 via the network 3.
  • the player 2 includes a network interface 21, a moving image decoder 22, and an image processing circuit 23.
  • the network interface 21 receives the coded data transmitted from the camera system 1 and outputs it to the moving image decoder 22.
  • the moving image decoder 22 decodes the RAW data encoded by the camera system 1 and the control data and outputs them to the image processing circuit 23.
  • FIG. 5 shows an example of a configuration of an image processing circuit 13 in the camera system 1 of the image processing system according to the first embodiment.
  • FIG. 6 shows an example of a configuration of an image processing circuit 23 in the player 2 of the image processing system according to the first embodiment.
  • a plurality of circuits included in the image processing circuit 113 in the camera system 101 in the comparative examples shown in FIGS. 1 and 2 are reproduced with the image processing circuit 13 in the camera system 1.
  • the configuration is divided into the image processing circuit 23 in the machine 2.
  • the image processing circuit 13 in the camera system 1 corresponds to a specific example of the "pre-stage image processing circuit” in the technique of the present disclosure.
  • the image processing circuit 23 in the player 2 corresponds to a specific example of the "post-stage image processing circuit” in the technique of the present disclosure.
  • the image processing circuit 13 as the pre-stage image processing circuit includes a black level correction circuit 31, a grid defect correction circuit 32, a noise reduction circuit 33, and an AE / AWB detection circuit 34. As a result, the image processing circuit 13 performs processing up to the detection processing by the AE / AWB detection circuit 34 among the plurality of preprocessing performed before the demodulation processing on the RAW data from the sensor layer 10A.
  • the image processing circuit 23 as a post-stage image processing circuit includes a white balance adjustment circuit 35, a demosaic circuit 36, a linear matrix circuit 41, a gamma correction circuit 42, a Y / C conversion circuit 43, and a sharpness processing circuit 51. It has a chroma processing circuit 52 and a correction circuit 53.
  • the image processing circuit 23 performs the white balance adjustment processing by the white balance adjustment circuit 35 among the plurality of preprocessing performed before the demosaic processing on the RAW data. Further, the image processing circuit 23 performs demosaic processing on the RAW data by the demosaic circuit 36, generates RGB data, and then converts it into Y / C data, and corrects the image on the Y / C data. conduct.
  • the white balance adjustment circuit 35 performs white balance detection information (AWB detection information) included in the control data for the RAW data decoded by the moving image decoder 22 as preprocessing for demosaic processing. ) Is used for white balance adjustment processing.
  • ABB detection information included in the control data for the RAW data decoded by the moving image decoder 22 as preprocessing for demosaic processing.
  • the demosaic circuit 36 performs demosaic processing on the RAW data decoded by the moving image decoder 22.
  • the correction circuit 53 performs image correction processing on the image data (Y / C data) after demosaic processing based on the sensor information included in the control data, information on lens distortion, image shading information, and the like.
  • the sensor layer 10A and the logic circuit layer 10B are laminated on the stacked image sensor 10.
  • the logic circuit layer 10B includes an image processing circuit 13 that performs a part of preprocessing before demosaic processing on the RAW data, and a moving image encoder 14 that encodes the RAW data that has been partially preprocessed. , Auxiliary sensor 16 and the like. Since the moving image encoder 14 is mounted on the stacked image sensor 10, stream data as encoded data is directly output from the stacked image sensor 10.
  • an image processing circuit in an image pickup device various image processing is performed on RAW data output from an image sensor to convert it into Y / C data, which is a standard input format for image coding.
  • the image processing circuit 13 as the pre-stage image processing circuit, up to the AE / AWB detection circuit 34 that performs the detection processing that requires feedback to the sensor layer 10A. Perform minimal processing.
  • the pre-stage image processing circuit can be minimized, and the limited area of the logic circuit layer 10B can be efficiently used.
  • control data (lens distortion, shading information) that does not fluctuate with time in the system, control data that fluctuates for each frame (detection information, sensor information), and the like are coded in moving image. It is output to the vessel 14.
  • the moving image encoder 14 compresses the RAW data from the image processing circuit 13 into a moving image, generates a stream, and outputs it as encoded data.
  • the control data (lens distortion, shading information, detection information, sensor information, etc.) required for image processing by the image processing circuit 23 of the player 2 is superimposed on the user data portion of the stream header, for example.
  • FIG. 7 shows an example of stream data.
  • FIG. 7 shows an MPEG (Moving Picture Experts Group) stream as an example of stream data.
  • the stream data includes an I picture for intra-encoding and a P-picture for inter-encoding.
  • a sequence header is placed at the beginning of the stream data.
  • a picture header is placed at the beginning of each picture.
  • the sequence header and the picture header include a user data area.
  • a header that holds information that is invariant in a sequence and a header (picture header) that holds information that changes for each picture are in the stream as shown in FIG. It is usually placed in.
  • Each header has a user data area (private header) that can be defined and used by the user for each application.
  • the moving image encoder 14 generates stream data including RAW data in which control data is superimposed on the header area, and outputs the stream data as encoded data.
  • control data it is desirable to arrange the data that does not change with time such as lens distortion and shading information in the user data area of the sequence header. Further, it is desirable to arrange information that changes for each frame, such as detection information and sensor information (posture data, etc.), in the user data area of the picture header.
  • the sequence header is often placed in front of each I-picture, which is the entry point for playback, in order to support playback from the middle of the stream.
  • the stream data output from the camera system 1 is transmitted to the player 2 via the network 3, decoded, and image-processed by the image processing circuit 23 on the player 2 side, and then displayed on a display or the like. Is displayed.
  • the moving image decoder 22 of the player 2 takes out the control data from the header in the stream and supplies the control data together with the RAW data to the image processing circuit 23 in the subsequent stage.
  • the processing performed by the image processing circuit 13 (pre-stage image processing circuit) mounted on the logic circuit layer 10B of the stacked image sensor 10 is limited to some pre-processing. Therefore, the circuit area mounted on the logic circuit layer 10B can be reduced. Therefore, it can be mounted in a limited area and power consumption can be suppressed.
  • the image processing circuit 23 (post-stage image processing circuit) on the player 2 side performs processing other than the image processing performed by the pre-stage image processing circuit. Most of the large-scale image processing process can be offloaded to the player 2 side, and the power consumption of the camera device can be reduced.
  • control data obtained by the logic circuit layer 10B of the stacked image sensor 10 is superimposed on the header area of the stream data, so that the player 2
  • the image processing process is performed in the image processing circuit 23 (post-stage image processing circuit) on the side, it becomes easy to associate the control data with the frame to be image processed.
  • control data includes the sensor information such as the attitude data of the auxiliary sensor 16
  • the image processing circuit 23 on the player 2 side takes out the attitude data or the like from the header area of the stream data and corrects the camera shake. It becomes possible.
  • shifting the heavy processing load functions such as image stabilization from the camera device side to the playback device side it is possible to reduce the power consumption of the camera device side.
  • the RAW data encoded in the camera system 1 is transmitted to the player 2 via the network 3 for decoding, and the image is reproduced.
  • the configuration of the image processing system is not limited to this.
  • the RAW data encoded in the camera system 1 may be recorded on a recording medium, and the RAW data recorded on the recording medium may be decoded by the player 2 to reproduce the image.
  • the processing up to the processing by the AE / AWB detection circuit 34 is performed by the pre-stage image processing circuit (image processing circuit 13), and white.
  • the configuration is such that the processing after the balance adjustment circuit 35 is performed by the post-stage image processing circuit (image processing circuit 23), but the configuration of the pre-stage image processing circuit and the post-stage image processing circuit is not limited to this.
  • the pre-stage image processing circuit may be configured to perform processing prior to the processing by the AE / AWB detection circuit 34.
  • the image processing circuit may be configured to perform processing before the processing by the demodulation circuit 36 and after the processing by the AE / AWB detection circuit 34.
  • the technique according to the present disclosure is not limited to the moving image, but also in the case of generating and processing a still image. Applicable.
  • this technology can also have the following configuration.
  • the present technology having the following configuration, in the logic circuit layer laminated on the sensor layer, at least a part of the preprocessing performed before the demosaic processing on the RAW data from the sensor layer is performed. Since the RAW data after the preprocessing is encoded and output, it is possible to reduce the size and power consumption of the circuit.
  • a sensor layer having a light receiving unit that outputs a pixel signal corresponding to incident light and outputting RAW data based on the pixel signal, and a sensor layer.
  • An image processing circuit that is laminated on the sensor layer and performs at least a part of preprocessing among a plurality of preprocessings that are performed before demosaic processing on the RAW data from the sensor layer, and the preprocessing by the image processing circuit.
  • An image pickup apparatus including a logic circuit layer having a encoder for encoding the processed RAW data.
  • the image processing circuit includes control data for performing image correction processing performed after decoding the RAW data encoded by the encoder, and the RAW data after the preprocessing by the image processing circuit. And output, The image pickup apparatus according to (1) or (2) above, wherein the encoder encodes and outputs the RAW data and the control data. (4) The image pickup apparatus according to (3) above, wherein the encoder generates and outputs stream data including the RAW data in which the control data is superimposed on the header area. (5) The image processing circuit includes a white balance detection circuit that performs detection processing for adjusting the white balance as a part of the preprocessing, and the control data is the white balance detected by the white balance detection circuit. The image pickup apparatus according to (3) or (4) above, which includes white balance detection information for adjusting the above.
  • the logic circuit layer further has an auxiliary sensor.
  • the image pickup apparatus according to any one of (3) to (5) above, wherein the auxiliary sensor outputs sensor information as control data to the encoder.
  • An image pickup device that encodes and outputs RAW data based on pixel signals, and Includes a player that decodes and reproduces the RAW data encoded by the image pickup device.
  • the image pickup device A sensor layer having a light receiving unit that outputs the pixel signal according to the incident light and outputting the RAW data based on the pixel signal.
  • the pre-stage image processing circuit that is laminated on the sensor layer and performs at least a part of the pre-processing of the plurality of pre-processing performed before the demosaic processing on the RAW data from the sensor layer, and the pre-stage image processing circuit.
  • An image processing system including a logic circuit layer having a encoder for encoding the RAW data after the preprocessing.
  • the player is A decoder that decodes the RAW data encoded by the image pickup device, and
  • the pre-stage image processing circuit includes control data for performing image correction processing performed after decoding the RAW data encoded by the encoder, and the pre-processing after the pre-processing by the pre-stage image processing circuit. Outputs RAW data and The encoder encodes and outputs the RAW data and the control data, and outputs the code.
  • the pre-stage image processing circuit includes a white balance detection circuit that performs detection processing for adjusting white balance as a part of the pre-processing, and the control data is the white detected by the white balance detection circuit.
  • the post-stage image processing circuit includes a white balance adjustment circuit that performs white balance adjustment processing on the RAW data decoded by the decoder based on the white balance detection information as preprocessing of the demosaic processing. Further including the image processing system according to (9) above. (11)
  • the logic circuit layer further has an auxiliary sensor.
  • the auxiliary sensor outputs sensor information as the control data to the encoder and outputs the sensor information to the encoder.
  • the subsequent image processing circuit further includes a correction circuit that corrects an image on the image data after the demosaic processing by the demosaic circuit based on the sensor information by the auxiliary sensor (9) or (10). ) Described in the image processing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示の撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくＲＡＷデータを出力するセンサ層と、センサ層に積層され、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、画像処理回路による前処理後のＲＡＷデータを符号化する符号化器とを有するロジック回路層とを備える。

Description

撮像装置、および画像処理システム
　本開示は、積層型イメージセンサに好適な撮像装置、および画像処理システムに関する。
　受光部を含むセンサ層と前記受光部からの画像信号に対する画像処理を行うロジック回路層とが積層された構造を持つ積層型イメージセンサがある（例えば特許文献１参照）。また、イメージセンサから出力されたＲＡＷデータを符号化する技術がある（例えば特許文献２～４参照）。一方、撮像装置においては、例えば、イメージセンサから出力されたＲＡＷデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるＹ（輝度）／Ｃ（クロマ）データに変換し、これを符号化するのが通常である。
特開２０１７－１３５７６０号公報 特開２０１１－１６６２１９号公報 特開２０１８－１２９７５３号公報 国際公開第２０１５／０６４４０２号
　積層型イメージセンサにおけるロジック回路層に、画像処理および画像符号化を行う回路をすべて積載してしまうと、回路面積が大きくなり、また消費電力も大きくなってしまう。
　回路の小型化と低消費電力化とを行うことが可能な撮像装置、および画像処理システムを提供することが望ましい。
　本開示の一実施の形態に係る撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくＲＡＷデータを出力するセンサ層と、センサ層に積層され、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、画像処理回路による前処理後のＲＡＷデータを符号化する符号化器とを有するロジック回路層とを備える。
　本開示の一実施の形態に係る画像処理システムは、画素信号に基づくＲＡＷデータを符号化して出力する撮像装置と、撮像装置によって符号化されたＲＡＷデータを復号化して再生する再生機とを含み、撮像装置は、入射光に応じた画素信号を出力する受光部を有し、画素信号に基づくＲＡＷデータを出力するセンサ層と、センサ層に積層され、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前段画像処理回路による前処理後のＲＡＷデータを符号化する符号化器とを有するロジック回路層とを備える。
　本開示の一実施の形態に係る撮像装置、または画像処理システムでは、センサ層に積層されたロジック回路層において、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のＲＡＷデータを符号化して出力する。
比較例に係る画像処理システムの一構成例を示すブロック図である。 比較例に係る画像処理システムのカメラシステムにおける画像処理回路の一構成例を示すブロック図である。 本開示の第１の実施の形態に係る画像処理システムの一構成例を示すブロック図である。 積層型イメージセンサの積層構造の一例を示す構成図である。 第１の実施の形態に係る画像処理システムのカメラシステムにおける画像処理回路の一構成例を示すブロック図である。 第１の実施の形態に係る画像処理システムの再生機における画像処理回路の一構成例を示すブロック図である。 ストリームデータの一例を示す説明図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　０．比較例（図１～図２）
　　０．１　比較例に係る撮像装置、および画像処理システムの構成
　　０．２　課題
　１．第１の実施の形態（図３～図７）
　　１．１　構成
　　１．２　動作
　　１．３　効果
　　１．４　変形例
　２．その他の実施の形態
 
＜０．比較例＞
［０．１　比較例に係る撮像装置、および画像処理システムの構成］
　イメージセンサで取り込まれた動画像を符号化した符号化データを記録媒体に記録、あるいはネットワークを利用して再生機に伝送する画像処理システムがある。このような画像処理システムでは、イメージセンサにより動画像のＲＡＷデータを生成し、生成されたＲＡＷデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるＹ／Ｃデータに変換した後、そのＹ／Ｃデータを符号化するのが通常である。
　図１は、比較例に係る画像処理システムの一構成例を示している。
　図１に示した比較例に係る画像処理システムは、撮像装置としてのカメラシステム１０１において符号化された動画像の符号化データを、ネットワーク１０３を介して再生機１０２に伝送して復号化し、画像を再生するネットワークカメラシステムである。
　カメラシステム１０１は、イメージセンサ１１０と、画像処理回路１１３と、動画像符号化器１１４と、ネットワークインタフェース１１５と、補助センサ１１６とを備えている。
　イメージセンサ１１０は、受光部１１１と、Ａ（アナログ）／Ｄ（デジタル）変換回路１１２とを有している。
　受光部１１１は、図示しない撮影レンズを介して入射した入射光に応じた画素信号を出力する。受光部１１１は、例えばフォトダイオード等の光電変換素子を有し、複数の画素を有する。受光部１１１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子である。Ａ／Ｄ変換回路１１２は、受光部１１１からの画素信号のＡ／Ｄ変換を行い、画素信号に基づく動画像のＲＡＷデータを出力する。
　補助センサ１１６は、センサ情報を画像処理回路１１３に出力する。補助センサ１１６は、例えばジャイロセンサ等であり、センサ情報として例えば姿勢データを画像処理回路１１３に出力する。
　画像処理回路１１３は、イメージセンサ１１０からのＲＡＷデータにさまざまな画像処理を行ってＹ／Ｃデータを生成する。
　動画像符号化器１１４は、画像処理回路１１３からのＹ／Ｃデータを符号化した符号化データを出力する。
　ネットワークインタフェース１１５は、動画像符号化器１１４から出力された符号化データをネットワーク１０３を介して再生機１０２に伝送する。
　再生機１０２は、ネットワークインタフェース１２１と、動画像復号化器１２２とを備えている。
　ネットワークインタフェース１２１は、カメラシステム１０１から伝送されてきた符号化データを受信して動画像復号化器１２２に出力する。動画像復号化器１２２は、符号化データを復号化する。
　図２は、比較例に係る画像処理システムのカメラシステム１０１における画像処理回路１１３の一構成例を示している。
　画像処理回路１１３は、ＲＡＷデータに対する処理を行う回路として、黒レベル補正回路３１と、格子欠陥補正回路３２と、ノイズ除去回路３３と、ＡＥ（Auto Exposure）／ＡＷＢ（Auto White Balance）検波回路３４と、ホワイトバランス調整回路３５と、デモザイク回路３６とを有している。
　画像処理回路１１３は、さらに、ＲＧＢデータに対する処理を行う回路として、リニアマトリックス回路４１と、ガンマ補正回路４２と、Ｙ／Ｃ変換回路４３とを有している。
　画像処理回路１１３は、さらに、Ｙ／Ｃデータに対する処理を行う回路として、シャープネス処理回路５１と、クロマ処理回路５２と、補正回路５３とを有している。
　黒レベル補正回路３１は、ＲＡＷデータに対して、黒レベルを合わせるためのクランプ処理を行う。
　格子欠陥補正回路３２は、ＲＡＷデータに対して、受光部１１１における欠陥画素の画素信号を補正する欠陥補正処理を行う。
　ノイズ除去回路３３は、ＲＡＷデータに対して、ノイズ成分を除去する処理を行う。
　ＡＥ／ＡＷＢ検波回路３４は、ＲＡＷデータに対する検波処理を行う。ＡＥ／ＡＷＢ検波回路３４は、露光検波回路と、ホワイトバランス検波回路とを含む。露光検波回路は、イメージセンサ１１０の露光制御（露出補正）を行うための検波処理を行う。ホワイトバランス検波回路は、ホワイトバランスの調整を行うための検波処理を行う。
　ホワイトバランス調整回路３５は、ＲＡＷデータに対して、ＡＥ／ＡＷＢ検波回路３４のホワイトバランス検波回路において検波されたＡＷＢ検波情報に基づいてホワイトバランスの調整を行う。
　デモザイク回路３６は、ＲＡＷデータに対してデモザイク処理を行い、ＲＧＢデータを生成する。例えば受光部１１１の画素がＢａｙｅｒ配列である場合、１画素当たり１色の情報しか有していないため、ＲＧＢデータとして、１画素当たりＲＧＢ３色の情報を有するＲＧＢプレーン信号を生成する。
　リニアマトリックス回路４１は、ＲＧＢデータに対して、色再現性が向上するようなマトリックス演算処理を行う。ガンマ補正回路４２は、ＲＧＢデータに対して、ガンマ補正処理を行う。Ｙ／Ｃ変換回路４３は、ＲＧＢデータをＹ（輝度）信号とＣ（クロマ）信号とからなるＹ／Ｃデータに変換する処理を行う。
　シャープネス処理回路５１は、Ｙ信号に対してシャープネス処理を行う。クロマ処理回路５２は、Ｃ信号に対してクロマ処理を行う。
　補正回路５３は、シャープネス処理およびクロマ処理がなされたＹ／Ｃデータに対して画像の補正処理を行う。補正回路５３は、レンズ歪補正回路５４と、手振れ補正回路５５とを有している。レンズ歪補正回路５４は、図示しない撮影レンズに起因する画像のレンズ歪を補正する処理を行う。手振れ補正回路５５は、例えば補助センサ１１６からの姿勢データ等に基づいて、画像の手振れ補正処理を行う。
［０．２　課題］
　図１に示した比較例に係る撮像装置の構成に対して、受光部を含むセンサ層と受光部からの画像信号に対する画像処理を行うロジック回路層とが積層された構造を持つ積層型イメージセンサを用いる構成が考えられる。積層型イメージセンサを使うことにより撮像装置の小型化が可能になり、また受光部とロジック回路間における余分な信号処理が減ることにより消費電力を抑えることができる。例えば特許文献１（特開２０１７－１３５７６０号公報）では、積層型イメージセンサのロジック回路に符号化回路を含め、受光部とロジック回路間の信号帯域を減らしている。
　積層型イメージセンサの限られたサイズのロジック回路に、図１および図２に示した比較例に係る撮像装置の構成おける画像処理回路１１３のすべての回路と動画像符号化器１１４とをすべて含めると、回路面積が大きくなり、また消費電力も大きくなってしまう。
＜１．第１の実施の形態＞
　次に、本開示の第１の実施の形態に係る撮像装置、および画像処理システムについて説明する。なお、以下では、上記比較例に係る撮像装置、および画像処理システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
［１．１　構成］
　図３は、本開示の第１の実施の形態に係る画像処理システムの一構成例を示している。
　第１の実施の形態に係る画像処理システムは、撮像装置としてのカメラシステム１において符号化された動画像の符号化データを、ネットワーク３を介して再生機２に伝送して復号化し、画像を再生するネットワークカメラシステムである。
　カメラシステム１は、積層型イメージセンサ１０と、ネットワークインタフェース１７とを備えている。
　図４は、積層型イメージセンサ１０の積層構造の一例を示している。
　積層型イメージセンサ１０は、センサ層１０Ａと、ロジック回路層１０Ｂとが積層された多層基板構造とされている。センサ層１０Ａとロジック回路層１０Ｂとの間は、例えばビアにより電気的に接続された構造とされている。
　センサ層１０Ａは、受光部１１と、Ａ／Ｄ変換回路１２とを有している。
　受光部１１は、図示しない撮影レンズを介して入射した入射光に応じた画素信号を出力する。受光部１１は、例えばフォトダイオード等の光電変換素子を有し、複数の画素を有する。受光部１１は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子である。Ａ／Ｄ変換回路１２は、受光部１１からの画素信号のＡ／Ｄ変換を行い、画素信号に基づく動画像のＲＡＷデータを出力する。
　ロジック回路層１０Ｂは、画像処理回路１３と、動画像符号化器１４と、補助センサ１６と、出力インタフェース１５とを有している。
　補助センサ１６は、センサ情報を動画像符号化器１４に出力する。補助センサ１６は、例えばジャイロセンサ等であり、センサ情報として例えば姿勢データを動画像符号化器１４に出力する。センサ情報は、再生機２においてＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データとして用いられる。
　画像処理回路１３は、センサ層１０ＡからのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う。画像処理回路１３は、デモザイク処理の一部の前処理が行われた後のＲＡＷデータと、再生機２においてＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データとを動画像符号化器１４に出力する。画像処理回路１３は、後述する図５に示すように、一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路（ＡＥ／ＡＷＢ検波回路３４）を含む。画像処理回路１３は、後述する図５に示すように、制御データとして、ホワイトバランス検波回路により検波されたホワイトバランスの調整を行うためのホワイトバランス検波情報（ＡＷＢ検波情報）等を含む検波情報を出力する。また、画像処理回路１３は、後述する図５に示すように、制御データとして、図示しない撮影レンズに起因する画像のレンズ歪に関する情報や、画像のシェーディング情報を含む情報を出力する。
　動画像符号化器１４は、画像処理回路１３による前処理後のＲＡＷデータと、画像処理回路１３および補助センサ１６からの制御データとを符号化して出力インタフェース１５を介してネットワークインタフェース１７に出力する。動画像符号化器１４は、例えば、後述する図７に示すように、ヘッダ領域に制御データが重畳された、ＲＡＷデータを含むストリームデータを生成して符号化データとして出力する。
　ネットワークインタフェース１７は、出力インタフェース１５を介して動画像符号化器１４から出力された符号化データを、ネットワーク３を介して再生機２に伝送する。
　再生機２は、ネットワークインタフェース２１と、動画像復号化器２２と、画像処理回路２３とを備えている。
　ネットワークインタフェース２１は、カメラシステム１から伝送されてきた符号化データを受信して動画像復号化器２２に出力する。動画像復号化器２２は、カメラシステム１によって符号化されたＲＡＷデータと制御データとを復号化して、画像処理回路２３に出力する。
　図５は、第１の実施の形態に係る画像処理システムのカメラシステム１における画像処理回路１３の一構成例を示している。図６は、第１の実施の形態に係る画像処理システムの再生機２における画像処理回路２３の一構成例を示している。
　第１の実施の形態に係る画像処理システムでは、図１および図２に示した比較例におけるカメラシステム１０１における画像処理回路１１３が備える複数の回路を、カメラシステム１における画像処理回路１３と、再生機２における画像処理回路２３とに分けた構成とされている。
　ここで、カメラシステム１における画像処理回路１３は、本開示の技術における「前段画像処理回路」の一具体例に相当する。再生機２における画像処理回路２３は、本開示の技術における「後段画像処理回路」の一具体例に相当する。
　前段画像処理回路としての画像処理回路１３は、黒レベル補正回路３１と、格子欠陥補正回路３２と、ノイズ除去回路３３と、ＡＥ／ＡＷＢ検波回路３４とを有している。これにより、画像処理回路１３は、センサ層１０ＡからのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、ＡＥ／ＡＷＢ検波回路３４による検波処理までの処理を行う。
　後段画像処理回路としての画像処理回路２３は、ホワイトバランス調整回路３５と、デモザイク回路３６と、リニアマトリックス回路４１と、ガンマ補正回路４２と、Ｙ／Ｃ変換回路４３と、シャープネス処理回路５１と、クロマ処理回路５２と、補正回路５３とを有している。これにより、画像処理回路２３は、ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、ホワイトバランス調整回路３５によるホワイトバランスの調整処理を行う。また、画像処理回路２３は、デモザイク回路３６によってＲＡＷデータに対してデモザイク処理を行い、ＲＧＢデータを生成した後、Ｙ／Ｃデータに変換する処理と、Ｙ／Ｃデータに対する画像の補正処理とを行う。
　画像処理回路２３において、ホワイトバランス調整回路３５は、デモザイク処理の前処理として、動画像復号化器２２によって復号化されたＲＡＷデータに対して、制御データに含まれるホワイトバランス検波情報（ＡＷＢ検波情報）に基づいてホワイトバランス調整処理を行う。
　デモザイク回路３６は、動画像復号化器２２によって復号化されたＲＡＷデータに対しデモザイク処理を行う。
　補正回路５３は、制御データに含まれるセンサ情報、レンズ歪に関する情報、画像のシェーディング情報等に基づいて、デモザイク処理後の画像データ（Ｙ／Ｃデータ）に対して画像の補正処理を行う。
［１．２　動作］
　第１の実施の形態に係る撮像装置としてのカメラシステム１では、積層型イメージセンサ１０に、センサ層１０Ａとロジック回路層１０Ｂとが積層されている。ロジック回路層１０Ｂには、ＲＡＷデータに対してデモザイク処理前の一部の前処理を行う画像処理回路１３と、一部の前処理を行ったＲＡＷデータを符号化する動画像符号化器１４と、補助センサ１６とが含まれる。積層型イメージセンサ１０に動画像符号化器１４が搭載されているため、積層型イメージセンサ１０からは直接、符号化データとしてのストリームデータが出力される。
　通常、撮像装置における画像処理回路では、イメージセンサから出力されたＲＡＷデータにさまざまな画像処理を行って画像符号化の標準入力フォーマットであるＹ／Ｃデータに変換する処理を行う。これに対し、第１の実施の形態に係るカメラシステム１では、前段画像処理回路としての画像処理回路１３において、センサ層１０Ａへのフィードバックが必要な検波処理を行うＡＥ／ＡＷＢ検波回路３４までの最小限の処理を行う。これにより、前段画像処理回路を最小化し、ロジック回路層１０Ｂの限られた領域を効率的に使うことができる。画像処理回路１３からは、ＲＡＷデータの他、システムで時間的に変動しない制御データ（レンズ歪、シェーディング情報）とフレームごとに変動する制御データ（検波情報、センサ情報）などが、動画像符号化器１４に出力される。
　動画像符号化器１４は、画像処理回路１３からのＲＡＷデータを動画像圧縮してストリームを生成し符号化データとして出力する。この際、再生機２の画像処理回路２３による画像処理に必要な制御データ（レンズ歪、シェーディング情報、検波情報、センサ情報など）は、例えば、ストリームのヘッダのユーザデータの部分に重畳される。
　図７は、ストリームデータの一例を示している。
　図７には、ストリームデータの一例として、ＭＰＥＧ（Moving Picture Experts Group）方式のストリームを示す。ストリームデータには、例えば図７に示したように、イントラ符号化を行うＩピクチャと、インター符号化を行うＰピクチャとが含まれる。ストリームデータの先頭にはシーケンスヘッダが配置される。各ピクチャの先頭にはピクチャヘッダが配置される。シーケンスヘッダおよびピクチャヘッダには、ユーザデータ領域が含まれる。
　ＭＰＥＧなどの標準的な符号化のシンタックスでは、シーケンスで不変な情報を保持するヘッダ（シーケンスヘッダ）とピクチャごとに変動する情報を保持するヘッダ（ピクチャヘッダ）とが図７のようにストリーム中に配置されているのが普通である。各々のヘッダにはアプリケーションごとにユーザが定義して使用できるユーザデータ領域（プライベートヘッダ）が存在する。
　動画像符号化器１４は、図７に示すように、ヘッダ領域に制御データが重畳された、ＲＡＷデータを含むストリームデータを生成して符号化データとして出力する。
　例えば、制御データのうち、レンズ歪、およびシェーディング情報などの時間的に変動しないデータはシーケンスヘッダのユーザデータ領域に配置することが望ましい。また、検波情報、センサ情報（姿勢データ等）等のフレームごとに変化する情報は、ピクチャヘッダのユーザデータ領域に配置することが望ましい。実際の運用においては、ストリームの途中からの再生に対応するために、シーケンスヘッダは再生のエントリーポイントとなるＩピクチャごとにその前に配置されることが多い。このように配置することで、後段画像処理回路としての再生機２側の画像処理回路２３において、ＲＡＷデータのフレームとそれを処理するのに必要な制御データとの対応付けが容易になる。
　カメラシステム１から出力されたストリームデータは、ネットワーク３を介して再生機２に伝送された後、復号化され、再生機２側の画像処理回路２３による画像処理が行われた後、ディスプレイなどに表示される。この際、再生機２の動画像復号化器２２はストリーム中のヘッダから、制御データを取り出し、ＲＡＷデータと共に制御データを後段の画像処理回路２３に供給する。
［１．３　効果］
　以上説明したように、第１の実施の形態に係る撮像装置、および画像処理システムによれば、センサ層１０Ａに積層されたロジック回路層１０Ｂにおいて、センサ層１０ＡからのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のＲＡＷデータを符号化して出力するようにしたので、回路の小型化と低消費電力化とを行うことが可能となる。
　また、第１の実施の形態に係る撮像装置によれば、積層型イメージセンサ１０のロジック回路層１０Ｂに搭載する画像処理回路１３（前段画像処理回路）で行う処理を一部の前処理に限定しているので、ロジック回路層１０Ｂに搭載する回路面積を小さくできる。このため、限られた面積に実装可能で、かつ、消費電力を抑えることができる。
　また、第１の実施の形態に係る画像処理システムによれば、前段画像処理回路で行う画像処理以外の処理を再生機２側の画像処理回路２３（後段画像処理回路）で行うようにしたので、規模の大きな画像処理プロセスの大半を再生機２側にオフロードすることが可能となり、カメラデバイスの消費電力を削減することができる。
　また、第１の実施の形態に係る画像処理システムによれば、積層型イメージセンサ１０のロジック回路層１０Ｂで得られた制御データをストリームデータのヘッダ領域に重畳するようにしたので、再生機２側の画像処理回路２３（後段画像処理回路）において画像処理プロセスを行う際に、制御データと画像処理を行うフレームとの対応付けが容易になる。
　また、制御データに、補助センサ１６の姿勢データ等のセンサ情報を含めるようにしたので、再生機２側の画像処理回路２３において、姿勢データ等をストリームデータのヘッダ領域から取り出して手振れ補正を行うことが可能となる。手振れ補正などの処理負荷の重い機能をカメラデバイス側から再生デバイス側に移すことにより、カメラデバイス側の消費電力を削減することができる。また、再生デバイスの能力に応じて手振れ補正を行う／行わないという選択が可能となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
［１．４　変形例］
　上記第１の実施の形態では、画像処理システムの例として、カメラシステム１において符号化されたＲＡＷデータを、ネットワーク３を介して再生機２に伝送して復号化し、画像を再生するネットワークカメラシステムの例を示したが、画像処理システムの構成はこれに限定されない。例えば、カメラシステム１において符号化されたＲＡＷデータを記録媒体に記録し、その記録媒体に記録されたＲＡＷデータを再生機２で復号化して画像を再生するような構成であってもよい。
　上記第１の実施の形態では、ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、ＡＥ／ＡＷＢ検波回路３４による処理までを前段画像処理回路（画像処理回路１３）で行い、ホワイトバランス調整回路３５以降の処理を後段画像処理回路（画像処理回路２３）で行う構成にしたが、前段画像処理回路と後段画像処理回路との構成はこれに限定されない。例えば、ＡＥ／ＡＷＢ検波回路３４による処理よりも前の処理までを前段画像処理回路で行う構成であってもよい。または、デモザイク回路３６による処理よりも前で、かつＡＥ／ＡＷＢ検波回路３４による処理よりも後の処理を前段画像処理回路で行う構成であってもよい。
　また、上記第１の実施の形態では、動画像の生成および処理を行う場合を例に説明したが、本開示による技術は、動画像に限らず、静止画の生成および処理を行う場合にも適用可能である。
＜２．その他の実施の形態＞
　本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、センサ層に積層されたロジック回路層において、センサ層からのＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行い、その前処理後のＲＡＷデータを符号化して出力するようにしたので、回路の小型化と低消費電力化とを行うことが可能となる。
（１）
　入射光に応じた画素信号を出力する受光部を有し、前記画素信号に基づくＲＡＷデータを出力するセンサ層と、
　前記センサ層に積層され、前記センサ層からの前記ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、前記画像処理回路による前記前処理後の前記ＲＡＷデータを符号化する符号化器とを有するロジック回路層と
　を備える
　撮像装置。
（２）
　前記画像処理回路は、前記一部の前処理として、前記受光部の露光制御を行うための検波処理を行う露光検波回路、を含む
　上記（１）に記載の撮像装置。
（３）
　前記画像処理回路は、前記符号化器により符号化された前記ＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記画像処理回路による前記前処理後の前記ＲＡＷデータとを出力し、
　前記符号化器は、前記ＲＡＷデータと前記制御データとを符号化して出力する
　上記（１）または（２）に記載の撮像装置。
（４）
　前記符号化器は、ヘッダ領域に前記制御データが重畳された、前記ＲＡＷデータを含むストリームデータを生成して出力する
　上記（３）に記載の撮像装置。
（５）
　前記画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含む
　上記（３）または（４）に記載の撮像装置。
（６）
　前記ロジック回路層は、補助センサをさらに有し、
　前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力する
　上記（３）ないし（５）のいずれか１つに記載の撮像装置。
（７）
　画素信号に基づくＲＡＷデータを符号化して出力する撮像装置と、
　前記撮像装置によって符号化された前記ＲＡＷデータを復号化して再生する再生機と
　を含み、
　前記撮像装置は、
　入射光に応じた前記画素信号を出力する受光部を有し、前記画素信号に基づく前記ＲＡＷデータを出力するセンサ層と、
　前記センサ層に積層され、前記センサ層からの前記ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前記前段画像処理回路による前記前処理後の前記ＲＡＷデータを符号化する符号化器とを有するロジック回路層と
　を備える
　画像処理システム。
（８）
　前記再生機は、
　前記撮像装置によって符号化された前記ＲＡＷデータを復号化する復号化器と、
　前記復号化器によって復号化された前記ＲＡＷデータに対しデモザイク処理を行うデモザイク回路を含む後段画像処理回路と
　を備える
　上記（７）に記載の画像処理システム。
（９）
　前記撮像装置において、
　前記前段画像処理回路は、前記符号化器により符号化された前記ＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記前段画像処理回路による前記前処理後の前記ＲＡＷデータとを出力し、
　前記符号化器は、前記ＲＡＷデータと前記制御データとを符号化して出力し、
　前記再生機において、
　前記復号化器は、前記撮像装置によって符号化された前記ＲＡＷデータと前記制御データとを復号化する
　上記（８）に記載の画像処理システム。
（１０）
　前記撮像装置において、
　前記前段画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含み、
　前記再生機において、
　前記後段画像処理回路は、前記デモザイク処理の前処理として、前記復号化器によって復号化された前記ＲＡＷデータに対して前記ホワイトバランス検波情報に基づいてホワイトバランス調整処理を行うホワイトバランス調整回路、をさらに含む
　上記（９）に記載画像処理システム。
（１１）
　前記撮像装置において、
　前記ロジック回路層は、補助センサをさらに有し、
　前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力し、
　前記再生機において、
　前記後段画像処理回路は、前記補助センサによる前記センサ情報に基づいて、前記デモザイク回路によるデモザイク処理後の画像データに対して画像の補正処理を行う補正回路、をさらに含む
　上記（９）または（１０）に記載画像処理システム。
　本出願は、日本国特許庁において２０２０年８月２５日に出願された日本特許出願番号第２０２０－１４２０９６号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (11)

  1. 　入射光に応じた画素信号を出力する受光部を有し、前記画素信号に基づくＲＡＷデータを出力するセンサ層と、
    　前記センサ層に積層され、前記センサ層からの前記ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う画像処理回路と、前記画像処理回路による前記前処理後の前記ＲＡＷデータを符号化する符号化器とを有するロジック回路層と
    　を備える
    　撮像装置。
  2. 　前記画像処理回路は、前記一部の前処理として、前記受光部の露光制御を行うための検波処理を行う露光検波回路、を含む
    　請求項１に記載の撮像装置。
  3. 　前記画像処理回路は、前記符号化器により符号化された前記ＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記画像処理回路による前記前処理後の前記ＲＡＷデータとを出力し、
    　前記符号化器は、前記ＲＡＷデータと前記制御データとを符号化して出力する
    　請求項１に記載の撮像装置。
  4. 　前記符号化器は、ヘッダ領域に前記制御データが重畳された、前記ＲＡＷデータを含むストリームデータを生成して出力する
    　請求項３に記載の撮像装置。
  5. 　前記画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含む
    　請求項３に記載の撮像装置。
  6. 　前記ロジック回路層は、補助センサをさらに有し、
    　前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力する
    　請求項３に記載の撮像装置。
  7. 　画素信号に基づくＲＡＷデータを符号化して出力する撮像装置と、
    　前記撮像装置によって符号化された前記ＲＡＷデータを復号化して再生する再生機と
    　を含み、
    　前記撮像装置は、
    　入射光に応じた前記画素信号を出力する受光部を有し、前記画素信号に基づく前記ＲＡＷデータを出力するセンサ層と、
    　前記センサ層に積層され、前記センサ層からの前記ＲＡＷデータに対するデモザイク処理の前に行われる複数の前処理のうち、少なくとも一部の前処理を行う前段画像処理回路と、前記前段画像処理回路による前記前処理後の前記ＲＡＷデータを符号化する符号化器とを有するロジック回路層と
    　を備える
    　画像処理システム。
  8. 　前記再生機は、
    　前記撮像装置によって符号化された前記ＲＡＷデータを復号化する復号化器と、
    　前記復号化器によって復号化された前記ＲＡＷデータに対しデモザイク処理を行うデモザイク回路を含む後段画像処理回路と
    　を備える
    　請求項７に記載の画像処理システム。
  9. 　前記撮像装置において、
    　前記前段画像処理回路は、前記符号化器により符号化された前記ＲＡＷデータを復号化した後に行われる画像の補正処理を行うための制御データと、前記前段画像処理回路による前記前処理後の前記ＲＡＷデータとを出力し、
    　前記符号化器は、前記ＲＡＷデータと前記制御データとを符号化して出力し、
    　前記再生機において、
    　前記復号化器は、前記撮像装置によって符号化された前記ＲＡＷデータと前記制御データとを復号化する
    　請求項８に記載の画像処理システム。
  10. 　前記撮像装置において、
    　前記前段画像処理回路は、前記一部の前処理として、ホワイトバランスの調整を行うための検波処理を行うホワイトバランス検波回路を含み、前記制御データは、前記ホワイトバランス検波回路により検波された前記ホワイトバランスの調整を行うためのホワイトバランス検波情報を含み、
    　前記再生機において、
    　前記後段画像処理回路は、前記デモザイク処理の前処理として、前記復号化器によって復号化された前記ＲＡＷデータに対して前記ホワイトバランス検波情報に基づいてホワイトバランス調整処理を行うホワイトバランス調整回路、をさらに含む
    　請求項９に記載の画像処理システム。
  11. 　前記撮像装置において、
    　前記ロジック回路層は、補助センサをさらに有し、
    　前記補助センサは、前記制御データとしてセンサ情報を前記符号化器に出力し、
    　前記再生機において、
    　前記後段画像処理回路は、前記補助センサによる前記センサ情報に基づいて、前記デモザイク回路によるデモザイク処理後の画像データに対して画像の補正処理を行う補正回路、をさらに含む
    　請求項９に記載の画像処理システム。
PCT/JP2021/029773 2020-08-25 2021-08-12 撮像装置、および画像処理システム WO2022044839A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/042,020 US20240015409A1 (en) 2020-08-25 2021-08-12 Imaging device and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-142096 2020-08-25
JP2020142096A JP2022037781A (ja) 2020-08-25 2020-08-25 撮像装置、および画像処理システム

Publications (1)

Publication Number Publication Date
WO2022044839A1 true WO2022044839A1 (ja) 2022-03-03

Family

ID=80352285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029773 WO2022044839A1 (ja) 2020-08-25 2021-08-12 撮像装置、および画像処理システム

Country Status (3)

Country Link
US (1) US20240015409A1 (ja)
JP (1) JP2022037781A (ja)
WO (1) WO2022044839A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143355A (ja) * 2016-02-08 2017-08-17 キヤノン株式会社 画像符号化装置及び方法及び撮像装置
JP2019071522A (ja) * 2017-10-06 2019-05-09 キヤノン株式会社 撮像装置および制御方法
WO2019142821A1 (ja) * 2018-01-16 2019-07-25 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2019135818A (ja) * 2018-02-05 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873658B2 (en) * 1999-12-20 2005-03-29 Texas Instruments Incorporated Digital still camera system and method
US7545412B2 (en) * 2003-09-09 2009-06-09 Konica Minolta Holdings, Inc. Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
JP6184080B2 (ja) * 2012-11-20 2017-08-23 ソニー株式会社 撮像素子
US10897573B2 (en) * 2018-11-21 2021-01-19 Ricoh Company, Ltd. Image capturing system, terminal and computer readable medium which correct images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143355A (ja) * 2016-02-08 2017-08-17 キヤノン株式会社 画像符号化装置及び方法及び撮像装置
JP2019071522A (ja) * 2017-10-06 2019-05-09 キヤノン株式会社 撮像装置および制御方法
WO2019142821A1 (ja) * 2018-01-16 2019-07-25 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2019135818A (ja) * 2018-02-05 2019-08-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法

Also Published As

Publication number Publication date
US20240015409A1 (en) 2024-01-11
JP2022037781A (ja) 2022-03-09

Similar Documents

Publication Publication Date Title
US11750937B2 (en) Image capturing apparatus and image capturing method
US8106957B2 (en) Image signal processing apparatus, and image signal processing method
JP5231529B2 (ja) ビデオカメラ
US8428120B2 (en) Method and apparatus of Bayer pattern direct video compression
US20080247653A1 (en) Method and apparatus for parallelization of image compression encoders
JP5280448B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路
US8077253B2 (en) Solid-state device having digital signal processing circuit
JP2006148931A (ja) 補色カラーフィルタを採用したＳｏＣカメラシステム
US7924319B2 (en) Signal processing apparatus allowing an increase in pixels without an increase in driving frequency and circuit area
JP4905279B2 (ja) 撮像回路および撮像装置
KR100366738B1 (ko) 촬상장치
JP4121493B2 (ja) デジタルカメラとその信号処理方法及び信号処理装置
WO2022044839A1 (ja) 撮像装置、および画像処理システム
JP2001016598A (ja) カラー撮像素子及び撮像装置
US6677994B1 (en) Image processing apparatus method of the same and camera apparatus
WO2011010431A1 (ja) 画像処理装置、画像処理方法および撮像装置
JP4687454B2 (ja) 画像処理装置および撮像装置
JP5407651B2 (ja) 画像処理装置、画像処理プログラム
US8368782B2 (en) Multiple exposure image pickup apparatus, multiple exposure image pickup method, program, and recording medium
JP5300630B2 (ja) 撮像装置
JP5824341B2 (ja) 撮像装置、記録装置、映像信号処理装置、撮像システム及び映像信号処理プログラム
JP2007228514A (ja) 撮像装置および方法
JP2003224770A (ja) ディジタルスチルカメラ
JP2007124371A (ja) 映像信号処理装置及び方法
JP2007067823A (ja) 撮像圧縮記録再生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861267

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18042020

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21861267

Country of ref document: EP

Kind code of ref document: A1