WO2023068191A1 - 情報処理装置及び情報処理システム - Google Patents

情報処理装置及び情報処理システム Download PDF

Info

Publication number
WO2023068191A1
WO2023068191A1 PCT/JP2022/038353 JP2022038353W WO2023068191A1 WO 2023068191 A1 WO2023068191 A1 WO 2023068191A1 JP 2022038353 W JP2022038353 W JP 2022038353W WO 2023068191 A1 WO2023068191 A1 WO 2023068191A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image signal
section
signal
light
Prior art date
Application number
PCT/JP2022/038353
Other languages
English (en)
French (fr)
Inventor
慶 中川
敦史 鈴木
洋司 崎岡
佑輔 皆川
Original Assignee
ソニーグループ株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023068191A1 publication Critical patent/WO2023068191A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Definitions

  • the present disclosure relates to an information processing device and an information processing system.
  • An information processing device equipped with an imaging device that generates an image of a subject is used.
  • This information processing device is a device that processes an image generated by an imaging device.
  • An imaging element used in this information processing apparatus is configured by arranging pixels having photoelectric conversion elements in a two-dimensional matrix.
  • the imaging device outputs a generated image by repeating exposure for performing photoelectric conversion of light from a subject and reading out from pixels of image signals based on charges generated by the photoelectric conversion.
  • the charge generated by photoelectric conversion during the exposure period is accumulated inside the photoelectric conversion element.
  • the charges accumulated in the photoelectric conversion elements are transferred to the charge holding portion.
  • This charge holding portion can be configured by a floating diffusion layer formed by a diffusion region arranged in a semiconductor substrate on which a photoelectric conversion element is formed.
  • An amplification transistor is connected to this floating diffusion layer to generate a signal corresponding to the charge held in the floating diffusion layer.
  • Such a signal generation method is called a floating diffusion amplifier. Note that the floating diffusion layer is reset by the reset unit to discharge the remaining charges immediately before the charge is transferred.
  • reading is performed sequentially for each row of pixels arranged in a two-dimensional matrix. At this time, pixels arranged in one row are simultaneously read out.
  • a rolling shutter method and a global shutter method are used as methods for generating such an image.
  • the rolling shutter method is a method in which exposure and readout are sequentially performed by shifting the period for each row, and it is a method that can simplify the configuration of the imaging device.
  • the rolling shutter method has a problem that the image is distorted when an object in motion is captured because the timing of exposure differs for each row.
  • the global shutter method is a method in which all pixels are exposed at the same time and the charges generated during the exposure period are retained. Reading is performed sequentially for each row based on the held charges.
  • a global shutter that exposes all pixels simultaneously can prevent image distortion. Since it takes time from the end of the exposure period to readout, the charges are transferred to the second charge holding portion, which is different from the floating diffusion layer. to generate Since the floating diffusion layer is adjacent to the photoelectric conversion element, there is a problem that the charge due to the leaked incident light is superimposed on the charge of the floating diffusion layer. In order to prevent deterioration of image quality due to this, a second charge holding unit is required.
  • an image pickup device in which a capacitive element is applied to the second charge holding portion has been proposed.
  • an imaging device that uses two capacitive elements as a second charge holding unit has been proposed (see, for example, Japanese Unexamined Patent Application Publication No. 2002-100001).
  • the present disclosure proposes an information processing device and an information processing system that perform imaging by switching between the global shutter method and the local shutter method.
  • An information processing apparatus includes a pixel array section, a pixel control section, an image generation section, an object detection section, a distance measurement section, and a control section.
  • the pixel array section includes a light receiving section that performs exposure to incident light and outputs a voltage level corresponding to the amount of exposure, a signal level holding section that holds the voltage level output from the light receiving section, and a signal level held by the signal level holding section.
  • a first image signal generation section for generating a first image signal that is a signal corresponding to the voltage level output from the light receiving section; are arranged in a two-dimensional matrix.
  • the pixel control section causes the second image signal generating section to generate the second image signal based on the voltage level outputted after the light receiving section is exposed to the incident light and the exposure for the pixel. are sequentially performed with different timing for each row of the pixel array section, and the light receiving section is exposed to the incident light and the voltage level output after the exposure is held in the signal level holding section.
  • a global shutter that simultaneously performs the generation of the first image signal in the first image signal generation section in the pixels arranged in the pixel array section and sequentially performs the generation of the first image signal in each row of the pixel array section with a timing shift; I do.
  • the image generator generates a first frame that is an image based on the first image signal and a second frame that is an image based on the second image signal.
  • the object detection section detects an object of interest from the second frame.
  • the distance measuring unit measures the distance to the object of interest based on the first frame generated based on the light emitted to the object of interest and reflected by the object of interest.
  • the control unit causes the pixel control unit to control the local shutter, controls the image generation unit to generate the second frame, and causes the object detection unit to detect the target object.
  • object detection control first frame generation control that causes the pixel control section to control the global shutter, causes the image generation section to generate the first frame, and causes the distance measurement section to determine the distance to the object of interest. Perform distance measurement control for measurement.
  • FIG. 1 is a diagram illustrating an overall configuration example of an information processing apparatus according to an embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of an information processing device according to an embodiment of the present disclosure
  • FIG. FIG. 2 is a diagram showing a configuration example of a pixel according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of image signal generation according to an embodiment of the present disclosure
  • FIG. 3 is a diagram illustrating an example of frame generation according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram illustrating an example of image signal generation according to an embodiment of the present disclosure
  • FIG. 3 is a diagram illustrating an example of frame generation according to an embodiment of the present disclosure
  • FIG. 3 is a diagram illustrating an example of a ranging method according to an embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram illustrating an example of a ranging method according to an embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram illustrating an example of a processing method according to an embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram showing another example of a processing method according to an embodiment of the present disclosure
  • FIG. 7 is a diagram showing a configuration example of pixels according to a modification of the embodiment of the present disclosure
  • FIG. 10 is a diagram showing another configuration example of pixels according to a modification of the embodiment of the present disclosure;
  • FIG. 1 is a diagram illustrating an overall configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing a configuration example of the information processing apparatus 1.
  • the information processing device 1 is a device that generates image data of an object of interest among subjects and processes the image of the object of interest.
  • the information processing device 1 includes a light source device 2 , an imaging element 3 , a control device 4 and an application processor 5 .
  • the light source device 2 emits emitted light to a subject or the like.
  • This figure shows an example in which emitted light 802 is emitted to a subject 801 .
  • This emitted light 802 is reflected by the subject 801, and reflected light 803 is incident on the imaging device 3, which will be described later.
  • the light source device 2 is an example of the light source section described in the claims.
  • the imaging device 3 is for capturing an image of a subject or the like and generating an image. Also, the imaging device 3 receives reflected light 803 in the figure. The distance to the object 801 can be measured based on the received reflected light 803 .
  • the control device 4 controls hardware units such as the light source device 2 and the imaging device 3 .
  • the control device 4 controls emission of the emitted light 802 from the light source device 2 , and also controls generation of an image based on the imaging element 3 to capture an image of a subject and reflected light 803 .
  • the application processor 5 controls the information processing apparatus 1 as a whole.
  • the application processor 5 also performs software control and processing in the information processing apparatus 1 .
  • the information processing device 1 in the figure detects an object of interest from the image of the subject generated by the imaging device 3 .
  • the object of interest is an object to be processed by the information processing apparatus 1, and corresponds to, for example, a person.
  • the information processing device 1 measures the distance to the target object. Further, the information processing apparatus 1 acquires the three-dimensional shape of the object of interest by measuring this distance.
  • the three-dimensional shape of the target object can be represented by, for example, a depth map representing the surface shape of the target object.
  • the application processor 5 performs processing such as detection of an object of interest and measurement of the distance to the object of interest. Further, the application processor 5 can also perform processing for authenticating a person or the like based on the three-dimensional shape of the object of interest.
  • FIG. 2 is a diagram illustrating a configuration example of an information processing apparatus according to an embodiment of the present disclosure; This figure is a block diagram showing a configuration example of the information processing apparatus 1, and is a diagram showing blocks showing processing by the above-described application processor 5 and the like.
  • the information processing device 1 includes a light source device 2, an imaging element 3, a pixel control section 30, an image generation section 40, an object detection section 50, a distance measurement section 60, an authentication section 80, and a control section 70. Prepare.
  • the information processing device 1 is an example of an information processing system described in claims.
  • the image pickup device 3 picks up an image of a subject and generates and outputs an image signal.
  • the pixel array section 11 is configured by arranging a plurality of pixels 100 in a two-dimensional matrix.
  • the pixel 100 includes a photoelectric conversion unit that photoelectrically converts incident light, and generates an image signal of a subject based on the incident light.
  • a photodiode for example, can be used for this photoelectric conversion unit.
  • Signal lines 15 and 16 are wired to each pixel 100 .
  • the pixels 100 generate image signals under the control of control signals transmitted by the signal lines 15 and output the generated image signals via the signal lines 16 .
  • the signal line 15 is arranged for each row in a two-dimensional matrix and is commonly wired to the plurality of pixels 100 arranged in one row.
  • the signal line 16 is arranged for each column in a two-dimensional matrix and is commonly wired to the plurality of pixels 100 arranged in one column.
  • the vertical driving section 12 generates control signals for the pixels 100 described above.
  • a vertical drive unit 12 in the figure generates a control signal for each row of the two-dimensional matrix of the pixel array unit 11 and sequentially outputs the control signal via a signal line 15 .
  • the column signal processing unit 13 processes image signals generated by the pixels 100 .
  • a column signal processing unit 13 shown in the figure simultaneously processes image signals from a plurality of pixels 100 arranged in one row of the pixel array unit 11 and transmitted via a signal line 16 .
  • this processing for example, analog-to-digital conversion for converting analog image signals generated by the pixels 100 into digital image signals and correlated double sampling (CDS) for removing offset errors in image signals may be performed. can be done.
  • the processed image signal is output to a circuit or the like outside the imaging element 3 .
  • the pixel 100 outputs a first image signal and a second image signal.
  • the first image signal is an image signal generated by the global shutter method described above.
  • the second image signal is an image signal generated by the aforementioned local shutter method.
  • the pixel 100 in FIG. 1 can switch between the global shutter method and the local shutter method to generate an image signal.
  • a vertical driving unit 12 in FIG. 1 generates control signals corresponding to the global shutter method and the local shutter method, and outputs the control signals to the pixels 100 .
  • the column signal processing unit 13 performs the above-described processing on each of the first image signal and the second image signal. Note that the column signal processing unit 13 is an example of the image signal processing unit described in the claims.
  • the light source device 2 emits emitted light for distance measurement, as described above.
  • the light source device 2 includes a light emitting element such as a laser diode and a driver for the light emitting element. This drive section drives the light-emitting elements based on control signals output from a control section 70, which will be described later.
  • the light source device 2 can emit pattern light in which, for example, a plurality of dot-like bright portions are arranged.
  • the imaging device 3 shown in the figure measures the distance to the subject based on the pattern light reflected by the subject. Details of distance measurement will be described later.
  • the light source device 2 is an example of the light source section described in the claims.
  • the pixel control unit 30 controls imaging of the pixels 100 .
  • the pixel control unit 30 controls switching between the local shutter method and the global shutter method in the pixel 100 . Details of the local shutter method and the global shutter method will be described later.
  • a pixel control unit 30 in FIG. 1 controls the vertical driving unit 12 to switch the pixel 100 between the local shutter method and the global shutter method.
  • the image generation unit 40 generates a frame, which is an image for one screen, based on the image signal output from the image sensor 3 (column signal processing unit 13).
  • the image generator 40 generates a first frame based on the first image signal and a second frame based on the second image signal.
  • the generated first frame is output to the distance measurement section 60 and the generated second frame is output to the object detection section 50 .
  • the object detection unit 50 detects an object of interest such as a person from the second frame.
  • the object of interest can be detected, for example, by comparing it with an image of a person registered in advance.
  • the object detection unit 50 outputs the detected object of interest to the control unit 70 .
  • the distance measuring unit 60 measures the distance to the object of interest.
  • the distance measuring unit 60 measures the distance to the object of interest based on the first frame generated based on the light emitted from the object of interest and reflected by the object of interest.
  • the distance measurement unit 60 can generate the aforementioned depth map based on the measured distance.
  • the target object for example, the target object transmitted via the control unit 70 can be applied.
  • Distance data such as a depth map is output to the authentication unit 80 .
  • the control unit 70 controls the entire information processing device 1 .
  • the control unit 70 controls the pixel control unit 30 to control the local shutter, controls the image generation unit 40 to generate a second frame, and controls the object detection unit 50 to detect the object of interest. Detection control, first frame generation control that causes the pixel control unit 30 to control the global shutter and causes the image generation unit 40 to generate the first frame, and distance measurement that causes the distance measurement unit 60 to measure the distance to the object of interest. control.
  • the control unit 70 can further perform light source control for causing the light source device to emit emitted light.
  • the authentication unit 80 authenticates the object of interest based on the distance data output from the distance measurement unit 60.
  • the authentication unit 80 can output the result of authentication to an external device.
  • the configuration of the information processing device 1 is not limited to this example.
  • a configuration in which the light source device 2 is omitted can be adopted.
  • the control signal generated by the control section 70 is output to the light source device 2 arranged outside the information processing device 1 .
  • FIG. 3 is a diagram illustrating a configuration example of a pixel according to an embodiment of the present disclosure; This figure is a circuit diagram showing a configuration example of the pixel 100 .
  • a pixel 100 shown in FIG. In the pixel 100, a signal line TRG, a signal line RST, a signal line PC, a signal line SW, a signal line SELR, a signal line S1, a signal line S2, a signal line RB, a signal line SEL, and a signal line VSL are wired. .
  • a signal line 15 is composed of the signal line TRG, the signal line RST, the signal line PC, the signal line SW, the signal line SELR, the signal line S1, the signal line S2, the signal line RB, and the signal line SEL.
  • the signal line VSL constitutes the signal line 16 .
  • the light receiving section 110 performs exposure with incident light and outputs a voltage level corresponding to the amount of exposure.
  • the light receiving portion 110 shown in FIG. Prepare. Note that n-channel MOS transistors can be used for the charge holding portion 112, the charge transfer portion 115, the first reset portion 116, the first amplification portion 118, and the first selection portion 119. FIG.
  • the anode of the photoelectric conversion section 111 is grounded, and the cathode is connected to the source of the charge transfer section 115 .
  • the drain of the charge transfer section 115 is connected to the source of the first reset section 116 , the gate of the first amplification section 118 and one end of the charge holding section 112 . Another end of the charge holding unit 112 is grounded.
  • a drain of the first reset unit 116 is connected to the power supply line Vdd.
  • the drain of the first amplifying section 118 is connected to the power supply line Vdd, and the source is connected to the drain of the first selecting section 119 .
  • a source of the first selector 119 is connected to the first output node 101 .
  • a signal line TRG, a signal line RST, and a signal line SW are connected to the gate of the charge transfer unit 115, the gate of the first reset unit 116, and the gate of the first selection unit 119, respectively.
  • the photoelectric conversion unit 111 performs photoelectric conversion of incident light.
  • This photoelectric conversion unit 111 can be configured by a photodiode formed on a semiconductor substrate.
  • the charge transfer section 115 transfers the charge of the photoelectric conversion section 111 to the charge holding section 112 .
  • the charge transfer portion 115 transfers charges by establishing electrical continuity between the photoelectric conversion portion 111 and the charge holding portion 112 .
  • the charge holding unit 112 holds charges generated by photoelectric conversion of the photoelectric conversion unit 111 .
  • the floating diffusion layer described above can be used for the charge holding portion 112 .
  • the first reset section 116 resets the charge holding section 112 .
  • the first reset section 116 performs resetting by discharging the charge of the charge holding section 112 to the power supply line Vdd.
  • the first amplification section 118 generates a signal corresponding to the charges held in the charge holding section 112 .
  • the first amplifying section 118 constitutes a source follower circuit together with a constant current circuit 140 connected via the first output node 101 and outputs the generated signal to the first output node 101 .
  • the voltage level of the signal generated by the first amplifier 118 is transmitted to the signal level holding unit 130 and the second image signal generator 150 via the first output node 101. be done.
  • the first amplification unit 118 sets the reset level, which is the voltage level after reset by the first reset unit 116, and the charge generated by the photoelectric conversion unit 111 during the exposure period to the charge holding unit 112.
  • the signal level which is the current voltage level, is output to the first output node 101 .
  • the first selector 119 outputs the signal generated by the first amplifier 118 to the first output node 101 .
  • the first selector 119 is connected between the first amplifier 118 and the first output node 101 , and conducts itself to transfer the signal of the first amplifier 118 to the first output node 101 . introduce. By arranging the first selection section 119 and making it non-conducting, it is possible to reduce the leak current when the first amplification section 118 is in the off state.
  • the constant current circuit 140 is a constant current circuit that constitutes the load of the first amplifying section 118 described above.
  • the constant current circuit 140 supplies a constant sink current to the first output node 101 .
  • the drain of the MOS transistor 141 is connected to the first output node 101, and the source is grounded.
  • a gate of the MOS transistor 141 is connected to the signal line PC.
  • the signal line PC transmits the bias voltage.
  • the MOS transistor 141 has a gate to which a bias voltage is applied from the signal line PC, and supplies a constant current corresponding to the applied bias voltage.
  • the signal level holding section 130 holds the voltage level output from the light receiving section. This signal level holding section 130 is connected to the first output node 101 and holds the level of the signal output from the light receiving section 110 .
  • One end of the first capacitive element 131 and one end of the second capacitive element 132 are commonly connected to the first output node 101 .
  • the other end of the first capacitive element 131 and the other end of the second capacitive element 132 are connected to the source of the first switch element 135 and the source of the second switch element 136, respectively.
  • the drain of the first switch element 135 and the drain of the second switch element 136 are commonly connected to the second output node 102 .
  • a gate of the first switch element 135 and a gate of the second switch element 136 are connected to the signal line S1 and the signal line S2, respectively.
  • the first capacitive element 131 is a capacitive element that holds a reset level.
  • the second capacitive element 132 is a capacitive element that holds the signal level.
  • the first switch element 135 is an element that controls the current flowing through the first capacitive element 131 . This first switch element 135 is connected between the first capacitive element 131 and the second output node 102 .
  • the second switch element 136 is an element that controls the current flowing through the second capacitive element 132 .
  • This second switch element 136 is connected between the second capacitive element 132 and the second output node 102 .
  • the first image signal generation section 120 generates a first image signal, which is a signal corresponding to the voltage level held in the capacitive element section.
  • a first image signal generation unit 120 in the figure generates and outputs an image signal according to the signal level held in the first capacitive element 131 and the second capacitive element 132 .
  • the source of the second resetting section 121 and the gate of the second amplifying section 122 are commonly connected to the second output node 102 .
  • a drain of the second reset unit 121 is connected to the power supply line Vreg.
  • the drain of the second amplifying section 122 is connected to the power supply line Vdd, and the source is connected to the drain of the second selecting section 123 .
  • a source of the second selection unit 123 is connected to the signal line VSL.
  • the second reset unit 121 resets the second output node 102 .
  • the second reset section 121 performs resetting by applying the voltage of the power supply line Vreg to the second output node 102 .
  • the second amplifier section 122 is an element that generates a signal corresponding to the voltage of the second output node 102 .
  • the second amplifier 122 reads out the reset level held in the first capacitive element 131 and the signal level held in the second capacitative element 132, and outputs a first signal level corresponding to each of the reset level and the signal level. Generate as an image signal.
  • the second selection unit 123 is an element that outputs the first image signal generated by the second amplification unit 122 to the signal line VSL.
  • the second selection section 123 is connected between the second amplification section 122 and the signal line VSL, and transmits the signal of the second amplification section 122 to the signal line VSL by conducting itself. Note that the circuits of the second amplification unit 122 and the second selection unit 123 constitute a readout circuit.
  • the second image signal generation section 150 generates a second image signal that is a signal corresponding to the voltage level output from the light receiving section 110 .
  • a second image signal generation unit 150 in the figure includes a MOS transistor 151 .
  • MOS transistor 151 has a drain connected to first output node 101 and a source connected to signal line VSL.
  • a gate of the MOS transistor 151 is connected to the signal line SELR.
  • MOS transistor 151 outputs the signal level of first output node 101 to signal line VSL by making itself conductive. That is, the second image signal generation section 150 transmits the voltage level of the first output node 101 to the signal line VSL without going through the signal level holding section 130 .
  • the second image signal generator 150 outputs second image signals corresponding to the reset level and the signal level.
  • the signal level holding unit 130 and the first image signal generating unit 120 can be used during global shutter imaging.
  • the second image signal generation unit 150 can be used for local shutter imaging.
  • FIG. 4 is a diagram illustrating an example of image signal generation according to an embodiment of the present disclosure. This figure is a timing chart showing an example of generation of the second image signal to which the local shutter method is applied.
  • "SW”, “RST”, “TRG”, “SELR”, and “SEL” in the figure represent waveforms of the signal line SW, the signal line RST, the signal line TRG, the signal line SELR, and the signal line SEL, respectively.
  • "RB”, “S1” and “S2” represent the waveforms of the signal line RB, the signal line S1 and the signal line S2, respectively. These waveforms represent the binarized control signals transmitted by the respective signal lines. The “1" value portion of these waveforms represents the ON signal.
  • the on-signal is a signal that makes a MOS transistor whose gate receives a control signal conductive.
  • PC in the figure represents the bias voltage applied to the signal line PC.
  • VSL in the figure represents an image signal output to the signal line VSL. Note that the dashed line in the figure represents the level of 0V.
  • the signal line RST, the signal line TRG, and the signal line SELR have a value of "0".
  • the value of the signal line SW is always “1", and the value of the signal lines SEL, RB, S1 and S2 is always “0".
  • a predetermined bias voltage is always applied to the signal line PC.
  • an ON signal is applied to the signal line RST, and the first reset section 116 becomes conductive. Also, an ON signal is applied to the signal line TRG to turn on the charge transfer section 115 . Thereby, the photoelectric conversion unit 111 and the charge holding unit 112 are reset.
  • a period from T4 to T7 corresponds to a readout period during which an image signal is output from the pixel 100.
  • FIG. In the generation of the image signal in the figure, the exposure period and the readout period are partially overlapped.
  • the column signal processing unit 13 performs CDS for subtracting the second image signal having the reset level output during the period from T4 to T5 from the second image signal having the signal level output during the period from T6 to T7. . Thereby, the influence of the offset error of the second image signal can be reduced.
  • FIG. 5 is a diagram illustrating an example of frame generation according to an embodiment of the present disclosure.
  • This figure is a timing chart showing an example of generation of the second frame to which the local shutter method is applied.
  • This drawing shows the procedure for generating the second image signal for each row in the pixel array section 11 .
  • "Reset”, "exposure” and “readout” in the figure represent the reset period 401, the exposure period 402 and the readout period 403, respectively.
  • the second image signal is read out from the pixels 100 for each row.
  • These reset period 401, exposure period 402, and readout period 403 are performed with different timings for each row. This is because the signal line VSL is wired in common to the pixels 100 arranged in the columns of the pixel array section 11, so the timing of the readout period 403 needs to be shifted for each row.
  • a second frame can be formed by generating these second image signals in all the rows of the pixel array section 11 to generate the second image signals.
  • distortion occurs in the image when imaging a moving subject. This is because the exposure timing differs for each row.
  • the local shutter imaging can generate an image signal by simple control, so that high-speed frame generation is possible. Therefore, the frame frequency can be improved. Also, power consumption can be reduced.
  • FIG. 6 is a diagram illustrating an example of image signal generation according to an embodiment of the present disclosure. This figure is a timing chart showing an example of generation of the second image signal to which the global shutter method is applied. This figure uses the same notation as in FIG.
  • the signal line SW, the signal line TRG, the signal line PC, the signal line SEL, the signal line RB, the signal line S1, and the signal line S2 have a value of "0". Also, the signal line RST becomes the value "1". Note that the value of the signal line SELR is always "0".
  • an ON signal is applied to the signal line SW, and the first selection section 119 becomes conductive. Also, an ON signal is applied to the signal line TRG, and the charge transfer section 115 becomes conductive. A predetermined bias voltage is applied to signal line PC, and MOS transistor 109 supplies a constant current to first output node 101 . Since the first reset portion 116 and the charge transfer portion 115 are brought into conduction, the photoelectric conversion portion 111 and the charge holding portion 112 are reset.
  • an ON signal is applied to the signal line RB, and the second reset section 121 becomes conductive. Also, an ON signal is applied to the signal line S1, and the first switch element 135 becomes conductive. Also, an ON signal is applied to the signal line S2, and the second switch element 136 becomes conductive. During the period from T1 to T2, the charge holding portion 112 is reset and the first capacitor 131 and the second capacitor 132 are also reset. Also, the second output node 102 becomes VREG which is the voltage of the power supply line Vreg.
  • an ON signal is applied to the signal line TRG, and the charge transfer section 115 becomes conductive. Thereby, the charge of the photoelectric conversion unit 111 is transferred to the charge holding unit 112 . Also, an ON signal is applied to the signal line RB, and the second reset section 121 becomes conductive. This causes the second output node 102 to become VREG. Also, an ON signal is applied to the signal line S2, and the second switch element 136 becomes conductive.
  • an ON signal is applied to the signal line SW, and the first selection section 119 becomes conductive.
  • an ON signal is applied to the signal line SEL, and the second selection section 123 becomes conductive. Also, an ON signal is applied to the signal line RB, and the second reset section 121 becomes conductive. This resets the second output node 102 to the voltage of VREG.
  • the application of the ON signal to the signal line S1 is stopped, and the first switch element 135 becomes non-conductive. Also, an ON signal is applied to the signal line RB, and the second reset section 121 becomes conductive. This resets the second output node 102 to the voltage of VREG.
  • the procedures from T21 to T31 are sequentially executed for all rows of the pixel array section 11. Thereby, an image signal for one screen can be generated. Also, the period from T32 to T37 corresponds to the readout period.
  • the column signal processing unit 13 performs CDS for subtracting the first image signal at the reset level output during the period from T34 to T35 from the first image signal at the signal level output during the period from T36 to T37. . This removes the VREG component. Also, the influence of the offset error of the first image signal can be reduced. This offset error corresponds to, for example, an error due to charges generated by incident light leaking from the vicinity of the photoelectric conversion unit 111 .
  • the error due to the offset commonly generated in the first capacitive element 131 and the second capacitive element 132 is reduced, and the parasitic light sensitivity (PLS), which is the sensitivity based on the leaked incident light, is reduced. ) can be reduced.
  • PLS parasitic light sensitivity
  • FIG. 7 is a diagram illustrating an example of frame generation according to an embodiment of the present disclosure. This figure is a timing chart showing an example of generation of the first frame to which the global shutter method is applied. Similar to FIG. 5, this figure shows the procedure for generating the second image signal for each row in the pixel array section 11. As shown in FIG. In the figure, the same notation as in FIG. 5 is used.
  • the global shutter method has a more complicated imaging procedure than the local shutter method, so it takes time to generate a frame. Therefore, the frame frequency is lowered.
  • Range measurement method 8A and 8B are diagrams illustrating an example of a ranging method according to embodiments of the present disclosure. This figure is a diagram for explaining the principle of the distance measurement method according to the present disclosure. The distance measurement method shown in the figure is a distance measurement method based on the principle of triangulation.
  • the light source device 2 in the figure emits pattern light in which a plurality of dot-like bright portions are arranged.
  • the pattern light shown in FIG. 10 represents an example in which bright portions 421 to 423 are arranged.
  • "Distance 1", “Distance 2", and “Distance 3" in FIG. They are arranged at positions away from the light source device 2 and the imaging device 3 in order of "distance 1", “distance 2" and "distance 3".
  • the pattern light reflected from these surfaces is received by the imaging element 3 to form an image (frame).
  • the lens 6 (not shown in FIG. 1) is shown in FIG. This lens 6 is a lens that forms an image on the imaging element 3 of the pattern light reflected by each surface.
  • FIG. 8A shows frames 430 to 431 when the pattern light reflected by the surfaces of "distance 1", “distance 2" and “distance 3" is captured.
  • Light portions 421 to 423 are arranged on these frames 430 to 432 at positions corresponding to distances from the light source device 2 . That is, the distance to the object can be measured based on the positions of the bright portions 421 and the like arranged in the frame.
  • FIG. 8B shows an example in which an object 440 having a convex portion in the center is arranged near the surface of "distance 1".
  • a frame 433 in the figure is obtained.
  • the bright portions 421 and 423 are arranged at positions corresponding to "distance 1", and the bright portion 422 is arranged at a position corresponding to "distance 2".
  • the distance to the object 440 can be measured, and the surface shape of the object 440 can be acquired.
  • Such a distance measurement method is called a structured light method.
  • FIG. 9 is a diagram illustrating an example of a processing method according to an embodiment of the present disclosure. This figure is a flow chart showing the procedure of processing in the information processing apparatus 1 .
  • step S100 the pixels 100 of the pixel array section 11 are switched to local shutter control.
  • step S101 a second frame is generated (step S101). This can be done by having the image generator 40 generate the second frame based on the second image signal generated by the pixels 100 .
  • step S102 it is determined whether or not the object detection unit 50 detects the object of interest from the second frame. As a result, when the object of interest is not detected (step S102, No), the process proceeds to step S101. On the other hand, if the object of interest is detected (step S102, Yes), the process proceeds to step S103.
  • step S103 the pixels 100 of the pixel array unit 11 are switched to global shutter control (step S103). This can be done by switching the pixel control unit 30 to the control of the global shutter method.
  • step S104 light emission is started (step S104). This can be done by causing the light source device 2 to emit pattern light for distance measurement.
  • step S105 a first frame is generated (step S105). This can be done by having the image generator 40 generate the first frame based on the first image signal generated by the pixels 100 .
  • the distance measuring unit 60 measures the distance (step S106).
  • a depth map is generated (step S107). This can be done by the range finder 60 generating a depth map of the object of interest based on the measured distances.
  • the authentication unit 80 authenticates the object of interest based on the depth map (step S108).
  • the information processing apparatus 1 can detect and authenticate an object of interest.
  • FIG. 10 is a diagram showing another example of the processing method according to the embodiment of the present disclosure.
  • This figure is a flow chart showing the procedure of processing in the information processing apparatus 1, and is a diagram showing the procedure of processing when face authentication is performed.
  • An information processing apparatus 1 that performs the processing shown in the figure includes an imaging device 3 capable of imaging with infrared light. It should be noted that the information processing apparatus 1 that performs the processing in FIG. 1 is assumed to be a smart phone that performs face authentication.
  • step S120 the pixels 100 of the pixel array section 11 are switched to local shutter control (step S120).
  • step S121 a second frame is generated with infrared light (step S121).
  • step S122 it is determined whether or not the object detection unit 50 detects a face as an object of interest. As a result, when the face is not detected (step S122, No), the process proceeds to step S121. On the other hand, if a face is detected (step S122, Yes), the process proceeds to step S123.
  • step S123 the pixels 100 of the pixel array unit 11 are switched to global shutter control (step S123).
  • step S124 light emission by pattern light is started (step S124).
  • step S125 a first frame is generated (step S125).
  • step S126 measures the distance
  • step S127 the authentication unit 80 recognizes the face portion based on the depth map (step S128).
  • step S129 the authentication unit 80 matches the registered face data (step S129), and authenticates (step S130).
  • the information processing apparatus 1 uses the image sensor 3 that performs imaging by switching between the local shutter method and the global shutter method to generate an image (frame) based on each imaging method. can be done.
  • the second frame generated by the local shutter method to the image for the target object detection process
  • the target object detection process can be performed at high speed and the power consumption can be reduced.
  • the first frame with less distortion generated by the global shutter method is applied to acquire the three-dimensional shape of the object of interest for authentication processing. Thereby, a highly accurate three-dimensional shape can be acquired, and the accuracy of authentication processing can be improved.
  • the information processing apparatus 1 can generate an image by switching between the local shutter method and the global shutter method depending on the application.
  • the imaging element 3 of the above-described embodiment can also adopt other configurations. Another configuration example of the imaging element 3 will be described.
  • FIG. 11 is a diagram illustrating a configuration example of pixels according to a modification of the embodiment of the present disclosure. This figure, like FIG. 3, is a circuit diagram showing a configuration example of the pixel 100. As shown in FIG.
  • the light receiving section 110 in the figure further includes a charge discharge section 114 , a coupling section 117 and a second charge retention section 113 .
  • An n-channel MOS transistor can be applied to the charge discharge portion 114 and the coupling portion 117 .
  • the drain of the charge discharge unit 114 is connected to the power supply line Vdd, and the source is connected to the cathode of the photoelectric conversion unit 111 .
  • a gate of the charge discharge unit 114 is connected to the signal OFG.
  • the drain of the coupling portion 117 is connected to the source of the first reset portion 116 , and the source is connected to the drain of the charge transfer portion 115 , the gate of the first amplification portion 118 and one end of the charge holding portion 112 .
  • a gate of the coupling portion 117 is connected to the signal line FDG.
  • the second charge holding portion 113 is connected between the drain of the coupling portion 117 and the ground line.
  • the charge discharge unit 114 is a MOS transistor that resets the photoelectric conversion unit 111.
  • the charge discharge unit 114 resets the photoelectric conversion unit 111 by discharging the charge of the photoelectric conversion unit 111 to the power supply line Vdd.
  • the photoelectric conversion unit 111 can be reset while the charge is held in the charge holding unit 112, and the start of exposure in the next imaging can be hastened.
  • the second charge holding unit 113 holds charges generated by photoelectric conversion in the photoelectric conversion unit 111 .
  • This second charge holding portion 113 holds charge when coupled to the charge holding portion 112 .
  • the coupling portion 117 couples the charge holding portion 112 and the second charge holding portion 113 .
  • the coupling portion 117 couples the second charge holding portion 113 to the charge holding portion 112 by connecting the second charge holding portion 113 to the charge holding portion 112 in parallel. This coupling can increase the storage capacity of the charge generated by the photoelectric conversion unit 111 and adjust the sensitivity.
  • the constant current circuit 140 in the figure further comprises a MOS transistor 142 .
  • the drain of MOS transistor 142 is connected to the source of MOS transistor 141, and the source is grounded.
  • the gate of MOS transistor 142 is connected to signal line VB.
  • a bias voltage is applied to the signal line VB in the same manner as the signal line PC.
  • MOS transistor 142 supplies a constant current corresponding to this bias voltage.
  • the pixel 100 in the figure can be divided and arranged in a plurality of different semiconductor chips.
  • This figure shows an example of division into a light receiving portion chip 200 and a circuit chip 250 .
  • a light receiving portion 110 is arranged in the light receiving portion chip 200 .
  • a constant current circuit 140 , a signal level holding section 130 , a first image signal generating section 120 and a second image signal generating section 150 are arranged in the circuit chip 250 .
  • the light receiving chip 200 and the circuit chip 250 can also be stacked. In this case, the area of the pixel 100 can be reduced.
  • first image signal generation unit 120 and the second image signal generation unit 150 are shared by a plurality of pixels 100 can be adopted.
  • FIG. 12 is a diagram illustrating another configuration example of pixels according to the modification of the embodiment of the present disclosure. This figure is a circuit diagram showing a configuration example of the pixel 100, similar to FIG.
  • the pixel 100 shown in FIG. A section 522 and a selection section 523 are provided.
  • the pixel 100 in the figure further includes a sampling section 539 , a first capacitive element 531 , a second capacitive element 532 , and a MOS transistor 551 .
  • the photoelectric conversion unit 511, the charge holding unit 512, the charge transfer unit 515, and the first reset unit 516 are similar to the photoelectric conversion unit 111, the charge holding unit 112, the charge transfer unit 115, the first reset unit 116, and the coupling unit shown in FIG. Since it is the same as 117, the description is omitted.
  • the first amplification section 518, the MOS transistor 541, the second reset section 521, and the second amplification section 522 are similar to the first amplification section 118, the MOS transistor 141, the second reset section 121, and the second amplification section 521 shown in FIG. 2, the description thereof will be omitted. Since the selection unit 523 is the same as the second selection unit 123 in FIG. 3, the description thereof is omitted.
  • the sampling section 539 opens and closes between the first capacitive element 531 and the second capacitive element 532 and the source of the first amplifying section 518 .
  • An n-channel MOS transistor can be applied to this sampling unit 539 .
  • the first capacitive element 531 is connected between the sampling section 539 and the second amplification section 522 .
  • the second capacitive element 532 is connected between the source of the sampling section 539 and the ground line.
  • the MOS transistor 551 is connected between the source of the first amplifying section 518 and the output signal line VSL.
  • the node connected to the source of the first amplifying section 518 corresponds to the first output node 101
  • the node between the second capacitive element 532 and the gate of the second amplifying section 522 is node corresponds to the second output node 102 .
  • the circuit of the sampling section 539, the first capacitive element 531 and the second capacitive element 532 constitute the signal level holding section .
  • the first amplifier section 518 outputs the reset level to the first output node 101
  • the second reset section 521 and the sampling section 539 become conductive.
  • the reset level is held in the first capacitor 531 .
  • the sampling section 539 is made conductive while the second reset section 521 is kept in a non-conducting state.
  • the signal level is held in the second capacitive element 532 .
  • the sampling section 539 is brought into a non-conducting state.
  • a voltage obtained by superimposing the voltages of the second capacitor 532 and the first capacitor 531 is applied to the second output node 102 .
  • This voltage corresponds to the signal level minus the reset level.
  • a first image signal corresponding to the voltage of the second output node 102 is generated by the second amplifier 522 and the selector 523 that constitute the first image signal generator 120 .
  • a MOS transistor 551 in the figure constitutes the second image signal generation section 150 .
  • This MOS transistor 551 outputs the voltage level of the first output node 101 to the signal line VSL as the second image signal.
  • the signal level holding unit 130 and the first image signal generating unit 120 can be used for global shutter imaging.
  • the second image signal generation unit 150 can be used for local shutter imaging.
  • the information processing device 1 includes a pixel 100 array section 11 , a pixel control section 30 , an image generation section 40 , an object detection section 50 , a distance measurement section, and a control section 70 .
  • the pixel 100 array portion 11 is held by a light receiving portion that performs exposure to incident light and outputs a voltage level corresponding to the amount of exposure, a signal level holding portion that holds the voltage level output from the light receiving portion, and a signal level holding portion.
  • a first image signal generating section for generating a first image signal that is a signal corresponding to the voltage level output from the light receiving section, and a second image signal generating section that generates a second image signal that is a signal corresponding to the voltage level output from the light receiving section.
  • Pixels 100 having image signal generators are arranged in a two-dimensional matrix.
  • the pixel control unit 30 causes the pixel 100 array to generate the second image signal in the second image signal generation unit based on the voltage level output after the exposure of the light receiving unit to the incident light and the exposure of the pixel 100 .
  • the pixel 100 array portion 11 is provided with a local shutter that sequentially operates with a different timing for each row of the portion 11 , exposure of incident light in the light receiving portion, and holding of the voltage level output after the exposure in the signal level holding portion.
  • a global shutter is simultaneously performed on the pixels 100 that have been formed, and the generation of the first image signal in the first image signal generation unit is sequentially performed with the timing shifted for each row of the pixel 100 array unit 11 .
  • the image generator 40 generates a first frame that is an image based on the first image signal and a second frame that is an image based on the second image signal.
  • the object detection unit 50 detects the object of interest from the second frame.
  • the distance measuring unit 60 measures the distance to the object of interest based on the first frame generated based on the light emitted from the object of interest and reflected by the object of interest.
  • the control unit 70 controls the pixel control unit 30 to control the local shutter, controls the image generation unit 40 to generate a second frame, and controls the object detection unit 50 to detect the object of interest.
  • first frame generation control that causes the pixel control unit 30 to control the global shutter and causes the image generation unit 40 to generate the first frame
  • distance measurement control that causes the distance measurement unit 60 to measure the distance to the object of interest.
  • the light receiving unit includes a photoelectric conversion unit that photoelectrically converts incident light, a charge holding unit that holds charges generated by photoelectric conversion, a charge transfer unit that transfers charges generated by photoelectric conversion to the charge holding unit during an exposure period, An amplifying section that outputs a voltage level corresponding to the charge held in the charge holding section and a reset section that resets the charge holding section may be provided.
  • the light-receiving unit outputs a signal level, which is the voltage level at which the charge generated during the exposure period is held in the charge holding unit, and a reset level, which is the voltage level after being reset by the reset unit, and holds the signal level.
  • the unit holds the output signal level and the output reset level, respectively, and the first image signal generation unit generates the first image signal according to the held signal level and the held reset level.
  • the second image signal generator may generate a second image signal corresponding to the output signal level and the output reset level. Thereby, the reset level can be extracted as an offset amount.
  • the image generation unit 40 generates a first frame based on the first image signal processed by the image signal processing unit, and processes the first frame by the image signal processing unit.
  • a second frame may be generated based on the obtained second image signal. This makes it possible to eliminate signal level offset errors.
  • a light source device 2 that emits emitted light to an object of interest may be further provided, and the control unit 70 may further perform light source control for causing the light source device 2 to emit emitted light.
  • the light source device 2 may emit pattern light having a bright portion and a dark portion, and the distance measuring section 60 may measure the distance to the object of interest based on the pattern light of the reflected light.
  • An authentication unit 80 that authenticates the object of interest based on the distance measured by the distance measurement unit 60 may be further provided.
  • the distance measurement unit 60 may generate a depth map of the object of interest based on the measured distance, and the authentication unit 80 may perform authentication based on the generated depth map.
  • the object detection unit 50 may detect a face as an object of interest, the distance measurement unit 60 may generate a depth map of the face, and the authentication unit 80 may recognize the face and perform authentication.
  • the present technology can also take the following configuration.
  • a light-receiving portion that performs exposure to incident light and outputs a voltage level corresponding to the amount of exposure; a signal level holding portion that holds the voltage level output from the light-receiving portion; a first image signal generation section for generating a first image signal that is a signal that has been received from the light-receiving section;
  • a pixel array unit in which pixels provided with are arranged in a two-dimensional matrix, generating the second image signal in the second image signal generation unit based on the voltage level output after the exposure of the incident light in the light receiving unit and the exposure of the pixel to the pixel; and a local shutter that sequentially performs the timing shift for each row, and exposure of the incident light in the light receiving section and holding of the voltage level output after the exposure in the signal level holding section in the pixel array section.
  • a pixel control unit that simultaneously performs a global shutter for the arranged pixels and causes the first image signal generation unit to sequentially generate the first image signal for each row of the pixel array unit with a timing shift. and, an image generator that generates a first frame that is an image based on the first image signal and a second frame that is an image based on the second image signal; an object detection unit that detects an object of interest from the second frame; a distance measuring unit that measures the distance to the object of interest based on the first frame generated based on the light emitted from the object of interest and reflected by the object of interest; second frame generation control that causes the pixel control unit to control the local shutter and causes the image generation unit to generate the second frame; target object detection control that causes the object detection unit to detect the target object; first frame generation control that causes the pixel control section to control the global shutter and causes the image generation section to generate the first frame; and distance measurement that causes the distance measurement section to measure the distance to the target object.
  • An information processing apparatus having a control unit that performs control.
  • the light receiving unit includes a photoelectric conversion unit that photoelectrically converts the incident light, a charge holding unit that holds charges generated by the photoelectric conversion, and a charge that is generated by the photoelectric conversion during an exposure period and transferred to the charge holding unit.
  • the information processing apparatus according to (1) further comprising: a charge transfer section for performing charge transfer, an amplification section for outputting a voltage level corresponding to the charge held in the charge holding section, and a reset section for resetting the charge holding section.
  • the light-receiving unit outputs a signal level that is the voltage level when the charge generated during the exposure period is held in the charge holding unit and a reset level that is the voltage level after being reset by the reset unit.
  • the signal level holding unit holds the output signal level and the output reset level, respectively;
  • the first image signal generation unit generates the first image signal according to the held signal level and the held reset level,
  • the information processing apparatus according to (2), wherein the second image signal generation unit generates the second image signal according to the output signal level and the output reset level.
  • (4) a process of subtracting the first image signal corresponding to the reset level from the first image signal corresponding to the signal level; and the process corresponding to the reset level from the second image signal corresponding to the signal level.
  • the information processing apparatus further comprising an image signal processing unit that performs a process of subtracting the second image signal, The image generation unit generates the first frame based on the first image signal processed by the image signal processing unit, and generates the first frame based on the second image signal processed by the image signal processing unit.
  • the information processing apparatus according to (3), wherein the second frame is generated by (5) further comprising a light source unit that emits the emitted light to the object of interest;
  • the information processing apparatus according to any one of (1) to (4), wherein the control unit further performs light source control for causing the light source unit to emit the emitted light.
  • the light source unit emits pattern light having a bright portion and a dark portion
  • the information processing apparatus according to (5) wherein the distance measuring unit measures a distance to an object of interest based on the pattern light of the reflected light.
  • the distance measuring unit generates a depth map of the object of interest based on the measured distance;
  • the object detection unit detects a face as the object of interest, The ranging unit generates the depth map of the face, The information processing apparatus according to (8), wherein the authentication unit performs the authentication by recognizing the face.
  • a light-receiving portion that performs exposure to incident light and outputs a voltage level corresponding to the amount of exposure; a signal level holding portion that holds the voltage level output from the light-receiving portion; a first image signal generation section for generating a first image signal that is a signal that has been received from the light-receiving section;
  • a pixel array unit in which pixels provided with are arranged in a two-dimensional matrix, generating the second image signal in the second image signal generation unit based on the voltage level output after the exposure of the incident light in the light receiving unit and the exposure of the pixel to the pixel; and a local shutter that sequentially performs the timing shift for each row, and exposure of the incident light in the light receiving section and holding of the voltage level output after the exposure in the signal level holding section in the
  • a pixel control unit that simultaneously performs a global shutter for the arranged pixels and causes the first image signal generation unit to sequentially generate the first image signal for each row of the pixel array unit with a timing shift. and, an image generator that generates a first frame that is an image based on the first image signal and a second frame that is an image based on the second image signal; an object detection unit that detects an object of interest from the second frame; a distance measuring unit that measures the distance to the object of interest based on the first frame generated based on the light emitted from the object of interest and reflected by the object of interest; second frame generation control that causes the pixel control unit to control the local shutter and causes the image generation unit to generate the second frame; target object detection control that causes the object detection unit to detect the target object; first frame generation control that causes the pixel control section to control the global shutter and causes the image generation section to generate the first frame; and distance measurement that causes the distance measurement section to measure the distance to the target object.
  • the light receiving unit includes a photoelectric conversion unit that photoelectrically converts the incident light, a charge holding unit that holds charges generated by the photoelectric conversion, and a charge that is generated by the photoelectric conversion during an exposure period and transferred to the charge holding unit.
  • the light-receiving unit outputs a signal level that is the voltage level when the charge generated during the exposure period is held in the charge holding unit and a reset level that is the voltage level after being reset by the reset unit.
  • the signal level holding unit holds the output signal level and the output reset level, respectively;
  • the first image signal generation unit generates the first image signal according to the held signal level and the held reset level,
  • (13) a process of subtracting the first image signal corresponding to the reset level from the first image signal corresponding to the signal level; and the process corresponding to the reset level from the second image signal corresponding to the signal level.
  • the image generation unit generates the first frame based on the first image signal processed by the image signal processing unit, and generates the first frame based on the second image signal processed by the image signal processing unit.
  • the light source unit emits pattern light having a bright portion and a dark portion
  • the information processing system according to (14) wherein the distance measuring unit measures a distance to an object of interest based on the pattern light of the reflected light.
  • the distance measuring unit generates a depth map of the object of interest based on the measured distance;
  • the object detection unit detects a face as the object of interest,
  • the ranging unit generates the depth map of the face,

Abstract

グローバルシャッタ方式とローカルシャッタ方式の切り替えを行う。画素制御部３０は、画素１００に対して、ローカルシャッタと、グローバルシャッタとを行う。画像生成部４０は、第１の画像信号に基づく画像である第１のフレーム及び第２の画像信号に基づく画像である第２のフレームを生成する。物体検出部５０は、第２のフレームから注目物体を検出する。測距部６０は、注目物体に出射された出射光が注目物体に反射された反射光に基づいて生成された第１のフレームに基づいて注目物体までの距離を測定する。

Description

情報処理装置及び情報処理システム
　本開示は、情報処理装置及び情報処理システムに関する。
　被写体の画像を生成する撮像素子を備える情報処理装置が使用されている。この情報処理装置は、撮像素子により生成された画像の処理を行う装置である。この情報処理装置に使用する撮像素子は、光電変換素子を有する画素が２次元行列状に配置されて構成される。また、この撮像素子は、被写体からの光の光電変換を行う露光と光電変換により生成された電荷に基づく画像信号の画素からの読み出しとを繰り返すことにより、生成した画像を出力する。
　この画素において、露光期間に光電変換により生成された電荷は、光電変換素子の内部に蓄積される。そして、露光期間の経過後に光電変換素子に蓄積された電荷が、電荷保持部に転送される。この電荷保持部は、光電変換素子が形成される半導体基板に配置された拡散領域により形成される浮遊拡散層（Floating　Diffusion）により構成することができる。この浮遊拡散層には増幅トランジスタが接続され、浮遊拡散層に保持された電荷に応じた信号が生成される。このような信号の生成方式は、浮遊拡散アンプと称される。なお、浮遊拡散層は、電荷の転送の直前に残留する電荷を排出するリセットがリセット部により行われる。
　一方、読み出しは、２次元行列状に配置された画素の行毎に順次行われる。この際、１行に配置された画素において、同時に読み出しが行われる。このような画像の生成方法として、ローリングシャッタ方式とグローバルシャッタ方式とが使用されている。
　ローリングシャッタ方式は、露光及び読み出しを行毎に期間をずらして順次行う方式であり、撮像素子の構成を簡略化できる方式である。しかし、ローリングシャッタ方式は、行毎に露光のタイミングが異なるため、動きのある被写体を撮像する場合に画像に歪みを生じる問題がある。
　グローバルシャッタ方式は、全ての画素において同時に露光を行って露光期間に生成された電荷を保持する方式である。読み出しは、保持した電荷に基づいて行毎に順次行う。全ての画素において同時に露光を行うグローバルシャッタにより、画像の歪みを防ぐことができる。露光期間の終了から読み出しまでに時間がかかるため、前述の浮遊拡散層とは異なる第２の電荷保持部に電荷を転送し、読み出しの際には第２の電荷保持部の電荷に基づいて信号を生成する。浮遊拡散層は光電変換素子に隣接するため、漏洩する入射光による電荷が浮遊拡散層の電荷に重畳する問題がある。これによる画質の低下を防ぐため、第２の電荷保持部が必要になる。
　このグローバルシャッタ方式を採用する撮像素子において、第２の電荷保持部に容量素子を適用した撮像素子が提案されている。例えば、２つの容量素子を第２の電荷保持部として使用する撮像素子が提案されている（例えば、特許文献１参照）。
米国特許出願公開第２０２０／２７９８７６号明細書
　しかしながら、上記の従来技術では、グローバルシャッタ方式とローカルシャッタ方式の切り替えができないという問題がある。
　そこで、本開示では、グローバルシャッタ方式とローカルシャッタ方式を切り替えて撮像を行う情報処理装置及び情報処理システムを提案する。
　本開示に係る情報処理装置は、画素アレイ部と、画素制御部と、画像生成部と、物体検出部と、測距部と、制御部とを有する。画素アレイ部は、入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、上記受光部から出力された電圧レベルを保持する信号レベル保持部、上記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び上記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置される。画素制御部は、上記画素に対して、上記受光部における上記入射光の露光及び当該露光の後に出力される上記電圧レベルに基づく上記第２の画像信号生成部における上記第２の画像信号の生成を上記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、上記受光部における上記入射光の露光及び当該露光の後に出力される上記電圧レベルの上記信号レベル保持部への保持を上記画素アレイ部に配置された上記画素において同時に行うとともに上記第１の画像信号生成部における上記第１の画像信号の生成を上記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う。画像生成部は、上記第１の画像信号に基づく画像である第１のフレーム及び上記第２の画像信号に基づく画像である第２のフレームを生成する。物体検出部は、上記第２のフレームから注目物体を検出する。測距部は、上記注目物体に出射された出射光が上記注目物体に反射された反射光に基づいて生成された上記第１のフレームに基づいて上記注目物体までの距離を測定する。制御部は、上記画素制御部に上記ローカルシャッタの制御を行わせるとともに上記画像生成部に上記第２のフレームを生成させる第２のフレーム生成制御、上記物体検出部に上記注目物体を検出させる注目物体検出制御、上記画素制御部に上記グローバルシャッタの制御を行わせるとともに上記画像生成部に上記第１のフレームを生成させる第１のフレーム生成制御及び上記測距部に上記注目物体までの距離を測定させる測距制御を行う。
本開示の実施形態に係る情報処理装置の全体の構成例を示す図である。 本開示の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係る画素の構成例を示す図である。 本開示の実施形態に係る画像信号の生成の一例を示す図である。 本開示の実施形態に係るフレームの生成の一例を示す図である。 本開示の実施形態に係る画像信号の生成の一例を示す図である。 本開示の実施形態に係るフレームの生成の一例を示す図である。 本開示の実施形態に係る測距方法の一例を示す図である。 本開示の実施形態に係る測距方法の一例を示す図である。 本開示の実施形態に係る処理方法の一例を示す図である。 本開示の実施形態に係る処理方法の他の例を示す図である。 本開示の実施形態の変形例に係る画素の構成例を示す図である。 本開示の実施形態の変形例に係る画素の他の構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．実施形態
２．変形例
　（１．実施形態）
　［情報処理装置の全体構成］
　図１は、本開示の実施形態に係る情報処理装置の全体の構成例を示す図である。同図は、情報処理装置１の構成例を表す図である。情報処理装置１は、被写体のうちの注目物体の画像データを生成するとともに注目物体の画像の処理を行う装置である。情報処理装置１は、光源装置２と、撮像素子３と、制御装置４と、アプリケーションプロセッサ５とを備える。
　光源装置２は、被写体等に出射光を出射するものである。同図は、被写体８０１に出射光８０２を出射する例を表したものである。この出射光８０２が被写体８０１に反射された反射光８０３が後述する撮像素子３に入射する。なお、光源装置２は、請求の範囲に記載の光源部の一例である。
　撮像素子３は、被写体等の撮像を行って画像を生成するものである。また、撮像素子３は、同図の反射光８０３を受光する。この受光した反射光８０３に基づいて被写体８０１までの距離を測定することができる。
　制御装置４は、光源装置２や撮像素子３等のハードウェア部を制御するものである。この制御装置４は、光源装置２における出射光８０２の出射の制御を行い、撮像素子３における被写体の画像の撮像や反射光８０３に基づく画像の生成の制御を行う。
　アプリケーションプロセッサ５は、情報処理装置１の全体を制御するものである。またアプリケーションプロセッサ５は、情報処理装置１におけるソフトウェア的な制御及び処理を行う。
　同図の情報処理装置１は、撮像素子３により生成された被写体の画像から注目物体を検出する。この注目物体は、情報処理装置１の処理の対象となる物体であり、例えば、人物が該当する。情報処理装置１は、この注目物体の検出後に、注目物体までの距離を測定する。また、情報処理装置１は、この距離の測定により注目物体の３次元形状を取得する。注目物体の３次元形状は、例えば、注目物体の表面形状を表すデプスマップにより表すことができる。アプリケーションプロセッサ５は、注目物体の検出や注目物体までの距離の測定等の処理を行う。また、アプリケーションプロセッサ５は、注目物体の３次元形状に基づいて人物等の認証の処理を行うこともできる。
　［情報処理装置の構成］
　図２は、本開示の実施形態に係る情報処理装置の構成例を示す図である。同図は、情報処理装置１の構成例を表すブロック図であり、上述のアプリケーションプロセッサ５等による処理を表すブロックを記載した図である。情報処理装置１は、光源装置２と、撮像素子３と、画素制御部３０と、画像生成部４０と、物体検出部５０と、測距部６０と、認証部８０と、制御部７０とを備える。なお、情報処理装置１は、請求の範囲に記載の情報処理システムの一例である。
　撮像素子３は、被写体の撮像を行って画像信号を生成して出力するものである。同図の撮像素子３は、画素アレイ部１１と、垂直駆動部１２と、カラム信号処理部１３とを備える。
　画素アレイ部１１は、複数の画素１００が２次元行列状に配置されて構成されたものである。画素１００は、入射光の光電変換を行う光電変換部を備え、照射された入射光に基づいて被写体の画像信号を生成するものである。この光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素１００には、信号線１５及び１６が配線される。画素１００は、信号線１５により伝達される制御信号に制御されて画像信号を生成し、信号線１６を介して生成した画像信号を出力する。なお、信号線１５は、２次元行列の形状の行毎に配置され、１行に配置された複数の画素１００に共通に配線される。信号線１６は、２次元行列の形状の列毎に配置され、１列に配置された複数の画素１００に共通に配線される。
　垂直駆動部１２は、上述の画素１００の制御信号を生成するものである。同図の垂直駆動部１２は、画素アレイ部１１の２次元行列の行毎に制御信号を生成し、信号線１５を介して順次出力する。
　カラム信号処理部１３は、画素１００により生成された画像信号の処理を行うものである。同図のカラム信号処理部１３は、信号線１６を介して伝達される画素アレイ部１１の１行に配置された複数の画素１００からの画像信号の処理を同時に行う。この処理として、例えば、画素１００により生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換や画像信号のオフセット誤差を除去する相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）を行うことができる。処理後の画像信号は、撮像素子３の外部の回路等に対して出力される。
　後述するように、画素１００は、第１の画像信号及び第２の画像信号を出力する。第１の画像信号は、前述のグローバルシャッタ方式により生成された画像信号である。また、第２の画像信号は、前述のローカルシャッタ方式により生成された画像信号である。このように、同図の画素１００は、グローバルシャッタ方式及びローカルシャッタ方式を切り替えて画像信号を生成することができる。同図の垂直駆動部１２は、グローバルシャッタ方式及びローカルシャッタ方式のそれぞれに対応した制御信号を生成し、画素１００に対して出力する。
　また、カラム信号処理部１３は、第１の画像信号及び第２の画像信号のそれぞれに対して上述の処理を行う。なお、カラム信号処理部１３は、請求の範囲に記載の画像信号処理部の一例である。
　光源装置２は、前述のように、測距のための出射光を出射するものである。この光源装置２は、レーザーダイオード等の発光素子及び当該発光素子の駆動部を備える。この駆動部は、後述する制御部７０が出力する制御信号に基づいて発光素子を駆動する。光源装置２は、例えば、点状の明部が複数配置されたパターン光を出射することができる。この場合、同図の撮像素子３は、被写体により反射されたパターン光に基づいて被写体までの距離を測定する。距離の測定の詳細については後述する。なお、光源装置２は、請求の範囲に記載の光源部の一例である。
　画素制御部３０は、画素１００の撮像を制御するものである。この画素制御部３０は、画素１００におけるローカルシャッタ方式とグローバルシャッタ方式とを切り替える制御を行うものである。ローカルシャッタ方式及びグローバルシャッタ方式の詳細については後述する。同図の画素制御部３０は、垂直駆動部１２を制御することにより、画素１００のローカルシャッタ方式とグローバルシャッタ方式との切り替えを行う。
　画像生成部４０は、撮像素子３（カラム信号処理部１３）から出力される画像信号に基づいて１画面分の画像であるフレームを生成するものである。この画像生成部４０は、第１の画像信号に基づくフレームである第１のフレーム及び第２の画像信号に基づくフレームである第２のフレームをそれぞれ生成する。生成された第１のフレームは測距部６０に対して出力され、生成された第２のフレームは物体検出部５０に対して出力される。
　物体検出部５０は、第２のフレームから人物等の注目物体を検出するものである。注目物体の検出は、例えば、予め登録した人物の画像との比較により行うことができる。物体検出部５０は、検出した注目物体を制御部７０に対して出力する。
　測距部６０は、注目物体までの距離を測定するものである。この測距部６０は、注目物体に出射された出射光が注目物体に反射された反射光に基づいて生成された第１のフレームに基づいて前記注目物体までの距離を測定する。測距部６０は、測定した距離に基づいて、前述のデプスマップを生成することができる。なお、注目物体は、例えば、制御部７０経由で伝達された注目物体を適用することができる。デプスマップ等の距離データは、認証部８０に対して出力される。
　制御部７０は、情報処理装置１の全体を制御するものである。この制御部７０は、画素制御部３０にローカルシャッタの制御を行わせるとともに画像生成部４０に第２のフレームを生成させる第２のフレーム生成制御、物体検出部５０に注目物体を検出させる注目物体検出制御、画素制御部３０にグローバルシャッタの制御を行わせるとともに画像生成部４０に第１のフレームを生成させる第１のフレーム生成制御及び測距部６０に注目物体までの距離を測定させる測距制御を行うことができる。また、制御部７０は、光源装置に出射光を出射させる光源制御を更に行うことができる。
　認証部８０は、測距部６０から出力された距離データに基づいて注目物体の認証を行うものである。認証部８０は、外部の装置に対して認証の結果を出力することができる。
　なお、情報処理装置１の構成は、この例に限定されない。例えば、光源装置２を省略する構成を採ることもできる。この場合は、情報処理装置１の外部に配置された光源装置２に対して制御部７０により生成された制御信号が出力される。
　［画素の構成］
　図３は、本開示の実施形態に係る画素の構成例を示す図である。同図は、画素１００の構成例を表す回路図である。同図の画素１００は、受光部１１０と、信号レベル保持部１３０と、第１の画像信号生成部１２０と、定電流回路１４０と、第２の画像信号生成部１５０とを備える。また、画素１００には、信号線ＴＲＧ、信号線ＲＳＴ、信号線ＰＣ、信号線ＳＷ、信号線ＳＥＬＲ、信号線Ｓ１、信号線Ｓ２、信号線ＲＢ、信号線ＳＥＬ及び信号線ＶＳＬが配線される。信号線ＴＲＧ、信号線ＲＳＴ、信号線ＰＣ、信号線ＳＷ、信号線ＳＥＬＲ、信号線Ｓ１、信号線Ｓ２、信号線ＲＢ及び信号線ＳＥＬは、信号線１５を構成する。信号線ＶＳＬは、信号線１６を構成する。
　受光部１１０は、入射光の露光を行って当該露光量に応じた電圧レベルを出力するものである。同図の受光部１１０は、光電変換部１１１と、電荷保持部１１２と、電荷転送部１１５と、第１のリセット部１１６と、第１の増幅部１１８と、第１の選択部１１９とを備える。なお、電荷保持部１１２、電荷転送部１１５、第１のリセット部１１６、第１の増幅部１１８及び第１の選択部１１９には、ｎチャネルＭＯＳトランジスタを使用することができる。
　光電変換部１１１のアノードは接地され、カソードは電荷転送部１１５のソースに接続される。電荷転送部１１５のドレインは、第１のリセット部１１６のソース、第１の増幅部１１８のゲート及び電荷保持部１１２の一端に接続される。電荷保持部１１２の他の一端は、接地される。第１のリセット部１１６のドレインは、電源線Ｖｄｄに接続される。第１の増幅部１１８のドレインは電源線Ｖｄｄに接続され、ソースは第１の選択部１１９のドレインに接続される。第１の選択部１１９のソースは、第１の出力ノード１０１に接続される。電荷転送部１１５のゲート、第１のリセット部１１６のゲート及び第１の選択部１１９のゲートには、それぞれ信号線ＴＲＧ、信号線ＲＳＴ及び信号線ＳＷが接続される。
　光電変換部１１１は、入射光の光電変換を行うものである。この光電変換部１１１は、半導体基板に形成されるフォトダイオードにより構成することができる。
　電荷転送部１１５は、光電変換部１１１の電荷を電荷保持部１１２に転送するものである。この電荷転送部１１５は、光電変換部１１１及び電荷保持部１１２の間を導通させることにより、電荷を転送する。
　電荷保持部１１２は、光電変換部１１１の光電変換により生成される電荷を保持するものである。この電荷保持部１１２には、前述の浮遊拡散層を使用することができる。
　第１のリセット部１１６は、電荷保持部１１２をリセットするものである。この第１のリセット部１１６は、電荷保持部１１２の電荷を電源線Ｖｄｄに排出することにより、リセットを行う。
　第１の増幅部１１８は、電荷保持部１１２に保持された電荷に応じた信号を生成するものである。この第１の増幅部１１８は、第１の出力ノード１０１を介して接続される定電流回路１４０とともにソースフォロワ回路を構成し、生成した信号を第１の出力ノード１０１に出力する。なお、同図の画素１００においては、第１の増幅部１１８により生成される信号の電圧レベルが第１の出力ノード１０１を介して信号レベル保持部１３０及び第２の画像信号生成部１５０に伝達される。また、第１の増幅部１１８は、第１のリセット部１１６によりリセットされた後の電圧レベルであるリセットレベルと露光期間に光電変換部１１１により生成された電荷が電荷保持部１１２に保持された際の電圧レベルである信号レベルとを第１の出力ノード１０１に出力する。
　第１の選択部１１９は、第１の増幅部１１８により生成される信号を第１の出力ノード１０１に出力するものである。この第１の選択部１１９は、第１の増幅部１１８と第１の出力ノード１０１の間に接続され、自身が導通することにより第１の増幅部１１８の信号を第１の出力ノード１０１に伝達する。この第１の選択部１１９を配置して非導通の状態にすることにより、第１の増幅部１１８がオフ状態の時のリーク電流を低減することができる。
　定電流回路１４０は、前述の第１の増幅部１１８の負荷を構成する定電流回路である。この定電流回路１４０は、第１の出力ノード１０１に定電流の吸い込み電流（シンク電流）を供給する。同図の定電流回路１０５は、ＭＯＳトランジスタ１４１を備える。
　ＭＯＳトランジスタ１４１のドレインは第１の出力ノード１０１に接続され、ソースは接地される。ＭＯＳトランジスタ１４１のゲートのゲートは、信号線ＰＣに接続される。
　信号線ＰＣは、バイアス電圧を伝達する。ＭＯＳトランジスタ１４１は、信号線ＰＣからのバイアス電圧がゲートに印加され、印加されたバイアス電圧に応じた定電流を供給する。
　信号レベル保持部１３０は、前記受光部から出力された電圧レベルを保持するものである。この信号レベル保持部１３０は、第１の出力ノード１０１に接続されて受光部１１０から出力される信号のレベルを保持する。同図の信号レベル保持部１３０は、第１の容量素子１３１と、第２の容量素子１３２と、第１のスイッチ素子１３５と、第２のスイッチ素子１３６とを備える。
　第１の容量素子１３１の一端及び第２の容量素子１３２の一端は、第１の出力ノード１０１に共通に接続される。第１の容量素子１３１の他の一端及び第２の容量素子１３２の他の一端は、それぞれ第１のスイッチ素子１３５のソース及び第２のスイッチ素子１３６のソースに接続される。第１のスイッチ素子１３５のドレイン及び第２のスイッチ素子１３６ドレインは、第２の出力ノード１０２に共通に接続される。第１のスイッチ素子１３５のゲート及び第２のスイッチ素子１３６のゲートは、それぞれ信号線Ｓ１及び信号線Ｓ２に接続される。
　第１の容量素子１３１は、リセットレベルを保持する容量素子である。
　第２の容量素子１３２は、信号レベルを保持する容量素子である。
　第１のスイッチ素子１３５は、第１の容量素子１３１に流れる電流を制御する素子である。この第１のスイッチ素子１３５は、第１の容量素子１３１及び第２の出力ノード１０２の間に接続される。
　第２のスイッチ素子１３６は、第２の容量素子１３２に流れる電流を制御する素子である。この第２のスイッチ素子１３６は、第２の容量素子１３２及び第２の出力ノード１０２の間に接続される。
　第１の画像信号生成部１２０は、前記容量素子部に保持された電圧レベルに応じた信号である第１の画像信号を生成するものである。同図の第１の画像信号生成部１２０は、第１の容量素子１３１及び第２の容量素子１３２に保持された信号レベルに応じた画像信号を生成して出力する。同図の第１の画像信号生成部１２０は、第２のリセット部１２１と、第２の増幅部１２２と、第２の選択部１２３とを備える。
　第２のリセット部１２１のソース及び第２の増幅部１２２のゲートは、第２の出力ノード１０２に共通に接続される。第２のリセット部１２１のドレインは、電源線Ｖｒｅｇに接続される。第２の増幅部１２２のドレインは電源線Ｖｄｄに接続され、ソースは第２の選択部１２３のドレインに接続される。第２の選択部１２３のソースは、信号線ＶＳＬに接続される。
　第２のリセット部１２１は、第２の出力ノード１０２をリセットするものである。この第２のリセット部１２１は、第２の出力ノード１０２に電源線Ｖｒｅｇの電圧を印加することによりリセットを行う。
　第２の増幅部１２２は、第２の出力ノード１０２の電圧に応じた信号を生成する素子である。この第２の増幅部１２２は、第１の容量素子１３１に保持されたリセットレベル及び第２の容量素子１３２に保持された信号レベルをそれぞれ読み出してリセットレベル及び信号レベルにそれぞれ対応する第１の画像信号として生成する。
　第２の選択部１２３は、第２の増幅部１２２により生成される第１の画像信号を信号線ＶＳＬに出力する素子である。この第２の選択部１２３は、第２の増幅部１２２及び信号線ＶＳＬの間に接続され、自身が導通することにより第２の増幅部１２２の信号を信号線ＶＳＬに伝達する。なお、第２の増幅部１２２及び第２の選択部１２３の回路は、読み出し回路を構成する。
　第２の画像信号生成部１５０は、受光部１１０から出力された電圧レベルに応じた信号である第２の画像信号を生成するものである。同図の第２の画像信号生成部１５０は、ＭＯＳトランジスタ１５１を備える。ＭＯＳトランジスタ１５１のドレインは第１の出力ノード１０１に接続され、ソースは信号線ＶＳＬに接続される。ＭＯＳトランジスタ１５１のゲートは信号線ＳＥＬＲに接続される。ＭＯＳトランジスタ１５１は、自身が導通することにより、第１の出力ノード１０１の信号レベルを信号線ＶＳＬに出力する。すなわち、第２の画像信号生成部１５０は、信号レベル保持部１３０を介さずに第１の出力ノード１０１の電圧レベルを信号線ＶＳＬに伝達する。なお、第２の画像信号生成部１５０は、リセットレベル及び信号レベルにそれぞれ対応する第２の画像信号として出力する。
　信号レベル保持部１３０及び第１の画像信号生成部１２０は、グローバルシャッタ方式の撮像の際に使用することができる。また、第２の画像信号生成部１５０は、ローカルシャッタ方式の撮像の際に使用することができる。
　［ローカルシャッタ方式の画像信号の生成］
　図４は、本開示の実施形態に係る画像信号の生成の一例を示す図である。同図は、ローカルシャッタ方式を適用する第２の画像信号の生成の一例を表すタイミング図である。同図の「ＳＷ」、「ＲＳＴ」、「ＴＲＧ」、「ＳＥＬＲ」、「ＳＥＬ」は、それぞれ信号線ＳＷ、信号線ＲＳＴ、信号線ＴＲＧ、信号線ＳＥＬＲ、信号線ＳＥＬの波形を表す。また、「ＲＢ」、「Ｓ１」及び「Ｓ２」は、それぞれ信号線ＲＢ、信号線Ｓ１及び信号線Ｓ２の波形を表す。これらの波形は、それぞれの信号線により伝達される制御信号を２値化して表したものである。これらの波形の値「１」の部分がオン信号を表す。ここで、オン信号は、制御信号がゲートに入力されるＭＯＳトランジスタを導通状態にする信号である。また、同図の「ＰＣ」は、信号線ＰＣに印加されるバイアス電圧を表す。また、同図の「ＶＳＬ」は、信号線ＶＳＬに出力される画像信号を表す。なお、同図の破線は、０Ｖのレベルを表す。
　初期状態において、信号線ＲＳＴ、信号線ＴＲＧ及び信号線ＳＥＬＲは値「０」となる。なお、信号線ＳＷは常時値「１」となり、信号線ＳＥＬ、信号線ＲＢ、信号線Ｓ１及び信号線Ｓ２は常時値「０」となる。また、信号線ＰＣには、常時所定のバイアス電圧が印加される。
　Ｔ１において、信号線ＲＳＴにオン信号が印加されて、第１のリセット部１１６が導通する。また、信号線ＴＲＧにオン信号が印加されて電荷転送部１１５が導通する。これにより、光電変換部１１１及び電荷保持部１１２がリセットされる。
　Ｔ２において、信号線ＲＳＴ及び信号線ＴＲＧのオン信号の印加が停止され、第１のリセット部１１６及び電荷転送部１１５が非導通の状態になる。これにより、光電変換部１１１における電荷の蓄積が開始される。なお、Ｔ１乃至Ｔ２の期間は、リセット期間に該当する。
　Ｔ３において、信号線ＲＳＴにオン信号が印加されて第１のリセット部１１６が導通し、電荷保持部１１２がリセットされる。
　Ｔ４において、信号線ＲＳＴのオン信号の印加が停止されて第１のリセット部１１６が非導通の状態になる。この際、第１の出力ノード１０１には、リセットレベルが出力される。また、信号線ＳＥＬＲにオン信号が印加されてＭＯＳトランジスタ１５１が導通状態になる。これにより、リセットレベルの第２の画像信号が信号線ＶＳＬに出力される。同図の「Ａ」は、リセットレベルの第２の画像信号を表す。
　Ｔ５において、信号線ＳＥＬＲのオン信号の印加が停止され、ＭＯＳトランジスタ１５１が非導通の状態になる。また、信号線ＴＲＧにオン信号が印加され、電荷転送部１１５が導通する。これにより、光電変換部１１１に蓄積された電荷が電荷保持部１１２に転送される。なお、Ｔ２からＴ５の期間が露光期間に該当する。
　Ｔ６において、信号線ＴＲＧのオン信号の印加が停止され、電荷転送部１１５が非導通の状態になる。この際、第１の出力ノード１０１には、信号レベルが出力される。また、信号線ＳＥＬＲにオン信号が印加されてＭＯＳトランジスタ１５１が導通状態になり、信号レベルの第２の画像信号が信号線ＶＳＬに出力される。同図の「Ｂ」は、信号レベルの第２の画像信号を表す。
　Ｔ７において、信号線ＳＥＬＲのオン信号の印加が停止される。なお、Ｔ４乃至Ｔ７の期間が画像信号を画素１００から出力させる期間である読み出し期間に該当する。同図の画像信号の生成においては、露光期間の一部が読み出し期間と重なる構成となる。なお、Ｔ６乃至Ｔ７の期間に出力された信号レベルの第２の画像信号からＴ４乃至Ｔ５の期間に出力されたリセットレベルの第２の画像信号を減算するＣＤＳがカラム信号処理部１３により行われる。これにより、第２の画像信号のオフセット誤差の影響を低減することができる。
　［ローカルシャッタ方式におけるフレームの形成］
　図５は、本開示の実施形態に係るフレームの生成の一例を示す図である。同図は、ローカルシャッタ方式を適用する第２のフレームの生成の一例を表すタイミング図である。同図は、画素アレイ部１１における行毎の第２の画像信号の生成手順を表したものである。同図の「リセット」、「露光」及び「読出」は、それぞれ、リセット期間４０１、露光期間４０２及び読み出し期間４０３を表す。これらを順に行うことにより、行毎に第２の画像信号が画素１００から読み出される。これら、リセット期間４０１、露光期間４０２及び読み出し期間４０３は、行毎にタイミングをずらして行われる。信号線ＶＳＬは、画素アレイ部１１の列に配置された画素１００に共通に配線されるため、読み出し期間４０３のタイミングを行毎にずらす必要があるためである。
　これらの第２の画像信号の生成を画素アレイ部１１の全ての行において行って第２の画像信号を生成することにより、第２のフレームを形成することができる。なお、同図に表したローカルシャッタ方式の撮像では、動きのある被写体の撮像において画像に歪みを生じる。行毎に露光のタイミングが異なるためである。一方、図４に表したように、ローカルシャッタ方式の撮像は簡便な制御により画像信号を生成することができるため、高速なフレームの生成が可能となる。このため、フレーム周波数を向上させることができる。また、消費電力を低減することもできる。
　［グローバルシャッタ方式の画像信号の生成］
　図６は、本開示の実施形態に係る画像信号の生成の一例を示す図である。同図は、グローバルシャッタ方式を適用する第２の画像信号の生成の一例を表すタイミング図である。同図は、図４と共通の表記を使用する。
　初期状態において、信号線ＳＷ、信号線ＴＲＧ、信号線ＰＣ、信号線ＳＥＬ、信号線ＲＢ、信号線Ｓ１及び信号線Ｓ２は、値「０」となる。また、信号線ＲＳＴは、値「１」となる。なお、信号線ＳＥＬＲは、常時値「０」となる。
　Ｔ２１において、信号線ＳＷにオン信号が印加され、第１の選択部１１９が導通状態になる。また、信号線ＴＲＧにオン信号が印加され、電荷転送部１１５が導通状態になる。また、信号線ＰＣに所定のバイアス電圧が印加され、ＭＯＳトランジスタ１０９が第１の出力ノード１０１に定電流を供給する。第１のリセット部１１６及び電荷転送部１１５が導通状態になるため、光電変換部１１１及び電荷保持部１１２がリセットされる。
　Ｔ２２において、信号線ＲＢにオン信号が印加され、第２のリセット部１２１が導通の状態になる。また、信号線Ｓ１にオン信号が印加され、第１のスイッチ素子１３５が導通状態になる。また、信号線Ｓ２にオン信号が印加され、第２のスイッチ素子１３６が導通状態になる。Ｔ１乃至Ｔ２の期間に電荷保持部１１２がリセットされるとともに第１の容量素子１３１及び第２の容量素子１３２もリセットされる。また、第２の出力ノード１０２が電源線Ｖｒｅｇの電圧であるＶＲＥＧになる。
　Ｔ２３において、信号線ＲＳＴのオン信号の印加が停止され、第１のリセット部１１６が非導通の状態になる。また、信号線ＴＲＧへのオン信号の印加が停止され、電荷転送部１１５が非導通の状態になる。また、信号線Ｓ２のオン信号の印加が停止され、第２のスイッチ素子１３６が非導通の状態になる。これにより、光電変換部１１１及び電荷保持部１１２のリセットが終了する。このリセットは、全画素１００において同時に実行されるグローバルリセットに該当する。このリセットの終了に伴って露光期間が開始され、光電変換により生成された電荷が光電変換部１１１に蓄積される。第１の出力ノード１０１には、リセットレベルが出力される。このため、第１の容量素子１３１は、リセットレベルに充電される。
　Ｔ２４において、信号線ＲＢへのオン信号の印加が停止され、第２のリセット部１２１が非導通の状態になる。これにより、第１の容量素子１３１にリセットレベルが保持される。
　Ｔ２５において、信号線Ｓ１へのオン信号の印加が停止され、第１のスイッチ素子１３５が非導通の状態になる。
　Ｔ２６において、信号線ＴＲＧにオン信号が印加され、電荷転送部１１５が導通状態になる。これにより、光電変換部１１１の電荷が電荷保持部１１２に転送される。また、信号線ＲＢにオン信号が印加され、第２のリセット部１２１が導通状態になる。これにより、第２の出力ノード１０２がＶＲＥＧになる。また、信号線Ｓ２にオン信号が印加され、第２のスイッチ素子１３６が導通状態になる。
　Ｔ２７において、信号線ＴＲＧへのオン信号の印加が停止され、電荷転送部１１５が非導通の状態になる。第１の出力ノード１０１には、信号レベルが出力される。このため、第２の容量素子１３２は、信号レベルに充電される。
　Ｔ２８において、信号線ＲＢへのオン信号の印加が停止され、第２のリセット部１２１が非導通の状態になる。これにより、第２の容量素子１３２に画像信号レベルが保持される。
　Ｔ２９において、信号線Ｓ２へのオン信号の印加が停止され、第２のスイッチ素子１３６が非導通の状態になる。
　Ｔ３０において、信号線ＳＷへのオン信号の印加が停止され、第１の選択部１１９が非導通の状態になる。また、信号線ＲＳＴにオン信号が印加され、第１のリセット部１１６が導通状態になる。
　Ｔ３１において、信号線ＰＣへのバイアス電圧の印加が停止される。これにより、ＭＯＳトランジスタ１０９が非導通の状態になる。
　Ｔ３２において、信号線ＳＷにオン信号が印加され、第１の選択部１１９が導通状態になる。
　Ｔ３３において、信号線ＳＥＬにオン信号が印加され、第２の選択部１２３が導通状態になる。また、信号線ＲＢにオン信号が印加され、第２のリセット部１２１が導通状態になる。これにより、第２の出力ノード１０２がＶＲＥＧの電圧にリセットされる。
　Ｔ３４において、信号線ＲＢへのオン信号の印加が停止され、第２のリセット部１２１が非導通の状態になる。また、信号線Ｓ１にオン信号が印加され、第１のスイッチ素子１３５が導通状態になる。第１のリセット部１１６が導通状態のため、第２の出力ノード１０２は、ＶＲＥＧにリセットレベルが重畳された電圧になる。この電圧に応じた画像信号が第２の増幅部１２２により生成され、信号線ＶＳＬに出力される。この画像信号は、リセットレベルの第１の画像信号に該当する。同図の「Ｃ」は、リセットレベルの第１の画像信号を表す。
　Ｔ３５において、信号線Ｓ１へのオン信号の印加が停止され、第１のスイッチ素子１３５が非導通の状態になる。また、信号線ＲＢにオン信号が印加され、第２のリセット部１２１が導通状態になる。これにより、第２の出力ノード１０２がＶＲＥＧの電圧にリセットされる。
　Ｔ３６において、信号線ＲＢへのオン信号の印加が停止され、第２のリセット部１２１が非導通の状態になる。また、信号線Ｓ２にオン信号が印加され、第２のスイッチ素子１３６が導通状態になる。第２の出力ノード１０２は、ＶＲＥＧに信号レベルが重畳された電圧になる。この電圧に応じた画像信号が第２の増幅部１２２により生成され、画像信号として信号線ＶＳＬに出力される。この画像信号は、信号レベルの第１の画像信号に該当する。同図の「Ｄ」は、信号レベルの第１の画像信号を表す。
　Ｔ３７において、信号線ＳＷへのオン信号の印加が停止され、第１の選択部１１９が非導通の状態になる。また、信号線ＳＥＬへのオン信号の印加が停止され、第２の選択部１２３が非導通の状態になる。また、信号線Ｓ２へのオン信号の印加が停止され、第２のスイッチ素子１３６が非導通の状態になる。
　Ｔ２１乃至Ｔ３１の手順を画素アレイ部１１の全ての行について順次実行する。これにより、１画面分の画像信号を生成することができる。また、Ｔ３２乃至Ｔ３７の期間が読み出し期間に該当する。なお、Ｔ３６乃至Ｔ３７の期間に出力された信号レベルの第１の画像信号からＴ３４乃至Ｔ３５の期間に出力されたリセットレベルの第１の画像信号を減算するＣＤＳがカラム信号処理部１３により行われる。これにより、ＶＲＥＧ成分が除去される。また、第１の画像信号のオフセット誤差の影響を低減することができる。このオフセット誤差には、例えば、光電変換部１１１の近傍から漏洩した入射光により生成される電荷による誤差が該当する。上述の減算処理により、第１の容量素子１３１及び第２の容量素子１３２に共通に生成されるオフセットによる誤差が削減され、漏洩した入射光に基づく感度である寄生受光感度（ＰＬＳ：Parasitic　Light　Sensitivity）を低減することができる。
　［グローバルシャッタ方式におけるフレームの形成］
　図７は、本開示の実施形態に係るフレームの生成の一例を示す図である。同図は、グローバルシャッタ方式を適用する第１のフレームの生成の一例を表すタイミング図である。同図は、図５と同様に、画素アレイ部１１における行毎の第２の画像信号の生成手順を表したものである。同図において、図５と同様の表記を使用する。
　同図に表したように、グローバルシャッタ方式では、リセット及び露光が画素アレイ部１１の全ての画素１００において同時に行われる。その後、読み出しを行毎に順次行って第１の画像信号を生成することにより、第１のフレームを形成することができる。
　このように、全ての画素１００において露光を同時に行うグローバルシャッタ方式の撮像では、ローカルシャッタ方式の撮像のような歪みの発生を防ぐことができる。一方、グローバルシャッタ方式は、ローカルシャッタ方式と比較して撮像の手順が複雑になるため、フレームの生成に時間が掛かる。このため、フレーム周波数が低くなる。
　［測距方法］
　図８Ａ及び８Ｂは、本開示の実施形態に係る測距方法の一例を示す図である。同図は、本開示に係る測距方法の原理を説明する図である。また、同図の測距方法は、三角測量の原理に基づく距離の測定方法である。
　同図の光源装置２は、複数の点状の明部が配置されたパターン光を出射する。同図のパターン光は、明部４２１乃至４２３が配置される例を表したものである。また、同図の「距離１」、「距離２」及び「距離３」は、光源装置２からのパターン光が照射される仮想的な面を表す。「距離１」、「距離２」及び「距離３」の順に光源装置２及び撮像素子３から離れた位置に配置される。これらの面から反射されたパターン光が撮像素子３にて受光されて画像（フレーム）が形成される。なお、同図にはレンズ６（図１において不図示）を記載した。このレンズ６は、それぞれの面により反射されたパターン光を撮像素子３に結像するレンズである。
　図８Ａに「距離１」、「距離２」及び「距離３」の面により反射されるパターン光を撮像した際のフレーム４３０乃至４３１を記載した。これらのフレーム４３０乃至４３２には、光源装置２からの距離に応じた位置に明部４２１乃至４２３が配置される。すなわち、フレームに配置される明部４２１等の位置に基づいて物体までの距離を測定することができる。
　図８Ｂは、「距離１」の面の近傍に中央部に凸部を有する物体４４０を配置した場合の例を表したものである。この物体４４０により反射されるパターン光を撮像すると、同図のフレーム４３３が得られる。フレーム４３３において、明部４２１及び４２３は「距離１」に対応する位置に配置され、明部４２２は「距離２」に対応する位置に配置される。このフレーム４３３により物体４４０までの距離を測定することができ、物体４４０の表面形状を取得することができる。このような距離の測定方法は、ストラクチャードライト（Structured　Light）法と称される。
　［情報処理手順］
　図９は、本開示の実施形態に係る処理方法の一例を示す図である。同図は、情報処理装置１における処理の手順を表す流れ図である。
　まず、画素アレイ部１１の画素１００をローカルシャッタの制御に切り替える（ステップＳ１００）。これは、画素制御部３０がローカルシャッタ方式の制御に切り替えることにより行うことができる。次に、第２のフレームを生成する（ステップＳ１０１）。これは、画素１００が生成した第２の画像信号に基づいて画像生成部４０が第２のフレームを生成することにより行うことができる。次に、物体検出部５０が第２のフレームから注目物体を検出するか否かを判断する（ステップＳ１０２）。その結果、注目物体が検出されない場合は（ステップＳ１０２，Ｎｏ）、ステップＳ１０１の処理に移行する。一方、注目物体が検出される場合には（ステップＳ１０２，Ｙｅｓ）、ステップＳ１０３の処理に移行する。
　ステップＳ１０３において、画素アレイ部１１の画素１００をグローバルシャッタの制御に切り替える（ステップＳ１０３）。これは、画素制御部３０がグローバルシャッタ方式の制御に切り替えることにより行うことができる。次に、光出射を開始する（ステップＳ１０４）。これは、光源装置２が測距のためのパターン光を出射することにより行うことができる。次に、第１のフレームを生成する（ステップＳ１０５）。これは、画素１００が生成した第１の画像信号に基づいて画像生成部４０が第１のフレームを生成することにより行うことができる。
　次に、測距部６０が距離の測定を行う（ステップＳ１０６）。次に、デプスマップを生成する（ステップＳ１０７）。これは、測定した距離に基づいて測距部６０が注目物体のデプスマップを生成することにより行うことができる。次に、認証部８０がデプスマップに基づいて注目物体の認証を行う（ステップＳ１０８）。
　以上の手順により、情報処理装置１において注目物体の検出及び認証の処理を行うことができる。
　図１０は、本開示の実施形態に係る処理方法の他の例を示す図である。同図は、情報処理装置１における処理の手順を表す流れ図であり、顔認証を行う場合の処理の手順を表す図である。同図の処理を行う情報処理装置１は、赤外光の撮像が可能な撮像素子３を備える。なお、同図の処理を行う情報処理装置１は、顔認証を行うスマートフォンを想定したものである。
　まず、画素アレイ部１１の画素１００をローカルシャッタの制御に切り替える（ステップＳ１２０）。次に、赤外光にて第２のフレームを生成する（ステップＳ１２１）。次に、物体検出部５０が注目物体として顔を検出するか否かを判断する（ステップＳ１２２）。その結果、顔が検出されない場合は（ステップＳ１２２，Ｎｏ）、ステップＳ１２１の処理に移行する。一方、顔が検出される場合には（ステップＳ１２２，Ｙｅｓ）、ステップＳ１２３の処理に移行する。
　ステップＳ１２３において、画素アレイ部１１の画素１００をグローバルシャッタの制御に切り替える（ステップＳ１２３）。次に、パターン光による光出射を開始する（ステップＳ１２４）。次に、第１のフレームを生成する（ステップＳ１２５）。次に、測距部６０が距離の測定を行い（ステップＳ１２６）、顔のデプスマップを生成する（ステップＳ１２７）。次に、認証部８０がデプスマップに基づいて顔部分の認識を行う（ステップＳ１２８）。次に、認証部８０が登録済み顔データと照合を行い（ステップＳ１２９）、認証する（ステップＳ１３０）。
　このように、本開示の実施形態の情報処理装置１は、ローカルシャッタ方式及びグローバルシャッタ方式を切り替えて撮像を行う撮像素子３を使用してそれぞれの撮像方式に基づく画像（フレーム）を生成することができる。注目物体の検出処理のための画像にローカルシャッタ方式により生成された第２のフレームを適用することにより、注目物体の検出処理を高速に行うとともに消費電力を低減することができる。また、認証処理のための注目物体の３次元形状の取得には、グローバルシャッタ方式により生成された歪みの少ない第１のフレームを適用する。これにより、高精度の３次元形状を取得することができ、認証処理の精度を向上させることができる。このように、情報処理装置１は、アプリケーションに応じてローカルシャッタ方式及びグローバルシャッタ方式を切り替えて画像を生成することができる。
　（２．変形例）
　上述の実施形態の撮像素子３は、他の構成を採ることもできる。撮像素子３の他の構成例について説明する。
　［画素の構成］
　図１１は、本開示の実施形態の変形例に係る画素の構成例を示す図である。同図は、図３と同様に、画素１００の構成例を表す回路図である。
　同図の受光部１１０は、電荷排出部１１４、結合部１１７及び第２の電荷保持部１１３を更に備える。電荷排出部１１４及び結合部１１７には、ｎチャネルＭＯＳトランジスタを適用することができる。電荷排出部１１４のドレインは電源線Ｖｄｄに接続され、ソースは光電変換部１１１のカソードに接続される。電荷排出部１１４のゲートは、信号ＯＦＧに接続される。結合部１１７のドレインは第１のリセット部１１６のソースに接続され、ソースは電荷転送部１１５のドレイン、第１の増幅部１１８のゲート及び電荷保持部１１２の一端に接続される。結合部１１７のゲートは、信号線ＦＤＧに接続される。第２の電荷保持部１１３は、結合部１１７のドレインと接地線との間に接続される。
　電荷排出部１１４は、光電変換部１１１をリセットするＭＯＳトランジスタである。この電荷排出部１１４は、光電変換部１１１の電荷を電源線Ｖｄｄに排出することにより、光電変換部１１１のリセットを行う。この電荷排出部１１４を配置することにより、電荷保持部１１２に電荷が保持されている期間に光電変換部１１１をリセットすることができ、次の撮像における露光の開始を早めることができる。
　第２の電荷保持部１１３は、光電変換部１１１に光電変換により生成される電荷を保持するものである。この第２の電荷保持部１１３は、電荷保持部１１２に結合される場合に、電荷を保持する。
　結合部１１７は、電荷保持部１１２及び第２の電荷保持部１１３を結合するものである。この結合部１１７は、第２の電荷保持部１１３を電荷保持部１１２に並列に接続することにより、第２の電荷保持部１１３を電荷保持部１１２に結合する。この結合により、光電変換部１１１により生成される電荷の保持容量を増加させることができ、感度を調整することができる。
　同図の定電流回路１４０は、ＭＯＳトランジスタ１４２を更に備える。ＭＯＳトランジスタ１４２のドレインはＭＯＳトランジスタ１４１のソースに接続され、ソースは接地される。ＭＯＳトランジスタ１４２のゲートは、信号線ＶＢに接続される。
　信号線ＶＢには、信号線ＰＣと同様に、バイアス電圧が印加される。ＭＯＳトランジスタ１４２は、このバイアス電圧に応じた定電流を供給する。ＭＯＳトランジスタ１４１及び１４２を直列接続し、それぞれのゲートにそれぞれバイアス電圧を供給することにより、定電流回路１４０を低ノイズ化することができる。また、電源電圧が変動した場合の出力電流の変動を低減することができる。
　また、同図の画素１００は、複数の異なる半導体チップに分割して配置することができる。同図は、受光部チップ２００及び回路チップ２５０に分割する例を表したものである。受光部チップ２００には、受光部１１０が配置される。回路チップ２５０には、定電流回路１４０、信号レベル保持部１３０、第１の画像信号生成部１２０及び第２の画像信号生成部１５０が配置される。これら受光部チップ２００及び回路チップ２５０を積層することもできる。この場合には、画素１００の面積を縮小することができる。
　また、第１の画像信号生成部１２０及び第２の画像信号生成部１５０を複数の画素１００で共有する構成を採ることもできる。
　［画素の他の構成］
　図１２は、本開示の実施形態の変形例に係る画素の他の構成例を示す図である。同図は、図１１と同様に、画素１００の構成例を表す回路図である。
　同図の画素１００は、光電変換部５１１と、電荷保持部５１２と、電荷転送部５１５と、第１のリセット部５１６と、第１の増幅部５１８と、ＭＯＳトランジスタ５４１と、第２の増幅部５２２と、選択部５２３とを備える。また、同図の画素１００は、サンプリング部５３９と、第１の容量素子５３１と、第２の容量素子５３２と、ＭＯＳトランジスタ５５１とを更に備える。
　光電変換部５１１、電荷保持部５１２、電荷転送部５１５及び第１のリセット部５１６は、図３の光電変換部１１１、電荷保持部１１２、電荷転送部１１５、第１のリセット部１１６及び結合部１１７と同様であるため説明を省略する。また、第１の増幅部５１８、ＭＯＳトランジスタ５４１、第２のリセット部５２１及び第２の増幅部５２２は、図３の第１の増幅部１１８、ＭＯＳトランジスタ１４１、第２のリセット部１２１及び第２の増幅部１２２と同様であるため、説明を省略する。選択部５２３は、図３の第２の選択部１２３と同様であるため、説明を省略する。
　サンプリング部５３９は、第１の容量素子５３１及び第２の容量素子５３２と第１の増幅部５１８のソースとの間を開閉するものである。このサンプリング部５３９には、ｎチャネルＭＯＳトランジスタを適用することができる。第１の容量素子５３１は、サンプリング部５３９及び第２の増幅部５２２の間に接続される。第２の容量素子５３２は、サンプリング部５３９のソースと接地線との間に接続される。また、ＭＯＳトランジスタ５５１は第１の増幅部５１８のソースと出力信号線ＶＳＬの間に接続される。同図の回路においては、第１の増幅部５１８のソースに接続されるノードが第１の出力ノード１０１に該当し、第２の容量素子５３２と第２の増幅部５２２のゲートとの間のノードが第２の出力ノード１０２に該当する。
　同図の画素１００においては、サンプリング部５３９、第１の容量素子５３１及び第２の容量素子５３２の回路が信号レベル保持部１３０を構成する。第１の増幅部５１８が第１の出力ノード１０１にリセットレベルを出力する際、第２のリセット部５２１及びサンプリング部５３９が導通する。これにより、第１の容量素子５３１にリセットレベルが保持される。次に、第１の増幅部５１８が第１の出力ノード１０１に信号レベルを出力する際には、第２のリセット部５２１が非導通の状態にしながらサンプリング部５３９を導通させる。これにより、第２の容量素子５３２に信号レベルが保持される。その後、サンプリング部５３９を非導通の状態にする。これにより、第２の出力ノード１０２には、第２の容量素子５３２及び第１の容量素子５３１のそれぞれの電圧が重畳された電圧が印加される。この電圧は、信号レベルからリセットレベルが減算された電圧に相当する。第１の画像信号生成部１２０を構成する第２の増幅部５２２及び選択部５２３により、第２の出力ノード１０２の電圧に応じた第１の画像信号が生成される。
　同図のＭＯＳトランジスタ５５１は、第２の画像信号生成部１５０を構成する。このＭＯＳトランジスタ５５１は、第１の出力ノード１０１の電圧レベルを第２の画像信号として信号線ＶＳＬに出力する。
　同図の画素１００においても、信号レベル保持部１３０及び第１の画像信号生成部１２０は、グローバルシャッタ方式の撮像の際に使用することができる。また、第２の画像信号生成部１５０は、ローカルシャッタ方式の撮像の際に使用することができる。
　（効果）
　本開示に係る情報処理装置１は、画素１００アレイ部１１と、画素制御部３０と、画像生成部４０と、物体検出部５０と、測距部と、制御部７０とを有する。画素１００アレイ部１１は、入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、受光部から出力された電圧レベルを保持する信号レベル保持部、信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素１００が２次元行列状に配置される。画素制御部３０は、画素１００に対して、受光部における入射光の露光及び当該露光の後に出力される電圧レベルに基づく第２の画像信号生成部における第２の画像信号の生成を画素１００アレイ部１１の行毎にタイミングをずらして順次行わせるローカルシャッタと、受光部における入射光の露光及び当該露光の後に出力される電圧レベルの信号レベル保持部への保持を画素１００アレイ部１１に配置された画素１００において同時に行うとともに第１の画像信号生成部における第１の画像信号の生成を画素１００アレイ部１１の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う。画像生成部４０は、第１の画像信号に基づく画像である第１のフレーム及び第２の画像信号に基づく画像である第２のフレームを生成する。物体検出部５０は、第２のフレームから注目物体を検出する。測距部６０は、注目物体に出射された出射光が注目物体に反射された反射光に基づいて生成された第１のフレームに基づいて注目物体までの距離を測定する。制御部７０は、画素制御部３０にローカルシャッタの制御を行わせるとともに画像生成部４０に第２のフレームを生成させる第２のフレーム生成制御、物体検出部５０に注目物体を検出させる注目物体検出制御、画素制御部３０にグローバルシャッタの制御を行わせるとともに画像生成部４０に第１のフレームを生成させる第１のフレーム生成制御及び測距部６０に注目物体までの距離を測定させる測距制御を行う。これにより、画素１００におけるローカルシャッタ方式の撮像とグローバルシャッタ方式の撮像とをアプリケーションに応じて切り替えることができる。
　受光部は、入射光の光電変換を行う光電変換部、光電変換により生成された電荷を保持する電荷保持部、露光期間に光電変換により生成された電荷を電荷保持部に転送する電荷転送部、電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び電荷保持部をリセットするリセット部を備えてもよい。
　受光部は、露光の期間に生成された電荷が電荷保持部に保持される際の電圧レベルである信号レベル及びリセット部によりリセットされた後の電圧レベルであるリセットレベルを出力し、信号レベル保持部は、出力された信号レベル及び出力されたリセットレベルをそれぞれ保持し、第１の画像信号生成部は、保持された信号レベル及び保持されたリセットレベルに応じた第１の画像信号を生成し、第２の画像信号生成部は、出力された信号レベル及び出力されたリセットレベルに応じた第２の画像信号を生成してもよい。これにより、リセットレベルをオフセット分として抽出することができる。
　信号レベルに応じた第１の画像信号からリセットレベルに応じた第１の画像信号を減算する処理と信号レベルに応じた第２の画像信号からリセットレベルに応じた第２の画像信号を減算する処理とを行う画像信号処理部を更に有し、画像生成部４０は、画像信号処理部により処理された第１の画像信号に基づいて第１のフレームを生成し、画像信号処理部により処理された第２の画像信号に基づいて第２のフレームを生成してもよい。これにより、信号レベルのオフセット誤差を削除することができる。
　出射光を注目物体に出射する光源装置２を更に有し、制御部７０は、光源装置２に出射光を出射させる光源制御を更に行ってもよい。
　光源装置２は、明部及び暗部を有するパターン光を出射し、測距部６０は、反射光のパターン光に基づいて注目物体までの距離を測定してもよい。
　測距部６０により測定された距離に基づいて注目物体の認証を行う認証部８０を更に有してもよい。
　測距部６０は、測定した距離に基づいて注目物体のデプスマップを生成し、認証部８０は、生成されたデプスマップに基づいて認証を行ってもよい。
　物体検出部５０は、顔を注目物体として検出し、測距部６０は、顔のデプスマップを生成し、認証部８０は、顔を認識して認証を行ってもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置された画素アレイ部と、
　前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
　前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
　前記第２のフレームから注目物体を検出する物体検出部と、
　前記注目物体に出射された出射光が前記注目物体に反射された反射光に基づいて生成された前記第１のフレームに基づいて前記注目物体までの距離を測定する測距部と、
　前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体を検出させる注目物体検出制御、前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御及び前記測距部に前記注目物体までの距離を測定させる測距制御を行う制御部と
を有する情報処理装置。
（２）
　前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える
前記（１）に記載の情報処理装置。
（３）
　前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、
　前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
　前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
　前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
前記（２）に記載の情報処理装置。
（４）
　前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部
を更に有し、
　前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
前記（３）に記載の情報処理装置。
（５）
　前記出射光を前記注目物体に出射する光源部
を更に有し、
　前記制御部は、前記光源部に前記出射光を出射させる光源制御を更に行う
前記（１）から（４）の何れかに記載の情報処理装置。
（６）
　前記光源部は、明部及び暗部を有するパターン光を出射し、
　前記測距部は、前記反射光のパターン光に基づいて注目物体までの距離を測定する
前記（５）に記載の情報処理装置。
（７）
　前記測距部により測定された距離に基づいて前記注目物体の認証を行う認証部
を更に有する前記（１）から（６）の何れかに記載の情報処理装置。
（８）
　前記測距部は、前記測定した距離に基づいて前記注目物体のデプスマップを生成し、
　前記認証部は、前記生成されたデプスマップに基づいて前記認証を行う
前記（７）に記載の情報処理装置。
（９）
　前記物体検出部は、顔を前記注目物体として検出し、
　前記測距部は、前記顔の前記デプスマップを生成し、
　前記認証部は、前記顔を認識して前記認証を行う
前記（８）に記載の情報処理装置。
（１０）
　入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置された画素アレイ部と、
　前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
　前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
　前記第２のフレームから注目物体を検出する物体検出部と、
　前記注目物体に出射された出射光が前記注目物体に反射された反射光に基づいて生成された前記第１のフレームに基づいて前記注目物体までの距離を測定する測距部と、
　前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体を検出させる注目物体検出制御、前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御及び前記測距部に前記注目物体までの距離を測定させる測距制御を行う制御部と
を有する情報処理システム。
（１１）
　前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える
前記（１０）に記載の情報処理システム。
（１２）
　前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、
　前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
　前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
　前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
前記（１１）に記載の情報処理システム。
（１３）
　前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部
を更に有し、
　前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
前記（１２）に記載の情報処理システム。
（１４）
　前記出射光を前記注目物体に出射する光源部
を更に有し、
　前記制御部は、前記光源部に前記出射光を出射させる光源制御を更に行う
前記（１０）から（１３）の何れかに記載の情報処理システム。
（１５）
　前記光源部は、明部及び暗部を有するパターン光を出射し、
　前記測距部は、前記反射光のパターン光に基づいて注目物体までの距離を測定する
前記（１４）に記載の情報処理システム。
（１６）
　前記測距部により測定された距離に基づいて前記注目物体の認証を行う認証部
を更に有する前記（１０）から（１５）の何れかに記載の情報処理システム。
（１７）
　前記測距部は、前記測定した距離に基づいて前記注目物体のデプスマップを生成し、
　前記認証部は、前記生成されたデプスマップに基づいて前記認証を行う
前記（１６）に記載の情報処理システム。
（１８）
　前記物体検出部は、顔を前記注目物体として検出し、
　前記測距部は、前記顔の前記デプスマップを生成し、
　前記認証部は、前記顔を認識して前記認証を行う
前記（１７）に記載の情報処理システム。
　１　情報処理装置
　２　光源装置
　３　撮像素子
　１１　画素アレイ部
　１２　垂直駆動部
　１３　カラム信号処理部
　３０　画素制御部
　４０　画像生成部
　５０　物体検出部
　６０　測距部
　７０　制御部
　８０　認証部
　１００　画素
　１１０　受光部
　１１１、５１１　光電変換部
　１１２、５１２　電荷保持部
　１１４　電荷排出部
　１１５、５１５　電荷転送部
　１１６、５１６　第１のリセット部
　１１８、５１８　第１の増幅部
　１１９　第１の選択部
　１２０　第１の画像信号生成部
　１２１、５２１　第２のリセット部
　１２２、５２２　第２の増幅部
　１２３　第２の選択部
　１３０　信号レベル保持部
　１３１、５３１　第１の容量素子
　１３２、５３２　第２の容量素子
　１３５　第１のスイッチ素子
　１３６　第２のスイッチ素子
　１５０　第２の画像信号生成部
　１５１、５５１　ＭＯＳトランジスタ
　５２３　選択部
　５３９　サンプリング部

Claims (18)

  1. 　入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置された画素アレイ部と、
    　前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
    　前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
    　前記第２のフレームから注目物体を検出する物体検出部と、
    　前記注目物体に出射された出射光が前記注目物体に反射された反射光に基づいて生成された前記第１のフレームに基づいて前記注目物体までの距離を測定する測距部と、
    　前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体を検出させる注目物体検出制御、前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御及び前記測距部に前記注目物体までの距離を測定させる測距制御を行う制御部と
    を有する情報処理装置。
  2. 　前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える
    請求項１に記載の情報処理装置。
  3. 　前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、
    　前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
    　前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
    　前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
    請求項２に記載の情報処理装置。
  4. 　前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部
    を更に有し、
    　前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
    請求項３に記載の情報処理装置。
  5. 　前記出射光を前記注目物体に出射する光源部
    を更に有し、
    　前記制御部は、前記光源部に前記出射光を出射させる光源制御を更に行う
    請求項１に記載の情報処理装置。
  6. 　前記光源部は、明部及び暗部を有するパターン光を出射し、
    　前記測距部は、前記反射光のパターン光に基づいて注目物体までの距離を測定する
    請求項５に記載の情報処理装置。
  7. 　前記測距部により測定された距離に基づいて前記注目物体の認証を行う認証部
    を更に有する請求項１に記載の情報処理装置。
  8. 　前記測距部は、前記測定した距離に基づいて前記注目物体のデプスマップを生成し、
    　前記認証部は、前記生成されたデプスマップに基づいて前記認証を行う
    請求項７に記載の情報処理装置。
  9. 　前記物体検出部は、顔を前記注目物体として検出し、
    　前記測距部は、前記顔の前記デプスマップを生成し、
    　前記認証部は、前記顔を認識して前記認証を行う
    請求項８に記載の情報処理装置。
  10. 　入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置された画素アレイ部と、
    　前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
    　前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
    　前記第２のフレームから注目物体を検出する物体検出部と、
    　前記注目物体に出射された出射光が前記注目物体に反射された反射光に基づいて生成された前記第１のフレームに基づいて前記注目物体までの距離を測定する測距部と、
    　前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体を検出させる注目物体検出制御、前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御及び前記測距部に前記注目物体までの距離を測定させる測距制御を行う制御部と
    を有する情報処理システム。
  11. 　前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える
    請求項１０に記載の情報処理システム。
  12. 　前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、
    　前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
    　前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
    　前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
    請求項１１に記載の情報処理システム。
  13. 　前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部
    を更に有し、
    　前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
    請求項１２に記載の情報処理システム。
  14. 　前記出射光を前記注目物体に出射する光源部
    を更に有し、
    　前記制御部は、前記光源部に前記出射光を出射させる光源制御を更に行う
    請求項１０に記載の情報処理システム。
  15. 　前記光源部は、明部及び暗部を有するパターン光を出射し、
    　前記測距部は、前記反射光のパターン光に基づいて注目物体までの距離を測定する
    請求項１４に記載の情報処理システム。
  16. 　前記測距部により測定された距離に基づいて前記注目物体の認証を行う認証部
    を更に有する請求項１０に記載の情報処理システム。
  17. 　前記測距部は、前記測定した距離に基づいて前記注目物体のデプスマップを生成し、
    　前記認証部は、前記生成されたデプスマップに基づいて前記認証を行う
    請求項１６に記載の情報処理システム。
  18. 　前記物体検出部は、顔を前記注目物体として検出し、
    　前記測距部は、前記顔の前記デプスマップを生成し、
    　前記認証部は、前記顔を認識して前記認証を行う
    請求項１７に記載の情報処理システム。
PCT/JP2022/038353 2021-10-20 2022-10-14 情報処理装置及び情報処理システム WO2023068191A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-171859 2021-10-20
JP2021171859 2021-10-20

Publications (1)

Publication Number Publication Date
WO2023068191A1 true WO2023068191A1 (ja) 2023-04-27

Family

ID=86059258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038353 WO2023068191A1 (ja) 2021-10-20 2022-10-14 情報処理装置及び情報処理システム

Country Status (1)

Country Link
WO (1) WO2023068191A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200279876A1 (en) * 2019-02-28 2020-09-03 Samsung Electronics Co., Ltd. Semiconductor devices including support region and methods of forming the same
WO2020261838A1 (ja) * 2019-06-25 2020-12-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2021161712A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 撮像装置及び車両制御システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200279876A1 (en) * 2019-02-28 2020-09-03 Samsung Electronics Co., Ltd. Semiconductor devices including support region and methods of forming the same
WO2020261838A1 (ja) * 2019-06-25 2020-12-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2021161712A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 撮像装置及び車両制御システム

Similar Documents

Publication Publication Date Title
US10257452B2 (en) Solid-state image pickup apparatus, signal processing method for a solid-state image pickup apparatus, and electronic apparatus
US11652983B2 (en) Solid-state imaging device, imaging system, and movable object
JP6075646B2 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
CN107852471B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US9148606B2 (en) Solid-state image capturing apparatus, driving method thereof and electronic apparatus
JP5552858B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
KR102013001B1 (ko) 고체 촬상 소자와 구동 방법 및 전자 기기
JP4442578B2 (ja) Ａｄ変換装置、物理量分布検出装置および撮像装置
WO2013058213A1 (ja) 撮像素子およびカメラシステム
JP2014039159A (ja) 固体撮像装置および駆動方法、並びに電子機器
US8854506B2 (en) Solid-state imaging device, method of driving the same, and electronic apparatus using the same
JP2020167542A (ja) 撮像装置及び信号処理装置
US8553121B2 (en) Imaging apparatus and control method thereof
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
WO2023068191A1 (ja) 情報処理装置及び情報処理システム
WO2023068117A1 (ja) 身体装着型端末及び情報処理システム
US11394915B2 (en) Image sensing device and operating method thereof
JP2013197697A (ja) 固体撮像装置及び電子機器
WO2021106521A1 (ja) 光検出器、固体撮像装置、及び、距離測定装置
CN116057952A (zh) 固体摄像装置、摄像装置以及距离测量装置
JP2015181221A (ja) 撮像装置、欠陥画素検出方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883495

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023554646

Country of ref document: JP