WO2021010355A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2021010355A1
WO2021010355A1 PCT/JP2020/027157 JP2020027157W WO2021010355A1 WO 2021010355 A1 WO2021010355 A1 WO 2021010355A1 JP 2020027157 W JP2020027157 W JP 2020027157W WO 2021010355 A1 WO2021010355 A1 WO 2021010355A1
Authority
WO
WIPO (PCT)
Prior art keywords
light receiving
receiving elements
light
groups
exposure time
Prior art date
Application number
PCT/JP2020/027157
Other languages
English (en)
French (fr)
Inventor
洋二郎 手塚
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2021533059A priority Critical patent/JP7384204B2/ja
Publication of WO2021010355A1 publication Critical patent/WO2021010355A1/ja
Priority to JP2023191611A priority patent/JP2024014925A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present invention relates to an imaging device and an imaging method.
  • the image pickup apparatus may include a light emitting unit that emits light.
  • the image pickup apparatus may include a plurality of groups each having a plurality of light receiving elements that receive the reflected light of the light emitted from the light emitting unit.
  • the image pickup apparatus may include a processing unit that generates an image for each group. At least one of the timing of receiving the reflected light of a plurality of groups and the exposure time may be set corresponding to different imaging ranges.
  • the processing unit may generate an image of an object in the imaging range corresponding to each of the plurality of groups.
  • the imaging range may include at least one of a distance range from the plurality of light receiving elements to the target portion and a time range from the emission of light from the light emitting portion to the reception by the plurality of light receiving elements.
  • the image pickup apparatus may include a control unit that controls at least one of the timing and the exposure time for each light receiving element or each group.
  • the image pickup apparatus may include a light receiving surface in which a plurality of light receiving elements are arranged. Each of the plurality of groups may have light receiving elements located in different regions on the light receiving surface.
  • At least one group of the plurality of groups may include a plurality of blocks on a light receiving surface, each containing at least one light receiving element.
  • the timing of the light receiving element located in the lower region on the light receiving surface may be earlier than the timing of the light receiving element located in the upper region on the light receiving surface.
  • the light emitting unit and the plurality of light receiving elements may be provided on the moving body.
  • the control unit shifts the exposure time of the light receiving element located in the right region on the light receiving surface forward when the moving body moves to the left front, and left on the light receiving surface when the moving body moves to the right front.
  • the exposure time of the light receiving element located in the local region may be shifted forward.
  • the control unit may control the exposure times of the plurality of light receiving elements so that the exposure times of the plurality of groups are continuous among the plurality of groups.
  • the control unit exposes a plurality of light receiving elements so that the number of light receiving elements included in the previous group with an exposure time among the plurality of groups is larger than the number of light receiving elements included in the later group. You may control the time.
  • the control unit may control the exposure times of the plurality of light receiving elements so that the exposure times of the plurality of groups start from the same time and end at different times.
  • the control unit controls the exposure time of the plurality of light receiving elements so that the exposure of at least one group among the plurality of groups is performed before the emission of light.
  • the processing unit may subtract the intensity of the output signal of the light receiving element included in at least one group from the intensity of the output signal of the light receiving element included in each of the remaining groups among the plurality of groups.
  • the processing unit may identify the object included in the generated image.
  • the processing unit may detect the movement of the object based on the object specified for each of the plurality of groups and the exposure time of each of the plurality of groups.
  • the light emitting unit and the plurality of light receiving elements may be provided on the moving body.
  • the control unit may control the exposure time of the plurality of light receiving elements according to the speed of the moving body.
  • the control unit may later shift the exposure time of at least some of the light receiving elements among the plurality of light receiving elements as the speed of the moving body increases.
  • a plurality of light receiving elements or a plurality of groups may be arranged between different light receiving elements arranged in a Bayer array.
  • the moving body may include the imaging device according to any one of items 1 to 16.
  • the moving body may include a speed sensor that detects the speed of the moving body.
  • the moving body may include a moving direction sensor that detects the moving direction of the moving body.
  • the imaging method may include a step of emitting light.
  • the imaging method may include a step of receiving the reflected light of the emitted light by using a plurality of light receiving elements.
  • the imaging method may include a step of controlling the exposure time for each of a plurality of light receiving elements or for each of a plurality of groups each having at least two light receiving elements.
  • the imaging method may include a step of generating at least one of the distance to the object within the measurement target range corresponding to the exposure time and the image of the object for each of a plurality of light receiving elements or a plurality of groups.
  • the cross-sectional configuration of the back-illuminated light-receiving device is shown.
  • An example of the group arrangement of the light receiving elements of the imaging chip is shown.
  • Another example of the group arrangement of the light receiving elements of the imaging chip is shown.
  • Another example of the group arrangement of the light receiving elements of the imaging chip is shown.
  • the pixel equivalent circuit is shown. It is a circuit diagram which shows the connection relation of the pixel in the block included in a unit group.
  • the configuration of the image pickup apparatus according to this embodiment is shown. An example of objects existing in the imaging range and their distances is shown.
  • An example of the exposure time of each group of light receiving elements is shown. Another example of the exposure time of each group of light receiving elements is shown. Another example of the exposure time of each group of light receiving elements is shown. Another example of the exposure time of each group of light receiving elements is shown. An example of the configuration of the imaging system when the imaging device according to the present embodiment is mounted on a vehicle is shown. An example of the flow of the imaging process by the imaging device mounted on the vehicle is shown.
  • FIG. 1 shows a cross-sectional configuration of the back-illuminated light receiving device 100 according to the present embodiment.
  • the light receiving device 100 includes an imaging chip and 113, a signal processing chip 111, and a memory chip 112. These chips are laminated, and each chip is joined by joining the conductive bumps 109 such as Cu formed on each chip and joining the oxide film layers formed on the upper surface of each chip. There is. Here, by joining the bumps 109 to each other, the chips are electrically connected to each other. The incident light is incident in the + Z direction as shown by the white arrow.
  • the surface of the image pickup chip 113 on the side where the incident light enters is referred to as a back surface, and the surface on the opposite side thereof is referred to as a front surface.
  • the vertical direction of the drawing is the Z-axis direction
  • the left-right direction is the X-axis direction
  • the direction orthogonal to these is the Y-axis direction.
  • the target range to be imaged by the imaging device 500 described later is also referred to as an imaging range.
  • the imaging chip 113 receives the incident light and outputs a pixel signal according to the exposure amount.
  • the image pickup chip 113 for example, a back-illuminated MOS image sensor may be adopted.
  • the imaging chip 113 has a PD layer 106 and a wiring layer 108.
  • the PD layer 106 has a plurality of light receiving elements 104 two-dimensionally arranged on the light receiving surface of the light receiving device 100.
  • the light receiving element 104 is a photoelectric conversion element such as a photodiode (PD).
  • a color filter 102 is provided on the back surface side of the PD layer 106 via the passivation film 103.
  • the color filter 102 has a plurality of types that transmit different wavelength regions from each other, and has a specific arrangement corresponding to each light receiving element 104.
  • One pixel is formed from each one color filter 102, a light receiving element 104, and a transistor 105 described later. In the case of single color imaging, it is not necessary to provide the color filter 102.
  • microlenses 101 are provided on the back surface side of the color filter 102. Each of the microlenses 101 collects incident light toward the corresponding light receiving element 104.
  • the wiring layer 108 is provided on the front surface side of the PD layer 106, and the pixel signals from the transistor 105 and the light receiving element 104 provided corresponding to each light receiving element 104 in the PD layer 106 are transmitted to the signal processing chip 111. It has a wiring 107 for transmission.
  • the wiring 107 may have multiple layers, and may be provided with a passive element and an active element.
  • a plurality of bumps 109 are provided on the front surface of the wiring layer 108.
  • the signal processing chip 111 includes a device that processes a pixel signal from the PD layer 106. These devices may be provided on both sides of the chip and may be connected by TSVs (Through Silicon Vias) 110.
  • the signal processing chip 111 has a plurality of bumps 109 and is electrically connected to the plurality of bumps 109 of the imaging chip 113.
  • the memory chip 112 includes a device that stores a pixel signal.
  • the memory chip 112 has a plurality of bumps 109 and is electrically connected to the plurality of bumps 109 of the signal processing chip 111.
  • FIGS. 2A to 2D show the group arrangement of the light receiving elements 104 of the imaging chip 113.
  • the image pickup chip 113 has a pixel region on a light receiving surface, and more than 20 million pixels, that is, light receiving elements 104 are arranged in a matrix.
  • 9 pixels of adjacent 3 pixels ⁇ 3 pixels form one block 131b to 135b, and a plurality of unit groups 131 to 135 are formed by including a plurality of arbitrarily arranged blocks 131b to 135b, respectively. ..
  • the number of pixels (light receiving element 104) included in one block 131b to 135b is not limited to this, and only one pixel may be included in one block 131b to 135b. Further, any number of blocks 131b to 135b may be included in one unit group 131 to 135.
  • the exposure time that is, the charge accumulation of the plurality of light receiving elements 104 is controlled for each unit group 131 to 135.
  • the light receiving elements 104 belonging to the unit groups 131 to 135 have an exposure time of 0 to 100 nanoseconds, an exposure time of 100 to 200 nanoseconds, and 200 to 300 nanoseconds, respectively, based on the time when the illumination light is emitted.
  • the shutter meaning the electronic shutter described with reference to FIG. 3 unless otherwise specified
  • the shutter is opened to charge the charge. accumulate.
  • Each of the plurality of unit groups 131 to 135 has a plurality of blocks 131b to 135b of the light receiving element 104 located in different regions on the light receiving surface.
  • a set of four blocks 131b to 134b arranged in 2 rows and 2 columns is repeatedly arranged in the row direction and the column direction.
  • the light receiving elements 104 included in the four blocks 131b to 134b belong to the unit groups 131 to 134, respectively.
  • the blocks 131b to 134b of the light receiving elements 104 belonging to the respective unit groups 131 to 134 are arranged in a matrix with a distance of one block in each of the row direction and the column direction. Therefore, the light receiving elements 104 belonging to the unit groups 131 to 134 can decompose the imaging range into a plurality of distances and image with the same resolution.
  • the columns of the four blocks 131b to 134b which are arranged consecutively in the column direction, are arranged in order in the row direction, and these four columns are repeatedly arranged in the row direction.
  • the light receiving elements 104 included in the four blocks 131b to 134b belong to the unit groups 131 to 134, respectively.
  • the blocks 131b to 134b of the light receiving elements 104 belonging to each unit group 131 to 134 are arranged in a stripe shape continuously in the column direction and separated by a distance of 3 blocks in the row direction.
  • the light receiving elements 104 belonging to the unit groups 131 to 134 can decompose the imaging range into a plurality of distances and image with high resolution in the column direction with respect to the row direction.
  • the four blocks 131b to 134b which are arranged consecutively in the row direction, may be repeatedly arranged in the column direction in order. As a result, it is possible to take an image with a high resolution in the row direction with respect to the column direction.
  • the resolution is higher due to the many light receiving elements 104 belonging to the unit groups 131 to 133, the resolution is somewhat lower due to the smaller light receiving elements 104 belonging to the unit group 134, and the resolution is further lower due to the smaller light receiving elements 104 belonging to the unit group 134. It is possible to take an image at a resolution.
  • a so-called Bayer array consisting of four pixels of green pixels Gb, Gr, blue pixels B, and red pixels R arranged in two rows and two columns is repeatedly arranged in the row direction and the column direction. ing.
  • one block includes only one pixel.
  • the green pixels Gb and Gr have a green filter as the color filter 102, and receive light in the green wavelength band among the incident light.
  • the blue pixel B has a blue filter as a color filter 102, and receives light in the blue wavelength band.
  • the red pixel R has a red filter as a color filter 102, and receives light in the red wavelength band.
  • the light receiving elements 104 belonging to the unit groups 131 to 133 arranged in the row direction between the columns of the Bayer arrangement are included.
  • the entire imaging range can be color-imaged by the Bayer-arranged pixels, and the entire imaging range can be decomposed into a plurality of distances and imaged by the pixels (light receiving elements 104) belonging to the unit groups 131 to 133, respectively.
  • the blocks 131b to 135b belonging to the unit groups 131 to 135 may include the Bayer arrangement.
  • FIG. 3 shows an equivalent circuit of pixel 150.
  • Each pixel 150 has a PD 104, a transfer transistor 152, a reset transistor 154, an amplification transistor 156, a selection transistor 158, and a load current source 309. These transistors are collectively referred to as the transistor 105 in FIG. Further, the pixel 150 has a reset wiring 300 to which the on signal of the reset transistor 154 is supplied, a transfer wiring 302 to which the on signal of the transfer transistor 152 is supplied, a power supply wiring 304 to receive power from the power supply Vdd, and a selection transistor 158. The selection wiring 306 to which the ON signal of the above is supplied and the output wiring 308 to output the pixel signal are provided.
  • the source, gate, and drain of the transfer transistor 152 are connected to one end of the PD 104, the transfer wiring 302, and the gate of the amplification transistor 156, respectively.
  • the source, gate, and drain of the reset transistor 154 are connected to the gate, reset wiring 300, and power supply wiring 304 of the amplification transistor 156, respectively.
  • a so-called floating diffusion FD is formed between the drain of the transfer transistor 152 and the source of the reset transistor 154.
  • the source and drain of the amplification transistor 156 are connected to the drain and power supply wiring 304 of the selection transistor 158, respectively.
  • the gate and source of the selection transistor 158 are connected to the selection wiring 306 and the output wiring 308, respectively.
  • the load current source 309 supplies current to the output wiring 308.
  • the output wiring 308 for the selection transistor 158 is formed by the source follower.
  • the load current source 309 may be provided on the imaging chip 113 side or the signal processing chip 111 side.
  • the selection pulse is applied to the selection transistor 158 through the selection wiring 306 through the selection wiring 306
  • the fluctuation of the signal potential of the floating diffusion FD is transmitted to the output wiring 308 via the amplification transistor 156 and the selection transistor 158.
  • the pixel signal corresponding to the reset potential and the signal potential is output from the unit pixel to the output wiring 308.
  • a capacity dedicated to the global electronic shutter is provided between the transfer transistor 152 and the floating diffusion FD, and the PD 104 and the power supply wiring 304
  • An additional transistor may be provided between the two, and a circuit configuration in which the selection transistor 158 is optionally omitted may be adopted.
  • FIG. 4 shows the connection relationship of the pixels 150 in the blocks 131b to 135b included in the unit groups 131 to 135.
  • each transistor of each pixel of FIG. 4 has the same configuration and function as each transistor arranged at the corresponding position in the pixel 150 of FIG. .
  • the blocks 131b to 135b are formed by 9 pixels A to I of adjacent 3 pixels ⁇ 3 pixels as an example. The number of pixels included in the blocks 131b to 135b is not limited to this.
  • the pixel reset transistors included in the blocks 131b to 135b are turned on and off in common for each block.
  • Reset wiring 300 to turn on / off the reset transistor of pixel A
  • reset wiring 310 to turn on / off the reset transistor of pixel B
  • reset wiring 320 to turn on / off the reset transistor of pixel C
  • the line is connected to a common driver (not shown).
  • the pixel transfer transistors included in blocks 131b to 135b are also turned on and off in block units.
  • the line is connected to a common control circuit (not shown).
  • the pixel selection transistors included in the blocks 131b to 135b are also turned on and off individually for each pixel.
  • Selective wiring 306 that turns on / off the selective transistor of pixel A, selective wiring 316 that turns on / off the selective transistor of pixel B, selective wiring 326 that turns on / off the selective transistor of pixel C, and dedicated to turn on / off the selected transistor of pixel D to I.
  • the lines are separately connected to the driver (not shown).
  • the power supply wiring 304 is commonly connected by pixels A to I included in the blocks 131b to 135b.
  • the output wiring 308 is commonly connected by pixels A to I included in the blocks 131b to 135b.
  • the power supply wiring 304 is commonly connected between the plurality of blocks, but the output wiring 308 is provided for each block.
  • the charge accumulation start time, accumulation end time, and transfer timing are synchronized with each pixel A to I included in blocks 131b to 135b.
  • the charge accumulation included can be controlled.
  • the selection transistors of the blocks 131b to 135b individually the pixel signals of the pixels A to I can be individually output via the common output wiring 308.
  • the charge accumulation of each pixel A to I included in the blocks 131b to 135b is controlled by the rolling shutter method or the global shutter method.
  • the rolling shutter method the charge accumulation of pixels is controlled in a regular order with respect to rows and columns, for example, by selecting pixels for each row and then specifying columns, "ABCDEFGHI" in the example of FIG. Pixel signals are output in the order of.
  • the rolling shutter method when a moving object is imaged, an image in which the moving object is obliquely distorted is generated for the pixels in the blocks 131b to 135b.
  • the charge accumulation of pixels is controlled at the same timing for all pixels A to I.
  • FIG. 5 shows the functional configuration of the light receiving device 100.
  • the light receiving device 100 includes a multiplexer 411, a signal processing circuit 412, a demultiplexer 413, and a pixel memory 414.
  • the multiplexer 411 is formed on the imaging chip 113.
  • the signal processing circuit 412 is formed on the signal processing chip 111.
  • the demultiplexer 413 and the pixel memory 414 are formed on the memory chip 112.
  • the multiplexer 411 sequentially selects pixels A to I of each of the blocks 131b to 135b, and transmits each pixel signal to the signal processing circuit 412 via the output wiring 308.
  • An amplifier may be provided after the multiplexer 411 to amplify each pixel signal with a predetermined amplification factor (gain) and transmit it to the signal processing circuit 412.
  • the signal processing circuit 412 converts the pixel signal (analog signal) into correlated double sampling (CDS) / analog / digital (A / D), and transmits the digitized pixel signal to the demultiplexer 413 via the output wiring 330. Send.
  • the demultiplexer 413 transmits the pixel signal digitized by the signal processing circuit 412 from the memory A to the memory A of the pixel memory 414 corresponding to the pixels A to I, respectively.
  • the pixel memory 414 has memories A to I for storing pixel signals, and stores pixel signals of pixels A to I in memories A to I, respectively.
  • a signal processing circuit 412 may be provided for each pixel A to I, and the pixel signals from them may be converted into CDS / A / D in parallel and stored in the memory A to I.
  • the arithmetic circuit 415 processes the pixel signal stored in the pixel memory 414 and hands it over to the subsequent processing unit 40.
  • the arithmetic circuit 415 may be provided on the signal processing chip 111 or the memory chip 112.
  • the arithmetic circuit 415 may be provided for each group, or may be provided in common for a plurality of groups.
  • FIG. 6 shows the configuration of the image pickup apparatus 500 according to the present embodiment.
  • the image pickup apparatus 500 is an apparatus for taking an image by decomposing an imaging range for each of a plurality of distances, and includes a light emitting unit 10, a light receiving unit 20, a control unit 30, and a processing unit 40.
  • the light emitting unit 10 is a unit that emits light, that is, illumination light toward the imaging range.
  • the light emitting unit 10 has a light source that generates light in the infrared or visible light region, and uses this to generate modulated light such as pulsed light and emits it as illumination light to illuminate the imaging range.
  • the light receiving unit 20 is a unit that receives the reflected light from the imaging range.
  • the light receiving unit 20 includes an optical system 21 and a light receiving device 100.
  • the optical system 21 is composed of a plurality of lens elements, guides light entering from the imaging range along the optical axis OA onto the light receiving surface of the light receiving device 100, and forms a subject image.
  • the optical system 21 may be configured so as to be attached to and detached from the light receiving device 100.
  • the light receiving device 100 has a plurality of light receiving elements 104 arranged on the light receiving surface.
  • Each of the plurality of light receiving elements 104 forms a pixel, receives light (subject image) imaged by the optical system 21 during the exposure time, performs photoelectric conversion, and accumulates electric charges.
  • the plurality of light receiving elements 104 are grouped into a plurality of unit groups 131 to 135, and the exposure time, that is, charge accumulation is controlled for each unit group 131 to 135.
  • the pixel signals output from the plurality of light receiving elements 104 are transmitted to the processing unit 40.
  • the control unit 30 is a unit that controls the exposure time of the plurality of light receiving elements 104 of the light receiving device 100, that is, the charge accumulation for each of the plurality of light receiving elements 104 or for each of the plurality of unit groups 131 to 135.
  • the control unit 30 is composed of, for example, a microprocessor and its peripheral circuits, and expresses its function by executing a control program stored in a non-volatile memory (not shown).
  • a part of the functions of the control unit 30 may be configured by an electronic circuit such as a timing generator.
  • the processing unit 40 Based on the pixel signals output from the plurality of light receiving elements 104, the processing unit 40 receives a plurality of images, that is, image data at a distance within the imaging range corresponding to the respective exposure times of the plurality of unit groups 131 to 135. It is generated for each element 104 or for each of a plurality of unit groups 131 to 135.
  • a buffer memory (not shown) can be used as a workspace for image processing.
  • the image data may be generated in the JPEG file format, for example, and in such a case, the compression process is executed after performing the white balance process, the gamma process, and the like. Further, the processing unit 40 may execute a binning process in order to improve the sensitivity.
  • the generated image data may be recorded in a storage device (not shown) such as a non-volatile flash memory, converted into a display signal, and displayed on a display device (not shown) such as a liquid crystal monitor.
  • FIG. 7A shows an example of objects 1 to 3 existing within the imaging range and their distances. It is assumed that the object 1 exists within a distance of 15 to 30 m from the position (0 m) of the light receiving surface of the image pickup apparatus 500, the object 2 exists within a distance of 30 to 45 m, and the object 3 exists within a distance of 45 to 60 m. ..
  • FIG. 7B shows an example of the exposure time of each unit group of the light receiving element 104.
  • the control unit 30 controls the exposure times of the plurality of light receiving elements 104 so that the exposure times of the unit groups 131 to 134 of the light receiving element 104 are continuous between the unit groups 131 to 134.
  • the control unit 30 has an exposure time of 0 to 100 nanoseconds and 100 to 200, respectively, for the light receiving elements 104 belonging to the unit groups 131 to 134, based on the time when the illumination light emitted by the light emitting unit 10 is emitted.
  • the shutter is opened for a nanosecond exposure time, a 200-300 nanosecond exposure time, and a 300-400 nanosecond exposure time. After the exposure time of the unit groups 131 to 134 is completed or the exposure is repeated a plurality of times, the output signal (pixel signal) of the light receiving element 104 of each unit group is read out and processed by the processing unit 40 for each unit group. Good.
  • the continuous exposure time between the unit groups 131 to 134 is not limited to the continuous exposure time so that the exposure time of the next unit group starts at the same time as the end of the exposure time of the previous unit group, but the unit group 131.
  • the exposure time may be partially overlapped and continuous between the sheets and 134, or may be continuous at intervals.
  • light travels a distance of about 3 meters in 10 nanoseconds. Since the unit group 131 of the light receiving element 104 receives the reflected light from the object existing in the range of 0 to 15 m, the object existing in the range is imaged. In the example of FIG. 7A, the object is not imaged. Since the unit group 132 of the light receiving element 104 receives the reflected light from an object existing in the range of 15 to 30 m, the object 1 existing in the range is imaged. Since the unit group 133 of the light receiving element 104 receives the reflected light from the object existing in the range of 30 to 45 m, the object 2 existing in the range is imaged.
  • the unit group 134 of the light receiving element 104 receives the reflected light from an object existing in the range of 45 to 60 m, the object 3 existing in the range is imaged. In this way, objects located in a plurality of continuous distance ranges according to the exposure time of each unit group can be imaged separately from each other.
  • the light receiving elements 104 grouped into the five unit groups 131 to 135 of the group arrangement shown in FIG. 2C may be controlled so that the exposure time is continuous as in the example of FIG. 7B. Further, by the control unit 30, the number of the light receiving elements 104 included in the groups 131 to 133 before the exposure time in the unit groups 131 to 135 is the number of the light receiving elements 104 included in the groups 134 to 135 after the exposure time. The exposure time of the light receiving element 104 may be controlled so as to be greater than the number. As a result, it is possible to take an image with a higher resolution as the object located closer (object 1 and further object 2 in the example of FIG. 7A).
  • FIG. 7C shows another example of the exposure time of each unit group of the light receiving element 104.
  • the control unit 30 controls the exposure times of the plurality of light receiving elements 104 so that the exposure times of the unit groups 131 to 134 start from the same start time and end at different end times.
  • the control unit 30 opens the shutter and starts exposure at the same time as the emission of the illumination light by the light emitting unit 10 for all the light receiving elements 104 belonging to the unit groups 131 to 134, and the light receiving elements 104 belonging to the unit groups 131 to 134.
  • the shutter is closed to end the exposure in order.
  • the output signal (pixel signal) of the light receiving element 104 of each group is read out and processed by the processing unit 40 for each group.
  • the processing unit 40 subtracts the intensity of the pixel signal from the light receiving element 104 belonging to the unit group 131 with respect to the pixel signal from the light receiving element 104 belonging to the unit group 132.
  • the intensity of the pixel signal from the light receiving element 104 belonging to the unit group 132 is subtracted from the pixel signal from the light receiving element 104 belonging to the unit group 133.
  • the intensity of the pixel signal from the light receiving element 104 belonging to the unit group 133 is subtracted from the pixel signal from the light receiving element 104 belonging to the unit group 134.
  • the average intensity of the pixel signals of the light receiving element 104 included in one or a plurality of blocks of another group adjacent to the block to which the light receiving element 104 to be subtracted belongs is subtracted.
  • an image of an object existing within a distance of 0 to 15 m can be obtained from the pixel signal of the light receiving element 104 belonging to the unit group 131.
  • no image of any object can be obtained.
  • an image of the object 1 existing within a distance of 15 to 30 m can be obtained.
  • an image of the object 2 existing within a distance of 30 to 45 m can be obtained.
  • an image of the object 3 existing within a distance of 45 to 60 m can be obtained. In this way, the closer the object is, the higher the resolution can be obtained.
  • FIG. 7D shows another example of the exposure time of each unit group of the light receiving element 104.
  • the control unit 30 controls the exposure time of the plurality of light receiving elements 104 so that the exposure of at least one unit group among the unit groups 131 to 134 is performed before the emission of the illumination light.
  • the control unit 30 has an exposure time of 0 to 100 nanoseconds and 100 to 200, respectively, for the light receiving elements 104 belonging to the unit groups 131 to 134, based on the time when the illumination light emitted by the light emitting unit 10 is emitted.
  • the shutter is opened between nanosecond exposure times, 200-300 nanosecond exposure times, and -100-0 nanosecond exposure times.
  • the output signal (pixel signal) of the light receiving element 104 of each unit group is read out and processed by the processing unit 40 for each unit group.
  • the processing unit 40 subtracts the intensity of the pixel signal of the light receiving element 104 included in the unit group 134 from the intensity of the pixel signal of the light receiving element 104 included in each of the unit groups 131 to 133.
  • the average intensity of the pixel signals of the light receiving element 104 included in one or more blocks of the unit group 134 adjacent to the block to which the light receiving element 104 to be subtracted belongs is subtracted.
  • the light receiving element 104 included in the unit group 134 receives only the background light because the shutter is opened before the emission of the illumination light. As a result, noise derived from background light or the like can be removed from the pixel signals of the light receiving elements 104 belonging to each of the unit groups 131 to 133.
  • control unit 30 may further repeat one or a plurality of exposure time cycles after one cycle of the exposure time of the unit groups 131 to 135 is completed.
  • the control unit 30 executes the second cycle (400 to 800 nanoseconds) after the first cycle (0 to 400 nanoseconds) is completed. That is, the control unit 30 has an exposure time of 400 to 500 nanoseconds, an exposure time of 500 to 600 nanoseconds, an exposure time of 600 to 700 nanoseconds, and 700 to 700, respectively, for the light receiving elements 104 belonging to the unit groups 131 to 134.
  • the shutter is opened for an exposure time of 800 nanoseconds.
  • FIG. 7B the control unit 30 executes the second cycle (400 to 800 nanoseconds) after the first cycle (0 to 400 nanoseconds) is completed. That is, the control unit 30 has an exposure time of 400 to 500 nanoseconds, an exposure time of 500 to 600 nanoseconds, an exposure time of 600 to 700 nanoseconds, and 700 to 700, respectively, for the light receiving elements 104 belonging to the unit groups 131 to 134.
  • the control unit 30 executes the second cycle (400 to 800 nanoseconds) after the first cycle (0 to 400 nanoseconds) is completed. That is, the control unit 30 has an exposure time of 400 to 500 nanoseconds, an exposure time of 400 to 600 nanoseconds, an exposure time of 400 to 700 nanoseconds, and 400 to 400, respectively, for the light receiving elements 104 belonging to the unit groups 131 to 134. The shutter is opened for an exposure time of 800 nanoseconds.
  • the control unit 30 executes the second cycle (300 to 600 nanoseconds) after the first cycle (0 to 300 nanoseconds) is completed.
  • control unit 30 has an exposure time of 300 to 400 nanoseconds, an exposure time of 400 to 500 nanoseconds, and an exposure time of 500 to 600 nanoseconds for the light receiving elements 104 belonging to the unit groups 131 to 133, respectively. Open the shutter. After the exposure time of the unit groups 131 to 134 is completed or the exposure is repeated a plurality of times, the output signal (pixel signal) of the light receiving element 104 of each unit group is read out and processed by the processing unit 40 for each unit group. Good. This makes it possible to obtain an image of an object that exists in a wider range of distances.
  • FIG. 7E shows another example of the exposure time of each unit group of the light receiving element 104.
  • the light receiving element 104 is grouped into four unit groups 131 to 134 in the group arrangement shown in FIG. 2A or FIG. 2B.
  • the control unit 30 sets the exposure times of the unit groups 131 to 134 of the light receiving element 104 to 10 nanoseconds as an example, and the exposure times of the plurality of light receiving elements 104 so as to be continuous between the unit groups 131 to 134. Is controlled.
  • the control unit 30 emits illumination light by the light emitting unit 10 and emits illumination light in one frame. Subsequent exposure of the light receiving element 104 may be repeated.
  • the control unit 30 has an exposure time of 0 to 10 nanoseconds and 10 to 20 nanoseconds for each of the light receiving elements 104 belonging to the unit groups 131 to 134, based on the time when the illumination light emitted by the light emitting unit 10 is emitted.
  • the shutter is opened and the light is received by each light receiving element 104.
  • the control unit 30 repeats this exposure operation a plurality of times in one frame, for example, 100 to 100,000 times, and accumulates the amount of received light in each light receiving element 104.
  • the output signal (pixel signal) of the light receiving element 104 of each unit group is read out, and the processing unit 40 outputs the output signal for each unit group. May be processed.
  • the processing unit 40 may perform image integration and / or pixel addition.
  • Image integration is the integration and averaging of pixel values in a plurality of frames. For example, when shooting at 1000 fps, a distance image can be obtained at 30 fps by integrating and averaging the pixel values over 33 frames.
  • Pixel addition (average) is so-called binning, in which pixel values of a plurality of adjacent pixels are added (or averaged) to obtain a pixel value of one pixel.
  • FIG. 8 shows an example of the configuration of the imaging system when the imaging device 500 according to the present embodiment is mounted on the vehicle 600.
  • the vehicle 600 is an example of a moving body, and may be a train, an automobile, a motorcycle, or the like.
  • the vehicle 600 includes an image pickup device 500, a speed sensor 610, and a moving direction sensor 620.
  • the image pickup device 500 (at least the light emitting unit 10 and the light receiving unit 20) is mounted on the vehicle 600 so as to image the front. That is, the light emitting unit 10 emits the illumination light toward the front of the vehicle 600, and the light receiving unit 20 receives the reflected light returning from the front of the vehicle 600.
  • the speed sensor 610 is a sensor that detects the speed of the vehicle 600, and may be mounted on the vehicle 600.
  • the movement direction sensor 620 is a sensor that detects the movement direction of the vehicle 600.
  • the moving direction sensor 620 may be, for example, a sensor that detects the acceleration applied to the vehicle 600, a sensor that detects the rotation angle of the handle of the vehicle 600, or the like.
  • the detection results of the speed sensor 610 and the moving direction sensor 620 are transmitted to the image pickup apparatus 500.
  • the processing unit 40 of the image pickup apparatus 500 controls that the exposure time of the light receiving element 104 located in the lower region on the light receiving surface starts before the exposure time of the light receiving element 104 located in the upper region on the light receiving surface. As a result, it is possible to capture an object located on the road near the front of the moving vehicle 600 on the ground with high resolution while grasping the distant situation.
  • the processing unit 40 of the image pickup apparatus 500 controls the exposure time of the plurality of light receiving elements 104 according to the detection result of the speed sensor 610.
  • the control unit 30 later shifts the exposure time of more light receiving elements 104 among the plurality of light receiving elements 104 as the speed of the vehicle 600 increases.
  • the exposure time is shifted later by a time corresponding to the speed (for example, 1 to 100 nanoseconds).
  • a time corresponding to the speed for example, 1 to 100 nanoseconds.
  • at least a part of the light receiving elements 104 belonging to the unit groups 131 to 132 is changed to the unit groups 133 to 134, respectively, to reduce the light receiving elements 104 before the exposure time and increase the light receiving elements 104 after the exposure time.
  • the control unit 30 shifts the exposure time of more light receiving elements 104 among the plurality of light receiving elements 104 forward as the speed of the vehicle 600 decreases.
  • the exposure time is shifted forward by a time (for example, 1 to 100 nanoseconds) according to the speed with respect to the unit groups 131 to 134 of the light receiving elements 104 in the group arrangement shown in FIG. 2A.
  • a time for example, 1 to 100 nanoseconds
  • at least a part of the light receiving elements 104 belonging to the unit groups 133 to 134 is changed to the unit groups 131 to 132, respectively, to reduce the light receiving elements 104 after the exposure time and increase the light receiving elements 104 before the exposure time.
  • An object can be detected a certain amount of time before it comes closest to the vehicle 600.
  • the control unit 30 shifts the exposure time of more light receiving elements 104 located in the right region on the light receiving surface forward (for example, 1 to 100 nanoseconds). .. Alternatively, at least a part of the light receiving elements 104 belonging to the unit groups 133 to 134 in the right region on the light receiving surface is changed to the unit groups 131 to 132, respectively, to increase the light receiving elements 104 having an exposure time before.
  • the control unit 30 shifts the exposure time of more light receiving elements 104 located in the left region on the light receiving surface forward (eg, 1-100 nanoseconds).
  • At least a part of the light receiving elements 104 belonging to the unit groups 133 to 134 in the left region on the light receiving surface is changed to the unit groups 131 to 132, respectively, to increase the light receiving elements 104 having an exposure time before.
  • the left front such as when turning left
  • an object located near the left front can be imaged with high resolution.
  • the right front such as when turning right
  • an object located near the right front can be imaged with high resolution.
  • FIG. 9 shows an example of the flow of imaging processing by the imaging device 500 mounted on the vehicle 600.
  • the image pickup apparatus 500 is turned on in response to the start of the engine of the vehicle 600, and executes the image pickup process until the engine is stopped.
  • the exposure time of the light receiving element 104 of the light receiving device 100 is assumed to be set to a standard exposure time in advance according to the group arrangement shown in FIGS. 2A to 2D, for example.
  • step S102 the speed sensor 610 and the moving direction sensor 620 mounted on the vehicle 600 detect the speed and the moving direction of the vehicle 600, respectively.
  • the detection results are transmitted to the imaging device 500 (control unit 30).
  • step S104 the control unit 30 of the image pickup apparatus 500 determines whether or not the speed and the moving direction of the vehicle 600 have changed. If there is a change, the process proceeds to step S106, and the control unit 30 changes the setting of the exposure time of the light receiving element 104. If there is no change, the process proceeds to step S108, and the control unit 30 maintains the setting of the exposure time of the light receiving element 104.
  • step S106 the control unit 30 controls the exposure time of the light receiving element 104 for each unit group.
  • the control unit 30 later shifts the exposure time of more light receiving elements 104 among the plurality of light receiving elements 104 as the speed of the vehicle 600 increases.
  • the control unit 30 shifts the exposure time of more light receiving elements 104 among the plurality of light receiving elements 104 forward as the speed of the vehicle 600 decreases. Thereby, regardless of the speed of the vehicle 600, the object can be detected a certain time before it comes closest to the vehicle 600.
  • control unit 30 shifts the exposure time of more light receiving elements 104 located in the right region on the light receiving surface forward, and the vehicle 600 moves to the right, as described above.
  • control unit 30 shifts the exposure time of more light receiving elements 104 located in the left region on the light receiving surface forward, as described above.
  • step S108 the control unit 30 controls the light emitting unit 10 to emit illumination light toward the front of the vehicle 600 (that is, the imaging range).
  • step S110 the control unit 30 controls the light receiving unit 20 to receive the reflected light from the front of the vehicle (that is, the imaging range) by using the plurality of light receiving elements 104 grouped into a plurality of unit groups. To do.
  • the exposure time of the light receiving element 104 is controlled in advance or for each unit group in step S106.
  • the processing unit 40 generates an image (that is, image data) at a distance within the imaging range corresponding to each exposure time of the unit group for each unit group based on the pixel signal of the light receiving element 104. For example, when objects 1 to 3 existing in the imaging range shown in FIG. 7A are imaged by the light receiving elements 104 grouped into the unit groups 131 to 134 shown in FIG. 2A or FIG. 2B, the unit group of the light receiving elements 104. No object appears in the image data obtained from the pixel signal of 131 because no object exists within the range of 0 to 15 m. In the image data obtained from the pixel signals of the unit group 132 of the light receiving element 104, the object 1 existing within a distance of 15 to 30 m appears.
  • the object 2 existing within the range of a distance of 30 to 45 m appears.
  • an object 3 existing within a distance of 45 to 60 m appears. In this way, it is possible to separate and image objects located in a plurality of distance ranges within the imaging range according to the exposure time of each unit group.
  • step S114 the processing unit 40 processes the image (that is, image data) obtained in step S112 and identifies an object contained therein.
  • the processing unit 40 identifies that the object 1 existing within a range of 15 to 30 m from the image data of the unit group 132 is a pedestrian, and has a distance of 30 to 45 m from the image data of the unit group 133. It is specified that the object 2 existing in the range of is a street tree, and the object 3 existing in the range of a distance of 45 to 60 m is a vehicle from the image data of the unit group 134.
  • the exposure time of the light receiving element 104 is shifted back and forth according to the speed of the vehicle 600, but instead of or in addition to this, a warning is given according to the speed of the vehicle 600.
  • the timing at which the vehicle 600 is automatically stopped may be controlled.
  • the control unit 30 changes the unit group for determining whether to warn or automatically stop as the speed of the vehicle 600 increases to a unit group having a slower exposure time.
  • the processing unit 40 warns the driver or automatically stops the vehicle 600 when it identifies that a pedestrian exists within a distance of 15 to 30 m from the image data of the unit group 132. To do.
  • the processing unit 40 warns the driver or automatically stops the vehicle 600 when it identifies that a pedestrian exists within a distance of 45 to 60 m from the image data of the unit group 134. To do.
  • the processing unit 40 determines in advance a target object for which a warning or the vehicle 600 should be automatically stopped when it is specified from the image data, and a data table showing the relationship between the image and the type of the object. To keep.
  • the processing unit 40 generates image data for each unit group based on the pixel signal of the light receiving element 104, and compares the image with the object using a data table to determine what the object captured from the image data is. If the specified object is the target object, a warning or automatic stop process may be executed.
  • step S114 the process returns to step S102, and steps S102 to S114 are repeated. That is, in step S108, the light emitting unit 10 repeatedly emits illumination light toward the imaging range, and in step S110, the light receiving unit 20 receives the reflected light from the imaging range each time the light emitting unit 10 emits illumination light.
  • step S112 each time the light receiving unit 20 receives the reflected light by the processing unit 40, the pixel signal of the light receiving element 104 is processed for each unit group to generate a plurality of images corresponding to a plurality of distances within the imaging range. Then, in step S114, the object included in each image is specified.
  • step S114 each time the processing unit 40 repeats steps S102 to S114, the exposure time of the object specified for each unit group of the light receiving element 104 and the exposure time of each unit group of the light receiving element 104 (that is, the image pickup apparatus 500).
  • the movement of the object can be detected based on the distance from).
  • the processing unit 40 identifies the vehicle (object 3) within a range of 45 to 60 m from the image data of the unit group 134 in the first cycle, and also in the next cycle, the distance 45 to 45 to the image data of the unit group 134.
  • a vehicle (object 3) is specified within a range of 60 m, it is detected that the vehicle (object 3) is traveling in the same direction in front of the vehicle 600 at the same speed.
  • the processing unit 40 identifies the vehicle (object 3) within a distance of 45 to 60 m from the image data of the unit group 134 in the first cycle, and in the next cycle (referred to as the cycle T), the image of the unit group 133.
  • the cycle T the next cycle
  • a vehicle (object 3) is specified within a distance of 30 to 45 m from the data, it is detected that the vehicle (object 3) is approaching from the front of the vehicle 600 at a relative speed (about 15 m / T).
  • the processing unit 40 emits a warning sound or a warning light for a collision with the vehicle (object 3). You may warn the driver by blinking.
  • the light emitting unit 10 that emits light
  • the light receiving unit 20 having a plurality of light receiving elements 104 that receive the reflected light of the light emitted from the light emitting unit 10, and the plurality of light receiving elements 104.
  • Each unit or each of the plurality of unit groups 131 to 135 each having at least two light receiving elements 104 is provided with a control unit 30 for controlling the exposure time, and the plurality of light receiving elements 104 and the plurality of groups 131 to 135 are respectively provided.
  • the signal corresponding to the exposure time of is output.
  • the control unit 30 emits light by the light emitting unit 10 by controlling the exposure time for each of the plurality of light receiving elements 104 or for each of the plurality of groups 131 to 135 each having at least two light receiving elements 104.
  • the light receiving unit 20 receives the reflected light using the plurality of light receiving elements 104, and the processing unit 40 displays an image at a distance corresponding to the exposure time for each of the plurality of light receiving elements 104 or a plurality of groups based on the output signal.
  • one or a plurality of adjacent light receiving elements 104 form one block 131b to 135b, and a plurality of units including a plurality of arbitrarily arranged blocks 131b to 135b, respectively. It was decided to configure groups 131 to 135 and control the exposure time for each unit group 131 to 135, but instead of forming a block or unit group of the light receiving element 104, each of a plurality of light receiving elements 104 The exposure time may be controlled.
  • the exposure time is controlled for each of a plurality of light receiving elements 104 or for each of a plurality of unit groups 131 to 135, and an image at a distance corresponding to the exposure time is acquired.
  • the distance corresponding to each exposure time may be measured.
  • 10 ... light emitting unit, 20 ... light receiving unit, 21 ... optical system, 30 ... control unit, 40 ... processing unit, 100 ... light receiving device, 101 ... microlens, 102 ... color filter, 103 ... passion film, 104 ... light receiving element, 105 ... Transistor, 106 ... PD layer, 107 ... Wiring, 108 ... Wiring layer, 109 ... Bump, 110 ... Silicon penetrating electrode, 111 ... Signal processing chip, 112 ... Memory chip, 113 ... Imaging chip, 131-135 ... Unit group , 150 ... pixels, 152 ... transfer transistor, 154 ... reset transistor, 156 ... amplification transistor, 158 ...
  • selection transistor 300, 310, 320 ... reset wiring, 302, 312, 322 ... transfer wiring, 304 ... power supply wiring, 306, 316, 326 ... selective wiring, 308, 330 ... output wiring, 309 ... load current source, 411 ... multiplexer, 412 ... signal processing circuit, 413 ... demultiplexer, 414 ... pixel memory, 415 ... arithmetic circuit, 500 ... imaging device, 600 ... vehicle, 610 ... speed sensor, 620 ... moving direction sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本実施形態に係る撮像装置５００によれば、光を射出する発光部１０、発光部１０から射出された光の反射光を受光する複数の受光素子１０４を有する受光部２０、複数の受光素子１０４ごと、または、少なくとも２つの受光素子１０４をそれぞれが有する複数の単位グループ１３１～１３５ごとに、露光時間を制御する制御部３０を備え、複数の受光素子１０４及び複数のグループ１３１～１３５は、それぞれの露光時間に対応する信号を出力する。さらに、出力された信号に基づいて、露光時間に対応する距離における像を複数の受光素子１０４ごと又は複数のグループ１３１～１３５ごとに生成する処理部４０をさらに備える。それにより、各単位グループの露光時間に応じた複数の距離ごとに分解して各距離に位置する物体をそれぞれ撮像することができる。

Description

撮像装置及び撮像方法
　本発明は、撮像装置及び撮像方法に関する。
　測定範囲に向けて赤外線又はレーザ光を射出し、測定範囲内に存在する被写体から戻る光を検出することで、光の射出から検出までの検出時間（いわゆる飛行時間）より測定範囲内に存在する物体までの距離を測定することができる。斯かるＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式の測距方法では、測定範囲内に複数の物体が存在する場合、それぞれの距離を決定することもできる。しかし、それぞれの物体を特定することはできない。
　特許文献１　国際公開第２０１８／１０１１８７号
一般的開示
（項目１）
　撮像装置は、光を射出する発光部を備えてよい。
　撮像装置は、発光部から射出された光の反射光を受光する複数の受光素子をそれぞれが有する複数のグループを備えてよい。
　撮像装置は、グループごとに像を生成する処理部を備えてよい。
　複数のグループの反射光を受光するタイミングおよび露光時間の少なくとも一方は、それぞれ異なる撮像範囲に対応して設定されてよい。
　処理部は、複数のグループのそれぞれに対応する撮像範囲の対象物の像を生成してよい。
（項目２）
　撮像範囲は、複数の受光素子から前記対象部までの距離範囲、および、発光部から光が射出されてから複数の受光素子で受光するまでの時間範囲の少なくとも一方を含んでよい。
（項目３）
　撮像装置は、受光素子ごとまたはグループごとに、タイミングおよび露光時間の少なくとも一方を制御する制御部を備えてよい。
（項目４）
　撮像装置は、複数の受光素子が配列された受光面を備えてよい。
　複数のグループは、それぞれ、受光面上の異なる領域に位置する受光素子を有してよい。
（項目５）
　複数のグループのうちの少なくとも１つのグループは、それぞれが少なくとも１つの受光素子を含む受光面上の複数のブロックを含んでよい。
（項目６）
　受光面上の下部領域に位置する受光素子のタイミングは、受光面上の上部領域に位置する受光素子のタイミングより先であってよい。
（項目７）
　発光部及び複数の受光素子は、移動体に設けられてよい。
　制御部は、移動体が左前方に移動する場合に受光面上の右部領域に位置する受光素子の露光時間を前にシフトし、移動体が右前方に移動する場合に受光面上の左部領域に位置する受光素子の露光時間を前にシフトしてよい。
（項目８）
　制御部は、複数のグループの露光時間が複数のグループ間で連続するように、複数の受光素子の露光時間を制御してよい。
（項目９）
　制御部は、複数のグループのうちの露光時間が前のグループに含まれる受光素子の数が、露光時間が後のグループに含まれる受光素子の数より多くなるように、複数の受光素子の露光時間を制御してよい。
（項目１０）
　制御部は、複数のグループのそれぞれの露光時間が同じ時刻から開始して互いに異なる時刻で終了するように、複数の受光素子の露光時間を制御してよい。
（項目１１）
　制御部は、複数のグループのうちの少なくとも１つのグループの露光が光の射出前に行われるように、複数の受光素子の露光時間を制御し、
　処理部は、複数のグループのうちの残りのグループのそれぞれに含まれる受光素子の出力信号の強度から少なくとも１つのグループに含まれる受光素子の出力信号の強度を減算してよい。
（項目１２）
　処理部は、生成した前記像に含まれる物体を特定してよい。
（項目１３）
　処理部は、複数のグループごとに特定される物体及び複数のグループのそれぞれの露光時間に基づいて、物体の移動を検知してよい。
（項目１４）
　発光部及び複数の受光素子は、移動体に設けられてよい。
　制御部は、移動体の速度に応じて複数の受光素子の露光時間を制御してよい。
（項目１５）
　制御部は、移動体の速度が速いほど複数の受光素子のうちの少なくも一部の受光素子の露光時間を後にシフトしてよい。
（項目１６）
　複数の受光素子または複数のグループは、ベイヤー配列された別の受光素子の間に配置されてよい。　
（項目１７）
　移動体は、項目１から１６のいずれか一項に記載の撮像装置を備えてよい。
　移動体は、移動体の速度を検出する速度センサを備えてよい。
　移動体は、移動体の移動方向を検出する移動方向センサを備えてよい。　
（項目１８）
　撮像方法は、光を射出する段階を含んでよい。
　撮像方法は、複数の受光素子を用いて、射出された光の反射光を受光する段階を含んでよい。
　撮像方法は、複数の受光素子ごと、または、少なくとも２つの受光素子をそれぞれが有する複数のグループごとに、露光時間を制御する段階を含んでよい。
　撮像方法は、露光時間に対応する測定対象範囲内の対象物までの距離、および、対象物の像の少なくとも一方を、複数の受光素子ごとまたは複数のグループごとに生成する段階を含んでよい。
　なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る裏面照射型の受光装置の断面構成を示す。 撮像チップの受光素子のグループ配列の一例を示す。 撮像チップの受光素子のグループ配列の別の例を示す。 撮像チップの受光素子のグループ配列の別の例を示す。 撮像チップの受光素子のグループ配列の別の例を示す。 画素の等価回路を示す。 単位グループに含まれるブロックにおける画素の接続関係を示す回路図である。 撮像素子の機能的構成を示すブロック図である。 本実施形態に係る撮像装置の構成を示す。 撮像範囲内に存在する物体及びそれらの距離の一例を示す。 受光素子の各グループの露光時間の一例を示す。 受光素子の各グループの露光時間の別の例を示す。 受光素子の各グループの露光時間の別の例を示す。 受光素子の各グループの露光時間の別の例を示す。 本実施形態に係る撮像装置を車両に搭載した場合の撮像システムの構成の一例を示す。 車両に搭載された撮像装置による撮像処理のフローの一例を示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１に、本実施形態に係る裏面照射型の受光装置１００の断面構成を示す。受光装置１００は、撮像チップと１１３、信号処理チップ１１１、及びメモリチップ１１２を含む。これらのチップは積層され、各チップに形成されたＣｕ等の導電性を有するバンプ１０９同士の接合と、各チップ上面に形成される酸化膜層同士の接合とにより、各チップ間が接合されている。ここで、バンプ１０９同士の接合により、各チップ間が互いに電気的に接続されている。なお、入射光は、白抜き矢印を用いて示すように、＋Ｚ方向に入射する。本実施形態では、撮像チップ１１３の入射光が入る側の面を裏面、その逆側の面を表面と称する。また、図面上下方向をＺ軸方向、左右方向をＸ軸方向、これらに直交する方向をＹ軸方向とする。また、本実施形態では、後述する撮像装置５００により撮像する対象範囲を撮像範囲とも呼ぶ。
　撮像チップ１１３は、入射光を受光し、露光量に応じた画素信号を出力する。撮像チップ１１３として、例えば、裏面照射型ＭＯＳイメージセンサを採用してよい。撮像チップ１１３は、ＰＤ層１０６及び配線層１０８を有する。
　ＰＤ層１０６は、受光装置１００が有する受光面上に二次元配列された複数の受光素子１０４を有する。受光素子１０４は、フォトダイオード（ＰＤ）等の光電変換素子である。
　なお、ＰＤ層１０６の裏面側に、パッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有し、各受光素子１０４に対応して特定の配列を有する。各１つのカラーフィルタ１０２、受光素子１０４、及び後述するトランジスタ１０５より１つの画素が形成される。なお、単色撮像の場合には、カラーフィルタ１０２を設けなくてよい。
　また、カラーフィルタ１０２の裏面側に、複数のマイクロレンズ１０１が設けられる。マイクロレンズ１０１は、それぞれ、対応する受光素子１０４に向けて入射光を集光する。
　配線層１０８は、ＰＤ層１０６のおもて面側に設けられ、ＰＤ層１０６内の各受光素子１０４に対応して設けられたトランジスタ１０５及び受光素子１０４からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は、多層であってよく、また受動素子及び能動素子が設けられてもよい。配線層１０８のおもて面に、複数のバンプ１０９が設けられている。
　信号処理チップ１１１は、ＰＤ層１０６からの画素信号を処理するデバイスを含む。それらのデバイスはチップの両面に設けられてよく、ＴＳＶ（シリコン貫通電極）１１０により接続されてよい。信号処理チップ１１１は、複数のバンプ１０９を有し、撮像チップ１１３の複数のバンプ１０９と電気的に接続される。
　メモリチップ１１２は、画素信号を記憶するデバイスを含む。メモリチップ１１２は、複数のバンプ１０９を有し、信号処理チップ１１１の複数のバンプ１０９と電気的に接続される。
　図２Ａから図２Ｄに、撮像チップ１１３の受光素子１０４のグループ配列を示す。撮像チップ１１３は受光面上に画素領域を有し、２０００万個以上もの画素、すなわち受光素子１０４がマトリックス状に配列されている。一例として、隣接する３画素×３画素の９画素が１つのブロック１３１ｂ～１３５ｂを構成し、任意に配列された複数のブロック１３１ｂ～１３５ｂをそれぞれ含んで複数の単位グループ１３１～１３５が構成される。なお、１つのブロック１３１ｂ～１３５ｂに含まれる画素（受光素子１０４）の数はこれに限られず、１つのブロック１３１ｂ～１３５ｂに１画素のみが含まれてもよい。また、任意の数のブロック１３１ｂ～１３５ｂが１つの単位グループ１３１～１３５に含まれてよい。
　複数の受光素子１０４は、後述するように、単位グループ１３１～１３５ごとに露光時間、すなわち電荷蓄積が制御される。例えば、単位グループ１３１～１３５に属する受光素子１０４は、それぞれ、照明光が射出された時点を基準にして、０～１００ナノ秒の露光時間、１００～２００ナノ秒の露光時間、２００～３００ナノ秒の露光時間、３００～４００ナノ秒の露光時間、４００～５００ナノ秒の露光時間の間、シャッタ（特に断らない限り、図３を用いて説明する電子シャッタを意味する）を開いて電荷を蓄積する。
　複数の単位グループ１３１～１３５は、それぞれ、受光面上の異なる領域に位置する受光素子１０４の複数のブロック１３１ｂ～１３５ｂを有する。図２Ａに示すグループ配列の例では、２行２列に配列された４つのブロック１３１ｂ～１３４ｂの組が行方向及び列方向に繰り返し配列されている。４つのブロック１３１ｂ～１３４ｂに含まれる受光素子１０４は、それぞれ、単位グループ１３１～１３４に属する。それにより、各単位グループ１３１～１３４に属する受光素子１０４のブロック１３１ｂ～１３４ｂは、行方向及び列方向のそれぞれについて１ブロック分の距離を隔ててマトリックス状に配列される。従って、単位グループ１３１～１３４に属する受光素子１０４により、撮像範囲を複数の距離に分解してそれぞれ等しい解像度で撮像することができる。
　図２Ｂに示すグループ配列の例では、それぞれ列方向に連続して配列された４つのブロック１３１ｂ～１３４ｂの列が行方向に順に配列されており、この４つの列が行方向に繰り返し配列されている。４つのブロック１３１ｂ～１３４ｂに含まれる受光素子１０４は、それぞれ、単位グループ１３１～１３４に属する。それにより、各単位グループ１３１～１３４に属する受光素子１０４のブロック１３１ｂ～１３４ｂは、列方向に連続に、行方向に３ブロック分の距離を隔ててストライプ状に配列される。従って、単位グループ１３１～１３４に属する受光素子１０４により、撮像範囲を複数の距離に分解して、行方向に対して列方向に高い解像度で撮像することができる。なお、それぞれ行方向に連続して配列された４つのブロック１３１ｂ～１３４ｂが列方向に順に繰り返し配列されてもよい。それにより、列方向に対して行方向に高い解像度で撮像することができる。
　図２Ｃに示すグループ配列の例では、図２Ａに示したグループ配列に対して単位グループ１３４に属するブロック１３４ｂの一部が単位グループ１３５に属するブロック１３５ｂに置き換えられている。これにより、単位グループ１３１～１３３に属する多くの受光素子１０４によりそれぞれ高い解像度で、単位グループ１３４に属する少ない受光素子１０４により幾らか低い解像度で、単位グループ１３４に属するさらに少ない受光素子１０４によりさらに低い解像度で、撮像することができる。
　図２Ｄに示すグループ配列の例では、２行２列に配列された緑色画素Ｇｂ、Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列が行方向及び列方向に繰り返し配列されている。なお、この例では、１ブロックは１画素のみを含む。緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有し、青色波長帯の光を受光する。赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有し、赤色波長帯の光を受光する。さらに、ベイヤー配列の列方向の配列の間に行方向に配列された単位グループ１３１～１３３にそれぞれ属する受光素子１０４が含まれる。これにより、ベイヤー配列された画素により撮像範囲全体をカラー撮像しつつ、単位グループ１３１～１３３にそれぞれ属する画素（受光素子１０４）により撮像範囲全体を複数の距離に分解して撮像することができる。
　なお、図２Ａから図２Ｃに示したグループ配列の例において、単位グループ１３１～１３５にそれぞれ属するブロック１３１ｂ～１３５ｂはベイヤー配列を含んでもよい。
　図３に、画素１５０の等価回路を示す。各画素１５０は、ＰＤ１０４、転送トランジスタ１５２、リセットトランジスタ１５４、増幅トランジスタ１５６、選択トランジスタ１５８、及び負荷電流源３０９を有する。これらのトランジスタは、図１において、トランジスタ１０５と総称されている。さらに、画素１５０には、リセットトランジスタ１５４のオン信号が供給されるリセット配線３００、転送トランジスタ１５２のオン信号が供給される転送配線３０２、電源Ｖｄｄから電力の供給を受ける電源配線３０４、選択トランジスタ１５８のオン信号が供給される選択配線３０６、及び画素信号を出力する出力配線３０８が設けられている。
　画素１５０において、転送トランジスタ１５２のソース、ゲート、及びドレインは、それぞれ、ＰＤ１０４の一端、転送配線３０２、増幅トランジスタ１５６のゲートに接続される。リセットトランジスタ１５４のソース、ゲート、及びドレインは、それぞれ、増幅トランジスタ１５６のゲート、リセット配線３００、及び電源配線３０４に接続される。転送トランジスタ１５２のドレインとリセットトランジスタ１５４のソース間は、いわゆるフローティングディフュージョンＦＤを形成する。増幅トランジスタ１５６のソース及びドレインは、それぞれ、選択トランジスタ１５８のドレイン及び電源配線３０４に接続される。選択トランジスタ１５８のゲート及びソースは、それぞれ、選択配線３０６及び出力配線３０８に接続される。
　負荷電流源３０９は、出力配線３０８に電流を供給する。これにより、選択トランジスタ１５８に対する出力配線３０８はソースフォロアにより形成される。なお、負荷電流源３０９は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
　画素１５０における、電荷の蓄積から画素出力までのフローを説明する。リセット配線３００を通じてリセットパルスをリセットトランジスタ１５４に印加し、同時に転送配線３０２を通じて転送パルスを転送トランジスタ１５２に印加することで、ＰＤ１０４及びフローティングディフュージョンＦＤの電位がリセットされる。ＰＤ１０４は、転送パルスの印加が解除されると、入射光の受光量に応じた電荷を蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位はリセット電位から電荷蓄積後の信号電位になる。転送パルスの印加解除から再度の転送パルスの印加までの動作をシャッタを開くとも呼び、その期間をシャッタ時間或いは露光時間と呼ぶ。そして、選択配線３０６を通じて選択パルスが選択トランジスタ１５８に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ１５６及び選択トランジスタ１５８を介して出力配線３０８に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０８に出力される。
　なお、図３に示した画素１５０の回路構成に限らず、例えば、画素１５０の回路構成において転送トランジスタ１５２とフローティングディフュージョンＦＤとの間にグローバル電子シャッタ専用容量が設けられ、ＰＤ１０４と電源配線３０４との間に追加のトランジスタが設けられ、任意で選択トランジスタ１５８が省かれた回路構成を採用してもよい。
　図４に、単位グループ１３１～１３５に含まれる各ブロック１３１ｂ～１３５ｂにおける画素１５０の接続関係を示す。なお、図面を見やすくする目的で各トランジスタの参照番号を省略したが、図４の各画素の各トランジスタは、図３の画素１５０における対応する位置に配された各トランジスタと同じ構成及び機能を有する。ブロック１３１ｂ～１３５ｂは、一例として、隣接する３画素×３画素の９画素ＡからＩにより形成される。なお、ブロック１３１ｂ～１３５ｂに含まれる画素の数はこれに限られない。
　ブロック１３１ｂ～１３５ｂに含まれる画素のリセットトランジスタはブロック単位で共通にオンオフされる。画素Ａのリセットトランジスタをオンオフするリセット配線３００、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０、さらに他の画素ＤからＩのリセットトランジスタをオンオフする専用線路が共通のドライバ（不図示）に接続される。
　ブロック１３１ｂ～１３５ｂに含まれる画素の転送トランジスタもブロック単位で共通にオンオフされる。画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２、さらに他の画素ＤからＩの転送トランジスタをオンオフする専用線路が共通の制御回路（不図示）に接続される。
　ブロック１３１ｂ～１３５ｂに含まれる画素の選択トランジスタも画素ごとに個別にオンオフされる。画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６、さらに他の画素ＤからＩの選択トランジスタをオンオフする専用線路が別個にドライバ（不図示）に接続される。
　なお、電源配線３０４は、ブロック１３１ｂ～１３５ｂに含まる各画素ＡからＩで共通に接続されている。同様に、出力配線３０８は、ブロック１３１ｂ～１３５ｂに含まる各画素ＡからＩで共通に接続されている。さらに、電源配線３０４は複数のブロック間で共通に接続されるが、出力配線３０８はブロックごとに設けられる。
　ブロック１３１ｂ～１３５ｂのリセットトランジスタ及び転送トランジスタを共通にオンオフすることにより、ブロック１３１ｂ～１３５ｂに含まれる各画素ＡからＩに対して同期して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、ブロック１３１ｂ～１３５ｂの選択トランジスタを個別にオンオフすることにより、各画素ＡからＩの画素信号を共通の出力配線３０８を介して個別に出力することができる。
　ブロック１３１ｂ～１３５ｂに含まれる各画素ＡからＩの電荷蓄積は、ローリングシャッタ方式又はグローバルシャッタ方式により制御される。ローリングシャッタ方式では、画素の電荷蓄積は、行及び列に対して規則的な順序で制御される、例えば行ごとに画素を選択してから列を指定することで図４の例において「ＡＢＣＤＥＦＧＨＩ」の順序で画素信号が出力される。しかし、ローリングシャッタ方式では動体を撮像した場合に、ブロック１３１ｂ～１３５ｂ内の画素について当該動体が斜めに歪んだ画像が生成される。グローバルシャッタ方式では、画素の電荷蓄積は、すべての画素ＡからＩについて同時タイミングで制御される。
　図５に、受光装置１００の機能構成を示す。受光装置１００は、マルチプレクサ４１１、信号処理回路４１２、デマルチプレクサ４１３、及び画素メモリ４１４を含む。ここで、マルチプレクサ４１１は、撮像チップ１１３に形成される。信号処理回路４１２は、信号処理チップ１１１に形成される。デマルチプレクサ４１３及び画素メモリ４１４は、メモリチップ１１２に形成される。
　マルチプレクサ４１１は、ブロック１３１ｂ～１３５ｂの各画素ＡからＩを順番に選択して、それぞれの画素信号を出力配線３０８を介して信号処理回路４１２に送信する。なお、マルチプレクサ４１１の後段に増幅器を設け、それぞれの画素信号を予め定められた増幅率（ゲイン）で増幅して、信号処理回路４１２に送信してもよい。
　信号処理回路４１２は、画素信号（アナログ信号）を相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換して、デジタル化された画素信号を出力配線３３０を介してデマルチプレクサ４１３に送信する。
　デマルチプレクサ４１３は、信号処理回路４１２によりデジタル化された画素信号を、画素ＡからＩにそれぞれ対応して画素メモリ４１４のメモリＡからＩに送信する。
　画素メモリ４１４は、画素信号を格納するメモリＡからＩを有し、画素ＡからＩの画素信号をそれぞれメモリＡからＩに格納する。
　なお、画素ＡからＩごとに信号処理回路４１２を設け、それらからの画素信号を並列にＣＤＳ・Ａ／Ｄ変換してメモリＡからＩに格納してもよい。
　演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の処理部４０に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、演算回路４１５をグループごとに設けてもよいし、複数のグループに対して共通に設けてもよい。
　図６に、本実施形態に係る撮像装置５００の構成を示す。撮像装置５００は、撮像範囲を複数の距離ごとに分解して撮像する装置であり、発光部１０、受光部２０、制御部３０、及び処理部４０を備える。
　発光部１０は、撮像範囲に向けて光、すなわち照明光を射出するユニットである。発光部１０は、赤外線又は可視光領域の光を生成する光源を有し、これを用いてパルス光等の変調光を生成し、照明光として射出することで撮像範囲を照明する。
　受光部２０は、撮像範囲からの反射光を受光するユニットである。受光部２０は、光学系２１及び受光装置１００を含む。
　光学系２１は、複数のレンズ素子から構成され、光軸ＯＡに沿って撮像範囲から入ってくる光を受光装置１００の受光面上に導き、被写体像を結像させる。光学系２１は、受光装置１００に着脱できるように構成されてもよい。
　受光装置１００は、先述のとおり、受光面上に配列された複数の受光素子１０４を有する。複数の受光素子１０４は、それぞれが画素をなし、光学系２１によって結像された光（被写体像）を露光時間の間、受光し、光電変換して電荷を蓄積する。複数の受光素子１０４は、複数の単位グループ１３１～１３５にグループ化され、単位グループ１３１～１３５ごとに露光時間、すなわち電荷蓄積が制御される。複数の受光素子１０４から出力される画素信号は、処理部４０に送信される。
　制御部３０は、受光装置１００の複数の受光素子１０４の露光時間、すなわち電荷蓄積を、複数の受光素子１０４ごと又は複数の単位グループ１３１～１３５ごとに制御するユニットである。制御部３０は、例えばマイクロプロセッサ及びその周辺回路から構成され、不揮発性メモリ（不図示）に格納されている制御プログラムを実行することによりその機能を発現する。なお、制御部３０の一部機能をタイミングジェネレータ等の電子回路によって構成してもよい。
　処理部４０は、複数の受光素子１０４から出力される画素信号に基づいて、複数の単位グループ１３１～１３５のそれぞれの露光時間に対応する撮像範囲内の距離における像、すなわち画像データを複数の受光素子１０４ごと又は複数の単位グループ１３１～１３５ごとに生成する。ここで、バッファメモリ（不図示）を、画像処理のワークスペースとして使用することができる。画像データは、例えば、ＪＰＥＧファイル形式で生成されてよく、斯かる場合、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。また、処理部４０は、感度を改善するために、ビニング処理を実行してもよい。生成された画像データは、不揮発性フラッシュメモリ等の記憶装置（不図示）に記録されるとともに、表示信号に変換して液晶モニタ等の表示装置（不図示）上に表示されてもよい。
　図７Ａに、撮像範囲内に存在する物体１～３及びそれらの距離の一例を示す。撮像装置５００の受光面の位置（０ｍ）から距離１５～３０ｍの範囲内に物体１、距離３０～４５ｍの範囲内に物体２、距離４５～６０ｍの範囲内に物体３が存在するものとする。
　図７Ｂに、受光素子１０４の各単位グループの露光時間の一例を示す。この例では、受光素子１０４は、図２Ａ又は図２Ｂに示したグループ配列の４つの単位グループ１３１～１３４にグループ化されているとする。制御部３０は、受光素子１０４の単位グループ１３１～１３４の露光時間が単位グループ１３１～１３４間で連続するように、複数の受光素子１０４の露光時間を制御する。一例として、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、発光部１０による照明光が射出された時点を基準にして、０～１００ナノ秒の露光時間、１００～２００ナノ秒の露光時間、２００～３００ナノ秒の露光時間、３００～４００ナノ秒の露光時間の間、シャッタを開く。なお、単位グループ１３１～１３４の露光時間の終了後又は複数回露光を繰り返した後にそれぞれの単位グループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０により単位グループごとに処理してよい。
　なお、露光時間が単位グループ１３１～１３４間で連続するとは、先の単位グループの露光時間の終了と同時に次の単位グループの露光時間が開始するよう露光時間を連続させるに限らず、単位グループ１３１～１３４間で露光時間を一部重複して連続させてもよいし、間隔を開けて連続させてもよい。
　ここで、光は１０ナノ秒で約３メートルの距離を進む。受光素子１０４の単位グループ１３１は、距離０～１５ｍの範囲内に存在する物体からの反射光を受光するから、その範囲内に存在する物体が撮像される。図７Ａの例では、物体は撮像されない。受光素子１０４の単位グループ１３２は、距離１５～３０ｍの範囲内に存在する物体からの反射光を受光するから、その範囲内に存在する物体１が撮像される。受光素子１０４の単位グループ１３３は、距離３０～４５ｍの範囲内に存在する物体からの反射光を受光するから、その範囲内に存在する物体２が撮像される。受光素子１０４の単位グループ１３４は、距離４５～６０ｍの範囲内に存在する物体からの反射光を受光するから、その範囲内に存在する物体３が撮像される。このように、各単位グループの露光時間に応じて連続する複数の距離範囲にそれぞれ位置する物体を互いに分離して撮像することができる。
　なお、図２Ｃに示したグループ配列の５つの単位グループ１３１～１３５にグループ化された受光素子１０４に対して、図７Ｂの例のように露光時間が連続するように制御してもよい。また、制御部３０により、単位グループ１３１～１３５のうちの露光時間が前のグループ１３１～１３３に含まれる受光素子１０４の数が、露光時間が後のグループ１３４～１３５に含まれる受光素子１０４の数より多くなるように、受光素子１０４の露光時間を制御してもよい。それにより、近くに位置する物体（図７Ａの例では物体１、さらに物体２）ほど高い解像度で撮像することができる。
　図７Ｃに、受光素子１０４の各単位グループの露光時間の別の例を示す。この例では、受光素子１０４は、図２Ａ又は図２Ｂに示したグループ配列の４つの単位グループ１３１～１３４にグループ化されているとする。制御部３０は、単位グループ１３１～１３４のそれぞれの露光時間が同じ開始時刻から開始して互いに異なる終了時刻で終了するように、複数の受光素子１０４の露光時間を制御する。一例として、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４のすべてについて発光部１０による照明光の射出と同時にシャッタを開いて露光を開始し、単位グループ１３１～１３４に属する受光素子１０４に対して、それぞれ、１００ナノ秒経過時、２００ナノ秒経過時、３００ナノ秒経過時、４００ナノ秒経過時にシャッタを閉じて露光を順に終了する。なお、単位グループ１３１～１３４の露光時間の終了後又は複数回露光を繰り返した後にそれぞれのグループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０によりグループごとに処理する。
　ここで、処理部４０は、単位グループ１３２に属する受光素子１０４からの画素信号に対して単位グループ１３１に属する受光素子１０４からの画素信号の強度を減算する。単位グループ１３３に属する受光素子１０４からの画素信号に対して単位グループ１３２に属する受光素子１０４からの画素信号の強度を減算する。単位グループ１３４に属する受光素子１０４からの画素信号に対して単位グループ１３３に属する受光素子１０４からの画素信号の強度を減算する。ただし、例えば、減算対象の受光素子１０４が属するブロックに隣接する別のグループの１又は複数のブロックに含まれる受光素子１０４の画素信号の平均強度を減算する。それにより、単位グループ１３１に属する受光素子１０４の画素信号より、距離０～１５ｍの範囲内に存在する物体の像が得られる。図７Ａの例では、いずれの物体の像も得られない。単位グループ１３１～１３２に属する受光素子１０４の画素信号より、距離１５～３０ｍの範囲内に存在する物体１の像が得られる。単位グループ１３２～１３３に属する受光素子１０４の画素信号より、距離３０～４５ｍの範囲内に存在する物体２の像が得られる。単位グループ１３３～１３４に属する受光素子１０４の画素信号より、距離４５～６０ｍの範囲内に存在する物体３の像が得られる。このように、近くに位置する物体ほど高い解像度で像を得ることができる。
　図７Ｄに、受光素子１０４の各単位グループの露光時間の別の例を示す。この例では、受光素子１０４は、図２Ａ又は図２Ｂに示したグループ配列の４つの単位グループ１３１～１３４にグループ化されているとする。制御部３０は、単位グループ１３１～１３４のうちの少なくとも１つの単位グループの露光が照明光の射出前に行われるように、複数の受光素子１０４の露光時間を制御する。一例として、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、発光部１０による照明光が射出された時点を基準にして、０～１００ナノ秒の露光時間、１００～２００ナノ秒の露光時間、２００～３００ナノ秒の露光時間、－１００～０ナノ秒の露光時間の間、シャッタを開く。なお、単位グループ１３１～１３４の露光時間の終了後又は複数回露光を繰り返した後にそれぞれの単位グループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０により単位グループごとに処理する。
　ここで、処理部４０は、単位グループ１３１～１３３のそれぞれに含まれる受光素子１０４の画素信号の強度から単位グループ１３４に含まれる受光素子１０４の画素信号の強度を減算する。ただし、例えば、減算対象の受光素子１０４が属するブロックに隣接する単位グループ１３４の１又は複数のブロックに含まれる受光素子１０４の画素信号の平均強度を減算する。ここで、単位グループ１３４に含まれる受光素子１０４は、照明光の射出前にシャッタが開かれているから背景光のみを受光している。それにより、単位グループ１３１～１３３のそれぞれに属する受光素子１０４の画素信号から、背景光等に由来するノイズを除去することができる。
　なお、制御部３０は、単位グループ１３１～１３５の露光時間の一サイクルが終了した後、さらに、１又は複数回の露光時間のサイクルを繰り返してもよい。例えば、図７Ｂに示した例において、制御部３０は、１回目のサイクル（０～４００ナノ秒）が終了した後、２回目のサイクル（４００～８００ナノ秒）を実行する。すなわち、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、４００～５００ナノ秒の露光時間、５００～６００ナノ秒の露光時間、６００～７００ナノ秒の露光時間、７００～８００ナノ秒の露光時間の間、シャッタを開く。図７Ｃに示した例において、制御部３０は、１回目のサイクル（０～４００ナノ秒）が終了した後、２回目のサイクル（４００～８００ナノ秒）を実行する。すなわち、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、４００～５００ナノ秒の露光時間、４００～６００ナノ秒の露光時間、４００～７００ナノ秒の露光時間、４００～８００ナノ秒の露光時間の間、シャッタを開く。図７Ｄに示した例において、制御部３０は、１回目のサイクル（０～３００ナノ秒）が終了した後、２回目のサイクル（３００～６００ナノ秒）を実行する。すなわち、制御部３０は、単位グループ１３１～１３３に属する受光素子１０４について、それぞれ、３００～４００ナノ秒の露光時間、４００～５００ナノ秒の露光時間、５００～６００ナノ秒の露光時間の間、シャッタを開く。なお、単位グループ１３１～１３４の露光時間の終了後又は複数回露光を繰り返した後にそれぞれの単位グループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０により単位グループごとに処理してよい。これにより、より広範な距離範囲に存在する物体の像を得ることができる。
　図７Ｅに、受光素子１０４の各単位グループの露光時間の別の例を示す。この例では、受光素子１０４は、図２Ａ又は図２Ｂに示したグループ配列の４つの単位グループ１３１～１３４にグループ化されているとする。さらに、制御部３０により、受光素子１０４の単位グループ１３１～１３４のそれぞれの露光時間が一例として１０ナノ秒に設定され且つ単位グループ１３１～１３４間で連続するように複数の受光素子１０４の露光時間が制御されるとする。このように露光時間が短い場合に、各受光素子１０４において十分な光量を得る（すなわち十分な電荷を蓄積する）ために、制御部３０は、１フレーム内で発光部１０による照明光の射出及びこれに続く受光素子１０４の露光を繰り返し行ってよい。例えば、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、発光部１０による照明光が射出された時点を基準にして、０～１０ナノ秒の露光時間、１０～２０ナノ秒の露光時間、２０～３０ナノ秒の露光時間、３０～４０ナノ秒の露光時間の間、シャッタを開いて、それぞれの受光素子１０４において受光する。制御部３０は、この露光動作を１フレーム内で複数回、例えば１００～１００，０００回繰り返し、それぞれの受光素子１０４において受光量を蓄積する。１フレーム内での照明光の射出及び受光素子１０４の露光動作を繰り返した後に、それぞれの単位グループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０により単位グループごとに出力信号を処理してよい。この方法により、距離分解能を維持しつつ、各受光素子１０４において十分な光量を得ることができる。
　さらに、各受光素子１０４における受光量が不十分な場合に、処理部４０により、画像積算及び／又は画素加算を行ってよい。画像積算は、複数フレームで画素値を積算平均することであり、例えば１０００ｆｐｓで撮影した場合に、３３フレームにわたって画素値を積算平均することで３０ｆｐｓで距離画像を得ることができる。画素加算（平均）は、いわゆるビニングであり、隣接する複数の画素の画素値を加算（又は平均）して１つの画素の画素値とすることである。
　図８に、本実施形態に係る撮像装置５００を車両６００に搭載した場合の撮像システムの構成の一例を示す。車両６００は、移動体の一例であり、電車、自動車、自動二輪車等であってよい。車両６００は、撮像装置５００、速度センサ６１０、及び移動方向センサ６２０を備える。撮像装置５００（少なくとも発光部１０及び受光部２０）は、前方を撮像するよう車両６００に搭載される。つまり、発光部１０により車両６００の前方に向けて照明光を射出し、車両６００の前方から戻ってくる反射光を受光部２０により受光する。速度センサ６１０は、車両６００の速度を検出するセンサであり、車両６００に搭載されたものであってよい。移動方向センサ６２０は、車両６００の移動方向を検出するセンサである。移動方向センサ６２０は、例えば、車両６００に加わる加速度を検出するセンサ、車両６００のハンドルの回転角を検出するセンサ等であってよい。速度センサ６１０及び移動方向センサ６２０の検出結果は、撮像装置５００に送信される。
　撮像装置５００の処理部４０は、受光面上の下部領域に位置する受光素子１０４の露光時間が受光面上の上部領域に位置する受光素子１０４の露光時間より先に開始するよう制御する。それにより、遠方の状況を把握しつつ、地面の上の移動する車両６００の前方近くの路上に位置する物体を高解像度で撮像することができる。
　撮像装置５００の処理部４０は、速度センサ６１０の検出結果に応じて、複数の受光素子１０４の露光時間を制御する。
　車両６００の速度が上がった場合、制御部３０は、車両６００の速度が上がるほど複数の受光素子１０４のうちのより多くの受光素子１０４の露光時間を後にシフトする。例えば、図２Ａに示したグループ配列の受光素子１０４の単位グループ１３１～１３４に対して、露光時間をそれぞれ速度に応じた時間（例えば、１～１００ナノ秒）、後にシフトする。或いは、単位グループ１３１～１３２に属する受光素子１０４の少なくとも一部をそれぞれ単位グループ１３３～１３４に変更して、露光時間が前の受光素子１０４を減らし、露光時間が後の受光素子１０４を増やす。
　車両６００の速度が下がった場合、制御部３０は、車両６００の速度が下がるほど複数の受光素子１０４のうちのより多くの受光素子１０４の露光時間を前にシフトする。例えば、図２Ａに示したグループ配列の受光素子１０４の単位グループ１３１～１３４に対して、露光時間をそれぞれ速度に応じた時間（例えば、１～１００ナノ秒）、前にシフトする。或いは、単位グループ１３３～１３４に属する受光素子１０４の少なくとも一部をそれぞれ単位グループ１３１～１３２に変更して、露光時間が後の受光素子１０４を減らし、露光時間が前の受光素子１０４を増やす。
　それにより、車両６００の速度が高いほど受光素子１０４の露光時間を後にシフトし、車両６００の速度が低いほど受光素子１０４の露光時間を前にシフトすることで、車両６００の速度によらず、物体を、それが車両６００に最接近する一定時間前に検知することができる。
　また、車両６００が左前方に移動する場合、制御部３０は、受光面上の右部領域に位置するより多くの受光素子１０４の露光時間を（例えば、１～１００ナノ秒）前にシフトする。或いは、受光面上の右部領域内の単位グループ１３３～１３４に属する受光素子１０４の少なくとも一部をそれぞれ単位グループ１３１～１３２に変更して、露光時間が前の受光素子１０４を増やす。車両６００が右前方に移動する場合、制御部３０は、受光面上の左部領域に位置するより多くの受光素子１０４の露光時間を（例えば、１～１００ナノ秒）前にシフトする。或いは、受光面上の左部領域内の単位グループ１３３～１３４に属する受光素子１０４の少なくとも一部をそれぞれ単位グループ１３１～１３２に変更して、露光時間が前の受光素子１０４を増やす。それにより、車両６００が左折するときなど左前方に移動する場合に左前方近くに位置する物体を高解像度で撮像することができる。また、車両６００が右折するときなど右前方に移動する場合に右前方近くに位置する物体を高解像度で撮像することができる。
　図９に、車両６００に搭載された撮像装置５００による撮像処理のフローの一例を示す。撮像装置５００は、車両６００のエンジンの始動に応じてオンされ、エンジンが停止されるまで撮像処理を実行する。なお、撮像装置５００において、受光装置１００の受光素子１０４の露光時間は、例えば図２Ａから図２Ｄに示したグループ配列に従って、予め標準の露光時間に設定されているものとする。
　ステップＳ１０２では、車両６００に搭載された速度センサ６１０及び移動方向センサ６２０により、それぞれ、車両６００の速度及び移動方向が検出される。それらの検出結果は、撮像装置５００（制御部３０）に送信される。
　ステップＳ１０４では、撮像装置５００の制御部３０により、車両６００の速度及び移動方向が変化したか否か判断される。変化があった場合、ステップＳ１０６に進み、制御部３０は受光素子１０４の露光時間の設定を変更する。変化がなかった場合、ステップＳ１０８に進み、制御部３０は受光素子１０４の露光時間の設定を維持する。
　ステップＳ１０６では、制御部３０により、受光素子１０４の露光時間が単位グループごとに制御される。車両６００の速度が上がった場合、制御部３０は、先述のとおり、車両６００の速度が上がるほど複数の受光素子１０４のうちのより多くの受光素子１０４の露光時間を後にシフトする。車両６００の速度が下がった場合、制御部３０は、先述のとおり、車両６００の速度が下がるほど複数の受光素子１０４のうちのより多くの受光素子１０４の露光時間を前にシフトする。それにより、車両６００の速度によらず、物体を、それが車両６００に最接近する一定時間前に検知することができる。
　また、車両６００が左前方に移動する場合、制御部３０は、先述のとおり、受光面上の右部領域に位置するより多くの受光素子１０４の露光時間を前にシフトし、車両６００が右前方に移動する場合、制御部３０は、先述のとおり、受光面上の左部領域に位置するより多くの受光素子１０４の露光時間を前にシフトする。
　ステップＳ１０８では、制御部３０は、発光部１０を制御して、車両６００の前方（すなわち、撮像範囲）に向けて照明光を射出する。
　ステップＳ１１０では、制御部３０は、受光部２０を制御して、車両の前方（すなわち、撮像範囲）からの反射光を、複数の単位グループにグループ化された複数の受光素子１０４を用いて受光する。ここで、受光素子１０４の露光時間は、予め又はステップＳ１０６において単位グループごとに制御されている。
　ステップＳ１１２では、処理部４０が、受光素子１０４の画素信号に基づいて、単位グループのそれぞれの露光時間に対応する撮像範囲内の距離における像（すなわち、画像データ）を単位グループごとに生成する。例えば、図２Ａ又は図２Ｂに示した単位グループ１３１～１３４にグループ化された受光素子１０４により図７Ａに示した撮像範囲内に存在する物体１～３を撮像した場合、受光素子１０４の単位グループ１３１の画素信号から得られる画像データには、距離０～１５ｍの範囲内に物体は存在しないから、何も現れない。受光素子１０４の単位グループ１３２の画素信号から得られる画像データには、距離１５～３０ｍの範囲内に存在する物体１が現れる。受光素子１０４の単位グループ１３３の画素信号から得られる画像データには、距離３０～４５ｍの範囲内に存在する物体２が現れる。受光素子１０４の単位グループ１３４は、距離４５～６０ｍの範囲内に存在する物体３が現れる。このように、各単位グループの露光時間に応じて撮像範囲内の複数の距離範囲にそれぞれ位置する物体を互いに分離して撮像することができる。
　ステップＳ１１４では、処理部４０が、ステップＳ１１２で得られた像（すなわち、画像データ）を処理して、それに含まれる物体を特定する。上記の例では、処理部４０は、単位グループ１３２の画像データから距離１５～３０ｍの範囲内に存在する物体１が歩行者であることを特定し、単位グループ１３３の画像データから距離３０～４５ｍの範囲内に存在する物体２が街路樹であることを特定し、単位グループ１３４の画像データから距離４５～６０ｍの範囲内に存在する物体３が車両であることを特定する。
　なお、本実施形態では、車両６００の速度に応じて受光素子１０４の露光時間を前後にシフトすることとしたが、これに代えて、または、これに加えて、車両６００の速度に応じて警告又は車両６００を自動停止するタイミングを制御することとしてもよい。例えば、制御部３０は、車両６００の速度が上がるほど、警告又は自動停止すべきか否かを判断するための単位グループを露光時間が遅い単位グループに変更する。車両６００の速度が低い場合、処理部４０は、単位グループ１３２の画像データから距離１５～３０ｍの範囲内に歩行者が存在することを特定した場合、運転手に警告する又は車両６００を自動停止する。車両６００の速度が高い場合、処理部４０は、単位グループ１３４の画像データから距離４５～６０ｍの範囲内に歩行者が存在することを特定した場合、運転手に警告する又は車両６００を自動停止する。
　斯かる場合に、処理部４０は、予め、画像データから特定された際に警告又は車両６００を自動停止すべき対象物体を決定しておくとともに、画像と物体の種類との関係を示すデータテーブルを保持しておく。処理部４０は、受光素子１０４の画素信号に基づいて単位グループごとに画像データを生成し、画像データから撮像された物体が何なのかをデータテーブルを用いて画像と物体とを比較することにより特定し、特定された物体が対象物体である場合に警告又は自動停止の処理を実行してよい。
　ステップＳ１１４を終了するとステップＳ１０２に戻り、ステップＳ１０２～Ｓ１１４を繰り返す。つまり、ステップＳ１０８にて発光部１０により撮像範囲に向けて照明光を繰り返し射出し、ステップＳ１１０にて受光部２０により発光部１０が照明光を射出する度に撮像範囲からの反射光を受光し、ステップＳ１１２にて処理部４０により受光部２０が反射光を受光する度に受光素子１０４の画素信号を単位グループごとに処理して撮像範囲内の複数の距離にそれぞれ対応する複数の像を生成し、ステップＳ１１４にて各像に含まれる物体を特定する。
　なお、ステップＳ１１４では、処理部４０は、ステップＳ１０２～Ｓ１１４を繰り返す度に、受光素子１０４の単位グループごとに特定される物体及び受光素子１０４の単位グループのそれぞれの露光時間（すなわち、撮像装置５００からの距離）に基づいて、物体の移動を検知することができる。例えば、処理部４０は、最初のサイクルにおいて単位グループ１３４の画像データから距離４５～６０ｍの範囲内に車両（物体３）を特定し、次のサイクルにおいても単位グループ１３４の画像データから距離４５～６０ｍの範囲内に車両（物体３）を特定した場合、車両（物体３）は、車両６００の前方を等しい速度で同方向に走行していると検知する。また、処理部４０は、最初のサイクルにおいて単位グループ１３４の画像データから距離４５～６０ｍの範囲内に車両（物体３）を特定し、次のサイクル（周期Ｔとする）において単位グループ１３３の画像データから距離３０～４５ｍの範囲内に車両（物体３）を特定した場合、車両（物体３）は、車両６００の前方から相対速度（約１５ｍ／Ｔ）で接近していることを検知する。さらに続くサイクルにおいて、単位グループ１３２の画像データから距離１５～３０ｍの範囲内に車両（物体３）を特定すると、処理部４０は車両（物体３）との衝突を、警告音を発する又は警告灯を点滅するなどにより運転手に警告してよい。
　本実施形態に係る撮像装置５００によれば、光を射出する発光部１０、発光部１０から射出された光の反射光を受光する複数の受光素子１０４を有する受光部２０、複数の受光素子１０４ごと、または、少なくとも２つの受光素子１０４をそれぞれが有する複数の単位グループ１３１～１３５ごとに、露光時間を制御する制御部３０を備え、複数の受光素子１０４及び複数のグループ１３１～１３５は、それぞれの露光時間に対応する信号を出力する。さらに、出力された信号に基づいて、露光時間に対応する距離における像を複数の受光素子１０４ごと又は複数のグループ１３１～１３５ごとに生成する処理部４０をさらに備える。制御部３０により、複数の受光素子１０４ごと、または、少なくとも２つの受光素子１０４をそれぞれが有する複数のグループ１３１～１３５ごとに、露光時間を制御することにより、発光部１０により光を射出し、受光部２０により反射光を複数の受光素子１０４を用いて受光し、処理部４０により、出力された信号に基づいて、露光時間に対応する距離における像を複数の受光素子１０４ごと又は複数のグループ１３１～１３５ごとに生成することで、各単位グループの露光時間に応じた複数の距離ごとに分解して各距離に位置する物体をそれぞれ撮像することができる。
　なお、本実施形態に係る撮像装置５００では、１又は隣接する複数の受光素子１０４が１つのブロック１３１ｂ～１３５ｂを構成し、任意に配列された複数のブロック１３１ｂ～１３５ｂをそれぞれ含んで複数の単位グループ１３１～１３５を構成し、単位グループ１３１～１３５ごとに露光時間を制御することとしたが、これに代えて、受光素子１０４のブロック又は単位グループを構成せず、複数の受光素子１０４ごとに露光時間を制御することとしてもよい。また、本実施形態に係る撮像装置５００では、複数の受光素子１０４ごとまたは複数の単位グループ１３１～１３５ごとに露光時間を制御し、露光時間に対応した距離における画像を取得した例を示したが、これに代えて、または、これに加えて、それぞれの露光時間に対応した距離を計測してもよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　１０…発光部、２０…受光部、２１…光学系、３０…制御部、４０…処理部、１００…受光装置、１０１…マイクロレンズ、１０２…カラーフィルタ、１０３…パッシベーション膜、１０４…受光素子、１０５…トランジスタ、１０６…ＰＤ層、１０７…配線、１０８…配線層、１０９…バンプ、１１０…シリコン貫通電極、１１１…信号処理チップ、１１２…メモリチップ、１１３…撮像チップ、１３１～１３５…単位グループ、１５０…画素、１５２…転送トランジスタ、１５４…リセットトランジスタ、１５６…増幅トランジスタ、１５８…選択トランジスタ、３００，３１０，３２０…リセット配線、３０２，３１２，３２２…転送配線、３０４…電源配線、３０６，３１６，３２６…選択配線、３０８，３３０…出力配線、３０９…負荷電流源、４１１…マルチプレクサ、４１２…信号処理回路、４１３…デマルチプレクサ、４１４…画素メモリ、４１５…演算回路、５００…撮像装置、６００…車両、６１０…速度センサ、６２０…移動方向センサ。

Claims (18)

  1. 　光を射出する発光部と、 
    　前記発光部から射出された光の反射光を受光する複数の受光素子をそれぞれが有する複数のグループと、
    　前記複数のグループごとに像を生成する処理部と、を備え、
    　前記複数のグループの前記反射光を受光するタイミングおよび露光時間の少なくとも一方は、それぞれ異なる撮像範囲に対応して設定されており、
    　前記処理部は、前記複数のグループのそれぞれに対応する前記撮像範囲の対象物の像を生成する撮像装置。
  2. 　前記撮像範囲は、前記複数の受光素子から前記対象物までの距離範囲、および、前記発光部から光が射出されてから前記複数の受光素子で受光するまでの時間範囲の少なくとも一方を含む請求項１に記載の撮像装置。
  3. 　前記複数の受光素子ごとまたは前記複数のグループごとに、前記タイミングおよび前記露光時間の少なくとも一方を制御する制御部を備える請求項１または２に記載の撮像装置。
  4. 　前記複数の受光素子が配列された受光面を備え、 
    　前記複数のグループは、それぞれ、前記受光面上の異なる領域に位置する受光素子を有する、請求項３に記載の撮像装置。
  5. 　前記複数のグループのうちの少なくとも１つのグループは、それぞれが少なくとも１つの受光素子を含む前記受光面上の複数のブロックを含む、請求項４に記載の撮像装置。
  6. 　前記受光面上の下部領域に位置する受光素子の前記タイミングは、前記受光面上の上部領域に位置する受光素子の前記タイミングより先である、請求項４又は５に記載の撮像装置。
  7. 　前記発光部及び前記複数の受光素子は、移動体に設けられ、
    　前記制御部は、前記移動体が左前方に移動する場合に前記受光面上の右部領域に位置する受光素子の露光時間を前にシフトし、前記移動体が右前方に移動する場合に前記受光面上の左部領域に位置する受光素子の露光時間を前にシフトする、請求項４から６のいずれか一項に記載の撮像装置。
  8. 　前記制御部は、前記複数のグループの露光時間が前記複数のグループ間で連続するように、前記複数の受光素子の露光時間を制御する、請求項４から７のいずれか一項に記載の撮像装置。
  9. 　前記制御部は、前記複数のグループのうちの露光時間が前のグループに含まれる受光素子の数が、露光時間が後のグループに含まれる受光素子の数より多くなるように、前記複数の受光素子の露光時間を制御する、請求項８に記載の撮像装置。
  10. 　前記制御部は、前記複数のグループのそれぞれの露光時間が同じ時刻から開始して互いに異なる時刻で終了するように、前記複数の受光素子の露光時間を制御する、請求項４から９のいずれか一項に記載の撮像装置。
  11. 　前記制御部は、前記複数のグループのうちの少なくとも１つのグループの露光が前記光の射出前に行われるように、前記複数の受光素子の露光時間を制御し、
    　前記処理部は、前記複数のグループのうちの残りのグループのそれぞれに含まれる受光素子の出力信号の強度から前記少なくとも１つのグループに含まれる受光素子の出力信号の強度を減算する、請求項１０に記載の撮像装置。
  12. 　前記処理部は、生成した前記像に含まれる物体を特定する、請求項４から１１のいずれか一項に記載の撮像装置。
  13. 　前記処理部は、前記複数のグループごとに特定される物体及び前記複数のグループのそれぞれの露光時間に基づいて、前記物体の移動を検知する、請求項１２に記載の撮像装置。
  14. 　前記発光部及び前記複数の受光素子は、移動体に設けられ、
    　前記制御部は、前記移動体の速度に応じて前記複数の受光素子の露光時間を制御する、請求項４から１３のいずれか一項に記載の撮像装置。
  15. 　前記制御部は、前記移動体の速度が速いほど前記複数の受光素子のうちの少なくも一部の受光素子の露光時間を後にシフトする、請求項１４に記載の撮像装置。
  16. 　前記複数の受光素子または前記複数のグループは、ベイヤー配列された別の受光素子の間に配置されている請求項１から１５のいずれか一項に記載の撮像装置。
  17. 　移動体であって、 
    　請求項１から１６のいずれか一項に記載の撮像装置と、
    　前記移動体の速度を検出する速度センサと、 
    　前記移動体の移動方向を検出する移動方向センサと、
    を備える移動体。
  18. 　光を射出する段階と、
    　複数の受光素子を用いて、射出された光の反射光を受光する段階と、
    　前記複数の受光素子ごと、または、少なくとも２つの受光素子をそれぞれが有する複数のグループごとに、露光時間を制御する段階と、
    　前記露光時間に対応する測定対象範囲内の対象物までの距離、および、前記対象物の像の少なくとも一方を、前記複数の受光素子ごとまたは前記複数のグループごとに生成する段階と、
    を含む撮像方法。
PCT/JP2020/027157 2019-07-16 2020-07-10 撮像装置及び撮像方法 WO2021010355A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021533059A JP7384204B2 (ja) 2019-07-16 2020-07-10 撮像装置及び撮像方法
JP2023191611A JP2024014925A (ja) 2019-07-16 2023-11-09 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-131448 2019-07-16
JP2019131448 2019-07-16

Publications (1)

Publication Number Publication Date
WO2021010355A1 true WO2021010355A1 (ja) 2021-01-21

Family

ID=74210865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027157 WO2021010355A1 (ja) 2019-07-16 2020-07-10 撮像装置及び撮像方法

Country Status (2)

Country Link
JP (2) JP7384204B2 (ja)
WO (1) WO2021010355A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195141A (ja) * 2005-12-20 2007-08-02 Nissan Motor Co Ltd 画像速度算出装置及び画像速度算出方法
JP2010076527A (ja) * 2008-09-25 2010-04-08 Sanyo Electric Co Ltd 操縦支援装置
WO2017104765A1 (ja) * 2015-12-16 2017-06-22 株式会社ニコン 撮像装置および動き検出方法
WO2017169233A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
JP2017225084A (ja) * 2016-06-17 2017-12-21 株式会社ニコン 撮像素子、電子機器、撮像方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195141A (ja) * 2005-12-20 2007-08-02 Nissan Motor Co Ltd 画像速度算出装置及び画像速度算出方法
JP2010076527A (ja) * 2008-09-25 2010-04-08 Sanyo Electric Co Ltd 操縦支援装置
WO2017104765A1 (ja) * 2015-12-16 2017-06-22 株式会社ニコン 撮像装置および動き検出方法
WO2017169233A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
JP2017225084A (ja) * 2016-06-17 2017-12-21 株式会社ニコン 撮像素子、電子機器、撮像方法、およびプログラム

Also Published As

Publication number Publication date
JP2024014925A (ja) 2024-02-01
JPWO2021010355A1 (ja) 2021-01-21
JP7384204B2 (ja) 2023-11-21

Similar Documents

Publication Publication Date Title
KR102481007B1 (ko) 고체 촬상 소자 및 전자기기
US10277850B2 (en) Solid-state imaging device for a distance sensor transferring charges from one pixel while resetting another pixel in a same period
US8569700B2 (en) Image sensor for two-dimensional and three-dimensional image capture
JP6885344B2 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US9182490B2 (en) Video and 3D time-of-flight image sensors
US10728439B2 (en) Image-capturing apparatus and motion detection method
CN108632544B (zh) 固态成像设备、成像系统和能移动的物体
JP2011243862A (ja) 撮像デバイス及び撮像装置
US20160316153A1 (en) System for controlling pixel array sensor with independently controlled sub pixels
JP2016048885A (ja) 撮像装置および自動車
Takayanagi et al. HDR CMOS image sensors for automotive applications
WO2016052437A1 (ja) 電子機器および画像処理方法
JP7371004B2 (ja) 撮像装置及び電子機器
US20190258025A1 (en) Image sensor, focus detection apparatus, and electronic camera
WO2021010355A1 (ja) 撮像装置及び撮像方法
JP2019041352A (ja) 撮像装置及び撮像システム
US11695023B2 (en) Photoelectric conversion apparatus and imaging system
WO2021095285A1 (en) Imaging device
JP2007282028A (ja) 車載カメラ
JP2003274422A (ja) イメージセンサ
CN111183633B (zh) 固态摄像元件和电子器件
WO2023079840A1 (ja) 撮像装置および電子機器
WO2022085447A1 (ja) センサ
TW202137748A (zh) 固體攝像裝置及電子機器
JP2020057879A (ja) 電子機器および設定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20839590

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021533059

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20839590

Country of ref document: EP

Kind code of ref document: A1