WO2021182190A1 - 撮像装置、撮像システム及び撮像方法 - Google Patents

撮像装置、撮像システム及び撮像方法 Download PDF

Info

Publication number
WO2021182190A1
WO2021182190A1 PCT/JP2021/007987 JP2021007987W WO2021182190A1 WO 2021182190 A1 WO2021182190 A1 WO 2021182190A1 JP 2021007987 W JP2021007987 W JP 2021007987W WO 2021182190 A1 WO2021182190 A1 WO 2021182190A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixel region
moving object
unit
processing unit
Prior art date
Application number
PCT/JP2021/007987
Other languages
English (en)
French (fr)
Inventor
佑樹 橋爪
鈴木　正敏
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202180013390.4A priority Critical patent/CN115088248A/zh
Priority to US17/802,728 priority patent/US20230098440A1/en
Publication of WO2021182190A1 publication Critical patent/WO2021182190A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Definitions

  • the present disclosure relates to an imaging device, an imaging system, and an imaging method.
  • Patent Document 1 An imaging device has been proposed that outputs only a part of the region of interest (ROI: Region of Interest) of the effective pixel region that can be imaged by the imaging device with high resolution (Patent Document 1).
  • ROI Region of Interest
  • Patent Document 1 only the region of interest is photographed at a high resolution and output, and the entire image is photographed at a low resolution to track a moving object, thereby reducing the power consumption of the image pickup apparatus.
  • Patent Document 1 a moving object is detected and tracked by a signal processing unit connected to the image sensor, and the image sensor switches the region of interest to be output with high resolution based on the signal output from the signal processing unit. ing. Therefore, for a moving object with a fast movement, it may be difficult for the image sensor to output the pixel data in the region of interest without delay.
  • the present disclosure provides an imaging device, an imaging system, and an imaging method capable of accurately detecting and tracking a moving object and outputting a region of interest including the moving object with high resolution without increasing power consumption.
  • a first pixel region having a plurality of pixel circuits and a part of an effective pixel region is cut out, and pixel data in the first pixel region is output.
  • An imaging device is provided that includes a signal processing unit that cuts out a region and outputs pixel data in the second pixel region.
  • the signal processing unit may cut out the second pixel region from the first pixel region without lowering the pixel resolution.
  • the signal processing unit may cut out the second pixel region by following the position of the moving body.
  • the signal processing unit may detect and track the moving object based on the pixel data in the first pixel region.
  • the signal processing unit outputs a signal indicating a range to be cut out from the effective pixel area by the pixel array unit in the next frame based on the position of the moving object in the first pixel area.
  • the pixel array unit may cut out the first pixel region based on the signal output from the signal processing unit.
  • the signal processing unit A first processing unit that detects and tracks the moving object based on the pixel data in the first pixel region, and It may have a second processing unit that cuts out the second pixel region from the first pixel region based on a signal indicating the result of detection and tracking of the moving object by the first processing unit.
  • a cutout drive unit that controls the first pixel region output by the pixel array unit for each frame.
  • the first processing unit outputs first control information instructing the second processing unit of a range to be cut out from the first pixel region, and is cut out from the effective pixel region to the cutting drive unit.
  • Second control information indicating the range of the first pixel region may be output.
  • the first processing unit sets a follow-up detection frame in the first pixel region, and when the moving object is detected in the follow-up detection frame, the first processing unit adjusts to the position of the moving body in the first pixel region.
  • the process of moving the follow-up detection frame may be performed to output the first control information and the second control information.
  • a storage unit that stores at least one of a cutting condition in the signal processing unit and a condition for detecting and tracking the moving object in the first pixel region is provided.
  • the signal processing unit may detect and track the moving object and cut out the second pixel region according to the conditions stored in the storage unit.
  • the storage unit includes information on whether or not to detect and track the moving object, information on the initial coordinates and size of the second pixel region, and information for detecting the moving object in the first pixel region. May be memorized.
  • the information for detecting the moving object in the first pixel region is Time information for determining that the tracked moving object has disappeared from the first pixel region, and Information about the color filter used to generate image data to facilitate detection and tracking of the moving object, and Information about the threshold value when generating the image data and It may include at least one of the information regarding the threshold of the size of the moving object.
  • An output rate control unit that controls the output rate when the pixel data output from the signal processing unit is externally output may be provided according to the size of the second pixel region.
  • the pixel array unit has the plurality of pixel circuits arranged in the first direction and the second direction, and the pixel array unit has the first direction along at least one direction of the first direction and the second direction. One pixel area may be cut out.
  • the pixel array unit has the plurality of pixel circuits arranged in the first direction and the second direction, and the pixel array unit cuts out the first pixel region along the first direction.
  • the signal processing unit may cut out the second pixel region from the first pixel region along the second direction.
  • the imaging device and The image pickup device is provided with an information processing device for inputting a condition for cutting out a pixel region and a condition for detecting and tracking a moving object.
  • the image pickup device A pixel array unit having a plurality of pixel circuits and capable of cutting out a first pixel area that is a part of an effective pixel area and outputting pixel data in the first pixel area. Based on the pixel data output from the pixel array unit, a moving object is detected and tracked in the first pixel region, and a second pixel region that is a part of the first pixel region is cut out to obtain the above.
  • An imaging system is provided that includes a signal processing unit that outputs pixel data in the second pixel region.
  • a first pixel region which is a part of an effective pixel region, is cut out from a pixel array unit having a plurality of pixel circuits, and pixel data in the first pixel region is output. Based on the output pixel data, a moving object is detected and tracked in the first pixel region, and a second pixel region that is a part of the first pixel region is cut out to be in the second pixel region.
  • An imaging method for outputting pixel data of the above is provided.
  • FIG. 3 is a block diagram of an imaging system including an imaging device according to a second embodiment.
  • FIG. 3 is a block diagram of an imaging system including an imaging device according to a third embodiment.
  • the block diagram of the image pickup system provided with the image pickup apparatus according to 4th Embodiment. It is a figure which shows the example which arranged the image pickup apparatus 1 according to 1st to 4th Embodiment in the vicinity of the belt conveyor which conveys an inspection object.
  • the figure which shows the example which the marker for the detection and tracking of the inspection target part is provided.
  • the block diagram which shows the schematic configuration example of the vehicle control system which is an example of a moving body control system.
  • the imaging device and the imaging system will be described with reference to the drawings.
  • the main components of the imaging device and the imaging system will be mainly described, but the imaging device and the imaging system may have components and functions not shown or described.
  • the following description does not exclude components or functions not shown or described.
  • FIG. 1 is a block diagram showing a main part of the image pickup apparatus 1 according to the first embodiment.
  • the image sensor 1 of FIG. 1 shows, for example, the configuration of a CIS (CMOS Image Sensor).
  • the image pickup device 1 of FIG. 1 is often made into a chip and can also be called an image pickup device, but is referred to as an image pickup device 1 in the present specification.
  • the image pickup apparatus 1 of FIG. 1 includes a pixel array unit 2, a signal processing unit 3, and a cutout drive unit 4.
  • the pixel array unit 2 has a plurality of pixel circuits 2a, cuts out a first pixel area that is a part of an effective pixel area, and outputs pixel data in the first pixel area.
  • the signal processing unit 3 detects and tracks a moving object in the first pixel area based on the pixel data output from the pixel array unit 2, and cuts out a second pixel area which is a part of the first pixel area. Then, the pixel data in the second pixel area is output.
  • the second pixel region is the region of interest (ROI).
  • the moving body in the present specification is a concept including not only a moving body itself but also a stationary body imaged by the moving or vibrating imaging device 1.
  • the pixel array unit 2 has a plurality of pixel circuits 2a and a first cutting unit 5. Each pixel circuit 2a has a photoelectric conversion element and a readout circuit. As will be described later, the first cutout unit 5 cuts out the first-stage pixels from the effective pixel area and outputs the pixel data in the first pixel area.
  • the first pixel area is an area for detecting and tracking a moving object.
  • the first pixel area may be, for example, a part of the pixel area in the vertical line direction of the effective pixel area.
  • the first pixel area may be set to an arbitrary range within the effective pixel area.
  • the signal processing unit 3 has a thinning unit 6, a moving object detection unit 7, a cutting control unit 8, a second cutting unit 9, and a coordinate calculation unit 10. If the signal processing unit 3 can perform signal processing at high speed, the thinning unit 6 may be omitted.
  • the thinning unit 6 thins out the pixel data in the first pixel area and outputs low resolution data. The reason why the thinning unit 6 thins out the pixel data in the first pixel region is to quickly detect and track the moving object.
  • the moving object detection unit 7 detects a moving object based on the low resolution data in the first pixel region thinned out by the thinning unit 6. As will be described later, the moving object detection unit 7 continues the search until the moving object enters the tracking detection frame for tracking the moving object set in the first pixel region, and when the moving object enters the tracking detection frame, the moving object detects the moving object.
  • the tracking detection frame is moved within the first pixel region in accordance with the movement of the moving object to track the moving object.
  • the moving object detection unit 7 outputs a signal indicating the detection and tracking result of the moving object.
  • the cutout control unit 8 controls the second cutout unit 9 to cut out pixels in the second stage based on the output signal of the moving object detection unit 7.
  • the second cutout unit 9 cuts out pixels in the second stage from the first pixel area according to the position where the moving object exists, and outputs the pixel data in the second pixel area.
  • the coordinate calculation unit 10 calculates the coordinates of the first pixel region in the next frame based on the output signal of the moving object detection unit 7.
  • the cutout drive unit 4 controls reading of pixel data from a plurality of pixel circuits 2a in the pixel array unit 2 based on the coordinates calculated by the coordinate calculation unit 10.
  • the cutout drive unit 4 determines the range of the first pixel area in the effective pixel area in the next frame, and controls to read only the pixel data in the determined first pixel area from a part of the pixel circuits 2a. I do.
  • the range of the first pixel area may specify the coordinates and size of the first pixel area in the effective pixel area. Further, the cutting drive unit 4 may specify a predetermined initial coordinate and size of the first pixel region at the time of turning on the power or resetting.
  • the image pickup apparatus 1 cuts out pixels from the effective pixel area in two stages.
  • the direction and size of pixel cutting at each stage are arbitrary, but in the following, as a typical example, a part of the pixel area in the vertical line direction of the effective pixel area is cut out in the first stage, and the second stage.
  • An example of cutting out a part of the pixel area in the horizontal line direction by eye will be mainly described.
  • FIG. 2 is a diagram schematically illustrating the processing operation of the image pickup apparatus 1 according to the first embodiment.
  • the effective pixel region 11 of the image pickup apparatus 1 is, for example, 12 M pixels.
  • the first cutout unit 5 in the pixel array unit 2 outputs pixel data in the first pixel area 12 obtained by cutting out, for example, a part of the pixel area in the vertical line direction from the effective pixel area 11.
  • the first pixel region 12 has a size that defines a range for detecting and tracking a moving object 14. In the example of FIG. 2, the number of pixels in the first pixel area 12 is 4M pixels.
  • the second cutting unit 9 in the signal processing unit 3 is, for example, a part of the pixels in the horizontal line direction from the first pixel area 12 based on the signal indicating the detection and tracking result of the moving object by the moving object detecting unit 7.
  • the pixel data in the second pixel area 13 obtained by cutting out the area is output.
  • the second pixel region 13 has a size that defines a range including a moving object. In the example of FIG. 2, the second pixel region 13 is a 1M pixel.
  • the moving body 14 in the second pixel area 13 can be visually recognized at high resolution. Since the size of the second pixel region 13 output from the image pickup apparatus 1 is smaller than that of the first pixel region 12, the amount of pixel data output from the image pickup apparatus 1 can be suppressed.
  • FIG. 3 is a block diagram showing a hardware configuration of an imaging system 20 including the imaging device 1 according to the first embodiment.
  • the imaging system 20 of FIG. 3 includes an imaging device 1, a signal processing chip 21, and an external control unit 22.
  • the signal processing chip 21 and the external control unit 22 may be integrated into one chip or may be composed of separate chips.
  • At least one of the signal processing chip 21 and the external control unit 22 and the image pickup device 1 may be stacked one above the other and transmit / receive signals by Cu-Cu bonding, TSV (Through Silicon Via), or the like.
  • the chip of the image pickup apparatus 1, the signal processing chip 21, and the external control unit 22 may be mounted on a printed circuit board or the like.
  • the image pickup device 1 of FIG. 3 includes a pixel array unit 2, a signal processing unit 3, a cutout drive unit 4, and a storage unit 24.
  • the signal processing unit 3 has a first processing unit 25 and a second processing unit 26.
  • the first processing unit 25 performs processing operations of the thinning unit 6, the moving object detection unit 7, the cutting control unit 8, and the coordinate calculation unit 10 in FIG. More specifically, the first processing unit 25 performs thinning-out processing of pixel data in the first pixel region 12, detection of moving objects, and tracking of moving objects. Further, the first processing unit 25 outputs control information for performing second-stage pixel cutting to the second processing unit 26 (hereinafter, first control information), and next to the cutting drive unit 4. Outputs control information (hereinafter, second control information) for cutting out the first-stage pixels in the frame of. As described above, when the first processing unit 25 has processing performance for detecting and tracking a moving object at high speed, the thinning process may be omitted.
  • the second processing unit 26 Based on the first control information output from the first processing unit 25, the second processing unit 26 cuts out, for example, a part of the pixel area in the horizontal pixel line direction, and the pixel data in the second pixel area 13 Is output.
  • the direction and size of the second processing unit 26 to cut out a part of the first pixel region are arbitrary.
  • the cutout drive unit 4 generates a drive signal for the pixel array unit 2 to perform the first stage pixel cutout in the next frame based on the second control information output from the first processing unit 25, and the pixels. It is supplied to the array unit 2.
  • the storage unit 24 stores at least one of the condition for cutting out the second stage in the signal processing unit 3 and the condition for detecting and tracking a moving object in the first pixel area 12.
  • the storage unit 24 may be composed of a register circuit or a semiconductor memory. More specifically, the storage unit 24 detects the moving object in the first pixel area 12, information on whether or not to detect and track the moving object, information on the initial coordinates and size of the second pixel area 13. Information may be stored.
  • the signal processing chip 21 performs various signal processing on the pixel data in the second pixel area 13 output from the image pickup apparatus 1.
  • the specific content of the signal processing is not limited, but for example, brightness adjustment, noise reduction processing, and the like.
  • the external control unit 22 performs various controls on the image pickup device 1.
  • the specific content of the control performed by the external control unit 22 does not matter, but for example, the setting of whether or not to track the moving object, the setting related to the tracking detection frame set in the first pixel area 12, and the setting of the moving object. It may include at least one of the settings related to detection.
  • the imaging device 1 determines whether or not to track the moving object based on the setting of whether or not to track the moving object by the external control unit 22.
  • the setting regarding the tracking detection frame may include at least one of the coordinates of the initial position of the tracking detection frame and the size (width and height) of the tracking detection frame.
  • the settings related to the detection of the moving object are the time from when the moving object is absent in the first pixel area 12 until it is determined that it has disappeared, the setting of the color filter for binarizing the moving object, and the binarization. It may include at least one of the setting of the threshold value of and the setting of the threshold value of the size of the moving object.
  • the setting information regarding the detection of a moving object may be referred to as a moving object detection parameter.
  • the reason for binarizing the moving body is to detect and track the moving body at high speed, and the process of binarizing the moving body is performed by using a color filter according to the color of the moving body.
  • the binarization process is not essential.
  • the color filter described above may be used to generate image data for facilitating detection and tracking of moving objects.
  • the threshold value is set when the above-mentioned image data is generated.
  • the external control unit 22 inputs control information and setting information for performing various controls to the image pickup device 1 into the image pickup device 1. These control information and setting information are stored in the storage unit 24 in the image pickup apparatus 1. Each unit in the image pickup apparatus 1, for example, the first processing unit 25 and the second processing unit 26, detects and tracks a moving object based on the control information and the setting information stored in the storage unit 24 from the external control unit 22. , The second pixel region 13 is cut out. In this way, the control information and the setting information from the external control unit 22 are stored in the storage unit 24 and read out from each unit in the image pickup apparatus 1 at any time, so that the external control unit 22 can perform the control information and the setting in real time. It is not necessary to input the information to the image pickup apparatus 1.
  • the pixel array unit 2 Since the pixel array unit 2 according to the present embodiment outputs only the pixel data in the first pixel area 12 designated by the cutout drive unit 4 with high resolution, the pixel data output from the pixel array unit 2 can be performed quickly. And the power consumption can be reduced. Since the first pixel region 12 has a larger size than the second pixel region 13 which is the region of interest, a moving object can be quickly detected and tracked in the first pixel region 12.
  • FIG. 4 is a flowchart showing the processing operation of the image pickup apparatus 1 according to the first embodiment.
  • the processing of this step S1 is performed, for example, by the first processing unit 25 or the cutting drive unit 4 of FIG.
  • the cutout drive unit 4 drives a part of the pixel circuits 2a in the pixel array unit 2 based on the processing result of step S1.
  • the pixel array unit 2 outputs the pixel data in the first pixel area 12 cut out from the effective pixel area 11 with high resolution (step S2). Since the first pixel area 12 is a part of the pixel area in the effective pixel area 11, pixel data can be output at high speed even if it is output at a high resolution.
  • the pixel data in the first pixel area 12 is sent to the first processing unit 25 and the second processing unit 26 in the signal processing unit 3.
  • the first processing unit 25 performs a thinning process of pixel data in the first pixel area 12 (step S3).
  • a follow-up detection frame is set in the first pixel region 12 after the pixel data is thinned out, and the search is continued until a moving object enters the follow-up detection frame (step S4).
  • the first control information for cutting out the second pixel area 13 and the second control information for cutting out the first pixel area 12 of the next frame are generated.
  • the reason for thinning out the pixel data in step S3 is that high-resolution image data is not required to detect whether or not there is a moving object in the first pixel region 12, and the moving object is reduced to a low resolution. By performing the detection process of, the moving object can be detected quickly. However, as described above, if the processing performance of the first processing unit 25 is high, the thinning process may be omitted.
  • step S5 When a moving object is detected in step S4, ROI information including the position where the moving object is detected is output (step S5).
  • the process of step S5 may be omitted.
  • a predetermined digital signal processing is performed on the pixel data in the first pixel area 12 output in step S2 (step S6).
  • the specific content of the predetermined digital signal processing is arbitrary, but noise reduction processing, brightness adjustment, and the like may be performed, for example.
  • Step S7 the pixel data in the second pixel area 13 obtained by cutting out a part of the pixel area in the horizontal line direction from the first pixel area 12 is output at high resolution. Since the second pixel area 13 has a size smaller than that of the first pixel area 12, even if it is output at a high resolution, it can be output without lowering the output rate.
  • step S8 a predetermined digital signal processing is performed on the pixel data in the second pixel area 13 (step S8).
  • the specific content of the digital signal processing is not limited, but noise reduction processing or the like may be performed.
  • the pixel data after the digital signal processing in step S8 is output from the image pickup apparatus 1.
  • FIG. 5 is a flowchart showing the processing operation of the image pickup apparatus according to the first comparative example.
  • the imaging device according to the first comparative example outputs pixel data (pixel data of all angles of view) of the entire effective pixel region 11 at a low resolution (step S11).
  • predetermined digital signal processing is performed on the pixel data output in step S11 (steps S12 and S13).
  • the digital signal processing of steps S12 and S13 may be performed collectively in one step, or may be performed in three or more steps.
  • the imaging device outputs pixel data of all angles of view after digital signal processing (step S14).
  • a moving object is detected and tracked by a signal processing chip separate from the imaging device (step S15).
  • a calculation for reading and setting the region of interest is performed (step S16).
  • step S17 the pixel data in the region of interest is output at high resolution from the pixel array unit.
  • predetermined digital signal processing is performed on the pixel data output in step S17 (steps S18 and S19).
  • the imaging device outputs pixel data of the ROI angle of view after digital signal processing (step S20).
  • pixel data of all angles of view are output from the image pickup device, and moving object detection and tracking processing are performed by a signal processing chip separate from the image pickup device, so that power consumption is higher than that of the present embodiment. It also increases, and the time required for detecting and tracking a moving object also increases. Further, since the result of detection and tracking of the moving object by the signal processing chip is returned to the imaging device and the region of interest is cut out by the imaging device, the time required for cutting out the region of interest is longer than in the present embodiment. ..
  • FIG. 6 is a flowchart showing the processing operation of the image pickup apparatus according to the second comparative example.
  • the image pickup apparatus according to the second comparative example outputs pixel data of all angles of view in the effective pixel region from the pixel array unit at a low resolution (step S31).
  • a tracking detection frame is set for pixel data of all angles of view, a moving object is detected, and when a moving object is detected, the tracking detection frame is moved according to the movement of the moving object to track the moving object (step S32).
  • the imaging device according to the second comparative example outputs the detection and tracking results of the moving object in step S32 as ROI information (step S33).
  • predetermined digital signal processing is performed on the pixel data of all angles of view (steps S34 and S35).
  • the image pickup apparatus outputs pixel data of all angles of view after digital signal processing (step S36).
  • step S37 based on the ROI information output in step S35, a part of the pixel data output in step S36 is cut out, and the pixel data in the region of interest is output at a low resolution (step S37).
  • the pixel data in the region of interest can be output only at a low resolution.
  • the reason why the second comparative example outputs the pixel data in the region of interest at a low resolution is intended to secure the output rate.
  • power consumption increases.
  • the image pickup apparatus 1 collects only the pixel data in the first pixel area 12 which is a part of the effective pixel area 11 in the pixel array unit 2. Since the moving object is detected and tracked within the first pixel area 12, the moving object can be detected and tracked with high accuracy. Further, since the second pixel area 13 is cut out from the first pixel area 12 and the pixel data in the second pixel area 13 is output with high resolution based on the detection and tracking result of the moving object, the pixel data in the area of interest is output. Can be output in high resolution. According to this embodiment, even if the moving object moves at high speed, the moving object can be tracked with good followability, and the pixel data in the region of interest can be quickly output.
  • FIG. 7 is a flowchart showing a detailed processing operation of detection and tracking of a moving object performed by the first processing unit 25 in the signal processing unit 3, and
  • FIG. 8 is a schematic diagram of detecting and tracking a moving object in the first pixel area 12. It is a figure shown in.
  • step S41 set the conditions for the moving object to be tracked (step S41).
  • the setting of the color and size which are the detection conditions of the moving object, the setting of the initial condition of the tracking detection frame for tracking the moving object, the setting of the size of the first pixel area 12, and the setting of the second pixel area 13.
  • the state ST1 of FIG. 8 shows an example in which the tracking detection frame 15 is initially set on the upper left side in the first pixel area 12.
  • step S42 the search is continued until a moving object enters the tracking detection frame 15 (step S42).
  • the state ST2 in FIG. 8 shows an example in which a moving object is detected in the tracking detection frame 15.
  • Step S43 When a moving object is detected in the tracking detection frame 15 (step S43), as long as the moving object is moving in the first pixel region 12, the tracking detection frame 15 is moved according to the movement to track the moving object. (Step S44).
  • the state ST3 of FIG. 8 shows an example in which when the moving object moves to the vicinity of the center in the first pixel region 12, the tracking detection frame 15 also moves following the vicinity of the center in the first pixel region 12.
  • the second processing unit 26 cuts out the second pixel area 13 from the first pixel area 12 so as to include the moving body based on the result of detection and tracking of the moving object by the first processing unit 25, and high-resolution pixel data. Is output (step S45).
  • step S42 the processing after step S42 is repeated.
  • the pixel data in the effective pixel area 11 of the image pickup device 1 is divided into two stages and cut out step by step, so that the detection and tracking of the moving object are not affected.
  • the pixel data read from the pixel array unit 2 can be reduced in the range, and the power consumption can be reduced.
  • the second stage pixel is cut out in the second pixel region 13 which is the region of interest.
  • Image data can be output with high resolution. Since the second pixel region 13 has an region size that matches the moving object, it is not necessary to lower the output rate even if the second pixel region 13 is output at a high resolution.
  • the cutting process of the region of interest can be completed inside the imaging device 1, it is not necessary to perform the cutting process of the region of interest in the signal processing chip 21 provided separately from the imaging device 1, and the consumption The power consumption can be reduced and the followability of the region of interest is improved.
  • the cutting out of the first pixel area 12 performed when reading the pixel data from the pixel array unit 2 and the cutting out of the second pixel area 13 performed based on the result of detection and tracking of a moving object are performed in an arbitrary direction and an arbitrary size. Therefore, the shape and size of the second pixel region 13 which is the region of interest can be arbitrarily adjusted according to the type and size of the moving object.
  • the number of shutters may be reduced to speed up pixel reading by simultaneously performing shutter operations on a plurality of pixel rows.
  • the first pixel area 12 when reading the pixel data of the first pixel area 12 from the pixel array unit 2, the first pixel area 12 may be a part of the pixel area in the vertical line direction in the effective pixel area 11, or may be in the effective pixel area 11. It may be a part of the pixel area in the horizontal line direction, or it may be a part of the pixel area in the effective pixel area 11 in the horizontal line direction and the vertical line direction.
  • the moving range of the moving object is known in advance, when detecting and tracking the moving object having a small moving range, the size of the first pixel area 12 is reduced so that the moving object can be detected and tracked with a small amount of signal processing. Tracking can be performed.
  • a feature parameter representing the feature of the moving body may be added as needed.
  • the shape and speed of the moving body may be included in the feature parameters.
  • processing is performed to calculate the center of gravity and moment of the moving body, but the specific processing for detecting the moving body does not matter.
  • the timing of imaging by the imaging device 1 may be adjusted according to the cycle of the blinking light source so that the brightness of the captured image does not change due to the influence of the blinking light source.
  • the first processing unit 25 detects and tracks the moving body, but the position of the moving body in the next frame may be predicted based on the vector information indicating the moving direction of the moving body. Based on the prediction result, the cutout position of the first pixel region 12 in the next frame may be set. Further, the first pixel region 12 may be set so that the predicted position of the moving object is located at the center of the first pixel region 12.
  • the output rate of the pixel data output from the image pickup apparatus 1 may be changed depending on whether or not the moving object has entered the follow-up detection frame 15.
  • FIG. 9 is a block diagram of an imaging system 20 including the imaging device 1 according to the second embodiment.
  • the image pickup apparatus 1 of FIG. 9 is obtained by adding an output I / F unit 27 whose output rate can be adjusted to the image pickup apparatus 1 of FIG.
  • the output I / F unit 27 outputs the pixel data in the second pixel area 13 with high resolution.
  • the output of the pixel data in the second pixel area 13 is stopped, or the pixel data in the second pixel area 13 is thinned out and output. May be good. In the latter case, the output rate will be lowered.
  • the third embodiment makes it possible to update the conditions for detecting a moving object from the outside of the image pickup apparatus 1.
  • FIG. 10 is a block diagram of an imaging system 20 including the imaging device 1 according to the third embodiment.
  • the image pickup system 20 of FIG. 10 includes an environment information detection unit 28 in the image pickup device 1 of FIG.
  • the environmental information detection unit 28 is connected to the external control unit 22 and updates the detection parameters of the moving object in response to changes in the external environment such as temperature and humidity, changes in the brightness of the captured image, changes in the posture of the moving object, and the like. ..
  • the environmental information detection unit 28 may update the detection parameter of the moving object based on the detection signal of the luminance sensor or the like, or detect the moving object based on the pixel data in the second pixel region 13 output from the image pickup apparatus 1.
  • the parameters may be updated.
  • the environmental information detection unit 28 may update the detection parameter of the moving object based on the result of machine learning based on the detection signal of the luminance sensor or the like.
  • the moving object detection parameter may be updated by the environmental information detection unit 28 at low speed.
  • the detection parameter of the moving object is updated according to the surrounding environment of the imaging device 1, it is possible to detect and track the object according to the surrounding environment. , The accuracy of object detection and tracking can be improved.
  • a fourth embodiment actively utilizes machine learning to automatically optimize detection parameters for detecting a moving object.
  • FIG. 11 is a block diagram of an imaging system 20 including the imaging device 1 according to the fourth embodiment.
  • the imaging system 20 of FIG. 11 is provided with a moving object detection parameter calculation unit 29 inside the imaging device 1 of FIG. 3, and a parameter calculation that provides necessary information by the moving object detection parameter calculation unit 29 outside the imaging device 1. It includes a control unit 30.
  • the moving object detection parameter calculation unit 29 automatically detects the feature points of the moving object for detecting and tracking the moving object based on the pixel data in the second pixel area 13.
  • the feature points are, for example, the color, size, shape, and the like of the moving body.
  • the moving object may be detected by machine learning as well as by image processing such as pattern matching. After discriminating by image processing or machine learning, conversion to parameters that can be used for high-speed tracking is performed, and the converted parameters are set.
  • the parameter calculation control unit 30 supplies the information necessary for the moving object detection parameter calculation unit 29 to calculate the parameters. For example, when the moving object detection parameter calculation unit 29 performs machine learning, it supplies learning data input, information necessary for discrimination, and the like.
  • the image pickup device 1 according to the fourth embodiment can automatically set the conditions for moving object detection inside the image pickup device 1, the accuracy of detecting and tracking the moving object can be improved as the learning is repeated. can.
  • the image pickup apparatus 1 in the fifth embodiment, can be used in the inspection process of the product manufactured in the manufacturing factory.
  • FIG. 12 shows an example in which the image pickup apparatus 1 according to the first to fourth embodiments is arranged in the vicinity of the belt conveyor 32 that conveys the inspection object 31.
  • the belt conveyor 32 moves from left to right, and a plurality of inspection objects 31 are placed on the belt conveyor 32. It is assumed that the inspection target object 31 can be discriminated as a non-defective product or a defective product based on its appearance.
  • the image pickup device 1 is arranged above the belt conveyor 32 so that a plurality of inspection objects 31 on the belt conveyor 32 can be photographed.
  • the image pickup apparatus 1 may be built in the camera.
  • a display device 33 is connected to the image pickup device 1, and an image of the region of interest output from the image pickup device 1 is displayed on the display device 33, and the inspection result and the inspection state are displayed. Will be done.
  • FIG. 13 is a diagram schematically showing how the imaging device 1 detects and tracks the inspection object 31.
  • the state ST11 in FIG. 13 shows an example in which the follow-up detection frame 15 is set at the left end of the belt conveyor 32. Assuming that the inspection target object 31 is detected in the follow-up detection frame 15, the inspection target object 31 moves with the movement of the belt conveyor 32, but the follow-up detection frame 15 also moves with the movement of the inspection target object 31. (State ST12). Since the position of the image pickup apparatus 1 is fixed, the inspection object 31 disappears from the follow-up detection frame 15. As a result, the tracking detection frame 15 returns to the initial position again as in the states ST13 and ST14, and detects and tracks the next inspection object 31.
  • the pixel data in the second pixel area 13 output from the image pickup device 1 is displayed on the display device 33 as shown in FIG. 12, for example.
  • the inspection target 31 for which the inspection is OK and the inspection target 31 under inspection are displayed separately.
  • the quality of each inspection object 31 can be determined without stopping the belt conveyor 32 while the inspection object 31 is being conveyed by the belt conveyor 32. Further, even if the position of the inspection object 31 placed on the belt conveyor 32 is slightly deviated, the inspection object 31 can be detected and tracked. Further, since the pixel data in the second pixel area 13 output from the image pickup device 1 has a high resolution, the appearance of the inspection object 31 is clearly projected when displayed on the display screen of the display device 33. This makes it easier to judge the quality by visual inspection or image analysis.
  • FIG. 14A is a diagram showing an example in which a detected moving object is imaged a plurality of times by changing the imaging conditions. For example, if the inspection target 31 is detected while the inspection target 31 is being conveyed by the belt conveyor 32, the inspection target 31 is tracked, but during that time, the imaging conditions are changed and the inspection target 31 is tracked a plurality of times. The imaging is repeated, and the pixel data in the second pixel region 13 is output for each imaging condition.
  • the imaging condition may be, for example, a focus condition or an exposure condition.
  • FIG. 14B is a diagram showing an example of correcting the pixel data in the second pixel region 13 output from the image pickup apparatus 1.
  • the inspection object 31 When the inspection object 31 is conveyed by the belt conveyor 32, the inspection object 31 is displaced due to vibration, the brightness is uneven, the contour edge is blurred, and the like. Therefore, when the inspection target object 31 is detected by the image pickup device 1, the inspection target object 31 is tracked, and the pixel data in the second pixel region 13 output from the image pickup device 1 during tracking is integrated and averaged. By doing so, the contour edge of the pixel data in the second pixel region 13 can be made clear, and uneven brightness can be suppressed.
  • FIG. 14C uses the imaging device 1 to sort the inspection target 31.
  • the label information 16 for sorting is attached to the inspection object 31.
  • the belt conveyor 32 is branched into a plurality of parts so that the transport destination of the inspection object 31 can be switched.
  • the image pickup device 1 detects the inspection target object 31, the label information 16 of the inspection target object 31 is then recognized. Then, the transport destination of the inspection object 31 is switched according to the recognized label information 16.
  • FIG. 14D shows an example in which a marker 17 for detecting and tracking the inspection target portion is provided.
  • a marker 17 is provided in the vicinity of each inspection object 31 on the belt conveyor 32.
  • the image pickup apparatus 1 detects the center of gravity in the follow-up detection frame 15 and moves the follow-up detection frame 15 so that the center of gravity is located at the center in the follow-up detection frame 15.
  • the region of interest can be imaged a plurality of times by changing the imaging conditions, or the pixels in the region of interest can be captured. It is possible to perform data correction processing, sort the inspection target object 31 that has been detected and tracked, and accurately track the inspection target object 31.
  • the image stabilization process according to any one of the first to fourth embodiments is used to perform electronic image stabilization processing.
  • FIG. 15 is a diagram illustrating the camera shake correction process according to the seventh embodiment. Even if the detection target for detecting vibration is set as a fixed point (fixed object) (state ST21) and vibration occurs (state ST22), the fixed object is within the output angle of view 19 which is a part of the full angle of view 18. The position of the output angle of view 19 is changed so that is always in the fixed position (state ST23). In the state ST23, even if vibration occurs, the relative coordinates of the fixed object with respect to the output angle of view do not change, and electronic image stabilization processing can be performed.
  • state ST21 fixed point
  • vibration state ST22
  • the first processing unit 25 in the signal processing unit 3 detects and tracks the inspection target object 31, so that the original inspection target object 31 is originally used.
  • the deviation from the fixed position can be detected in real time.
  • electronic image stabilization processing can be realized.
  • FIG. 16 is a block diagram showing a configuration example of the camera 2000 as an electronic device to which the present technology is applied.
  • the camera 2000 includes an optical unit 2001 composed of a lens group and the like, an image pickup device (imaging device) 2002 to which the above-mentioned image pickup device 100 and the like (hereinafter referred to as an image pickup device 100 and the like) are applied, and a DSP (camera signal processing circuit).
  • a Digital Signal Processor) circuit 2003 is provided.
  • the camera 2000 also includes a frame memory 2004, a display unit 2005, a recording unit 2006, an operation unit 2007, and a power supply unit 2008.
  • the DSP circuit 2003, the frame memory 2004, the display unit 2005, the recording unit 2006, the operation unit 2007, and the power supply unit 2008 are connected to each other via the bus line 2009.
  • the optical unit 2001 captures incident light (image light) from the subject and forms an image on the image pickup surface of the image pickup apparatus 2002.
  • the image pickup apparatus 2002 converts the amount of incident light imaged on the image pickup surface by the optical unit 2001 into an electric signal in pixel units and outputs it as a pixel signal.
  • the display unit 2005 is composed of a panel-type display device such as a liquid crystal panel or an organic EL panel, and displays a moving image or a still image captured by the image pickup device 2002.
  • the recording unit 2006 records a moving image or a still image captured by the imaging device 2002 on a recording medium such as a hard disk or a semiconductor memory.
  • the operation unit 2007 issues operation commands for various functions of the camera 2000 under the operation of the user.
  • the power supply unit 2008 appropriately supplies various power sources serving as operating power sources for the DSP circuit 2003, the frame memory 2004, the display unit 2005, the recording unit 2006, and the operation unit 2007 to these supply targets.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 17 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs coordinated control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio / image output unit 12052 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying the passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 18 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the image pickup unit 12101 provided on the front nose and the image pickup section 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 18 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging range of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100). By obtaining can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microphone 12061 or the display unit 12062 is used. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above. Specifically, the imaging device 100 or the like shown in FIG. 1 or the like can be applied to the imaging unit 12031. By applying the technique according to the present disclosure to the imaging unit 12031, excellent operation of the vehicle control system can be expected.
  • the present technology can have the following configurations.
  • a pixel array unit having a plurality of pixel circuits and capable of cutting out a first pixel area that is a part of an effective pixel area and outputting pixel data in the first pixel area. Based on the pixel data in the first pixel region output from the pixel array unit, a moving object is detected and tracked in the first pixel region, and the second pixel which is a part of the first pixel region is detected.
  • An imaging device including a signal processing unit that cuts out an area and outputs pixel data in the second pixel area.
  • the signal processing unit cuts out the second pixel region by following the position of the moving body when the moving body is present in the first pixel region, according to (1) or (2).
  • Imaging device (4) The imaging device according to any one of (1) to (3), wherein the signal processing unit detects and tracks the moving object based on the pixel data in the first pixel region. (5) The signal processing unit outputs a signal indicating a range to be cut out from the effective pixel area by the pixel array unit in the next frame based on the position of the moving object in the first pixel area.
  • the imaging device according to any one of (1) to (4), wherein the pixel array unit cuts out the first pixel region based on a signal output from the signal processing unit.
  • the signal processing unit A first processing unit that detects and tracks the moving object based on the pixel data in the first pixel region, and The imaging according to (5), further comprising a second processing unit that cuts out the second pixel region from the first pixel region based on a signal indicating the result of detection and tracking of the moving object by the first processing unit.
  • Device. (7) A cutout drive unit that controls the first pixel region output by the pixel array unit for each frame is provided.
  • the first processing unit outputs first control information instructing the second processing unit of a range to be cut out from the first pixel region, and is cut out from the effective pixel region to the cutting drive unit.
  • the imaging device according to (6) which outputs second control information indicating the range of the first pixel region.
  • the first processing unit sets a follow-up detection frame in the first pixel region, and when the moving body is detected in the follow-up detection frame, the moving body is moved to the position of the moving body in the first pixel area.
  • the imaging device which also performs a process of moving the tracking detection frame and outputs the first control information and the second control information.
  • a storage unit that stores at least one of a condition for cutting out by the signal processing unit and a condition for detecting and tracking the moving object in the first pixel region is provided.
  • the storage unit detects information on whether or not to detect and track the moving object, information on the initial coordinates and size of the second pixel region, and detects the moving object in the first pixel region.
  • Information for detecting the moving object in the first pixel region is Time information for determining that the tracked moving object has disappeared from the first pixel region, and Information about the color filter used to generate image data to facilitate detection and tracking of the moving object, and Information about the threshold value when generating the image data and
  • the imaging device according to (10) which comprises information on the threshold of the size of the moving object and at least one of the above.
  • An output rate control unit that controls an output rate when the pixel data output from the signal processing unit is externally output according to the size of the second pixel region is provided (1) to (11).
  • the imaging apparatus according to any one of the above.
  • the pixel array unit has the plurality of pixel circuits arranged in the first direction and the second direction.
  • the imaging device according to any one of (1) to (12), wherein the pixel array unit cuts out the first pixel region along at least one direction of the first direction and the second direction.
  • the pixel array unit has the plurality of pixel circuits arranged in the first direction and the second direction. The pixel array unit cuts out the first pixel region along the first direction.
  • Imaging device according to any one of (1) to (12), wherein the signal processing unit cuts out the second pixel region from the first pixel region along the second direction.
  • Imaging device and The image pickup device is provided with an information processing device for inputting a condition for cutting out a pixel region and a condition for detecting and tracking a moving object.
  • the image pickup device A pixel array unit having a plurality of pixel circuits and capable of cutting out a first pixel area that is a part of an effective pixel area and outputting pixel data in the first pixel area. Based on the pixel data output from the pixel array unit, a moving object is detected and tracked in the first pixel region, and a second pixel region that is a part of the first pixel region is cut out to obtain the above.
  • An imaging system including a signal processing unit that outputs pixel data in the second pixel region.
  • a first pixel region which is a part of an effective pixel region, is cut out from a pixel array unit having a plurality of pixel circuits, and pixel data in the first pixel region is output. Based on the output pixel data, a moving object is detected and tracked in the first pixel region, and a second pixel region that is a part of the first pixel region is cut out to be in the second pixel region.
  • An imaging method that outputs pixel data of.
  • 1 image pickup device 2 pixel array unit, 3 signal processing unit, 4 cutout drive unit, 5 first cutout unit, 6 thinning unit, 7 moving object detection unit, 8 cutout control unit, 9 second cutout unit, 10 coordinate calculation unit, 11 effective pixel area, 12 first pixel area, 13 second pixel area, 14 moving object, 20 imaging system, 21 signal processing chip, 22 external control unit, 24 storage unit, 25 first processing unit, 26 second processing unit, 27 Output I / F section, 31 Inspection target, 32 Belt conveyor, 33 Display device

Abstract

［課題］消費電力を増やすことなく、動体を精度よく検出及び追尾可能で、かつ動体を含む関心領域を高解像で出力する。 ［解決手段］撮像装置は、複数の画素回路を有し、有効画素領域の一部である第１画素領域を切り出して、第１画素領域内の画素データを出力可能な画素アレイ部と、画素アレイ部から出力された第１画素領域内の画素データに基づいて、第１画素領域内で動体の検出及び追尾を行うとともに、第１画素領域の一部である第２画素領域を切り出して、第２画素領域内の画素データを出力する信号処理部と、を備える。

Description

撮像装置、撮像システム及び撮像方法
　本開示は、撮像装置、撮像システム及び撮像方法に関する。
　撮像装置が撮像可能な有効画素領域のうち、一部の関心領域（ＲＯＩ：Region of Interest）のみを高解像度で出力する撮像装置が提案されている（特許文献１）。特許文献１では、関心領域のみを高解像度で撮影して出力し、全体画像については低解像度で撮影して動体を追尾することにより、撮像装置の消費電力を低減している。
特開２０１９－１３４２０２号公報
　特許文献１では、動体の検出と追尾は、撮像素子に接続された信号処理部で行っており、信号処理部から出力された信号に基づいて、撮像素子は高解像度で出力する関心領域を切り替えている。このため、動きの速い動体については、撮像素子が関心領域の画素データを遅延なく出力させるのが困難になるおそれがある。
　また、撮像素子は常に全画素分の低解像度の画素データを出力しなければならないため、消費電力が多いという問題がある。
　一方、特許文献１の変形例として、撮像素子の内部でいったん低解像度の画素データを生成して出力するとともに、撮像素子の内部で動体の検出と追尾を行って関心領域情報を出力し、撮像素子に接続された信号処理部で関心領域の切り出しを行う撮像システムが考えられる。この撮像システムの場合、関心領域が低解像度であるため、関心領域を高解像度で視認したいという用途には応えられない。
　そこで、本開示では、消費電力を増やすことなく、動体を精度よく検出及び追尾可能で、かつ動体を含む関心領域を高解像で出力可能な撮像装置、撮像システム及び撮像方法を提供するものである。
　上記の課題を解決するために、本開示によれば、複数の画素回路を有し、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力可能な画素アレイ部と、
　前記画素アレイ部から出力された前記第１画素領域内の画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する信号処理部と、を備える、撮像装置が提供される。
　前記信号処理部は、画素解像度を落とすことなく、前記第１画素領域から前記第２画素領域を切り出してもよい。
　前記信号処理部は、前記第１画素領域内に前記動体が存在する場合には、前記動体の位置に追従させて前記第２画素領域を切り出してもよい。
　前記信号処理部は、前記第１画素領域内の画素データに基づいて、前記動体の検出及び追尾を行ってもよい。
　前記信号処理部は、前記第１画素領域内の前記動体の位置に基づいて、次のフレームで前記画素アレイ部が前記有効画素領域から切り出すべき範囲を指示する信号を出力し、
　前記画素アレイ部は、前記信号処理部から出力された信号に基づいて、前記第１画素領域を切り出してもよい。
　前記信号処理部は、
　前記第１画素領域内の画素データに基づいて、前記動体の検出及び追尾とを行う第１処理部と、
　前記第１処理部による前記動体の検出及び追尾の結果を示す信号に基づいて、前記第１画素領域から前記第２画素領域を切り出す第２処理部と、を有してもよい。
　前記画素アレイ部が出力する前記第１画素領域をフレームごとに制御する切り出し駆動部を備え、
　前記第１処理部は、前記第２処理部に対して前記第１画素領域から切り出す範囲を指示する第１制御情報を出力するとともに、前記切り出し駆動部に対して前記有効画素領域から切り出される前記第１画素領域の範囲を指示する第２制御情報を出力してもよい。
　前記第１処理部は、前記第１画素領域内に追従検出枠を設定し、前記追従検出枠内で前記動体が検出されると、前記第１画素領域内の前記動体の位置に合わせて前記追従検出枠を移動させる処理を行って、前記第１制御情報及び前記第２制御情報を出力してもよい。
　前記信号処理部での切り出しの条件と、前記第１画素領域内で前記動体を検出及び追尾する条件との少なくとも一方を記憶する記憶部を備え、
　前記信号処理部は、前記記憶部に記憶された条件に従って、前記動体の検出及び追尾と、前記第２画素領域の切り出しとを行ってもよい。
　前記記憶部は、前記動体の検出及び追尾を行うか否かの情報と、前記第２画素領域の初期座標及びサイズに関する情報と、前記第１画素領域内で前記動体を検出するための情報とを記憶してもよい。
　前記第１画素領域内で前記動体を検出するための情報は、
　追尾していた前記動体が前記第１画素領域からいなくなったと判定する時間情報と、
　前記動体を検出及び追尾しやすくするための画像データを生成するのに利用する色フィルタに関する情報と、
　前記画像データを生成する際の閾値に関する情報と、
　前記動体のサイズの閾値に関する情報と、の少なくとも一つを含んでもよい。
　前記第２画素領域のサイズに応じて、前記信号処理部から出力された前記画素データを外部出力する際の出力レートを制御する出力レート制御部を備えてもよい。
　前記画素アレイ部は、第１方向及び第２方向に配置された前記複数の画素回路を有し、　前記画素アレイ部は、前記第１方向及び前記第２方向の少なくとも一方向に沿って前記第１画素領域を切り出してもよい。
　前記画素アレイ部は、第１方向及び第２方向に配置された前記複数の画素回路を有し、　前記画素アレイ部は、前記第１方向に沿って前記第１画素領域を切り出し、
　前記信号処理部は、前記第１画素領域から前記第２方向に沿って前記第２画素領域を切り出してもよい。
　本開示によれば、撮像装置と、
　前記撮像装置に対して、画素領域の切り出しの条件と、動体の検出及び追尾の条件とを入力する情報処理装置と、を備え、
　前記撮像装置は、
　複数の画素回路を有し、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力可能な画素アレイ部と、
　前記画素アレイ部から出力された前記画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する信号処理部と、を有する、撮像システムが提供される。
　本開示によれば、複数の画素回路を有する画素アレイ部から、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力し、
　前記出力された画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する、撮像方法が提供される。
第１の実施形態による撮像装置の要部を示すブロック図。 第１の実施形態による撮像装置の処理動作を模式的に説明する図。 第１の実施形態による撮像装置を備えた撮像システムのハードウェア構成を示すブロック図。 第１の実施形態による撮像装置の処理動作を示すフローチャート。 第１比較例による撮像装置の処理動作を示すフローチャート。 第２比較例による撮像装置の処理動作を示すフローチャート。 信号処理部内の第１処理部が行う動体の検出及び追尾の詳細な処理動作を示すフローチャート。 第１画素領域内で動体を検出及び追尾する様子を模式的に示す図。 第２の実施形態による撮像装置を備えた撮像システムのブロック図。 第３の実施形態による撮像装置を備えた撮像システムのブロック図。 第４の実施形態による撮像装置を備えた撮像システムのブロック図。 検査対象物を搬送するベルトコンベアの近傍に、第１～第４の実施形態による撮像装置１を配置した例を示す図。 撮像装置が検査対象物を検出及び追尾する様子を模式的に示す図。 検出された動体を、撮像条件を変えて複数回にわたって撮像する例を示す図。 撮像装置から出力された第２画素領域内の画素データを補正する例を示す図。 撮像装置を用いて検査対象物の仕分けを行う図。 検査対象部の検出及び追尾のためのマーカが設けられている例を示す図。 第７の実施形態による手ぶれ補正処理を説明する図。 本技術を適用した電子機器としてのカメラの構成例を示すブロック図。 移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。 撮像部の設置位置の例を示す図。
　以下、図面を参照して、撮像装置及び撮像システムの実施形態について説明する。以下では、撮像装置及び撮像システムの主要な構成部分を中心に説明するが、撮像装置及び撮像システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
　（第１の実施形態）
　図１は第１の実施形態による撮像装置１の要部を示すブロック図である。図１の撮像装置１は、例えばＣＩＳ（CMOS Image Sensor）の構成を示している。図１の撮像装置１は、チップ化されることが多く、撮像素子と呼ぶこともできるが、本明細書では撮像装置１と呼ぶ。
　図１の撮像装置１は、画素アレイ部２と、信号処理部３と、切り出し駆動部４を備えている。画素アレイ部２は、複数の画素回路２ａを有し、有効画素領域の一部である第１画素領域を切り出して、第１画素領域内の画素データを出力する。信号処理部３は、画素アレイ部２から出力された画素データに基づいて、第１画素領域内で動体の検出及び追尾を行うとともに、第１画素領域の一部である第２画素領域を切り出して、第２画素領域内の画素データを出力する。第２画素領域は、関心領域（ＲＯＩ）である。なお、本明細書における動体とは、動体自身が動いている場合だけでなく、移動又は振動している撮像装置１によって撮像された静止体を含む概念である。
　画素アレイ部２は、複数の画素回路２ａと、第１切り出し部５とを有する。各画素回路２ａは、光電変換素子と、読み出し回路とを有する。第１切り出し部５は、後述するように、有効画素領域から、１段目の画素切り出しを行って、第１画素領域内の画素データを出力する。第１画素領域は、動体を検出及び追尾するための領域である。第１画素領域は、例えば、有効画素領域の垂直ライン方向の一部の画素領域でもよい。第１画素領域は、有効画素領域内の任意の範囲に設定してもよい。
　信号処理部３は、間引き部６と、動体検出部７と、切り出し制御部８と、第２切り出し部９と、座標計算部１０とを有する。なお、信号処理部３が高速に信号処理を行うことができる場合には、間引き部６を省略してもよい。
　間引き部６は、第１画素領域内の画素データを間引いて低解像度のデータを出力する。間引き部６で第１画素領域内の画素データを間引くのは、動体を迅速に検出及び追尾するためである。
　動体検出部７は、間引き部６で間引かれた第１画素領域内の低解像度データに基づいて、動体を検出する。動体検出部７は、後述するように、第１画素領域内に設定される動体を追尾するための追従検出枠内に動体が入るまで探索を続け、追従検出枠内に動体が入ると、動体の移動に合わせて追従検出枠を第１画素領域内で移動させて、動体を追尾する。動体検出部７は、動体の検出及び追尾結果を示す信号を出力する。
　切り出し制御部８は、動体検出部７の出力信号に基づいて、第２切り出し部９が２段目の画素切り出しを行うための制御を行う。
　第２切り出し部９は、動体が存在する位置に合わせて、第１画素領域から２段目の画素切り出しを行って、第２画素領域内の画素データを出力する。
　座標計算部１０は、動体検出部７の出力信号に基づいて、次のフレームにおける第１画素領域の座標を計算する。
　切り出し駆動部４は、座標計算部１０で計算された座標に基づいて、画素アレイ部２内の複数の画素回路２ａからの画素データの読み出しを制御する。切り出し駆動部４は、次のフレームでの有効画素領域内での第１画素領域の範囲を決定して、決定された第１画素領域内の画素データのみを一部の画素回路２ａから読み出す制御を行う。第１画素領域の範囲とは、有効画素領域内の第１画素領域の座標とサイズを指定するものであってもよい。また、切り出し駆動部４は、電源投入時やリセット時には、第１画素領域の予め定めた初期座標とサイズを指定してもよい。
　このように、本実施形態による撮像装置１は、有効画素領域から、２段階に分けて画素切り出しを行う。各段階での画素切り出しを行う方向及びサイズは任意であるが、以下では、代表的な一例として、１段目で有効画素領域の垂直ライン方向の一部の画素領域の切り出しを行い、２段目で水平ライン方向の一部の画素領域の切り出しを行う例を主に説明する。
　図２は第１の実施形態による撮像装置１の処理動作を模式的に説明する図である。図２の左側に示すように、撮像装置１の有効画素領域１１は例えば１２Ｍ画素である。画素アレイ部２内の第１切り出し部５は、有効画素領域１１から、例えば垂直ライン方向の一部の画素領域を切り出した第１画素領域１２内の画素データを出力する。第１画素領域１２は、動体１４を検出及び追尾する範囲を規定するサイズを有する。図２の例では、第１画素領域１２内の画素数が４Ｍ画素である。次に、信号処理部３内の第２切り出し部９は、動体検出部７による動体の検出及び追尾結果を示す信号に基づいて、第１画素領域１２から、例えば水平ライン方向の一部の画素領域を切り出した第２画素領域１３内の画素データを出力する。第２画素領域１３は、動体を含む範囲を規定するサイズを有する。図２の例では、第２画素領域１３は、１Ｍ画素である。
　本実施形態では、第２画素領域１３内の画素データを高解像度のままで出力するため、第２画素領域１３内の動体１４を高解像度で視認可能となる。撮像装置１から出力される第２画素領域１３のサイズは第１画素領域１２よりも小さいため、撮像装置１から出力される画素データ量を抑制できる。
　図３は第１の実施形態による撮像装置１を備えた撮像システム２０のハードウェア構成を示すブロック図である。図３の撮像システム２０は、撮像装置１と、信号処理チップ２１と、外部制御部２２とを備えている。信号処理チップ２１と外部制御部２２は、一つのチップに統合してもよいし、別々のチップで構成されていてもよい。
　信号処理チップ２１及び外部制御部２２の少なくとも一方と、撮像装置１とは、例えば、上下に積層されて、Ｃｕ－Ｃｕ接合やＴＳＶ（Through Silicon Via）等により信号の送受を行ってもよい。あるいは、プリント基板等に、撮像装置１のチップと、信号処理チップ２１と、外部制御部２２とを実装してもよい。
　図３の撮像装置１は、画素アレイ部２と、信号処理部３と、切り出し駆動部４と、記憶部２４とを備えている。信号処理部３は、第１処理部２５と第２処理部２６を有する。
　第１処理部２５は、図２の間引き部６、動体検出部７、切り出し制御部８及び座標計算部１０の処理動作を行う。より具体的には、第１処理部２５は、第１画素領域１２内の画素データの間引き処理と、動体の検出と、動体の追尾とを行う。また、第１処理部２５は、第２処理部２６に対して２段目の画素切り出しを行うための制御情報（以下、第１制御情報）を出力するとともに、切り出し駆動部４に対して次のフレームにおける１段目の画素切り出しを行うための制御情報（以下、第２制御情報）を出力する。上述したように、第１処理部２５が高速に動体の検出及び追尾を行う処理性能を備えている場合には、間引き処理は省略してもよい。
　第２処理部２６は、第１処理部２５から出力された第１制御情報に基づいて、例えば水平画素ライン方向の一部の画素領域の切り出しを行って、第２画素領域１３内の画素データを出力する。なお、第２処理部２６が第１画素領域の一部を切り出す方向及びサイズは任意である。
　切り出し駆動部４は、第１処理部２５から出力された第２制御情報に基づいて、画素アレイ部２が次のフレームで１段目の画素切り出しを行うための駆動信号を生成して、画素アレイ部２に供給する。
　記憶部２４は、信号処理部３での２段目の切り出しの条件と、第１画素領域１２内で動体を検出及び追尾する条件との少なくとも一方を記憶する。記憶部２４は、レジスタ回路で構成されていてもよいし、半導体メモリで構成されていてもよい。より詳細には、記憶部２４は、動体の検出及び追尾を行うか否かの情報と、第２画素領域１３の初期座標及びサイズに関する情報と、第１画素領域１２内で動体を検出するための情報とを記憶してもよい。
　信号処理チップ２１は、撮像装置１から出力された第２画素領域１３内の画素データに対して種々の信号処理を行う。信号処理の具体的な内容は問わないが、例えば、輝度調整やノイズ低減処理等である。
　外部制御部２２は、撮像装置１に対する各種制御を行う。外部制御部２２が行う制御の具体的な内容は問わないが、例えば、動体の追尾を行うか否かの設定と、第１画素領域１２内に設定される追従検出枠に関する設定と、動体の検出に関する設定との少なくとも一つを含んでいてもよい。
　外部制御部２２による動体の追尾を行うか否かの設定に基づいて、撮像装置１は、動体の追尾を行うか否かを決定する。追従検出枠に関する設定は、追従検出枠の初期位置の座標と、追従検出枠のサイズ（幅と高さ）との少なくとも一方を含んでいてもよい。動体の検出に関する設定は、動体が第１画素領域１２内で不在になってから消失したと判定するまでの時間と、動体を二値化するための色フィルタの設定と、二値化のための閾値の設定と、動体のサイズの閾値の設定との少なくとも一つを含んでいてもよい。本明細書では、動体の検出に関する設定情報を、動体の検出パラメータと呼ぶことがある。動体を二値化する理由は、動体を高速に検出及び追尾するためであり、動体の色に応じた色フィルタを用いて、動体を二値化する処理が行われる。なお、二値化処理は必須ではない。例えば、上述した色フィルタは、動体を検出及び追尾しやすくするための画像データを生成するのに利用するものであればよい。この場合、閾値は、上述した画像データを生成する際に設定されるものである。
　外部制御部２２は、撮像装置１に対する各種制御を行うための制御情報及び設定情報を撮像装置１に入力する。これら制御情報及び設定情報は、撮像装置１内の記憶部２４に記憶される。撮像装置１内の各部、例えば第１処理部２５と第２処理部２６は、記憶部２４に記憶された外部制御部２２からの制御情報及び設定情報に基づいて、動体の検出及び追尾処理と、第２画素領域１３の切り出し処理とを行う。このように、外部制御部２２からの制御情報及び設定情報は、記憶部２４に記憶されて、随時、撮像装置１内の各部から読み出されるため、外部制御部２２は、リアルタイムで制御情報や設定情報を撮像装置１に入力する必要はない。
　本実施形態による画素アレイ部２は、切り出し駆動部４で指定された第１画素領域１２内の画素データだけを高解像度で出力するため、画素アレイ部２からの画素データ出力を迅速に行うことができ、消費電力を低減できる。第１画素領域１２は、関心領域である第２画素領域１３よりも大きなサイズを有するため、第１画素領域１２内で動体を迅速に検出及び追尾することができる。
　図４は第１の実施形態による撮像装置１の処理動作を示すフローチャートである。まず、第１処理部２５で生成された第１制御情報に基づいて、有効画素領域１１から第１画素領域１２を切り出すための垂直ライン方向の読み出し範囲を計算する（ステップＳ１）。このステップＳ１の処理は、例えば、図３の第１処理部２５又は切り出し駆動部４で行われる。
　次に、切り出し駆動部４は、ステップＳ１の処理結果に基づいて、画素アレイ部２内の一部の画素回路２ａを駆動する。これにより、画素アレイ部２からは、有効画素領域１１から切り出された第１画素領域１２内の画素データが高解像度で出力される（ステップＳ２）。第１画素領域１２は、有効画素領域１１内の一部の画素領域であるため、高解像度で出力しても、高速に画素データを出力できる。
　第１画素領域１２内の画素データは、信号処理部３内の第１処理部２５と第２処理部２６に送られる。第１処理部２５は、第１画素領域１２内の画素データの間引き処理を行う（ステップＳ３）。次に、画素データを間引いた後の第１画素領域１２内に追従検出枠を設定し、追従検出枠内に動体が入るまで探索を続ける（ステップＳ４）。ステップＳ４の処理では、第２画素領域１３を切り出すための第１制御情報と、次のフレームの第１画素領域１２を切り出すための第２制御情報とを生成する。
　ステップＳ３で画素データの間引き処理を行う理由は、第１画素領域１２内に動体が存在するか否かを検出するのに高解像の画像データは不要であり、低解像度に落としてから動体の検出処理を行うことで、動体を迅速に検出することができる。ただし、上述したように、第１処理部２５の処理性能が高い場合は、間引き処理を省略してもよい。
　ステップＳ４で動体が検出されると、動体が検出された位置を含むＲＯＩ情報を出力する（ステップＳ５）。なお、ステップＳ５の処理は省略してもよい。
　一方、ステップＳ２で出力された第１画素領域１２内の画素データに対して所定のデジタル信号処理を行う（ステップＳ６）。所定のデジタル信号処理の具体的内容は任意であるが、例えばノイズ低減処理や輝度調整などを行ってもよい。
　次に、ステップＳ４で生成された第１制御情報に基づいて、第１画素領域１２から水平ライン方向の一部の画素領域を切り出した第２画素領域１３内の画素データを高解像度で出力する（ステップＳ７）。第２画素領域１３は、第１画素領域１２よりもさらに小さいサイズを有するため、高解像度で出力しても、出力レートを落とさずに出力できる。
　次に、第２画素領域１３内の画素データに対して、所定のデジタル信号処理を行う（ステップＳ８）。デジタル信号処理の具体的な内容は問わないが、ノイズ低減処理などを行ってもよい。ステップＳ８のデジタル信号処理後の画素データは、撮像装置１から出力される。
　図５は第１比較例による撮像装置の処理動作を示すフローチャートである。第１比較例による撮像装置は、有効画素領域１１全体の画素データ（全画角の画素データ）を低解像度で出力する（ステップＳ１１）。次に、ステップＳ１１で出力された画素データに対して、所定のデジタル信号処理を行う（ステップＳ１２、Ｓ１３）。ステップＳ１２，Ｓ１３のデジタル信号処理は、一つのステップでまとめて行ってもよいし、３つ以上のステップに分けて行ってもよい。
　第１比較例による撮像装置は、デジタル信号処理後の全画角の画素データを出力する（ステップＳ１４）。次に、ステップＳ１４で出力された全画角の画素データを用いて、撮像装置とは別個の信号処理チップにて動体の検出及び追尾処理が行われる（ステップＳ１５）。ステップＳ１５の処理結果に基づいて、関心領域を読み出し及び設定するための計算を行う（ステップＳ１６）。
　次に、ステップＳ１６の計算結果に基づいて、画素アレイ部から、関心領域内の画素データを高解像度で出力する（ステップＳ１７）。次に、ステップＳ１７で出力された画素データに対して、所定のデジタル信号処理を行う（ステップＳ１８，Ｓ１９）。
　第１比較例による撮像装置は、デジタル信号処理後のＲＯＩ画角の画素データを出力する（ステップＳ２０）。
　図５の第１比較例では、撮像装置から全画角の画素データを出力し、動体の検出及び追尾処理を撮像装置とは別個の信号処理チップで行うため、本実施形態よりも消費電力が増大し、かつ動体の検出及び追尾に要する時間も長くなる。また、信号処理チップでの動体の検出及び追尾の結果を撮像装置に帰還させて、撮像装置にて関心領域の切り出しを行うため、本実施形態よりも、関心領域の切り出しに要する時間が長くなる。
　図６は第２比較例による撮像装置の処理動作を示すフローチャートである。第２比較例による撮像装置は、画素アレイ部から有効画素領域内の全画角の画素データを低解像度で出力する（ステップＳ３１）。全画角の画素データに対して追従検出枠を設定して、動体を検出し、動体が検出されると、動体の移動に合わせて追従検出枠を移動させて、動体を追尾する（ステップＳ３２）。第２比較例による撮像装置は、ステップＳ３２における動体の検出及び追尾結果を、ＲＯＩ情報として出力する（ステップＳ３３）。
　ステップＳ３１～Ｓ３３の処理に並行して、全画角の画素データに対して所定のデジタル信号処理を行う（ステップＳ３４，Ｓ３５）。撮像装置は、デジタル信号処理後の全画角の画素データを出力する（ステップＳ３６）。
　次に、ステップＳ３５で出力されたＲＯＩ情報に基づいて、ステップＳ３６で出力された画素データの一部を切り出して、関心領域内の画素データを低解像度で出力する（ステップＳ３７）。
　図６の第２比較例では、関心領域内の画素データを低解像度でしか出力できない。第２比較例が低解像度で関心領域内の画素データを出力するのは、出力レートを確保するという意図がある。また、常に全画角の画素データを撮像装置から出力するため、消費電力が増えてしまう。
　このように、第１比較例及び第２比較例と比べて、本実施形態による撮像装置１は、有効画素領域１１の一部である第１画素領域１２内の画素データだけを画素アレイ部２から出力し、第１画素領域１２内で動体の検出及び追尾を行うため、動体の検出及び追尾を精度よく行うことができる。また、動体の検出及び追尾結果に基づいて、第１画素領域１２から第２画素領域１３を切り出して、第２画素領域１３内の画素データを高解像度で出力するため、関心領域内の画素データを高解像度で出力できる。本実施形態によれば、動体が高速で移動しても、追従性よく動体の追尾を行うことができ、関心領域内の画素データも迅速に出力できる。
　図７は信号処理部３内の第１処理部２５が行う動体の検出及び追尾の詳細な処理動作を示すフローチャート、図８は第１画素領域１２内で動体を検出及び追尾する様子を模式的に示す図である。
　まず、追尾を行う動体の条件を設定する（ステップＳ４１）。ここでは、動体の検出条件である色やサイズなどの設定と、動体を追尾するための追従検出枠の初期条件の設定と、第１画素領域１２のサイズの設定と、第２画素領域１３のサイズの設定との少なくとも一つを行う。図８の状態ＳＴ１は、第１画素領域１２内の左上側に追従検出枠１５が初期設定された例を示す。
　次に、追従検出枠１５内に動体が入るまで探索を続ける（ステップＳ４２）。図８の状態ＳＴ２は、追従検出枠１５内で動体を検出した例を示す。
　追従検出枠１５内で動体が検出されると（ステップＳ４３）、動体が第１画素領域１２内で移動している限りは、その移動に合わせて追従検出枠１５を移動させ、動体を追尾する（ステップＳ４４）。図８の状態ＳＴ３は、動体が第１画素領域１２内の中央付近まで移動すると、追従検出枠１５も第１画素領域１２内の中央付近に追従して移動する例を示す。
　第２処理部２６は、第１処理部２５による動体の検出及び追尾の結果に基づいて、第１画素領域１２から、動体を含むように第２画素領域１３を切り出して、高解像度の画素データを出力する（ステップＳ４５）。
　その後、図８の状態ＳＴ４のように第１画素領域１２から動体がいなくなると、記憶部２４に設定された消失判定時間が経過した後に、追従検出枠１５を図８の状態ＳＴ１の初期位置に戻して（ステップＳ４６）、ステップＳ４２以降の処理を繰り返す。
　このように、第１の実施形態による撮像装置１では、撮像装置１の有効画素領域１１内の画素データを２段階に分けて段階的に切り出すことで、動体の検出及び追尾に影響を与えない範囲で画素アレイ部２から読み出す画素データを減らすことができ、消費電力を低減できる。また、１段目で切り出された第１画素領域１２内で動体の検出及び追尾を行った結果に基づいて、２段目の画素切り出しを行って、関心領域である第２画素領域１３内の画像データを高解像で出力できる。第２画素領域１３は、動体に合わせた領域サイズを有するため、高解像度で出力しても、出力レートを下げる必要がない。
　本実施形態では、関心領域の切り出し処理を撮像装置１の内部で完結して行えるため、撮像装置１とは別個に設けられる信号処理チップ２１内で関心領域の切り出し処理を行わなくて済み、消費電力を低減できるとともに、関心領域の追従性が向上する。
　画素アレイ部２から画素データを読み出す際に行われる第１画素領域１２の切り出しと、動体の検出及び追尾の結果に基づいて行われる第２画素領域１３の切り出しは、任意の方向及び任意のサイズで行うことができるため、動体の種類やサイズ等に応じて、関心領域である第２画素領域１３の形状やサイズを任意に調整できる。
　（第２の実施形態）
　第１の実施形態で説明した撮像装置１には、種々の変形例が考えられる。
　例えば、画素アレイ部２から画素データを読み出す際に、複数の画素行について同時にシャッタ動作を行うことで、シャッタ回数を減らして画素読み出しの高速化を図ってもよい。
　また、画素アレイ部２から第１画素領域１２の画素データを読み出す際、第１画素領域１２は、有効画素領域１１内の垂直ライン方向の一部の画素領域でもよいし、有効画素領域１１内の水平ライン方向の一部の画素領域でもよいし、有効画素領域１１内の水平ライン方向及び垂直ライン方向の一部の画素領域でもよい。動体の移動範囲が予めわかっている場合には、移動範囲の小さい動体を検出及び追尾する場合には、第１画素領域１２のサイズを小さくすることで、少ない信号処理量で、動体の検出及び追尾を行うことができる。
　第１の実施形態では、第１画素領域１２内に追従検出枠１５を一つだけ設定する例を説明したが、第１画素領域１２内に複数の追従検出枠１５を設定して、複数の追従検出枠１５で複数の動体を同時に検出及び追尾してもよい。
　また、輝度変化等の外乱による動体の誤ロスト耐性を向上させるために、時と場合によって、追従検出枠１５から動体がいなくなったと判定する時間に余裕を持たせてもよい。
　また、動体を検出する際に、動体の特徴を表す特徴パラメータを必要に応じて追加できるようにしてもよい。例えば、動体の形状や速度などを特徴パラメータに含めてもよい。
　また、動体を検出する際には、動体の重心やモーメントなどを計算する処理が行われるが、動体を検出する具体的な処理は問わない。
　また、撮像装置１で撮像された画像内に、規則的または不規則に点滅する光源がある場合、その光源の影響を受けて、第１画素領域１２内の画素データの輝度が不規則に変化するおそれがあり、動体の検出及び追尾処理に悪影響を与えかねない。そこで、点滅する光源の周期に合わせて、撮像装置１で撮像するタイミングを調整するなどして、点滅する光源の影響で、撮影画像の輝度変化が生じないようにしてもよい。
　上述したように、第１処理部２５では、動体の検出及び追尾を行うが、動体の移動方向を表すベクトル情報に基づいて、次のフレームにおける動体の位置を予測してもよい。その予測結果に基づいて、次のフレームでの第１画素領域１２の切り出し位置を設定してもよい。また、動体の予測位置が第１画素領域１２の中心に位置するように、第１画素領域１２を設定してもよい。
　動体が追従検出枠１５内に入ったか否かで、撮像装置１から出力される画素データの出力レートを変更してもよい。
　図９は第２の実施形態による撮像装置１を備えた撮像システム２０のブロック図である。図９の撮像装置１は、図３の撮像装置１に、出力レートを調整可能な出力Ｉ／Ｆ部２７を追加したものである。出力Ｉ／Ｆ部２７は、例えば、第１処理部２５で動体が検出された場合には、第２画素領域１３内の画素データを高解像度で出力する。一方、第１処理部２５で動体が検出されなかった場合は、第２画素領域１３内の画素データの出力を停止したり、あるいは、第２画素領域１３内の画素データを間引いて出力してもよい。後者の場合、出力レートを下げることになる。
　このように、第１の実施形態による撮像装置１の少なくとも一部を改良することで、画素データの読み出しの高速化、使い勝手の向上、追尾正確性の向上、及び動体の検出機能の拡張などを行うことができる。これらの改良は、任意に組み合わせて実施してもよい。
　（第３の実施形態）
　第３の実施形態は、撮像装置１の外部から、動体検出用の条件を更新できるようにしたものである。
　図１０は第３の実施形態による撮像装置１を備えた撮像システム２０のブロック図である。図１０の撮像システム２０は、図３の撮像装置１に、環境情報検出部２８を備えたものである。環境情報検出部２８は、外部制御部２２に接続されており、温度や湿度等の外部環境の変化や、撮影画像の輝度変化、動体の姿勢変化などに応じて、動体の検出パラメータを更新する。環境情報検出部２８は、輝度センサ等の検出信号に基づいて動体の検出パラメータを更新してもよいし、撮像装置１から出力される第２画素領域１３内の画素データに基づいて動体の検出パラメータを更新してもよい。あるいは、環境情報検出部２８は、輝度センサ等の検出信号に基づいて機械学習を行った結果に基づいて、動体の検出パラメータを更新してもよい。
　第１処理部２５における動体の検出及び追尾処理は高速で行われているため、環境情報検出部２８による動体の検出パラメータの更新は低速で行われてもよい。
　このように、第３の実施形態では、撮像装置１の周囲の環境に応じて、動体の検出パラメータを更新するため、周囲の環境に合わせて、対象物の検出及び追尾処理を行うことができ、対象物の検出及び追尾の精度を向上できる。
　（第４の実施形態）
　第４の実施形態は、機械学習を積極的に利用して、動体を検出するための検出パラメータを自動で最適化するものである。
　図１１は第４の実施形態による撮像装置１を備えた撮像システム２０のブロック図である。図１１の撮像システム２０は、図３の撮像装置１の内部に、動体検出パラメータ計算部２９を設けるとともに、撮像装置１の外部に、動体検出パラメータ計算部２９で必要な情報を提供するパラメータ計算制御部３０を備えている。
　動体検出パラメータ計算部２９は、第２画素領域１３内の画素データに基づいて、動体を検出及び追尾するための動体の特徴点を自動で検出する。特徴点とは、例えば、動体の色、サイズ、形状などである。動体の検出は、パターンマッチングなどの画像処理による判別の他、機械学習による判別を行ってもよい。画像処理や機械学習による判別を行った後、高速追従に使用可能なパラメータへの変換を行って、変換後のパラメータを設定する。
　パラメータ計算制御部３０は、動体検出パラメータ計算部２９がパラメータを計算するのに必要な情報を供給する。例えば、動体検出パラメータ計算部２９が機械学習を行う場合、学習データの入力や、判別に必要な情報などを供給する。
　このように、第４の実施形態による撮像装置１は、動体検出用の条件を撮像装置１の内部で自動で設定できるため、学習を重ねるにつれて、動体の検出及び追尾の精度を向上させることができる。
　（第５の実施形態）
　第５の実施形態は、上述した第１～第４の実施形態のいずれかによる撮像装置１を製造工場で製造された製品の検査工程で用いることができる。
　図１２は検査対象物３１を搬送するベルトコンベア３２の近傍に、第１～第４の実施形態による撮像装置１を配置した例を示している。図１２の例では、ベルトコンベア３２が左から右に移動しており、ベルトコンベア３２上に複数の検査対象物３１が載置されている。検査対象物３１は、その外観により、良品か不良品かを判別できるものとする。撮像装置１は、ベルトコンベア３２上の複数の検査対象物３１を撮影できるように、ベルトコンベア３２の上方に配置されている。撮像装置１はカメラに内蔵されていてもよい。
　図１２に示すように、撮像装置１には、表示装置３３が接続されており、表示装置３３には、撮像装置１から出力された関心領域の画像が表示され、検査結果と検査状態が表示される。
　図１３は撮像装置１が検査対象物３１を検出及び追尾する様子を模式的に示す図である。図１３の状態ＳＴ１１は、ベルトコンベア３２の左端に追従検出枠１５を設定した例を示している。追従検出枠１５内で検査対象物３１が検出されたとすると、ベルトコンベア３２の移動に伴って、検査対象物３１が移動するが、追従検出枠１５も検査対象物３１の移動に合わせて移動する（状態ＳＴ１２）。撮像装置１の位置は固定であるため、やがて追従検出枠１５から検査対象物３１が消失する。これにより、状態ＳＴ１３、ＳＴ１４のように、再度、追従検出枠１５は初期位置に復帰して、次の検査対象物３１の検出及び追尾を行う。
　撮像装置１から出力された第２画素領域１３内の画素データは、例えば図１２に示すように表示装置３３に表示される。図１２の例では、検査がＯＫの検査対象物３１と、検査中の検査対象物３１とを区別して、表示している。
　このように、第５の実施形態では、ベルトコンベア３２で検査対象物３１を搬送する最中に、ベルトコンベア３２を停止させることなく、各検査対象物３１の良否判断を行うことができる。また、ベルトコンベア３２上に置かれる検査対象物３１の位置が多少ずれていても、検査対象物３１を検出して追尾することができる。また、撮像装置１から出力される第２画素領域１３内の画素データは、高解像度であるため、表示装置３３の表示画面に表示させたときに、検査対象物３１の外観を鮮明に映し出すことができ、目視や画像解析による良否判断を行いやすくなる。
　（第６の実施形態）
　上述した第１～第４の実施形態のいずれかによる撮像装置１を製造工場で製造された検査対象物３１の検査工程等に用いる場合、撮像の仕方や、画像の補正処理、検査対象物３１の仕分け、検査対象物３１の追尾などに特徴を持たせることができる。
　図１４Ａは検出された動体を、撮像条件を変えて複数回にわたって撮像する例を示す図である。例えば、検査対象物３１をベルトコンベア３２で搬送している最中に、検査対象物３１が検出されると、検査対象物３１の追尾を行うが、その間に、撮像条件を変えて複数回にわたって撮像を繰り返し、撮像条件ごとに、第２画素領域１３内の画素データを出力する。撮像条件とは、例えば、フォーカス条件でもよいし、露光条件でもよい。
　図１４Ｂは撮像装置１から出力された第２画素領域１３内の画素データを補正する例を示す図である。
　検査対象物３１をベルトコンベア３２で搬送すると、振動により検査対象物３１の位置ずれや輝度むら、輪郭エッジの不鮮明化等が生じる。このため、撮像装置１にて検査対象物３１が検出されると、検査対象物３１を追尾し、追尾中に撮像装置１から出力された第２画素領域１３内の画素データを積算及び平均化するなどして、第２画素領域１３内の画素データの輪郭エッジを鮮明にしたり、輝度ムラを抑制させることができる。
　図１４Ｃは撮像装置１を用いて検査対象物３１の仕分けを行うものである。図１４Ｃの例では、検査対象物３１に、仕分けのためのラベル情報１６が付けられているものとする。また、ベルトコンベア３２は、複数に分岐されており、検査対象物３１の搬送先を切替可能としている。撮像装置１にて、検査対象物３１が検出されると、次に、検査対象物３１のラベル情報１６を認識する。そして、認識したラベル情報１６に従って、検査対象物３１の搬送先を切り替える。
　図１４Ｄは検査対象部の検出及び追尾のためのマーカ１７が設けられている例を示している。図１４Ｄの例では、ベルトコンベア３２上の各検査対象物３１の近傍には、マーカ１７が設けられている。撮像装置１は、追従検出枠１５内の重心を検出し、重心が追従検出枠１５内の中心に位置するように、追従検出枠１５を移動させる。
　このように、第６の実施形態では、第１～第４の実施形態のいずれかによる撮像装置１を用いることで、撮像条件を変えて関心領域を複数回撮像したり、関心領域内の画素データの補正処理を行ったり、検出及び追尾を行った検査対象物３１を仕分けしたり、検査対象物３１の追尾を精度よく行ったりすることができる。
　（第７の実施形態）
　第７の実施形態では、第１～第４の実施形態のいずれかによる撮像装置１を用いて、電子的な手ぶれ補正処理を行うものである。
　従来の電子的な手ぶれ補正処理は、撮像装置１から出力された画素データに対する信号処理を行う信号処理チップ２１で行われていたため、必ず遅延が生じるという問題がある。
　図１５は第７の実施形態による手ぶれ補正処理を説明する図である。振動を検出するための検出対象物を固定点（固定物体）としておき（状態ＳＴ２１）、振動が生じても（状態ＳＴ２２）、フル画角１８の一部である出力画角１９内で固定物体が常に固定位置にいるように、出力画角１９の位置を変更する（状態ＳＴ２３）。状態ＳＴ２３では、振動が生じても、出力画角に対する固定物体の相対座標は変化せず、電子的な手ぶれ補正処理を行うことができる。
　第１～第４の実施形態のいずれかによる撮像装置１では、信号処理部３内の第１処理部２５にて、検査対象物３１を検出して追尾するため、検査対象物３１の本来の固定位置からのずれをリアルタイムに検出できる。このずれ分だけ出力画角１９を調整することで、電子的な手ぶれ補正処理を実現できる。
　（電子機器への適用例）
　図１６は、本技術を適用した電子機器としてのカメラ２０００の構成例を示すブロック図である。
　カメラ２０００は、レンズ群などからなる光学部２００１、上述の撮像装置１００など（以下、撮像装置１００等という。）が適用される撮像装置（撮像デバイス）２００２、およびカメラ信号処理回路であるＤＳＰ(Digital Signal Processor)回路２００３を備える。また、カメラ２０００は、フレームメモリ２００４、表示部２００５、記録部２００６、操作部２００７、および電源部２００８も備える。ＤＳＰ回路２００３、フレームメモリ２００４、表示部２００５、記録部２００６、操作部２００７および電源部２００８は、バスライン２００９を介して相互に接続されている。
　光学部２００１は、被写体からの入射光（像光）を取り込んで撮像装置２００２の撮像面上に結像する。撮像装置２００２は、光学部２００１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
　表示部２００５は、例えば、液晶パネルや有機ＥＬパネル等のパネル型表示装置からなり、撮像装置２００２で撮像された動画または静止画を表示する。記録部２００６は、撮像装置２００２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部２００７は、ユーザによる操作の下に、カメラ２０００が持つ様々な機能について操作指令を発する。電源部２００８は、ＤＳＰ回路２００３、フレームメモリ２００４、表示部２００５、記録部２００６および操作部２００７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　上述したように、撮像装置２００２として、上述した撮像装置１００等を用いることで、良好な画像の取得が期待できる。
　（移動体への応用例）
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１８は、撮像部１２０３１の設置位置の例を示す図である。
　図１８では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図１などに示した撮像装置１００等を撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、車両制御システムの優れた動作が期待できる。
　なお、本技術は以下のような構成を取ることができる。
　（１）複数の画素回路を有し、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力可能な画素アレイ部と、
　前記画素アレイ部から出力された前記第１画素領域内の画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する信号処理部と、を備える、撮像装置。
　（２）前記信号処理部は、画素解像度を落とすことなく、前記第１画素領域から前記第２画素領域を切り出す、（１）に記載の撮像装置。
　（３）前記信号処理部は、前記第１画素領域内に前記動体が存在する場合には、前記動体の位置に追従させて前記第２画素領域を切り出す、（１）又は（２）に記載の撮像装置。
　（４）前記信号処理部は、前記第１画素領域内の画素データに基づいて、前記動体の検出及び追尾を行う、（１）乃至（３）のいずれか一項に記載の撮像装置。
　（５）前記信号処理部は、前記第１画素領域内の前記動体の位置に基づいて、次のフレームで前記画素アレイ部が前記有効画素領域から切り出すべき範囲を指示する信号を出力し、
　前記画素アレイ部は、前記信号処理部から出力された信号に基づいて、前記第１画素領域を切り出す、（１）乃至（４）のいずれか一項に記載の撮像装置。
　（６）前記信号処理部は、
　前記第１画素領域内の画素データに基づいて、前記動体の検出及び追尾とを行う第１処理部と、
　前記第１処理部による前記動体の検出及び追尾の結果を示す信号に基づいて、前記第１画素領域から前記第２画素領域を切り出す第２処理部と、を有する、（５）に記載の撮像装置。
　（７）前記画素アレイ部が出力する前記第１画素領域をフレームごとに制御する切り出し駆動部を備え、
　前記第１処理部は、前記第２処理部に対して前記第１画素領域から切り出す範囲を指示する第１制御情報を出力するとともに、前記切り出し駆動部に対して前記有効画素領域から切り出される前記第１画素領域の範囲を指示する第２制御情報を出力する、（６）に記載の撮像装置。
　（８）前記第１処理部は、前記第１画素領域内に追従検出枠を設定し、前記追従検出枠内で前記動体が検出されると、前記第１画素領域内の前記動体の位置に合わせて前記追従検出枠を移動させる処理を行って、前記第１制御情報及び前記第２制御情報を出力する、（７）に記載の撮像装置。
　（９）前記信号処理部での切り出しの条件と、前記第１画素領域内で前記動体を検出及び追尾する条件との少なくとも一方を記憶する記憶部を備え、
　前記信号処理部は、前記記憶部に記憶された条件に従って、前記動体の検出及び追尾と、前記第２画素領域の切り出しとを行う、（１）乃至（８）のいずれか一項に記載の撮像装置。
　（１０）前記記憶部は、前記動体の検出及び追尾を行うか否かの情報と、前記第２画素領域の初期座標及びサイズに関する情報と、前記第１画素領域内で前記動体を検出するための情報とを記憶する、（９）に記載の撮像装置。
　（１１）前記第１画素領域内で前記動体を検出するための情報は、
　追尾していた前記動体が前記第１画素領域からいなくなったと判定する時間情報と、
　前記動体を検出及び追尾しやすくするための画像データを生成するのに利用する色フィルタに関する情報と、
　前記画像データを生成する際の閾値に関する情報と、
　前記動体のサイズの閾値に関する情報と、の少なくとも一つを含む、（１０）に記載の撮像装置。
　（１２）前記第２画素領域のサイズに応じて、前記信号処理部から出力された前記画素データを外部出力する際の出力レートを制御する出力レート制御部を備える、（１）乃至（１１）のいずれか一項に記載の撮像装置。
　（１３）前記画素アレイ部は、第１方向及び第２方向に配置された前記複数の画素回路を有し、
　前記画素アレイ部は、前記第１方向及び前記第２方向の少なくとも一方向に沿って前記第１画素領域を切り出す、（１）乃至（１２）のいずれか一項に記載の撮像装置。
　（１４）前記画素アレイ部は、第１方向及び第２方向に配置された前記複数の画素回路を有し、
　前記画素アレイ部は、前記第１方向に沿って前記第１画素領域を切り出し、
　前記信号処理部は、前記第１画素領域から前記第２方向に沿って前記第２画素領域を切り出す、（１）乃至（１２）のいずれか一項に記載の撮像装置。
　（１５）撮像装置と、
　前記撮像装置に対して、画素領域の切り出しの条件と、動体の検出及び追尾の条件とを入力する情報処理装置と、を備え、
　前記撮像装置は、
　複数の画素回路を有し、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力可能な画素アレイ部と、
　前記画素アレイ部から出力された前記画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する信号処理部と、を有する、撮像システム。
　（１６）複数の画素回路を有する画素アレイ部から、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力し、
　前記出力された画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する、撮像方法。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
　１　撮像装置、２　画素アレイ部、３　信号処理部、４　切り出し駆動部、５　第１切り出し部、６　間引き部、７　動体検出部、８　切り出し制御部、９　第２切り出し部、１０　座標計算部、１１　有効画素領域、１２　第１画素領域、１３　第２画素領域、１４　動体、２０　撮像システム、２１　信号処理チップ、２２　外部制御部、２４　記憶部、２５　第１処理部、２６　第２処理部、２７　出力Ｉ／Ｆ部、３１　検査対象物、３２　ベルトコンベア、３３　表示装置

Claims (16)

  1. 　複数の画素回路を有し、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力可能な画素アレイ部と、
    　前記画素アレイ部から出力された前記第１画素領域内の画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する信号処理部と、を備える、撮像装置。
  2. 　前記信号処理部は、画素解像度を落とすことなく、前記第１画素領域から前記第２画素領域を切り出す、請求項１に記載の撮像装置。
  3. 　前記信号処理部は、前記第１画素領域内に前記動体が存在する場合には、前記動体の位置に追従させて前記第２画素領域を切り出す、請求項１に記載の撮像装置。
  4. 　前記信号処理部は、前記第１画素領域内の画素データに基づいて、前記動体の検出及び追尾を行う、請求項１に記載の撮像装置。
  5. 　前記信号処理部は、前記第１画素領域内の前記動体の位置に基づいて、次のフレームで前記画素アレイ部が前記有効画素領域から切り出すべき範囲を指示する信号を出力し、
    　前記画素アレイ部は、前記信号処理部から出力された信号に基づいて、前記第１画素領域を切り出す、請求項１に記載の撮像装置。
  6. 　前記信号処理部は、
    　前記第１画素領域内の画素データに基づいて、前記動体の検出及び追尾とを行う第１処理部と、
    　前記第１処理部による前記動体の検出及び追尾の結果を示す信号に基づいて、前記第１画素領域から前記第２画素領域を切り出す第２処理部と、を有する、請求項５に記載の撮像装置。
  7. 　前記画素アレイ部が出力する前記第１画素領域をフレームごとに制御する切り出し駆動部を備え、
    　前記第１処理部は、前記第２処理部に対して前記第１画素領域から切り出す範囲を指示する第１制御情報を出力するとともに、前記切り出し駆動部に対して前記有効画素領域から切り出される前記第１画素領域の範囲を指示する第２制御情報を出力する、請求項６に記載の撮像装置。
  8. 　前記第１処理部は、前記第１画素領域内に追従検出枠を設定し、前記追従検出枠内で前記動体が検出されると、前記第１画素領域内の前記動体の位置に合わせて前記追従検出枠を移動させる処理を行って、前記第１制御情報及び前記第２制御情報を出力する、請求項７に記載の撮像装置。
  9. 　前記信号処理部での切り出しの条件と、前記第１画素領域内で前記動体を検出及び追尾する条件との少なくとも一方を記憶する記憶部を備え、
    　前記信号処理部は、前記記憶部に記憶された条件に従って、前記動体の検出及び追尾と、前記第２画素領域の切り出しとを行う、請求項１に記載の撮像装置。
  10. 　前記記憶部は、前記動体の検出及び追尾を行うか否かの情報と、前記第２画素領域の初期座標及びサイズに関する情報と、前記第１画素領域内で前記動体を検出するための情報とを記憶する、請求項９に記載の撮像装置。
  11. 　前記第１画素領域内で前記動体を検出するための情報は、
    　追尾していた前記動体が前記第１画素領域からいなくなったと判定する時間情報と、
    　前記動体を検出及び追尾しやすくするための画像データを生成するのに利用する色フィルタに関する情報と、
    　前記画像データを生成する際の閾値に関する情報と、
    　前記動体のサイズの閾値に関する情報と、の少なくとも一つを含む、請求項１０に記載の撮像装置。
  12. 　前記第２画素領域のサイズに応じて、前記信号処理部から出力された前記画素データを外部出力する際の出力レートを制御する出力レート制御部を備える、請求項１に記載の撮像装置。
  13. 　前記画素アレイ部は、第１方向及び第２方向に配置された前記複数の画素回路を有し、　前記画素アレイ部は、前記第１方向及び前記第２方向の少なくとも一方向に沿って前記第１画素領域を切り出す、請求項１に記載の撮像装置。
  14. 　前記画素アレイ部は、第１方向及び第２方向に配置された前記複数の画素回路を有し、　前記画素アレイ部は、前記第１方向に沿って前記第１画素領域を切り出し、
    　前記信号処理部は、前記第１画素領域から前記第２方向に沿って前記第２画素領域を切り出す、請求項１に記載の撮像装置。
  15. 　撮像装置と、
    　前記撮像装置に対して、画素領域の切り出しの条件と、動体の検出及び追尾の条件とを入力する情報処理装置と、を備え、
    　前記撮像装置は、
    　複数の画素回路を有し、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力可能な画素アレイ部と、
    　前記画素アレイ部から出力された前記画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する信号処理部と、を有する、撮像システム。
  16. 　複数の画素回路を有する画素アレイ部から、有効画素領域の一部である第１画素領域を切り出して、前記第１画素領域内の画素データを出力し、
    　前記出力された画素データに基づいて、前記第１画素領域内で動体の検出及び追尾を行うとともに、前記第１画素領域の一部である第２画素領域を切り出して、前記第２画素領域内の画素データを出力する、撮像方法。
PCT/JP2021/007987 2020-03-11 2021-03-02 撮像装置、撮像システム及び撮像方法 WO2021182190A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180013390.4A CN115088248A (zh) 2020-03-11 2021-03-02 摄像装置、摄像系统和摄像方法
US17/802,728 US20230098440A1 (en) 2020-03-11 2021-03-02 Imaging device, imaging system, and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-042360 2020-03-11
JP2020042360A JP2023052713A (ja) 2020-03-11 2020-03-11 撮像装置、撮像システム及び撮像方法

Publications (1)

Publication Number Publication Date
WO2021182190A1 true WO2021182190A1 (ja) 2021-09-16

Family

ID=77670704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007987 WO2021182190A1 (ja) 2020-03-11 2021-03-02 撮像装置、撮像システム及び撮像方法

Country Status (4)

Country Link
US (1) US20230098440A1 (ja)
JP (1) JP2023052713A (ja)
CN (1) CN115088248A (ja)
WO (1) WO2021182190A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024261A1 (ja) * 2022-07-26 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像システム、および、固体撮像素子の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283230A (ja) * 2007-05-08 2008-11-20 Hitachi Kokusai Electric Inc 画像処理システム
JP2009147727A (ja) * 2007-12-14 2009-07-02 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
JP2013162425A (ja) * 2012-02-07 2013-08-19 Olympus Imaging Corp 撮像装置、撮像方法およびプログラム
JP2020014195A (ja) * 2018-07-06 2020-01-23 キヤノン株式会社 撮像装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9257467B2 (en) * 2009-12-16 2016-02-09 Samsung Electronics Co., Ltd. Image sensor modules, methods of manufacturing the same, and image processing systems including the image sensor modules

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283230A (ja) * 2007-05-08 2008-11-20 Hitachi Kokusai Electric Inc 画像処理システム
JP2009147727A (ja) * 2007-12-14 2009-07-02 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
JP2013162425A (ja) * 2012-02-07 2013-08-19 Olympus Imaging Corp 撮像装置、撮像方法およびプログラム
JP2020014195A (ja) * 2018-07-06 2020-01-23 キヤノン株式会社 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024261A1 (ja) * 2022-07-26 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像システム、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
CN115088248A (zh) 2022-09-20
US20230098440A1 (en) 2023-03-30
JP2023052713A (ja) 2023-04-12

Similar Documents

Publication Publication Date Title
US8330816B2 (en) Image processing device
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
WO2019150786A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP7227926B2 (ja) 固体撮像素子、撮像装置および固体撮像素子の制御方法
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
US11745749B2 (en) Vehicular system for testing performance of object detection algorithms
KR20190019840A (ko) 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2017195459A1 (ja) 撮像装置、および撮像方法
JPWO2019123795A1 (ja) 画像処理装置と画像処理方法およびプログラム
JPH1062162A (ja) 障害物検出装置
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
US20200304698A1 (en) Imaging control apparatus, imaging control method, computer program, and electronic device
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP4887537B2 (ja) 車両周辺監視装置
CN114008698A (zh) 外部环境识别装置
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020230635A1 (ja) 撮像装置および撮像方法
US20210217146A1 (en) Image processing apparatus and image processing method
US10999488B2 (en) Control device, imaging device, and control method
JP2005284797A (ja) 走行安全装置
JPWO2020149094A1 (ja) 撮像装置、撮像システムおよび故障検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767215

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21767215

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP