WO2017199487A1 - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2017199487A1
WO2017199487A1 PCT/JP2017/004826 JP2017004826W WO2017199487A1 WO 2017199487 A1 WO2017199487 A1 WO 2017199487A1 JP 2017004826 W JP2017004826 W JP 2017004826W WO 2017199487 A1 WO2017199487 A1 WO 2017199487A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
detection
subject
captured image
area
Prior art date
Application number
PCT/JP2017/004826
Other languages
English (en)
French (fr)
Inventor
鷹本　勝
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/099,533 priority Critical patent/US10951811B2/en
Priority to CN201780028786.XA priority patent/CN109076168B/zh
Publication of WO2017199487A1 publication Critical patent/WO2017199487A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a control device, a control method, and a program.
  • Complementary Metal Oxide Semiconductor consists of “vehicle detection image that is a low-resolution image with thinning out at least one of rows or columns” and “vehicle number recognition image that is a high-resolution image without thinning out”.
  • a technique for switching and imaging with a camera for example, a technique described in Patent Document 1 below can be cited.
  • a subject for example, an object flowing through a line, a moving object such as a car, a human, etc.
  • a captured image moving image or still image
  • Patent Document 1 when the technique described in Patent Document 1 is used, a high-resolution image is obtained when a subject is detected by capturing a low-resolution image obtained by thinning out at least one of rows and columns, and the subject is detected. An image is taken. Therefore, for example, when the technique described in Patent Document 1 is used, it is possible to reduce the data amount of image data indicating a captured image, compared to when a high-resolution image is always captured.
  • This disclosure proposes a new and improved control device, control method, and program capable of obtaining a captured image including a subject while reducing the amount of data.
  • an imaging control unit that controls imaging in an imaging device and a subject based on a first captured image in which a detection area set in a part of the angle of view of the imaging device is captured.
  • a detection unit for detecting wherein the imaging control unit causes the imaging device to perform imaging of the detection area or imaging of an acquisition area set within an angle of view of the imaging device.
  • a control device is provided that causes the acquisition area to be imaged when the subject is detected based on one captured image.
  • the subject is controlled based on the step of controlling the imaging in the imaging device and the first captured image in which the detection area set in a part of the angle of view of the imaging device is captured. Detecting, and in the controlling step, causing the imaging device to perform imaging of the detection area or an acquisition area set within an angle of view of the imaging device.
  • a control method executed by a control device that causes the acquisition area to be imaged when the subject is detected based on one captured image.
  • a subject is detected based on a function of controlling imaging in an imaging device and a first captured image in which a detection area set in a part of the angle of view of the imaging device is captured.
  • a function for controlling the imaging causing the imaging device to perform imaging of the detection area or acquisition area set within the angle of view of the imaging device,
  • a program is provided that causes the acquisition area to be captured.
  • FIG. 1 It is a block diagram which shows an example of a structure of the control apparatus which concerns on this embodiment. It is explanatory drawing which shows an example of the hardware constitutions of the control apparatus which concerns on this embodiment. It is explanatory drawing which shows the other example of the hardware constitutions of the control apparatus which concerns on this embodiment. It is a block diagram which shows the schematic structural example of the vehicle control system which is an example of the mobile body control system with which the technique which concerns on this indication can be applied. It is a figure which shows the example of the installation position of the imaging part 12031.
  • control device controls imaging in the imaging device to capture an image for detecting a subject (detection of a detection area described later) or an image for obtaining a captured image including the subject (described later). Imaging of the acquisition area to be performed).
  • the control apparatus for example, causes an imaging device to perform imaging for detecting a subject, and selects a subject based on a captured image (first captured image) obtained by imaging for detecting the subject. To detect. Then, the control device according to the present embodiment causes imaging to obtain a captured image including the subject when the subject is detected based on the captured image obtained by imaging for detecting the subject.
  • the control device performs imaging for each frame, for example.
  • control device causes imaging for detecting a subject to be performed at a predetermined frame rate.
  • control device when a subject is detected in one frame in which imaging for detecting the subject is performed, the control device according to the present embodiment performs imaging to obtain a captured image including the subject in the next frame. .
  • the control device selects the subject after a predetermined imaging delay time has elapsed. Imaging is performed to obtain a captured image including the captured image.
  • the predetermined imaging delay time include a preset imaging delay time or an imaging delay time based on the moving speed of the subject.
  • the control device causes imaging to obtain a captured image including the subject at a predetermined timing corresponding to a preset imaging delay time or a timing based on the moving speed of the subject. .
  • an imaging device having a CMOS as an imaging element may be mentioned.
  • the imaging device included in the imaging device according to the present embodiment may be configured by only a CMOS, or a stack type imaging in which other components such as a CCD (Charge Coupled Device) are stacked on the CMOS. It may be an element.
  • CCD Charge Coupled Device
  • the imaging device according to the present embodiment is not limited to the example described above.
  • the imaging device according to the present embodiment includes an imaging device having an arbitrary imaging element that can be applied to a global shutter.
  • the imaging for detecting the subject according to the present embodiment includes imaging of a detection area set in a part of the angle of view of the imaging device.
  • the detection area according to the present embodiment corresponds to a sensing area for detecting a subject.
  • the control device detects a subject based on a captured image (first captured image) obtained by capturing the detection region. That is, the detection area according to the present embodiment is an area having a minimum size in a part of the angle of view of the imaging device that can detect the subject based on the captured image obtained by imaging the detection area. Good. Examples of the detection area according to the present embodiment include a partial area within an angle of view where at least a part of the subject can be imaged. Note that the source of the subject in the control device according to the present embodiment will be described later.
  • the detection area according to the present embodiment includes, for example, an area of about 1 to several lines, or about 1 to 10 lines within the angle of view of the imaging device. That is, the data amount of the image data of the captured image (first captured image) obtained by capturing the detection region is sufficiently small even if compared with the captured image obtained by simply thinning out at least one of the rows and the columns. Become.
  • examples of the image data according to the present embodiment include RAW data.
  • the image data according to the present embodiment may be data obtained by performing arbitrary processing corresponding to the purpose of using the captured image on the RAW data, such as data obtained by reversibly compressing the RAW data.
  • imaging for obtaining a captured image including a subject imaging of an acquisition region set within the angle of view of the imaging device can be given.
  • the acquisition area according to the present embodiment is, for example, an area of the entire angle of view of the imaging device, or a partial area within the angle of view of the imaging device that can image the entire subject.
  • control device causes the acquisition region to be imaged when a subject is detected based on a captured image (first captured image) in which the detection region is captured. That is, the subject is included in the captured image (second captured image) in which the acquisition region is captured.
  • the control device controls imaging in the imaging device as described above, for example, and causes the imaging device to perform imaging of the detection area or imaging of the acquisition area.
  • the detection area may be at least a partial area within the angle of view in which a part of the subject can be imaged.
  • the amount of image data indicating the captured image is reduced.
  • the acquisition region is a region of the entire angle of view of the imaging device or a partial region within the angle of view of the imaging device that can capture the entire subject.
  • the captured image includes the subject.
  • control device can obtain a captured image including a subject while reducing the amount of data.
  • control method according to the present embodiment when the control method according to the present embodiment is used, acquisition of a captured image including a subject is realized by imaging with one imaging device. Therefore, when the control method according to the present embodiment is used, it is possible to reduce the imaging delay as compared with the case where a captured image including a subject is acquired by imaging with a plurality of imaging devices. Therefore, when the control method according to the present embodiment is used, it is possible to more reliably acquire an image of a subject having a higher moving speed than when acquiring a captured image including the subject by imaging with a plurality of imaging devices. Can do.
  • control device may control the output of the captured image captured by the controlled imaging device.
  • control of output of a captured image in the control device for example, control of transmission of image data indicating a captured image to an external device, and control of recording of image data indicating a captured image on a recording medium, One or both of these may be mentioned.
  • the control device When the transmission control is performed as the output control of the captured image, the control device according to the present embodiment is, for example, a communication unit (described later) or an external communication connected to the control device according to the present embodiment.
  • the communication in the device is controlled to transmit the image data to the external device.
  • the control device includes, for example, a storage unit (described later) and an external recording connected to the control device according to the present embodiment.
  • a control signal including a recording command and image data are transmitted to one or two or more recording media included in the medium and the external device.
  • the control device for example, an image (second captured image) in which the acquisition region is captured based on the detection result of the subject based on the captured image (first captured image) in which the detection region is captured. Control the output of.
  • the control device controls output of an image (second captured image) obtained by capturing an acquisition region.
  • control device for example, based on the detection result of the subject based on the captured image (first captured image) obtained by capturing the detection region, the captured image (first image)
  • the output of the captured image may be controlled.
  • the output control of the captured image (first captured image) obtained by capturing the detection region is performed based on, for example, a predetermined operation mode (for example, an initial operation mode) based on an operation of a user of the control device according to the present embodiment This may be performed when a test mode, an evaluation mode, or the like set when setting or evaluation is performed.
  • Examples of setting the detection area according to the present embodiment and the acquisition area according to the present embodiment include the following examples (A) to (D).
  • region which concerns on this embodiment is not restricted to the example shown below.
  • the imaging device is configured to include a stacked area ADC (Analog-to-Digital Converter)
  • the angle of view of the imaging device such as an area where the vertical length is larger than the horizontal length, etc.
  • An area having an arbitrary shape that can be set within can be set as a detection area.
  • FIG. 1 is an explanatory diagram illustrating a first setting example of the detection area according to the present embodiment and the acquisition area according to the present embodiment.
  • FIG. 1 illustrates an example of a detection area and an acquisition area in the entire field angle of the imaging device.
  • ROI1 illustrated in FIG. 1 corresponds to an example of a detection area
  • ROI2 illustrated in FIG. 1 corresponds to an example of an acquisition area.
  • the detection area may be indicated as “detection area ROI1” and the acquisition area may be indicated as “acquisition area ROI2”.
  • the acquisition area is not limited to a partial area of the angle of view of the imaging device, and may be an area of the entire angle of view of the imaging device.
  • the control device causes the imaging device to capture the detection area ROI1, and detects the subject based on the captured image (first captured image) obtained by capturing the detection area ROI1.
  • the control device When the subject is not detected based on the captured image obtained by capturing the detection region ROI1 in one frame, the control device according to the present embodiment causes the detection region ROI1 to be captured in the next frame.
  • the detection region ROI1 may be a partial region within the angle of view where at least a part of the subject can be imaged. Therefore, the control device according to the present embodiment causes the detection area ROI1 to be imaged at a higher frame rate than when the acquisition area is imaged, for example.
  • the control device when a subject is detected based on a captured image obtained by capturing the detection region ROI1 in one frame, the control device according to the present embodiment causes the acquisition region ROI2 to be captured in the next frame.
  • the control device causes the acquisition region to be imaged at a preset predetermined timing corresponding to a preset imaging delay time.
  • imaging in the imaging device is controlled as described above.
  • the acquisition area ROI2 is imaged when a subject is detected based on a captured image in which the detection area ROI1 is imaged. That is, imaging of the acquisition region ROI2 is automatically performed by using detection of a subject based on a captured image obtained by capturing the detection region ROI1 as a trigger.
  • the detection area ROI1 only needs to be a partial area within the angle of view where at least a part of the subject can be imaged, and thus a captured image (first image) obtained by imaging the detection area ROI1. The amount of image data indicating the captured image) is reduced.
  • the acquisition area ROI2 is an area of the entire angle of view of the imaging device or a partial area within the angle of view of the imaging device that can image the entire subject.
  • the captured image (second captured image) obtained by capturing the ROI 2 includes the subject.
  • the control device reduces the amount of data while imaging the detection region ROI1 or the acquisition region ROI2. A captured image can be obtained.
  • FIG. 2 is an explanatory diagram for explaining an example of processing related to the control method according to the present embodiment, and shows an example of processing flow in the first setting example of the detection area and the acquisition area.
  • FIG. 2A shows an example of a frame number captured by the imaging device.
  • the first frame (“Frame 1” shown in FIG. 2) to the fifth frame (“Frame 5” shown in FIG. 2). ")
  • FIG. 2B shows an example of the relationship between the entire field angle area of the imaging device and the object O that can be the subject in each frame.
  • C in FIG. 2 illustrates an example of a captured image (first captured image) in which the detection region ROI1 is captured in each frame.
  • 2 shows an example of a captured image (second captured image) obtained by capturing the acquisition region ROI2.
  • FIG. 2 shows an example of the flow of processing related to the control method according to the present embodiment when the object O moves at a constant speed along the path passing through the angle of view of the imaging device.
  • control device causes the imaging device to capture an image of the detection region ROI1 for each frame, and performs a process of detecting a subject based on the captured image obtained by capturing the detection region ROI1.
  • the object O is the angle of view of the imaging device. Does not exist within.
  • the control device since the captured image obtained by capturing the detection region ROI1 does not include the object O, the control device according to the present embodiment performs a subject detection process described later. Therefore, it is not determined that the subject is detected from the captured image.
  • the control device When it is not determined that the subject has been detected from the captured image in which the detection region ROI1 is captured, for example, the control device according to the present embodiment does not output image data indicating the captured image in which the detection region ROI1 is captured. As described above, when it is not determined that the subject is detected from the captured image in which the detection region ROI1 is captured, the control device according to the present embodiment uses the image data indicating the captured image in which the detection region ROI1 is captured. It may be output.
  • the object O exists in the detection region ROI1 within the angle of view of the imaging device, as shown in B of FIG.
  • the control device according to the present embodiment can increase the imaging frame rate of the detection region ROI1 as described above. Therefore, the object O as shown in the third frame in FIG. 2 is detected in the detection region ROI1. It is possible to realize the situation that exists in
  • the captured image obtained by capturing the detection region ROI1 includes the object O. Therefore, the control device according to the present embodiment performs a subject detection process, which will be described later. It is determined that a subject is detected from the captured image.
  • the control device When it is determined that the subject is detected from the captured image obtained by capturing the detection region ROI1, the control device according to the present embodiment does not output image data indicating the captured image obtained by capturing the detection region ROI1, for example. Note that, as described above, when it is determined that the subject is detected from the captured image in which the detection region ROI1 is captured, the control device according to the present embodiment displays image data indicating the captured image in which the detection region ROI1 is captured. May be output.
  • the control device according to the present embodiment is used in the fourth frame (“Frame 4” shown in FIG. 2).
  • the control device according to the present embodiment causes the acquisition region ROI2 to be imaged at a predetermined timing corresponding to a preset imaging delay time.
  • the captured image obtained by capturing the acquisition region ROI2 includes the object O.
  • the control device outputs image data indicating a captured image (second captured image) obtained by capturing the acquisition region ROI2.
  • the control device causes the imaging device to capture the detection region ROI1 for each frame. Then, the control device according to the present embodiment performs processing for detecting a subject based on a captured image obtained by capturing the detection region ROI1.
  • FIG. 3 is an explanatory diagram for explaining an example of processing according to the control method according to the present embodiment, and shows a flow of processing according to the control method according to the present embodiment illustrated in FIG. 2 from another viewpoint.
  • FIG. 2 shows an example of the operation of the imaging device in the detection region ROI1 and the operation of the imaging device in the acquisition region ROI2 realized by the control of the imaging device by the control device according to the present embodiment.
  • “XVS” shown in FIG. 3 indicates a vertical synchronization signal in the imaging device.
  • the detection area ROI1 is imaged by the vertical synchronization signal VMAX2.
  • the acquisition region ROI2 is imaged by the vertical synchronization signal VMAX.
  • Read shown in FIG. 3 indicates a readout period in which a signal corresponding to photoelectric conversion is read from each pixel of the imaging device corresponding to the detection region ROI1 or the acquisition region ROI2.
  • SHS shown in FIG. 3 indicates a period for setting the shutter of the imaging device in the detection area ROI1
  • SHS2 shown in FIG. 3 sets the shutter of the imaging device in the acquisition area ROI2. Indicates the period.
  • “Exposure” shown in FIG. 3 indicates an exposure period in the imaging device.
  • FIG. 3 shows an example in which the exposure period when imaging the detection area ROI1 and the exposure period when imaging the acquisition area ROI2 are the same.
  • the reason why the exposure period when imaging the detection area ROI1 is the same as the exposure period when imaging the acquisition area ROI2 is that the detection area ROI1 and the acquisition area ROI2 are imaged by one imaging device. This is because the lighting conditions for imaging are considered to be the same.
  • the control device for example, based on the detection result of the subject based on the captured image (first captured image) obtained by capturing the detection region ROI1, the detection result of the environment around the imaging device, and the like.
  • the exposure period when imaging the detection area ROI1 and the exposure period when imaging the acquisition area ROI2 may be changed.
  • the control device when the subject is detected based on a captured image in which the detection region ROI1 is captured, the control device according to the present embodiment captures the exposure region in the case of capturing the acquisition region ROI2 and images the detection region ROI1. From the exposure period. Further, the control device according to the present embodiment, for example, sets the exposure time according to the detection result based on the detection result of luminance or illuminance around the imaging device (an example of the detection result of the environment around the imaging device). .
  • the brightness or illuminance around the imaging device is acquired by a sensor capable of sensing the environment, such as a brightness sensor or an illuminance sensor.
  • the control device captures and acquires the detection region ROI1 based on the detection result of the subject based on the captured image (first captured image) obtained by capturing the detection region ROI1.
  • the imaging of the region ROI2 is switched and performed.
  • FIG. 3 shows an example in which the control device according to the present embodiment outputs a captured image (first captured image) obtained by capturing the detection region ROI1, but as described above, Such a control device may not output a captured image obtained by capturing the detection region ROI1.
  • the control device performs a process as illustrated with reference to FIG. Further, in the first setting example of the detection area and the acquisition area, the operation of the imaging device as illustrated with reference to FIG. 3 is realized by the processing by the control device according to the present embodiment.
  • (B) Second Setting Example of Detection Area and Acquisition Area In the first setting example of the detection area and the acquisition area, an example is shown in which one detection area and one acquisition area are set.
  • the setting example of the detection area and the acquisition area according to the above is not limited to the first setting example.
  • a plurality of detection areas may be set independently.
  • the control device according to the present embodiment is based on a captured image (first captured image) obtained by capturing the detection areas corresponding to each of the plurality of detection areas.
  • a subject is detected for each of a plurality of detection areas.
  • the subject detection process in each of the plurality of detection areas is the same as the process in the first setting example of the detection area and the acquisition area.
  • the acquisition area ROI2 according to the present embodiment is set for each of the plurality of detection areas.
  • the control device according to the present embodiment causes the imaging device to capture an acquisition area corresponding to the detection area where the subject is detected.
  • the process related to the imaging control of the acquisition area corresponding to the detection area where the subject is detected is the same as the process in the first setting example of the detection area and the acquisition area.
  • FIG. 4 is an explanatory diagram illustrating a second setting example of the detection area according to the present embodiment and the acquisition area according to the present embodiment.
  • FIG. 4 shows an “example in which a plurality of detection areas are set independently in the entire area of the field of view of the imaging device and an acquisition area is set for each of the plurality of detection areas”.
  • “ROI1-1”, “ROI1-2”, and “ROI1-3” shown in FIG. 4 correspond to an example of a plurality of detection areas set independently.
  • “ROI2-1” shown in FIG. 4 indicates an acquisition area corresponding to the detection area ROI1-1.
  • ROI2-2 shown in FIG. 4 indicates an acquisition area corresponding to the detection area ROI1-2
  • “ROI2-3” shown in FIG. 4 indicates an acquisition area corresponding to the detection area ROI1-3. Show.
  • the control device When the detection area and the acquisition area are set as shown in FIG. 4, the control device according to the present embodiment has detection areas corresponding to the plurality of detection areas ROI1-1, ROI1-2, and ROI1-3, respectively. Based on the captured image (first captured image), a subject is detected for each of the plurality of detection regions ROI1-1, ROI1-2, and ROI1-3. Then, the control device according to the present embodiment causes the imaging device to capture an acquisition area corresponding to the detection area where the subject is detected among the plurality of acquisition areas ROI2-1, ROI2-2, and ROI2-3. .
  • control device In the second setting example of the detection area and the acquisition area, the control device according to the present embodiment is the same as the process in the first setting example of the detection area and the acquisition area for each combination of the detection area and the acquisition area. Process.
  • the control device performs imaging including the subject while reducing the amount of data by performing imaging of the detection area or imaging of the acquisition area. An image can be obtained.
  • the size of the detection area and the size of the acquisition area are smaller than those in the first setting example of the detection area and the acquisition area. Become. Therefore, in the second setting example of the detection area and the acquisition area, it is possible to reduce the data amount as compared with the first setting example of the detection area and the acquisition area.
  • (C) Third Setting Example of Detection Area and Acquisition Area In the second setting example of the detection area and acquisition area, an example in which a plurality of detection areas are set independently is shown. However, a plurality of detection areas are set. The example to perform is not limited to the second setting example.
  • a first detection area and a second detection area corresponding to the first detection area may be set as the detection area ROI1 within the angle of view of the imaging device.
  • the second detection area according to the present embodiment is a detection area that is set to obtain the moving speed of the subject, for example, as will be described later.
  • the control device can capture a captured image (first image) corresponding to the first detection area.
  • the subject is detected based on each of the captured image) and the captured image (first captured image) corresponding to the second detection area.
  • the subject detection processing in each of the first detection region and the second detection region is the same as the processing in the first setting example of the detection region and the acquisition region.
  • control device detects the moving speed of the subject based on the detection result of the subject in each of the first detection area and the second detection area.
  • the moving speed of the subject is, for example, “the distance between the first detection region and the second detection region based on the positions of the first detection region and the second detection region within the angle of view of the imaging device”, “Time from when a subject is detected in the first detection area to when the subject is detected in the second detection area”.
  • the control device causes the acquisition region ROI2 to be imaged at a timing based on the detected moving speed.
  • the process related to the imaging control of the acquisition area corresponding to the first detection area where the subject is detected is basically the same as the process in the first setting example of the detection area and the acquisition area. More specifically, the imaging of the acquisition area in the third setting example of the detection area and the acquisition area and the imaging of the acquisition area in the first setting example of the detection area and the acquisition area are performed by imaging the acquisition area ROI2. It is the same except that the timing to be changed is different.
  • FIG. 5 is an explanatory diagram illustrating a third setting example of the detection area according to the present embodiment and the acquisition area according to the present embodiment.
  • FIG. 5 shows “an example in which a set of detection areas composed of two detection areas is set in the area of the entire angle of view of the imaging device, and an acquisition area is set for the set of detection areas”.
  • ROI1-1 and “ROI1-2” shown in FIG. 5 correspond to an example of the set of detection regions.
  • “ROI2” shown in FIG. 5 indicates an acquisition area corresponding to a set of detection areas including the detection area ROI1-1 and the detection area ROI1-2.
  • the control device uses the captured image (first captured image) obtained by capturing the detection area ROI1-1 as a subject. Is detected.
  • the control device is based on a captured image (first captured image) in which the detection region ROI1-1 is captured and a captured image (first captured image) in which the detection region ROI1-2 is captured. The moving speed of the subject is detected.
  • the control device is based on the detected moving speed of the subject when the subject is detected based on the captured image (first captured image) obtained by capturing the detection region ROI1-1.
  • the imaging device is caused to image the acquisition region ROI2 at a timing corresponding to the imaging delay time.
  • the control device specifies the imaging delay time based on the moving speed of the subject by using, for example, a table (or database) in which the moving speed and the imaging delay time are associated with each other.
  • control device performs the process and the basic in the first setting example of the detection area and the acquisition area for the set of detection areas and the acquisition area. The same processing is performed.
  • the detection area ROI1 (the first detection area and the second detection area) is imaged or the acquisition area ROI2 is imaged.
  • the control device can obtain a captured image including the subject while reducing the amount of data.
  • the acquisition area ROI2 is imaged at a timing based on the detected moving speed of the subject. Therefore, in the third setting example of the detection region and the acquisition region, a captured image including the subject can be obtained more reliably even when the moving speed of the subject to be detected is different for each subject.
  • a setting example of the detection area and the acquisition area includes a second setting example of the detection area and the acquisition area, and a third setting of the detection area and the acquisition area. It may be combined with an example.
  • a fourth setting example of the detection area and the acquisition area for example, an example in which a second detection area is further set for each of the detection areas ROI1-1 to ROI1-3 shown in FIG. .
  • FIG. 6 is a block diagram illustrating an example of the configuration of the control device 100 according to the present embodiment.
  • the control device 100 includes, for example, an imaging unit 102, an imaging control unit 104, a detection unit 106, and an output control unit 108.
  • the control device 100 includes, for example, a control unit (not shown), a ROM (Read Only Memory. Not shown), a RAM (Random Access Memory. Not shown), a storage unit (not shown), and a communication unit. (Not shown), an operation unit (not shown) that can be operated by the user, a display unit (not shown) for displaying various screens on the display screen, and the like may be provided.
  • the control device 100 connects the above constituent elements by a bus as a data transmission path.
  • the control unit (not shown) is composed of one or two or more processors composed of arithmetic circuits such as MPU (Micro Processing Unit), various processing circuits, and the like, and controls the entire control device 100.
  • the control unit (not shown) may play the role of one or more of the imaging control unit 104, the detection unit 106, and the output control unit 108 in the control device 100, for example.
  • imaging control unit 104 the detection unit 106, and the output control unit 108 are dedicated (or capable of realizing the processes of the imaging control unit 104, the detection unit 106, and the output control unit 108 (or A general-purpose circuit (for example, a processor separate from the control unit (not shown)) may be included.
  • a general-purpose circuit for example, a processor separate from the control unit (not shown)
  • ROM (not shown) stores control data such as programs and calculation parameters used by a control unit (not shown).
  • a RAM (not shown) temporarily stores programs executed by a control unit (not shown).
  • the storage unit is a storage unit included in the control device 100.
  • the storage unit includes a table (or database) in which the moving speed and the imaging delay time are associated with each other. Such data and various data such as various applications are stored.
  • examples of the storage unit include a magnetic recording medium such as a hard disk, a non-volatile memory such as a flash memory, and the like.
  • the storage unit may be detachable from the control device 100.
  • Examples of the communication unit include a communication interface described later.
  • the operation input device mentioned later is mentioned, for example.
  • the display part is mentioned.
  • FIG. 7 is an explanatory diagram illustrating an example of a hardware configuration of the control device 100 according to the present embodiment.
  • the control apparatus 100 includes, for example, an imaging device 150, a synchronization signal generation circuit 152, a trigger adjustment circuit 154, a detection circuit 156, and an output control circuit 158.
  • the control device 100 is driven by, for example, power supplied from an internal power source such as a battery provided in the control device 100 or power supplied from a connected external power source.
  • the imaging device 150 functions as the imaging unit 102.
  • the imaging device 150 includes, for example, an optical lens (not shown), an imaging device (not shown) such as a CMOS, a pixel circuit 160 corresponding to the imaging device (not shown), a driver 162, and an analog device. It has digital conversion circuits 164A and 164B.
  • the pixel circuit 160 includes, for example, a light receiving element such as a photodiode, a transistor, a capacitor element, and the like.
  • the signal transmitted from the driver 162 is used to store signal charges corresponding to photoelectric conversion in each pixel and Etc. are performed.
  • the transistors include bipolar transistors and FETs (Field-Effect Transistors) such as TFTs (Thin Film Transistors) and MOSFETs (Metal-Oxide-Semiconductor-Field Effect Transistors).
  • a capacitor etc. are mentioned as a capacitive element.
  • the driver 162 drives the pixel circuit by transmitting a signal to the pixel circuit 160.
  • Each of the analog / digital conversion circuits 164A, 164B converts an analog signal corresponding to photoelectric conversion from each pixel into a digital signal (image data).
  • the imaging device 150 has the above-described configuration, for example. Note that the configuration of the imaging device 150 is not limited to the above example, and the imaging device 150 may include an AGC (Automatic Gain Control) circuit or the like.
  • AGC Automatic Gain Control
  • the synchronization signal generation circuit 152 and the trigger adjustment circuit 154 function as the imaging control unit 104.
  • a processor that constitutes a control unit may function as each of the synchronization signal generation circuit 152 and the trigger adjustment circuit 154, or a processor that constitutes the control unit (not shown).
  • the synchronization signal generation circuit 152 and the trigger adjustment circuit 154 may be provided.
  • the synchronization signal generation circuit 152 plays a role of controlling the imaging start timing, and transmits a signal for controlling the imaging start timing to the trigger adjustment circuit 154.
  • the imaging start timing of the acquisition region ROI2 controlled by the synchronization signal generation circuit 152 is based on, for example, a predetermined timing corresponding to a preset imaging delay time or a detection result of the detection circuit 156. Timing based on the moving speed of the subject can be mentioned.
  • the trigger adjustment circuit 154 serves to control imaging in each of the detection area ROI1 and the acquisition area ROI2.
  • the trigger adjustment circuit 154 controls imaging in each of the detection area ROI1 and the acquisition area ROI2 by transmitting a control signal to the driver 162.
  • the detection circuit 156 functions as the detection unit 106.
  • the detection circuit 156 detects the subject based on the captured image (first captured image) obtained by capturing the detection region ROI1. For example, the detection circuit 156 recognizes that the detection region ROI1 has been imaged by a signal transmitted from the trigger adjustment circuit 154.
  • a processor constituting a control unit may function as the detection circuit 156, or as a separate circuit from the processor constituting the control unit (not shown).
  • a detection circuit 156 may be provided.
  • the detection circuit 156 performs, for example, the detection process according to the first example shown in (a) below or the detection process according to the second example shown in (b) below. Is detected.
  • the detection circuit 156 detects a subject based on a comparison result between a captured image (first captured image) obtained by capturing the detection region ROI1 and a set threshold value.
  • the set threshold value include one or both of a threshold value TH1 (first threshold value) and a threshold value TH2 (second threshold value) smaller than the threshold value TH1.
  • Threshold value TH1 and threshold value TH2 may be fixed threshold values set in advance, or may be variable values that can be changed based on the operation of the user of control device 100. Further, threshold values TH according to this embodiment such as threshold value TH1, threshold value TH2, and threshold values TH3 to TH5 described later are stored in a recording medium such as a register, for example.
  • the detection circuit 156 has a number of pixels in which the captured image (first captured image) obtained by capturing the detection region ROI1 is larger than the threshold TH1 (first threshold). Alternatively, the number of pixels in which the pixel value of the captured image is greater than or equal to the threshold value TH1 is counted.
  • the detection circuit 156 detects the pixel value of the G pixel (for example, Gr, The number of pixels is counted based on (the sum of Gb).
  • the reason why the detection circuit 156 uses the pixel value of the G pixel is as follows. It goes without saying that the detection circuit 156 can make a determination relating to the detection of the subject after counting by color. If counting is performed for each color, processing related to determination described later becomes complicated, and the possibility of erroneous determination increases. -G light has a broader wavelength range and higher sensitivity than other light, so if the pixel value of the G pixel is used, sufficient accuracy can be determined in the processing relating to determination described later. .
  • the detection circuit 156 detects the subject by determining whether the subject has been detected based on the comparison result between the counted number of pixels and the set threshold value TH3 (third threshold value).
  • the threshold value TH3 may be a fixed threshold value set in advance, or may be a variable value that can be changed based on an operation of the user of the control device 100 or the like.
  • the detection circuit 156 determines that the subject has been detected when the counted number of pixels is larger than the threshold value TH3 (third threshold value) or when the number of pixels is equal to or greater than the threshold value TH3. To do. The detection circuit 156 does not determine that the subject has been detected when the counted number of pixels is equal to or smaller than the threshold value TH3 or when the number of pixels is smaller than the threshold value TH3.
  • the detection circuit 156 has a number of pixels in which the captured image (first captured image) obtained by capturing the detection region ROI1 is smaller than the threshold TH2 (second threshold). Alternatively, the number of pixels in which the pixel value of the captured image is greater than or equal to the threshold value TH2 is counted.
  • the detection circuit 156 is based on the pixel value of the G pixel (for example, the sum of Gr and Gb). Count the number of pixels. It goes without saying that the detection circuit 156 can make a determination relating to the detection of the subject after counting by color.
  • the detection circuit 156 detects the subject by determining whether the subject is detected based on the comparison result between the counted number of pixels and the set threshold value TH4 (fourth threshold value).
  • the threshold value TH4 may be a fixed threshold value set in advance, or may be a variable value that can be changed based on a user operation of the control device 100 or the like. Further, the threshold value TH4 and the threshold value TH3 may be the same value or different.
  • the detection circuit 156 determines that the subject has been detected when the counted number of pixels is greater than the threshold value TH4 (fourth threshold value) or when the number of pixels is equal to or greater than the threshold value TH4. To do. The detection circuit 156 does not determine that the subject has been detected when the counted number of pixels is equal to or smaller than the threshold value TH4 or when the number of pixels is smaller than the threshold value TH4.
  • the detection circuit 156 performs the processing shown in (a-1) and the processing shown in (a-2).
  • the detection circuit 156 detects the subject when it is determined that the subject is detected in at least one of the processing shown in (a-1) and the processing shown in (a-2). It is determined that
  • the detection circuit 156 “the pixel value of the captured image (first captured image) in which the detection region ROI1 in the current frame is captured, and the detection region ROI1 in the previous frame has been captured The subject is detected based on the comparison result between the “determination value based on the pixel value of the captured image (first captured image)” and the set threshold TH5 (fifth threshold).
  • the determination value for example, the pixel value of a captured image (first captured image) in which the detection region ROI1 in the current frame is captured, and the captured image (first captured image) in which the detection region ROI1 in the previous frame is captured. ) Of the difference value with the pixel value.
  • the determination value may be an average value of the difference values.
  • the threshold value TH5 may be a fixed threshold value set in advance, or may be a variable value that can be changed based on an operation of the user of the control device 100 or the like.
  • the detection circuit 156 determines that the subject has been detected when the determination value is greater than the threshold value TH5 (fifth threshold value) or when the determination value is equal to or greater than the threshold value TH5. The detection circuit 156 does not determine that the subject has been detected when the determination value is equal to or less than the threshold value TH4 or when the determination value is smaller than the threshold value TH5.
  • the detection circuit 156 detects the subject, for example, by performing detection processing according to the first example shown in (a) below or detection processing according to the second example shown in (b) above.
  • the output control circuit 158 functions as the output control unit 108.
  • the output control circuit 158 controls the output of the captured image captured by the imaging device 150.
  • a processor constituting a control unit may function as the output control circuit 158, or as a separate circuit from the processor constituting the control unit (not shown).
  • An output control circuit 158 may be provided.
  • the output control circuit 158 controls the output of the captured image (second captured image) obtained by capturing the acquisition region ROI2 based on the detection result of the subject in the detection circuit 156, for example. For example, when the signal indicating that the subject is detected is transmitted from the detection circuit 156, the output control circuit 158 outputs a captured image in which the acquisition region ROI2 is captured.
  • the output control circuit 158 may control the output of the captured image (first captured image) obtained by capturing the detection region ROI1 based on the detection result of the subject in the detection circuit 156. For example, when a signal indicating that the subject is not detected is transmitted from the detection circuit 156, the output control circuit 158 outputs a captured image in which the detection region ROI1 is captured, for example.
  • the control device 100 performs processing related to the control method according to the present embodiment, for example, with the configuration shown in FIG.
  • control device 100 is not limited to the configuration shown in FIG.
  • FIG. 8 is an explanatory diagram illustrating another example of the hardware configuration of the control device 100 according to the present embodiment.
  • the control apparatus 100 includes, for example, an MPU 170, a ROM 172, a RAM 174, a recording medium 176, an input / output interface 178, an operation input device 180, a display device 182, a communication interface 184, and an imaging device 186.
  • the control device 100 connects each component with a bus 188 as a data transmission path, for example.
  • the control device 100 is driven by, for example, power supplied from an internal power source such as a battery provided in the control device 100 or power supplied from a connected external power source.
  • the MPU 170 is composed of, for example, one or more processors configured with an arithmetic circuit such as an MPU, various processing circuits, and the like, and functions as a control unit (not shown) that controls the entire control device 100. Further, the MPU 170 serves as, for example, the imaging control unit 104, the detection unit 106, and the output control unit 108 in the control device 100.
  • imaging control unit 104 the detection unit 106, and the output control unit 108 are dedicated (or capable of realizing the processes of the imaging control unit 104, the detection unit 106, and the output control unit 108 (or A general-purpose circuit (for example, a processor separate from the MPU 170) may be used.
  • a general-purpose circuit for example, a processor separate from the MPU 170
  • the ROM 172 stores control data such as programs used by the MPU 170 and calculation parameters.
  • the RAM 174 temporarily stores a program executed by the MPU 170, for example.
  • the recording medium 176 functions as a storage unit (not shown), for example, data relating to the control method according to the present embodiment, such as a table (or database) in which the moving speed and the imaging delay time are associated with each other, Store various data such as various applications.
  • examples of the recording medium 176 include a magnetic recording medium such as a hard disk and a nonvolatile memory such as a flash memory. Further, the recording medium 176 may be detachable from the control device 100.
  • the input / output interface 178 connects, for example, the operation input device 180 and the display device 182.
  • the operation input device 180 functions as an operation unit (not shown)
  • the display device 182 functions as a display unit (not shown).
  • examples of the input / output interface 178 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 180 is provided on the control device 100, for example, and is connected to the input / output interface 178 inside the control device 100.
  • Examples of the operation input device 180 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 182 is provided on the control device 100, for example, and is connected to the input / output interface 178 inside the control device 100.
  • Examples of the display device 182 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 178 can be connected to an external device such as an external operation input device (for example, a keyboard or a mouse) of the control device 100 or an external display device.
  • the display device 182 may be a device capable of display and user operation, such as a touch panel.
  • the communication interface 184 is a communication unit included in the control apparatus 100, and via a network (or directly) an external device such as an external imaging device or an external recording medium, an external device such as a server, It functions as a communication unit (not shown) for performing wireless or wired communication.
  • examples of the communication interface 184 include a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • the imaging device 186 functions as an imaging unit (not shown) that generates a captured image (moving image or still image) by imaging.
  • the imaging device 186 for example, the imaging device 150 (including a configuration according to a modified example) described with reference to FIG.
  • the control device 100 performs processing related to the control method according to the present embodiment, for example, with the configuration shown in FIG.
  • control device 100 is not limited to the configurations illustrated in FIGS. 7 and 8.
  • control apparatus 100 controls an external imaging device and performs processing based on a captured image captured by the external imaging device
  • the control apparatus 100 does not include the imaging device 186 illustrated in FIG. It is possible to take a configuration.
  • control device 100 can take a configuration that does not include one or more of the recording medium 176, the operation input device 180, the display device 182, and the communication interface 184 shown in FIG.
  • the configuration shown in FIG. 8 may be realized by one or two or more ICs (Integrated Circuits).
  • Imaging unit 102 includes an imaging device and generates a captured image by imaging. Examples of the imaging device included in the imaging unit 102 include the imaging device 150 (including a configuration according to a modification) described with reference to FIG.
  • Imaging control unit 104 controls imaging in the imaging device.
  • FIG. 6 illustrates an example in which the target imaging device controlled by the imaging control unit 104 is an imaging device included in the imaging unit 102. Note that the imaging device to be controlled by the imaging control unit 104 may be an imaging device outside the control apparatus 100.
  • the imaging control unit 104 causes the imaging device to perform imaging of the detection area ROI1 or imaging of the acquisition area ROI2.
  • the imaging control unit 104 causes the acquisition region ROI2 to be captured when a subject is detected based on a captured image (first captured image) obtained by capturing the detection region ROI1 in the detection unit 106.
  • the imaging control unit 104 causes the detection area ROI1 to be imaged, for example, for each frame. Then, when the subject is detected in one frame where the detection area ROI1 is imaged, the imaging control unit 104 causes the acquisition area ROI2 to be imaged in the next frame.
  • the imaging control unit 104 for example, the first setting example of the detection area and the acquisition area shown in (A) to the fourth setting example of the detection area and the acquisition area shown in (D) above.
  • the detection area ROI1 and the acquisition area ROI2 are imaged.
  • Detection unit 106 detects a subject based on a captured image (first captured image) obtained by capturing the detection region ROI1.
  • the detection unit 106 detects the subject by performing, for example, the detection process according to the first example shown in (a) above or the detection process according to the second example shown in (b) above.
  • Output control unit 108 The output control unit 108 controls output of a captured image captured by a target imaging device such as an imaging device that configures the imaging unit 102.
  • output control of the captured image in the output control unit 108 for example, control of transmission of image data indicating a captured image to an external device and an image indicating a captured image to a recording medium such as a storage unit (not shown).
  • a recording medium such as a storage unit (not shown).
  • One or both of the control of data recording may be mentioned.
  • the output control unit 108 When transmitting image data indicating a captured image to an external device, the output control unit 108, for example, outputs a signal (output signal shown in FIG. 6) including the image data and a transmission command to a communication unit (described later), or Then, the data is transmitted to an external communication device connected to the control apparatus 100.
  • the output control unit 108 stores, for example, a signal (output signal shown in FIG. 6) including the image data and a recording command (storage unit (described later)). And an external recording medium connected to the control device 100.
  • the output control unit 108 communicates a signal (output signal shown in FIG. 6) including the image data, a transmission command, and a recording command, for example.
  • a signal including the image data and the recording command may be transmitted to an external device by transmitting to a unit (described later).
  • the output control unit 108 controls, for example, the output of the captured image (second captured image) obtained by capturing the acquisition region ROI2 based on the detection result of the subject in the detection unit 106. For example, when the signal indicating that the subject is detected is transmitted from the detection unit 106, the output control unit 108 outputs a captured image in which the acquisition region ROI2 is captured.
  • the output control unit 108 may control the output of the captured image (first captured image) obtained by capturing the detection region ROI1 based on the detection result of the subject in the detection unit 106. For example, when the signal indicating that the subject is not detected is transmitted from the detection unit 106, the output control unit 108 outputs a captured image in which the detection region ROI1 is captured, for example.
  • the control device 100 performs processing related to the control method according to the present embodiment, for example, with the configuration shown in FIG.
  • control device is not limited to the configuration shown in FIG.
  • control apparatus controls imaging in an external imaging device and acquires a captured image including a subject based on a captured image captured by the external imaging device
  • present embodiment The control apparatus which concerns on a form does not need to be provided with the imaging part 102 shown in FIG.
  • control device may be configured not to include the output control unit 108 illustrated in FIG. Even when the output control unit 108 illustrated in FIG. 6 is not provided, the control device according to the present embodiment detects a subject based on a captured image (first captured image) obtained by capturing the detection region ROI1. In addition, it is possible to cause the imaging device to perform imaging of the acquisition region ROI2. Therefore, even if the output control unit 108 shown in FIG. 6 is not provided, the control device according to the present embodiment can obtain a captured image including a subject while reducing the data amount.
  • control device has been described as the present embodiment, but the present embodiment is not limited to such a configuration.
  • the present embodiment is applied to an imaging apparatus including an imaging device installed and used at a fixed point, such as an industrial camera used in a factory or a distribution system, a camera used in ITS, a security camera, or the like. Can do.
  • the present embodiment can be applied to various devices that can perform processing related to the control method according to the present embodiment, such as a computer such as a PC (Personal Computer) or a server.
  • the present embodiment can be applied to a processing IC that can be incorporated in, for example, the above imaging apparatus or device.
  • control device may be applied to a system including a plurality of devices based on a connection to a network (or communication between devices) such as cloud computing. That is, the control device according to the present embodiment described above can also be realized as a control system that performs processing according to the control method according to the present embodiment using a plurality of devices, for example.
  • a control system that performs processing related to the control method according to the present embodiment using a plurality of devices for example, “processing related to imaging control in an imaging device” and “detection” in a plurality of devices configuring the control system. Examples include a system in which “subject detection processing based on a captured image obtained by capturing the region ROI1” is performed in cooperation.
  • control device can be applied to an arbitrary moving body such as an automobile, an electric car, a hybrid electric car, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, and the like. It is.
  • FIG. 9 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 10 is a diagram illustrating an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 10 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present embodiment can be applied to, for example, the microcomputer 12051 in the vehicle control system.
  • the component to which the technology according to the present embodiment is applied in the vehicle control system is not limited to the microcomputer 12051, and can be applied to any component that can perform the process according to the control method according to the present embodiment. Is possible.
  • a program for causing a computer to function as a control device according to the present embodiment (for example, “a function for controlling imaging in an imaging device and a function for detecting a subject based on a captured image obtained by imaging the detection region ROI1 , A function for controlling imaging in an imaging device, a function for detecting a subject based on a captured image in which the detection region ROI1 is captured, and a function for controlling output of a captured image captured by the imaging device Is executed by a processor or the like in the computer, thereby reducing the amount of data and the subject.
  • a captured image including can be obtained.
  • the program for causing the computer to function as the control device according to the present embodiment is executed by a processor or the like in the computer, so that the effect exerted by the processing according to the control method according to the present embodiment described above is achieved. Can play.
  • a program for causing a computer to function as the control device according to the present embodiment is provided.
  • the present embodiment further includes a recording medium storing the program. Can also be provided.
  • An imaging control unit that controls imaging in the imaging device; A detection unit that detects a subject based on a first captured image in which a detection region set in a part of the angle of view of the imaging device is captured; With The imaging control unit Causing the imaging device to perform imaging of the detection area or imaging of an acquisition area set within an angle of view of the imaging device; A control device that causes the acquisition area to be imaged when the subject is detected based on the first captured image.
  • the imaging control unit For each frame, the detection area is imaged, The control device according to (1), wherein when the subject is detected in one frame in which the detection area is imaged, the acquisition area is imaged in the next frame.
  • the detection unit compares the pixel value of the first captured image with one or both of a set first threshold value and a second threshold value that is smaller than the set first threshold value.
  • the detector is Counting the number of pixels in which the pixel value of the first captured image is greater than the first threshold, or the number of pixels in which the pixel value of the first captured image is greater than or equal to the first threshold;
  • the control device according to (3) wherein the subject is detected by determining whether the subject is detected based on a comparison result between the counted number of pixels and a set third threshold value. .
  • the detection unit determines that the subject has been detected when the counted number of pixels is larger than the third threshold or when the number of pixels is equal to or greater than the third threshold. (4 ).
  • the detector is Counting the number of pixels in which the pixel value of the first captured image is smaller than the second threshold, or the number of pixels in which the pixel value of the first captured image is greater than or equal to the second threshold;
  • the subject is detected by determining whether the subject has been detected based on a comparison result between the counted number of pixels and a set fourth threshold value.
  • the detection unit determines that the subject has been detected when the counted number of pixels is larger than the fourth threshold or when the number of pixels is greater than or equal to the fourth threshold. ).
  • the detector is Based on a comparison result between a pixel value of the first captured image of the current frame and a determination value based on the pixel value of the first captured image of the previous frame and a set fifth threshold value, the subject
  • the control device according to (2), wherein: (9) When a plurality of detection regions are set independently, the detection unit detects the subject for each of the plurality of detection regions based on the first captured image corresponding to each of the plurality of detection regions.
  • the control device according to any one of (1) to (8).
  • the acquisition area is set for each of the plurality of detection areas, The control apparatus according to (9), wherein the imaging control unit causes imaging of the acquisition area corresponding to the detection area where the subject is detected.
  • a first detection area and a second detection area corresponding to the first detection area are set as the detection area, The detector is Detecting the subject based on each of the first captured image corresponding to the first detection region and the first captured image corresponding to the second detection region;
  • the control device according to any one of (1) to (10), further detecting a moving speed of the subject based on a detection result.
  • the control apparatus according to any one of (1) to (10), wherein the imaging control unit causes the acquisition area to be imaged at a set predetermined timing.
  • the control device according to any one of (1) to (13), wherein the detection region is a partial region within an angle of view where at least a part of the subject can be imaged.
  • the acquisition area is an area of the entire angle of view of the imaging device or a partial area within the angle of view of the imaging device capable of imaging the entire subject.
  • the control apparatus as described in any one of these.
  • the control apparatus according to any one of (1) to (15), further including an output control unit that controls output of a captured image captured by the imaging device based on the detection result of the subject.
  • control device wherein when the subject is detected, the output control unit outputs a second captured image in which the acquisition area is captured.
  • the control apparatus according to any one of (1) to (17), further including an imaging unit including the imaging device. (19) Controlling imaging in an imaging device; Detecting a subject based on a first captured image in which a detection region set in a part of the angle of view of the imaging device is captured; Have In the controlling step, Causing the imaging device to perform imaging of the detection area or imaging of an acquisition area set within an angle of view of the imaging device; A control method executed by a control device that causes the acquisition area to be imaged when the subject is detected based on the first captured image.
  • a function for controlling imaging in an imaging device A function of detecting a subject based on a first captured image in which a detection region set in a part of the angle of view of the imaging device is captured; Is realized on a computer,
  • the function of controlling the imaging is as follows: Causing the imaging device to perform imaging of the detection area or imaging of an acquisition area set within an angle of view of the imaging device; A program that causes the acquisition area to be imaged when the subject is detected based on the first captured image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

撮像デバイスにおける撮像を制御する撮像制御部と、撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出する検出部と、を備え、撮像制御部は、検出領域の撮像、または、撮像デバイスの画角内に設定されている取得領域の撮像を、撮像デバイスに行わせ、第１の撮像画像に基づき被写体が検出された場合に、取得領域の撮像を行わせる、制御装置が、提供される。

Description

制御装置、制御方法、およびプログラム
　本開示は、制御装置、制御方法、およびプログラムに関する。
　１つの撮像デバイスで、異なる用途の画像を撮像する技術が開発されている。“行または列の少なくともいずれかを間引いた低解像度画像である、車両検知用画像”と“間引かない高解像度画像である、車番認識用画像”とを、１つのＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）カメラで切り替えて撮像する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開２００４－９４４１２号公報
　例えば、工場や物流システムなどで利用される産業用カメラや、ＩＴＳ（Intelligent　Transport　Systems）において利用されるカメラ、防犯カメラなど、定点に設置されて用いられる撮像デバイスを利用するシステムが広く存在する。上記のようなシステムでは、例えば、撮像デバイスにより撮像された撮像画像（動画像、または、静止画像）に基づいて、被写体（例えば、ラインを流れる物体、自動車などの移動体、人間など）が検出され、検出結果がシステムに応じた様々な用途に利用されている。
　上記のようなシステムでは、被写体を含む撮像画像を得ると共に、撮像画像を示す画像データのデータ量を削減することが、望まれている。
　ここで、例えば特許文献１に記載の技術が用いられる場合には、行または列の少なくともいずれかを間引いた低解像度画像を撮像して被写体が検出され、被写体が検出された場合に、高解像度画像が撮像される。よって、例えば特許文献１に記載の技術が用いられる場合には、高解像度画像が常時撮像されるときよりも、撮像画像を示す画像データのデータ量を削減することができうる。
　しかしながら、例えば特許文献１に記載の技術のように、行または列の少なくともいずれかを間引いた低解像度画像を撮像する場合には、撮像デバイスの画角全体が撮像されるので、撮像画像を示す画像データのデータ量を十分に削減することができるとは限らない。
　本開示では、データ量を削減しつつ、被写体を含む撮像画像を得ることが可能な、新規かつ改良された制御装置、制御方法、およびプログラムを提案する。
　本開示によれば、撮像デバイスにおける撮像を制御する撮像制御部と、上記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出する検出部と、を備え、上記撮像制御部は、上記検出領域の撮像、または、上記撮像デバイスの画角内に設定されている取得領域の撮像を、上記撮像デバイスに行わせ、上記第１の撮像画像に基づき上記被写体が検出された場合に、上記取得領域の撮像を行わせる、制御装置が、提供される。
　また、本開示によれば、撮像デバイスにおける撮像を制御するステップと、上記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出するステップと、を有し、上記制御するステップでは、上記検出領域の撮像、または、上記撮像デバイスの画角内に設定されている取得領域の撮像を、上記撮像デバイスに行わせ、上記第１の撮像画像に基づき上記被写体が検出された場合に、上記取得領域の撮像を行わせる、制御装置により実行される制御方法が、提供される。
　また、本開示によれば、撮像デバイスにおける撮像を制御する機能、上記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出する機能、をコンピュータに実現させ、上記撮像を制御する機能は、上記検出領域の撮像、または、上記撮像デバイスの画角内に設定されている取得領域の撮像を、上記撮像デバイスに行わせ、上記第１の撮像画像に基づき上記被写体が検出された場合に、上記取得領域の撮像を行わせる、プログラムが、提供される。
　本開示によれば、データ量を削減しつつ、被写体を含む撮像画像を得ることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る検出領域と本実施形態に係る取得領域との第１の設定例を示す説明図である。 本実施形態に係る制御方法に係る処理の一例を説明するための説明図である。 本実施形態に係る制御方法に係る処理の一例を説明するための説明図である。 本実施形態に係る検出領域と本実施形態に係る取得領域との第２の設定例を示す説明図である。 本実施形態に係る検出領域と本実施形態に係る取得領域との第３の設定例を示す説明図である。 本実施形態に係る制御装置の構成の一例を示すブロック図である。 本実施形態に係る制御装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る制御装置のハードウェア構成の他の例を示す説明図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部１２０３１の設置位置の例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る制御方法
　　２．本実施形態に係る制御装置
　　３．本実施形態に係るプログラム
（本実施形態に係る制御方法）
　まず、本実施形態に係る制御方法について説明する。以下では、本実施形態に係る制御方法に係る処理を、本実施形態に係る制御装置が行う場合を例に挙げる。
［１］本実施形態に係る制御方法の概要
　上述したように、撮像デバイスを利用するシステムでは、被写体を含む撮像画像を得ると共に、撮像画像を示す画像データのデータ量を削減することが、望まれている。
　そこで、本実施形態に係る制御装置は、撮像デバイスにおける撮像を制御して、被写体の検出のための撮像（後述する検出領域の撮像）、または、被写体を含む撮像画像を得るための撮像（後述する取得領域の撮像）を、撮像デバイスに行わせる。
　本実施形態に係る制御装置は、例えば、被写体の検出のための撮像を撮像デバイスに行わせて、被写体の検出のための撮像により得られた撮像画像（第１の撮像画像）に基づき被写体を検出する。そして、本実施形態に係る制御装置は、被写体の検出のための撮像により得られた撮像画像に基づき被写体が検出された場合に、被写体を含む撮像画像を得るための撮像を行わせる。
　本実施形態に係る制御装置は、例えば、フレームごとに撮像を行わせる。
　例えば、本実施形態に係る制御装置は、被写体の検出のための撮像を、設定されている所定のフレームレートで行わせる。
　また、本実施形態に係る制御装置は、被写体の検出のための撮像が行われる一のフレームにおいて被写体が検出された場合に、次のフレームにおいて被写体を含む撮像画像を得るための撮像を行わせる。
　ここで、本実施形態に係る制御装置は、被写体の検出のための撮像から、被写体を含む撮像画像を得るための撮像へと切り替える場合には、所定の撮像遅延時間が経過した後に、被写体を含む撮像画像を得るための撮像を行わせる。本実施形態に係る所定の撮像遅延時間としては、予め設定されている撮像遅延時間、または、被写体の移動速度に基づく撮像遅延時間が、挙げられる。つまり、本実施形態に係る制御装置は、予め設定されている撮像遅延時間に対応する所定のタイミング、または、被写体の移動速度に基づくタイミングで、被写体を含む撮像画像を得るための撮像を行わせる。
　本実施形態に係る撮像デバイスとしては、例えば、撮像素子としてＣＭＯＳを有する撮像デバイスが挙げられる。本実施形態に係る撮像デバイスが有する撮像素子は、ＣＭＯＳのみで構成されていてもよいし、ＣＭＯＳにＣＣＤ（Charge　Coupled　Device）などの他の構成要素が積層されて構成される、スタック型の撮像素子であってもよい。
　なお、本実施形態に係る撮像デバイスは、上記に示す例に限られない。例えば、本実施形態に係る撮像デバイスとしては、グローバルシャッターに適用することが可能な、任意の撮像素子を有する撮像デバイスが、挙げられる。
　本実施形態に係る被写体の検出のための撮像としては、撮像デバイスの画角内の一部に設定されている検出領域の撮像が、挙げられる。本実施形態に係る検出領域は、被写体を検出するためのセンシング領域に該当する。
　後述するように、本実施形態に係る制御装置は、検出領域が撮像された撮像画像（第１の撮像画像）に基づき、被写体を検出する。つまり、本実施形態に係る検出領域は、検出領域が撮像された撮像画像に基づき被写体を検出することが可能な、撮像デバイスの画角内の一部における最小限の大きさの領域であればよい。本実施形態に係る検出領域としては、少なくとも被写体の一部を撮像することが可能な画角内の一部の領域が挙げられる。なお、本実施形態に係る制御装置における、被写体の出処については、後述する。
　具体例を挙げると、本実施形態に係る検出領域としては、例えば、撮像デバイスの画角内における１行～数行程度、または、１行～１０数行程度の領域が挙げられる。つまり、検出領域が撮像された撮像画像（第１の撮像画像）の画像データのデータ量は、単に、行または列の少なくともいずれかを間引いた撮像画像と比較しても、十分に小さいものとなる。
　ここで、本実施形態に係る画像データとしては、例えばＲＡＷデータが挙げられる。なお、本実施形態に係る画像データは、ＲＡＷデータが可逆圧縮されたデータなど、ＲＡＷデータに対して、撮像画像の利用目的に対応する任意の処理が行われたデータであってもよい。
　本実施形態に係る被写体を含む撮像画像を得るための撮像としては、撮像デバイスの画角内に設定されている取得領域の撮像が挙げられる。本実施形態に係る取得領域とは、例えば、撮像デバイスの画角全体の領域、または、被写体全体を撮像することが可能な、撮像デバイスの画角内の一部の領域である。
　後述するように、本実施形態に係る制御装置は、検出領域が撮像された撮像画像（第１の撮像画像）に基づき被写体が検出された場合に、取得領域の撮像を行わせる。つまり、取得領域が撮像された撮像画像（第２の撮像画像）には、被写体が含まれることとなる。
　本実施形態に係る制御装置は、例えば上記のように撮像デバイスにおける撮像を制御し、検出領域の撮像または取得領域の撮像を、撮像デバイスに行わせる。
　ここで、上述したように、検出領域は、少なくとも被写体の一部を撮像することが可能な画角内の一部の領域であればよいので、検出領域が撮像された撮像画像（第１の撮像画像）を示す画像データのデータ量の低減が図られる。
　また、上述したように、取得領域は、撮像デバイスの画角全体の領域、または、被写体全体を撮像することが可能な、撮像デバイスの画角内の一部の領域であるので、取得領域が撮像された撮像画像（第２の撮像画像）には、被写体が含まれることとなる。
　したがって、本実施形態に係る制御装置は、データ量を削減しつつ、被写体を含む撮像画像を得ることができる。
　また、本実施形態に係る制御方法が用いられる場合には、１つの撮像デバイスにおける撮像によって、被写体を含む撮像画像の取得が実現される。そのため、本実施形態に係る制御方法が用いられる場合には、複数の撮像デバイスにおける撮像により被写体を含む撮像画像を取得する場合と比較して、撮像遅延を小さくすることが可能である。よって、本実施形態に係る制御方法が用いられる場合には、複数の撮像デバイスにおける撮像により被写体を含む撮像画像を取得する場合よりも、移動速度が大きい被写体の画像を、より確実に取得することができる。
　なお、本実施形態に係る制御方法に係る処理は、上記に示す処理に限られない。
　例えば、本実施形態に係る制御装置は、制御している撮像デバイスにより撮像された撮像画像の出力を制御してもよい。
　本実施形態に係る制御装置における撮像画像の出力の制御としては、例えば、外部装置への撮像画像を示す画像データの送信の制御と、記録媒体への撮像画像を示す画像データの記録の制御との、一方または双方が挙げられる。
　撮像画像の出力の制御として上記送信の制御を行う場合、本実施形態に係る制御装置は、例えば、通信部（後述する）、または、本実施形態に係る制御装置に接続されている外部の通信デバイスにおける通信を制御して、画像データを外部装置に対して送信させる。また、撮像画像の出力の制御として上記記録の制御を行う場合、本実施形態に係る制御装置は、例えば、記憶部（後述する）、本実施形態に係る制御装置に接続されている外部の記録媒体、外部装置が備える記録媒体のうちの１または２以上に、記録命令を含む制御信号と画像データとを伝達する。
　本実施形態に係る制御装置は、例えば、検出領域が撮像された撮像画像（第１の撮像画像）に基づく被写体の検出結果に基づいて、取得領域が撮像された画像（第２の撮像画像）の出力を制御する。本実施形態に係る制御装置は、被写体が検出された場合に、取得領域が撮像された画像（第２の撮像画像）の出力を制御する。
　また、本実施形態に係る制御装置は、例えば、検出領域が撮像された撮像画像（第１の撮像画像）に基づく被写体の検出結果に基づいて、検出領域が撮像された撮像画像（第１の撮像画像）の出力を制御してもよい。また、検出領域が撮像された撮像画像（第１の撮像画像）の出力の制御は、例えば、本実施形態に係る制御装置のユーザなどの操作に基づいて、所定の動作モード（例えば、初期のセッティングを行うときや評価を行うときなどに設定される、テストモード、評価モードなど）が設定された場合に、行われてもよい。
［２］本実施形態に係る制御方法に係る処理の一例
　以下、本実施形態に係る検出領域と本実施形態に係る取得領域との設定例を挙げつつ、本実施形態に係る制御方法に係る処理の一例を説明する。
　本実施形態に係る検出領域と本実施形態に係る取得領域との設定例としては、例えば下記の（Ａ）～（Ｄ）に示す例が挙げられる。なお、本実施形態に係る検出領域と本実施形態に係る取得領域との設定例は、下記に示す例に限られない。例えば、撮像デバイスが、積層型の領域ＡＤＣ（Analog-to-Digital　Converter）を備える構成である場合には、垂直方向の長さが水平方向の長さよりも大きな領域などの、撮像デバイスの画角内に設定することが可能な任意の形状の領域を、検出領域として設定することが可能である。
（Ａ）検出領域と取得領域の第１の設定例
　図１は、本実施形態に係る検出領域と本実施形態に係る取得領域との第１の設定例を示す説明図である。図１は、撮像デバイスの画角全体の領域における、検出領域と取得領域との一例を示している。図１に示す“ＲＯＩ１”は、検出領域の一例に該当し、図１に示す“ＲＯＩ２”は、取得領域の一例に該当する。
　以下では、撮像デバイスの画角の一部の領域を、「ＲＯＩ」（Region　Of　Interest）と示す。また、以下では、検出領域を「検出領域ＲＯＩ１」と示し、取得領域を「取得領域ＲＯＩ２」と示す場合がある。なお、上述したように、取得領域は、撮像デバイスの画角の一部の領域に限られず、撮像デバイスの画角全体の領域であってもよい。
　本実施形態に係る制御装置は、検出領域ＲＯＩ１を撮像デバイスに撮像させ、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）に基づき、被写体を検出する。
　一のフレームにおける検出領域ＲＯＩ１が撮像された撮像画像に基づいて、被写体が検出されない場合には、本実施形態に係る制御装置は、次フレームにおいて、検出領域ＲＯＩ１を撮像させる。
　ここで、検出領域ＲＯＩ１は、上述したように、少なくとも被写体の一部を撮像することが可能な画角内の一部の領域であればよい。よって、本実施形態に係る制御装置は、例えば、取得領域を撮像する場合よりもフレームレートを上げて、検出領域ＲＯＩ１を撮像させる。
　また、一のフレームにおける検出領域ＲＯＩ１が撮像された撮像画像に基づいて、被写体が検出された場合には、本実施形態に係る制御装置は、次フレームにおいて、取得領域ＲＯＩ２を撮像させる。図１に示す第１の例では、本実施形態に係る制御装置は、予め設定されている撮像遅延時間に対応する、設定されている所定のタイミングで、取得領域の撮像を行わせる。
　検出領域と取得領域の第１の設定例では、例えば上記のように撮像デバイスにおける撮像が制御される。
　ここで、取得領域ＲＯＩ２の撮像は、検出領域ＲＯＩ１が撮像された撮像画像に基づいて被写体が検出された場合に、行われる。つまり、取得領域ＲＯＩ２の撮像は、検出領域ＲＯＩ１が撮像された撮像画像に基づく被写体の検出をトリガとして、自動的に行われる。
　また、上述したように、検出領域ＲＯＩ１は、少なくとも被写体の一部を撮像することが可能な画角内の一部の領域であればよいので、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）を示す画像データのデータ量の低減が図られる。
　また、上述したように、取得領域ＲＯＩ２は、撮像デバイスの画角全体の領域、または、被写体全体を撮像することが可能な、撮像デバイスの画角内の一部の領域であるので、取得領域ＲＯＩ２が撮像された撮像画像（第２の撮像画像）には、被写体が含まれることとなる。
　したがって、検出領域と取得領域の第１の設定例において、検出領域ＲＯＩ１の撮像または取得領域ＲＯＩ２の撮像が行われることによって、本実施形態に係る制御装置は、データ量を削減しつつ、被写体を含む撮像画像を得ることができる。
　図２は、本実施形態に係る制御方法に係る処理の一例を説明するための説明図であり、検出領域と取得領域の第１の設定例における処理の流れの一例を示している。図２のＡは、撮像デバイスにより撮像されるフレーム番号の一例を示しており、図２では、１番目のフレーム（図２に示す“Ｆｒａｍｅ１”）～５番目のフレーム（図２に示す“Ｆｒａｍｅ５”）、…を示している。図２のＢは、各フレームにおける、撮像デバイスにおける画角全体の領域と、被写体となりうる物体Ｏとの関係の一例を示している。図２のＣは、各フレームにおける、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）の一例を示している。そして、図２のＤは、取得領域ＲＯＩ２が撮像された撮像画像（第２の撮像画像）の一例を示している。
　図２は、物体Ｏが、撮像デバイスの画角内を通る経路を一定の速度で移動する場合における、本実施形態に係る制御方法に係る処理の流れの一例を示している。
　まず、本実施形態に係る制御装置は、フレームごとに、検出領域ＲＯＩ１の撮像を撮像デバイスに行わせ、検出領域ＲＯＩ１が撮像された撮像画像に基づき被写体を検出する処理を行う。
　ここで、１番目のフレーム（図２に示す“Ｆｒａｍｅ１”）、および２番目のフレーム（図２に示す“Ｆｒａｍｅ２”）では、図２のＢに示すように、物体Ｏは撮像デバイスの画角内に存在しない。このとき図２のＣに示すように、検出領域ＲＯＩ１が撮像された撮像画像には、物体Ｏは含まれないので、本実施形態に係る制御装置は、後述する被写体の検出処理を行うことによって、当該撮像画像から被写体が検出されたと判定しない。
　検出領域ＲＯＩ１が撮像された撮像画像から被写体が検出されたと判定されない場合、本実施形態に係る制御装置は、例えば、検出領域ＲＯＩ１が撮像された撮像画像を示す画像データを出力させない。なお、上述したように、検出領域ＲＯＩ１が撮像された撮像画像から被写体が検出されたと判定されない場合において、本実施形態に係る制御装置は、検出領域ＲＯＩ１が撮像された撮像画像を示す画像データを出力させてもよい。
　また、３番目のフレーム（図２に示す“Ｆｒａｍｅ３”）では、図２のＢに示すように、物体Ｏは撮像デバイスの画角内における検出領域ＲＯＩ１に存在する。ここで、本実施形態に係る制御装置は、上述したように検出領域ＲＯＩ１の撮像のフレームレートを上げることが可能であるので、図２の３番目のフレームに示すような物体Ｏが検出領域ＲＯＩ１に存在する状況を実現することが、可能である。
　このとき図２のＣに示すように、検出領域ＲＯＩ１が撮像された撮像画像には、物体Ｏが含まれるので、本実施形態に係る制御装置は、後述する被写体の検出処理を行うことによって、当該撮像画像から被写体が検出されたと判定する。
　検出領域ＲＯＩ１が撮像された撮像画像から被写体が検出されたと判定された場合、本実施形態に係る制御装置は、例えば、検出領域ＲＯＩ１が撮像された撮像画像を示す画像データを出力させない。なお、上述したように、検出領域ＲＯＩ１が撮像された撮像画像から被写体が検出されたと判定された場合において、本実施形態に係る制御装置は、検出領域ＲＯＩ１が撮像された撮像画像を示す画像データを出力させてもよい。
　３番目のフレーム（図２に示す“Ｆｒａｍｅ３”）において被写体が検出されたと判定されると、次フレームである４番目のフレーム（図２に示す“Ｆｒａｍｅ４”）では、本実施形態に係る制御装置は、取得領域ＲＯＩ２の撮像を撮像デバイスに行わせる。本実施形態に係る制御装置は、予め設定されている撮像遅延時間に対応する、設定されている所定のタイミングで、取得領域ＲＯＩ２の撮像を行わせる。
　このとき図２のＤに示すように、取得領域ＲＯＩ２が撮像された撮像画像には、物体Ｏが含まれる。本実施形態に係る制御装置は、例えば、取得領域ＲＯＩ２が撮像された撮像画像（第２の撮像画像）を示す画像データを出力させる。
　４番目のフレーム（図２に示す“Ｆｒａｍｅ４”）において取得領域ＲＯＩ２の撮像を撮像デバイスに行わせると、次フレームである５番目のフレーム（図２に示す“Ｆｒａｍｅ５”）では、本実施形態に係る制御装置は、１番目のフレームと同様に、フレームごとに、検出領域ＲＯＩ１の撮像を撮像デバイスに行わせる。そして、本実施形態に係る制御装置は、検出領域ＲＯＩ１が撮像された撮像画像に基づき被写体を検出する処理を行う。
　６番目のフレーム以降のフレームでは、図２に示す１番目のフレーム以降と同様の処理が行われる。
　図３は、本実施形態に係る制御方法に係る処理の一例を説明するための説明図であり、図２に示す本実施形態に係る制御方法に係る処理の流れを、別の観点から示している。図２では、本実施形態に係る制御装置による撮像デバイスの制御により実現される、検出領域ＲＯＩ１における撮像デバイスの動作と、取得領域ＲＯＩ２における撮像デバイスの動作との一例を示している。
　図３に示す“ＸＶＳ”は、撮像デバイスにおける垂直同期信号を示している。図３に示す例では、垂直同期信号ＶＭＡＸ２により検出領域ＲＯＩ１の撮像が行われる。また、図３に示す例では、垂直同期信号ＶＭＡＸにより取得領域ＲＯＩ２の撮像が行われる。
　図３に示す“Ｒｅａｄ”は、検出領域ＲＯＩ１または取得領域ＲＯＩ２に対応する撮像デバイスの各画素から光電変換に応じた信号を読み出す読み出し期間を示している。また、図３に示す“ＳＨＳ”は、検出領域ＲＯＩ１における撮像デバイスのシャッタの設定を行う期間を示しており、図３に示す“ＳＨＳ２”は、取得領域ＲＯＩ２における撮像デバイスのシャッタの設定を行う期間を示している。
　図３に示す“露光”は、撮像デバイスにおける露光期間を示している。ここで、図３では、検出領域ＲＯＩ１を撮像する場合における露光期間と、取得領域ＲＯＩ２を撮像する場合における露光期間とが、同一である例を示している。図３において、検出領域ＲＯＩ１を撮像する場合における露光期間と取得領域ＲＯＩ２を撮像する場合における露光期間とを同一としている理由は、１つの撮像デバイスにより検出領域ＲＯＩ１と取得領域ＲＯＩ２とを撮像する場合、撮像に係るライティング条件が同一であると考えられるためである。
　なお、本実施形態に係る制御装置は、例えば、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）に基づく被写体の検出結果や、撮像デバイス周辺の環境の検出結果などに基づいて、検出領域ＲＯＩ１を撮像する場合における露光期間と取得領域ＲＯＩ２を撮像する場合における露光期間とを、変えてもよい。
　本実施形態に係る制御装置は、例えば、検出領域ＲＯＩ１が撮像された撮像画像に基づいて被写体が検出された場合に、取得領域ＲＯＩ２を撮像する場合における露光期間を、検出領域ＲＯＩ１を撮像する場合における露光期間から変える。また、本実施形態に係る制御装置は、例えば、撮像デバイス周辺の輝度または照度の検出結果（撮像デバイス周辺の環境の検出結果の一例）に基づいて、当該検出結果に応じた露光時間を設定させる。上記撮像デバイス周辺の輝度または照度は、輝度センサや照度センサなどの環境をセンシングすることが可能なセンサによって、取得される。
　例えば図３に示すように、本実施形態に係る制御装置は、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）に基づく被写体の検出結果に基づいて、検出領域ＲＯＩ１の撮像と取得領域ＲＯＩ２の撮像とを切り替えて行わせる。
　なお、図３では、本実施形態に係る制御装置が、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）を出力させる例を示しているが、上述したように、本実施形態に係る制御装置は、検出領域ＲＯＩ１が撮像された撮像画像を出力させなくてもよい。
　検出領域と取得領域の第１の設定例では、本実施形態に係る制御装置は、例えば図２を参照して示したような処理を行う。また、検出領域と取得領域の第１の設定例では、本実施形態に係る制御装置による処理によって、例えば図３を参照して示したような撮像デバイスの動作が、実現される。
（Ｂ）検出領域と取得領域の第２の設定例
　上記検出領域と取得領域の第１の設定例では、検出領域と取得領域とが１つずつ設定される例を示したが、本実施形態に係る検出領域と取得領域の設定例は、上記第１の設定例に限られない。
　例えば、本実施形態に係る検出領域ＲＯＩ１は、複数の検出領域が独立に設定されていてもよい。複数の検出領域が独立に設定されている場合、本実施形態に係る制御装置は、複数の検出領域それぞれに対応する、検出領域が撮像された撮像画像（第１の撮像画像）に基づいて、複数の検出領域ごとに、被写体を検出する。複数の検出領域それぞれにおける被写体の検出処理は、上記検出領域と取得領域の第１の設定例における処理と同様である。
　また、複数の検出領域が独立に設定される場合、本実施形態に係る取得領域ＲＯＩ２は、複数の検出領域ごとに設定される。複数の検出領域ごとに取得領域が設定される場合、本実施形態に係る制御装置は、被写体が検出された検出領域に対応する取得領域の撮像を、撮像デバイスに行わせる。被写体が検出された検出領域に対応する取得領域の撮像の制御に係る処理は、上記検出領域と取得領域の第１の設定例における処理と同様である。
　図４は、本実施形態に係る検出領域と本実施形態に係る取得領域との第２の設定例を示す説明図である。図４は、“撮像デバイスの画角全体の領域において、複数の検出領域が独立に設定され、複数の検出領域ごとに取得領域が設定される例”を示している。図４に示す“ＲＯＩ１－１”、“ＲＯＩ１－２”、および“ＲＯＩ１－３”は、独立に設定される複数の検出領域の一例に該当する。また、図４に示す“ＲＯＩ２－１”は検出領域ＲＯＩ１－１に対応する取得領域を示している。また、また、図４に示す“ＲＯＩ２－２”は検出領域ＲＯＩ１－２に対応する取得領域を示しており、図４に示す“ＲＯＩ２－３”は検出領域ＲＯＩ１－３に対応する取得領域を示している。
　図４に示すように検出領域と取得領域とが設定される場合、本実施形態に係る制御装置は、複数の検出領域ＲＯＩ１－１、ＲＯＩ１－２、ＲＯＩ１－３それぞれに対応する、検出領域が撮像された撮像画像（第１の撮像画像）に基づいて、複数の検出領域ＲＯＩ１－１、ＲＯＩ１－２、ＲＯＩ１－３ごとに、被写体を検出する。そして、本実施形態に係る制御装置は、複数の取得領域ＲＯＩ２－１、ＲＯＩ２－２、ＲＯＩ２－３のうち、被写体が検出された検出領域に対応する取得領域の撮像を、撮像デバイスに行わせる。
　検出領域と取得領域の第２の設定例では、本実施形態に係る制御装置は、検出領域と取得領域との組み合わせごとに、上記検出領域と取得領域の第１の設定例における処理と同様の処理を行う。
　したがって、検出領域と取得領域の第２の設定例において、検出領域の撮像または取得領域の撮像が行われることによって、本実施形態に係る制御装置は、データ量を削減しつつ、被写体を含む撮像画像を得ることができる。
　また、検出領域と取得領域の第２の設定例では、例えば図４に示すように、検出領域の大きさと取得領域の大きさとは、上記検出領域と取得領域の第１の設定例よりも小さくなる。よって、検出領域と取得領域の第２の設定例では、上記検出領域と取得領域の第１の設定例よりもデータ量を削減することが、可能である。
（Ｃ）検出領域と取得領域の第３の設定例
　上記検出領域と取得領域の第２の設定例では、複数の検出領域が独立に設定される例を示したが、複数の検出領域を設定する例は、上記第２の設定例に限られない。
　例えば、撮像デバイスの画角内には、検出領域ＲＯＩ１として、第１の検出領域と、第１の検出領域に対応する第２の検出領域とが設定されていてもよい。ここで、本実施形態に係る第２の検出領域とは、例えば後述するように、被写体の移動速度を求めるために設定される検出領域である。
　上記のように、第１の検出領域および第２の検出領域という検出領域の組が設定される場合、本実施形態に係る制御装置は、第１の検出領域に対応する撮像画像（第１の撮像画像）および、第２の検出領域に対応する撮像画像（第１の撮像画像）それぞれに基づいて、被写体を検出する。第１の検出領域および第２の検出領域それぞれにおける被写体の検出処理は、上記検出領域と取得領域の第１の設定例における処理と同様である。
　また、本実施形態に係る制御装置は、第１の検出領域および第２の検出領域それぞれにおける被写体の検出結果に基づいて、被写体の移動速度を検出する。被写体の移動速度は、例えば、“撮像デバイスの画角内における第１の検出領域と第２の検出領域との位置に基づく、第１の検出領域と第２の検出領域との距離”と、“第１の検出領域において被写体が検出されてから第２の検出領域において被写体が検出されるまでの時間”とによって、求められる。
　そして、本実施形態に係る制御装置は、検出された移動速度に基づくタイミングで、取得領域ＲＯＩ２の撮像を行わせる。被写体が検出された第１の検出領域に対応する取得領域の撮像の制御に係る処理は、上記検出領域と取得領域の第１の設定例における処理と、基本的に同様である。より具体的には、検出領域と取得領域の第３の設定例における取得領域の撮像と、検出領域と取得領域の第１の設定例における取得領域の撮像とは、取得領域ＲＯＩ２の撮像を行わせるタイミングが異なる以外は、同様である。
　図５は、本実施形態に係る検出領域と本実施形態に係る取得領域との第３の設定例を示す説明図である。図５は、“撮像デバイスの画角全体の領域において、２つの検出領域からなる検出領域の組が設定され、検出領域の組に対して取得領域が設定される例”を示している。図５に示す“ＲＯＩ１－１”および“ＲＯＩ１－２”は、上記検出領域の組の一例に該当する。また、図５に示す“ＲＯＩ２”は、検出領域ＲＯＩ１－１および検出領域ＲＯＩ１－２からなる検出領域の組に対応する取得領域を示している。
　図５に示すように検出領域と取得領域とが設定される場合、本実施形態に係る制御装置は、検出領域ＲＯＩ１－１が撮像された撮像画像（第１の撮像画像）に基づいて、被写体を検出する。また、本実施形態に係る制御装置は、検出領域ＲＯＩ１－１が撮像された撮像画像（第１の撮像画像）および検出領域ＲＯＩ１－２が撮像された撮像画像（第１の撮像画像）に基づいて、被写体の移動速度を検出する。
　そして、本実施形態に係る制御装置は、検出領域ＲＯＩ１－１が撮像された撮像画像（第１の撮像画像）に基づいて被写体が検出された場合に、検出された上記被写体の移動速度に基づく撮像遅延時間に対応するタイミングで、取得領域ＲＯＩ２の撮像を、撮像デバイスに行わせる。本実施形態に係る制御装置は、例えば、移動速度と撮像遅延時間とが対応付けられているテーブル（またはデータベース）を利用することによって、被写体の移動速度に基づく撮像遅延時間を特定する。
　検出領域と取得領域の第３の設定例では、本実施形態に係る制御装置は、検出領域の組と取得領域とに対して、上記検出領域と取得領域の第１の設定例における処理と基本的に同様の処理を行う。
　したがって、検出領域と取得領域の第３の設定例において、検出領域ＲＯＩ１（第１の検出領域および第２の検出領域）の撮像または取得領域ＲＯＩ２の撮像が行われることによって、本実施形態に係る制御装置は、データ量を削減しつつ、被写体を含む撮像画像を得ることができる。
　また、検出領域と取得領域の第３の設定例において、取得領域ＲＯＩ２の撮像は、検出された被写体の移動速度に基づくタイミングで行われる。よって、検出領域と取得領域の第３の設定例では、検出対象となる被写体の移動速度が、被写体ごとに異なる場合であっても、被写体を含む撮像画像をより確実に得ることができる。
（Ｄ）検出領域と取得領域の第４の設定例
　検出領域と取得領域との設定例は、上記検出領域と取得領域の第２の設定例と、上記検出領域と取得領域の第３の設定例との組み合わせであってもよい。検出領域と取得領域の第４の設定例としては、例えば、図４に示す検出領域ＲＯＩ１－１～検出領域ＲＯＩ１－３ごとに、さらに、第２の検出領域が設定される例が、挙げられる。
（本実施形態に係る制御装置）
　次に、上述した本実施形態に係る制御方法に係る処理を行うことが可能な本実施形態に係る制御装置の構成の一例を説明しつつ、本実施形態に係る制御方法に係る処理について、より具体的に説明する。
　図６は、本実施形態に係る制御装置１００の構成の一例を示すブロック図である。制御装置１００は、例えば、撮像部１０２と、撮像制御部１０４と、検出部１０６と、出力制御部１０８とを備える。
　また、制御装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read　Only　Memory。図示せず）、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。制御装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　制御部（図示せず）は、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、制御装置１００全体を制御する。また、制御部（図示せず）は、制御装置１００において、例えば、撮像制御部１０４、検出部１０６、および出力制御部１０８のうちの１または２以上の役目を果たしてもよい。
　なお、撮像制御部１０４、検出部１０６、および出力制御部１０８のうちの１または２以上は、撮像制御部１０４、検出部１０６、および出力制御部１０８それぞれの処理を実現可能な専用の（または汎用の）回路（例えば、制御部（図示せず）とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、制御装置１００が備える記憶手段であり、例えば、移動速度と撮像遅延時間とが対応付けられているテーブル（またはデータベース）などの、本実施形態に係る制御方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。
　ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、制御装置１００から着脱可能であってもよい。
　通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［制御装置１００のハードウェア構成例］
　図７は、本実施形態に係る制御装置１００のハードウェア構成の一例を示す説明図である。
　制御装置１００は、例えば、撮像デバイス１５０と、同期信号生成回路１５２と、トリガ調整回路１５４と、検出回路１５６と、出力制御回路１５８とを有する。また、制御装置１００は、例えば、制御装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
　撮像デバイス１５０は、撮像部１０２として機能する。撮像デバイス１５０は、例えば、光学系のレンズ（図示せず）と、ＣＭＯＳなどの撮像素子（図示せず）と、撮像素子（図示せず）に対応する画素回路１６０と、ドライバ１６２と、アナログ・デジタル変換回路１６４Ａ、１６４Ｂとを有する。
　画素回路１６０は、例えば、フォトダイオードなどの受光素子やトランジスタ、容量素子などで構成され、ドライバ１６２から伝達される信号によって、各画素における光電変換に応じた信号電荷の蓄電や、各画素の初期化などが行われる。上記トランジスタとしては、例えば、バイポーラトランジスタや、ＴＦＴ（Thin　Film　Transistor）やＭＯＳＦＥＴ（Metal-Oxide-Semiconductor Field　Effect　Transistor）などのＦＥＴ（Field-Effect　Transistor）などが、挙げられる。また、容量素子としては、キャパシタなどが挙げられる。
　ドライバ１６２は、画素回路１６０に対して信号を伝達することによって、画素回路を駆動させる。
　アナログ・デジタル変換回路１６４Ａ、１６４Ｂそれぞれは、各画素から光電変換に応じたアナログ信号をデジタル信号（画像データ）に変換する。
　撮像デバイス１５０は、例えば上記のような構成を有する。なお、撮像デバイス１５０の構成は上記に示す例に限られず、撮像デバイス１５０は、ＡＧＣ（Automatic　Gain　Control）回路などを備えていてもよい。
　同期信号生成回路１５２とトリガ調整回路１５４とは、撮像制御部１０４として機能する。制御装置１００では、例えば、制御部（図示せず）を構成するプロセッサが、同期信号生成回路１５２およびトリガ調整回路１５４それぞれとして機能してもよいし、制御部（図示せず）を構成するプロセッサとは別体の回路として、同期信号生成回路１５２とトリガ調整回路１５４とが備えられていてもよい。
　同期信号生成回路１５２は、撮像開始タイミングを制御する役目を果たし、撮像開始タイミングを制御する信号を、トリガ調整回路１５４に伝達する。一例を挙げると、同期信号生成回路１５２が制御する取得領域ＲＯＩ２の撮像開始タイミングとしては、例えば、予め設定されている撮像遅延時間に対応する所定のタイミング、または、検出回路１５６の検出結果に基づく被写体の移動速度に基づくタイミングが、挙げられる。
　トリガ調整回路１５４は、検出領域ＲＯＩ１および取得領域ＲＯＩ２それぞれにおける撮像を制御する役目を果たす。トリガ調整回路１５４は、ドライバ１６２に対して制御信号を伝達することによって、検出領域ＲＯＩ１および取得領域ＲＯＩ２それぞれにおける撮像を制御する。
　検出回路１５６は、検出部１０６として機能する。検出回路１５６は、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）に基づいて、被写体を検出する。検出回路１５６は、例えば、トリガ調整回路１５４から伝達される信号によって、検出領域ＲＯＩ１が撮像されたことを認識する。制御装置１００では、例えば、制御部（図示せず）を構成するプロセッサが、検出回路１５６として機能してもよいし、制御部（図示せず）を構成するプロセッサとは別体の回路として、検出回路１５６が備えられていてもよい。
　具体的には、検出回路１５６は、例えば下記の（ａ）に示す第１の例に係る検出処理、または、下記の（ｂ）に示す第２の例に係る検出処理を行うことによって、被写体を検出する。
（ａ）検出処理の第１の例
　検出回路１５６は、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）と、設定されている閾値との比較結果に基づいて、被写体を検出する。設定されている閾値としては、例えば、閾値ＴＨ１（第１の閾値）と、閾値ＴＨ１よりも小さな閾値ＴＨ２（第２の閾値）との一方または双方が挙げられる。
　閾値ＴＨ１と閾値ＴＨ２とは、予め設定されている固定の閾値であってもよいし、制御装置１００のユーザの操作などに基づいて変更可能な可変値であってもよい。また、閾値ＴＨ１や閾値ＴＨ２、後述する閾値ＴＨ３～ＴＨ５などの本実施形態に係る閾値ＴＨは、例えば、レジスタなどの記録媒体に記憶される。
（ａ－１）閾値ＴＨ１を用いた被写体の検出処理
　検出回路１５６は、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）が、閾値ＴＨ１（第１の閾値）よりも大きい画素数、または、当該撮像画像の画素値が閾値ＴＨ１以上である画素数をカウントする。
　ここで、撮像デバイス１５０の各画素が、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）に対応するサブ画素を有する場合には、検出回路１５６は、Ｇ画素の画素値（例えばＧｒ、Ｇｂの合算値）に基づいて、画素数をカウントする。検出回路１５６が、Ｇ画素の画素値を利用する理由は、下記の通りである。なお、検出回路１５６が、色別にカウントを行った上で、被写体の検出に係る判定を行うことが可能であることは、言うまでもない。
　　・色別にカウントを行うと、後述する判定に係る処理が複雑となり、誤判定が生じる可能性が高まる。
　　・Ｇの光は、他の光と比較して波長が広帯域であり、感度も高いので、Ｇ画素の画素値を利用すれば、後述する判定に係る処理において十分な精度の判定が可能である。
　そして、検出回路１５６は、カウントされた画素数と、設定されている閾値ＴＨ３（第３の閾値）との比較結果に基づいて、被写体が検出されたかを判定することによって、被写体を検出する。閾値ＴＨ３は、予め設定されている固定の閾値であってもよいし、制御装置１００のユーザの操作などに基づいて変更可能な可変値であってもよい。
　より具体的には、検出回路１５６は、カウントされた画素数が閾値ＴＨ３（第３の閾値）よりも大きい場合、または、当該画素数が閾値ＴＨ３以上である場合に、被写体が検出されたと判定する。また、検出回路１５６は、カウントされた画素数が閾値ＴＨ３以下である場合、または、当該画素数が閾値ＴＨ３より小さい場合には、被写体が検出されたと判定しない。
（ａ－２）閾値ＴＨ２を用いた被写体の検出処理
　検出回路１５６は、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）が、閾値ＴＨ２（第２の閾値）よりも小さい画素数、または、当該撮像画像の画素値が閾値ＴＨ２以上である画素数をカウントする。
　ここで、撮像デバイス１５０の各画素が、Ｒ、Ｇ、Ｂに対応するサブ画素を有する場合には、検出回路１５６は、Ｇ画素の画素値（例えばＧｒ、Ｇｂの合算値）に基づいて、画素数をカウントする。なお、検出回路１５６が、色別にカウントを行った上で、被写体の検出に係る判定を行うことが可能であることは、言うまでもない。
　そして、検出回路１５６は、カウントされた画素数と、設定されている閾値ＴＨ４（第４の閾値）との比較結果に基づいて、被写体が検出されたかを判定することによって、被写体を検出する。閾値ＴＨ４は、予め設定されている固定の閾値であってもよいし、制御装置１００のユーザの操作などに基づいて変更可能な可変値であってもよい。また、閾値ＴＨ４と閾値ＴＨ３とは、同一の値であってもよいし、異なっていてもよい。
　より具体的には、検出回路１５６は、カウントされた画素数が閾値ＴＨ４（第４の閾値）よりも大きい場合、または、当該画素数が閾値ＴＨ４以上である場合に、被写体が検出されたと判定する。また、検出回路１５６は、カウントされた画素数が閾値ＴＨ４以下である場合、または、当該画素数が閾値ＴＨ４より小さい場合には、被写体が検出されたと判定しない。
（ａ－３）閾値ＴＨ１および閾値ＴＨ２を用いた被写体の検出処理
　検出回路１５６は、上記（ａ－１）に示す処理と上記（ａ－２）に示す処理とをそれぞれ行う。そして、検出回路１５６は、上記（ａ－１）に示す処理と上記（ａ－２）に示す処理とのうちの少なくとも一方の処理において被写体が検出されたと判定されたときに、被写体が検出されたと判定する。
（ｂ）検出処理の第２の例
　検出回路１５６は、“現フレームにおける検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）の画素値、および前フレームにおける検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）の画素値に基づく判定値”と、設定されている閾値ＴＨ５（第５の閾値）との比較結果に基づいて、被写体を検出する。
　上記判定値としては、例えば、現フレームにおける検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）の画素値と、前フレームにおける検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）の画素値との差分値の合計値が挙げられる。また、上記判定値は、上記差分値の平均値であってもよい。
　また、閾値ＴＨ５は、予め設定されている固定の閾値であってもよいし、制御装置１００のユーザの操作などに基づいて変更可能な可変値であってもよい。
　より具体的には、検出回路１５６は、上記判定値が閾値ＴＨ５（第５の閾値）よりも大きい場合、または、上記判定値が閾値ＴＨ５以上である場合に、被写体が検出されたと判定する。また、検出回路１５６は、上記判定値が閾値ＴＨ４以下である場合、または、上記判定値が閾値ＴＨ５より小さい場合には、被写体が検出されたと判定しない。
　検出回路１５６は、例えば下記の（ａ）に示す第１の例に係る検出処理、または、上記（ｂ）に示す第２の例に係る検出処理を行うことによって、被写体を検出する。
　出力制御回路１５８は、出力制御部１０８として機能する。出力制御回路１５８は、撮像デバイス１５０により撮像された撮像画像の出力を制御する。制御装置１００では、例えば、制御部（図示せず）を構成するプロセッサが、出力制御回路１５８として機能してもよいし、制御部（図示せず）を構成するプロセッサとは別体の回路として、出力制御回路１５８が備えられていてもよい。
　出力制御回路１５８は、例えば、検出回路１５６における被写体の検出結果に基づいて、取得領域ＲＯＩ２が撮像された撮像画像（第２の撮像画像）の出力を制御する。出力制御回路１５８は、例えば、検出回路１５６から被写体が検出されたことを示す信号が伝達されたときに、取得領域ＲＯＩ２が撮像された撮像画像を出力させる。
　また、出力制御回路１５８は、検出回路１５６における被写体の検出結果に基づいて、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）の出力を制御してもよい。出力制御回路１５８は、例えば、例えば、検出回路１５６から被写体が検出されないことを示す信号が伝達されたときに、検出領域ＲＯＩ１が撮像された撮像画像を出力させる。
　制御装置１００は、例えば図７に示す構成によって、本実施形態に係る制御方法に係る処理を行う。
　なお、本実施形態に係る制御装置１００のハードウェア構成は、図７に示す構成に限られない。
　図８は、本実施形態に係る制御装置１００のハードウェア構成の他の例を示す説明図である。
　制御装置１００は、例えば、ＭＰＵ１７０と、ＲＯＭ１７２と、ＲＡＭ１７４と、記録媒体１７６と、入出力インタフェース１７８と、操作入力デバイス１８０と、表示デバイス１８２と、通信インタフェース１８４と、撮像デバイス１８６とを備える。また、制御装置１００は、例えば、データの伝送路としてのバス１８８で各構成要素間を接続する。また、制御装置１００は、例えば、制御装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
　ＭＰＵ１７０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、制御装置１００全体を制御する制御部（図示せず）として機能する。また、ＭＰＵ１７０は、制御装置１００において、例えば、撮像制御部１０４、検出部１０６、および出力制御部１０８の役目を果たす。
　なお、撮像制御部１０４、検出部１０６、および出力制御部１０８のうちの１または２以上は、撮像制御部１０４、検出部１０６、および出力制御部１０８それぞれの処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１７０とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ１７２は、ＭＰＵ１７０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１７４は、例えば、ＭＰＵ１７０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１７６は、記憶部（図示せず）として機能し、例えば、移動速度と撮像遅延時間とが対応付けられているテーブル（またはデータベース）などの、本実施形態に係る制御方法に係るデータや、各種アプリケーションなどの様々なデータを記憶する。ここで、記録媒体１７６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１７６は、制御装置１００から着脱可能であってもよい。
　入出力インタフェース１７８は、例えば、操作入力デバイス１８０や、表示デバイス１８２を接続する。操作入力デバイス１８０は、操作部（図示せず）として機能し、また、表示デバイス１８２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１７８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　操作入力デバイス１８０は、例えば、制御装置１００上に備えられ、制御装置１００の内部で入出力インタフェース１７８と接続される。操作入力デバイス１８０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
　表示デバイス１８２は、例えば、制御装置１００上に備えられ、制御装置１００の内部で入出力インタフェース１７８と接続される。表示デバイス１８２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。
　なお、入出力インタフェース１７８が、制御装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１８２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１８４は、制御装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像デバイスや外部の記録媒体などの外部のデバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部（図示せず）として機能する。ここで、通信インタフェース１８４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。
　撮像デバイス１８６は、撮像により撮像画像（動画像または静止画像）を生成する撮像部（図示せず）として機能する。
　撮像デバイス１８６としては、例えば図７を参照して説明した撮像デバイス１５０（変形例に係る構成も含む。）が挙げられる。
　制御装置１００は、例えば図８に示す構成によって、本実施形態に係る制御方法に係る処理を行う。
　なお、本実施形態に係る制御装置１００のハードウェア構成は、図７、図８に示す構成に限られない。
　例えば、制御装置１００が、外部の撮像デバイスを制御し、当該外部の撮像デバイスにより撮像された撮像画像に基づき処理を行う場合には、制御装置１００は、図８に示す撮像デバイス１８６を備えない構成をとることが可能である。
　また、制御装置１００は、例えば、図８に示す記録媒体１７６、操作入力デバイス１８０、表示デバイス１８２、および通信インタフェース１８４のうちの１または２以上を備えない構成をとることが可能である。
　また、例えば、図８に示す構成（または変形例に係る構成）は、１または２以上のＩＣ（Integrated　Circuit）で実現されてもよい。
　再度図６を参照して、制御装置１００の構成の一例について説明する。
［１］撮像部１０２
　撮像部１０２は、撮像デバイスを有し、撮像により撮像画像を生成する。撮像部１０２が有する撮像デバイスとしては、例えば図７を参照して説明した撮像デバイス１５０（変形例に係る構成も含む。）が挙げられる。
［２］撮像制御部１０４
　撮像制御部１０４は、撮像デバイスにおける撮像を制御する。図６では、撮像制御部１０４が制御する対象の撮像デバイスが、撮像部１０２が有する撮像デバイスである例を示している。なお、撮像制御部１０４が制御する対象の撮像デバイスは、制御装置１００の外部の撮像デバイスであってもよい。
　撮像制御部１０４は、検出領域ＲＯＩ１の撮像、または、取得領域ＲＯＩ２の撮像を、撮像デバイスに行わせる。撮像制御部１０４は、検出部１０６において検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）に基づき被写体が検出された場合に、取得領域ＲＯＩ２の撮像を行わせる。
　より具体的には、撮像制御部１０４は、例えばフレームごとに、検出領域ＲＯＩ１の撮像を行わせる。そして、撮像制御部１０４は、検出領域ＲＯＩ１の撮像が行われる一のフレームにおいて被写体が検出された場合に、次のフレームにおいて取得領域ＲＯＩ２の撮像を行わせる。
　具体例を挙げると、撮像制御部１０４は、例えば、上記（Ａ）に示す検出領域と取得領域の第１の設定例～上記（Ｄ）に示す検出領域と取得領域の第４の設定例を参照して示したように、検出領域ＲＯＩ１の撮像と取得領域ＲＯＩ２の撮像とを行わせる。
［３］検出部１０６
　検出部１０６は、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）に基づいて、被写体を検出する。検出部１０６は、例えば、上記（ａ）に示す第１の例に係る検出処理、または、上記（ｂ）に示す第２の例に係る検出処理を行うことによって、被写体を検出する。
［４］出力制御部１０８
　出力制御部１０８は、撮像部１０２を構成する撮像デバイスなどの、制御している対象の撮像デバイスにより撮像された撮像画像の出力を制御する。
　出力制御部１０８における撮像画像の出力の制御としては、例えば、外部装置への撮像画像を示す画像データの送信の制御と、記憶部（図示せず）などの記録媒体への撮像画像を示す画像データの記録の制御との、一方または双方が挙げられる。
　撮像画像を示す画像データを外部装置へ送信させる場合、出力制御部１０８は、例えば、当該画像データと送信命令とを含む信号（図６に示す出力信号）を、通信部（後述する）、または、制御装置１００に接続されている外部の通信デバイスに伝達する。
　また、撮像画像を示す画像データを記録媒体に記録させる場合、出力制御部１０８は、例えば、当該画像データと記録命令とを含む信号（図６に示す出力信号）を、記憶部（後述する）と制御装置１００に接続されている外部の記録媒体との一方または双方に伝達する。
　また、撮像画像を示す画像データを記録媒体に記録させる場合には、出力制御部１０８は、例えば、当該画像データ、送信命令、および記録命令を含む信号（図６に示す出力信号）を、通信部（後述する）などに伝達して、当該画像データおよび記録命令を含む信号を、外部装置に対して送信させてもよい。撮像画像を示す画像データ、送信命令、および記録命令を含む信号を、通信部（後述する）などに伝達して、外部装置に対して当該画像データおよび記録命令を含む信号をさせることによって、外部装置が備える記録媒体への画像データの記録が実現される。
　出力制御部１０８は、例えば、検出部１０６における被写体の検出結果に基づいて、取得領域ＲＯＩ２が撮像された撮像画像（第２の撮像画像）の出力を制御する。出力制御部１０８は、例えば、検出部１０６から被写体が検出されたことを示す信号が伝達されたときに、取得領域ＲＯＩ２が撮像された撮像画像を出力させる。
　また、出力制御部１０８は、検出部１０６における被写体の検出結果に基づいて、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）の出力を制御してもよい。出力制御部１０８は、例えば、例えば、検出部１０６から被写体が検出されないことを示す信号が伝達されたときに、検出領域ＲＯＩ１が撮像された撮像画像を出力させる。
　制御装置１００は、例えば図６に示す構成によって、本実施形態に係る制御方法に係る処理を行う。
　なお、本実施形態に係る制御装置の構成は、図６に示す構成に限られない。
　例えば、本実施形態に係る制御装置が、外部の撮像デバイスにおける撮像を制御して、当該外部の撮像デバイスにより撮像された撮像画像に基づき、被写体を含む撮像画像を取得する場合には、本実施形態に係る制御装置は、図６に示す撮像部１０２を備えていなくてもよい。
　また、例えば、本実施形態に係る制御装置は、図６に示す出力制御部１０８を備えない構成をとることも可能である。図６に示す出力制御部１０８を備えない構成であっても、本実施形態に係る制御装置は、検出領域ＲＯＩ１が撮像された撮像画像（第１の撮像画像）に基づき被写体が検出された場合に、取得領域ＲＯＩ２の撮像を、撮像デバイスに行わせることができる。よって、図６に示す出力制御部１０８を備えない構成であっても、本実施形態に係る制御装置は、データ量を削減しつつ、被写体を含む撮像画像を得ることができる。
［５］本実施形態に係る制御装置の適用例
　以上、本実施形態として、制御装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、工場や物流システムなどで利用される産業用カメラや、ＩＴＳにおいて利用されるカメラ、防犯カメラなどの、定点に設置されて用いられる撮像デバイスを備える撮像装置に適用することができる。また、本実施形態は、ＰＣ（Personal　Computer）やサーバなどのコンピュータなどの、本実施形態に係る制御方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような撮像装置や機器に組み込むことが可能な、処理ＩＣに適用することもできる。
　また、本実施形態に係る制御装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る制御装置は、例えば、複数の装置により本実施形態に係る制御方法に係る処理を行う制御システムとして実現することも可能である。複数の装置により本実施形態に係る制御方法に係る処理を行う制御システムの一例としては、例えば、当該制御システムを構成する複数の装置において、“撮像デバイスにおける撮像の制御に係る処理”と“検出領域ＲＯＩ１が撮像された撮像画像に基づく被写体の検出処理”とが連携して行われるシステムが、挙げられる。
　さらに、本実施形態に係る制御装置は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなどの、任意の移動体に適用することが可能である。
　以下、本実施形態に係る技術が移動体に適用される場合の一例を説明する。
　図９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１０は、撮像部１２０３１の設置位置の例を示す図である。
　図１０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本実施形態に係る技術が移動体に適用される場合における車両制御システムの一例について説明した。本実施形態に係る技術は、例えば、上記車両制御システムにおけるマイクロコンピュータ１２０５１に適用されうる。なお、上記車両制御システムにおいて本実施形態に係る技術が適用される構成要素は、マイクロコンピュータ１２０５１に限られず、本実施形態に係る制御方法に係る処理を行うことが可能な任意の構成要素に適用することが可能である。
（本実施形態に係るプログラム）
　コンピュータを、本実施形態に係る制御装置として機能させるためのプログラム（例えば、“撮像デバイスにおける撮像を制御する機能、および検出領域ＲＯＩ１が撮像された撮像画像に基づいて被写体を検出する機能を、コンピュータに実現させるプログラム”や、“撮像デバイスにおける撮像を制御する機能、検出領域ＲＯＩ１が撮像された撮像画像に基づいて被写体を検出する機能、および撮像デバイスにより撮像された撮像画像の出力を制御する機能を、コンピュータに実現させるプログラム”など、本実施形態に係る制御方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、データ量を削減しつつ、被写体を含む撮像画像を得ることができる。
　また、コンピュータを、本実施形態に係る制御装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る制御方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータを、本実施形態に係る制御装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像デバイスにおける撮像を制御する撮像制御部と、
　前記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出する検出部と、
　を備え、
　前記撮像制御部は、
　前記検出領域の撮像、または、前記撮像デバイスの画角内に設定されている取得領域の撮像を、前記撮像デバイスに行わせ、
　前記第１の撮像画像に基づき前記被写体が検出された場合に、前記取得領域の撮像を行わせる、制御装置。
（２）
　前記撮像制御部は、
　フレームごとに、前記検出領域の撮像を行わせ、
　前記検出領域の撮像が行われる一のフレームにおいて前記被写体が検出された場合に、次のフレームにおいて前記取得領域の撮像を行わせる、（１）に記載の制御装置。
（３）
　前記検出部は、前記第１の撮像画像の画素値と、設定されている第１の閾値、および設定されている前記第１の閾値よりも小さな第２の閾値の一方または双方との比較結果に基づいて、前記被写体を検出する、（１）、または（２）に記載の制御装置。
（４）
　前記検出部は、
　前記第１の撮像画像の画素値が前記第１の閾値よりも大きい画素数、または、前記第１の撮像画像の画素値が前記第１の閾値以上である画素数をカウントし、
　カウントされた前記画素数と、設定されている第３の閾値との比較結果に基づいて、前記被写体が検出されたかを判定することによって、前記被写体を検出する、（３）に記載の制御装置。
（５）
　前記検出部は、カウントされた前記画素数が前記第３の閾値よりも大きい場合、または、前記画素数が前記第３の閾値以上である場合に、前記被写体が検出されたと判定する、（４）に記載の制御装置。
（６）
　前記検出部は、
　前記第１の撮像画像の画素値が、前記第２の閾値よりも小さい画素数、または、前記第１の撮像画像の画素値が前記第２の閾値以上である画素数をカウントし、
　カウントされた前記画素数と、設定されている第４の閾値との比較結果に基づいて、前記被写体が検出されたかを判定することによって、前記被写体を検出する、（３）～（５）のいずれか１つに記載の制御装置。
（７）
　前記検出部は、カウントされた前記画素数が前記第４の閾値よりも大きい場合、または、前記画素数が前記第４の閾値以上である場合に、前記被写体が検出されたと判定する、（６）に記載の制御装置。
（８）
　前記検出部は、
　現フレームの前記第１の撮像画像の画素値、および前フレームの前記第１の撮像画像の画素値に基づく判定値と、設定されている第５の閾値との比較結果に基づいて、前記被写体を検出する、（２）に記載の制御装置。
（９）
　複数の前記検出領域が独立に設定されている場合、前記検出部は、複数の前記検出領域それぞれに対応する前記第１の撮像画像に基づいて、複数の前記検出領域ごとに、前記被写体を検出する、（１）～（８）のいずれか１つに記載の制御装置。
（１０）
　前記取得領域は、複数の前記検出領域ごとに設定され、
　前記撮像制御部は、前記被写体が検出された前記検出領域に対応する前記取得領域の撮像を行わせる、（９）に記載の制御装置。
（１１）
　前記撮像デバイスの画角内には、前記検出領域として、第１の検出領域と、前記第１の検出領域に対応する第２の検出領域とが設定され、
　前記検出部は、
　前記第１の検出領域に対応する前記第１の撮像画像および前記第２の検出領域に対応する前記第１の撮像画像それぞれに基づいて、前記被写体を検出し、
　検出結果に基づいて、前記被写体の移動速度をさらに検出する、（１）～（１０）のいずれか１つに記載の制御装置。
（１２）
　前記撮像制御部は、検出された前記移動速度に基づくタイミングで、前記取得領域の撮像を行わせる、（１１）に記載の制御装置。
（１３）
　前記撮像制御部は、設定されている所定のタイミングで、前記取得領域の撮像を行わせる、（１）～（１０）のいずれか１つに記載の制御装置。
（１４）
　前記検出領域は、少なくとも前記被写体の一部を撮像することが可能な画角内の一部の領域である、（１）～（１３）のいずれか１つに記載の制御装置。
（１５）
　前記取得領域は、前記撮像デバイスの画角全体の領域、または、前記被写体全体を撮像することが可能な、前記撮像デバイスの画角内の一部の領域である、（１）～（１４）のいずれか１つに記載の制御装置。
（１６）
　前記被写体の検出結果に基づいて、前記撮像デバイスにより撮像された撮像画像の出力を制御する出力制御部をさらに備える、（１）～（１５）のいずれか１つに記載の制御装置。
（１７）
　前記出力制御部は、前記被写体が検出された場合に、前記取得領域が撮像された第２の撮像画像を出力させる、（１６）に記載の制御装置。
（１８）
　前記撮像デバイスを有する撮像部をさらに備える、（１）～（１７）のいずれか１つに記載の制御装置。
（１９）
　撮像デバイスにおける撮像を制御するステップと、
　前記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出するステップと、
　を有し、
　前記制御するステップでは、
　前記検出領域の撮像、または、前記撮像デバイスの画角内に設定されている取得領域の撮像を、前記撮像デバイスに行わせ、
　前記第１の撮像画像に基づき前記被写体が検出された場合に、前記取得領域の撮像を行わせる、制御装置により実行される制御方法。
（２０）
　撮像デバイスにおける撮像を制御する機能、
　前記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出する機能、
　をコンピュータに実現させ、
　前記撮像を制御する機能は、
　前記検出領域の撮像、または、前記撮像デバイスの画角内に設定されている取得領域の撮像を、前記撮像デバイスに行わせ、
　前記第１の撮像画像に基づき前記被写体が検出された場合に、前記取得領域の撮像を行わせる、プログラム。
　１００　　制御装置
　１０２　　撮像部
　１０４　　撮像制御部
　１０６　　検出部
　１０８　　出力制御部

Claims (20)

  1. 　撮像デバイスにおける撮像を制御する撮像制御部と、
    　前記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出する検出部と、
    　を備え、
    　前記撮像制御部は、
    　前記検出領域の撮像、または、前記撮像デバイスの画角内に設定されている取得領域の撮像を、前記撮像デバイスに行わせ、
    　前記第１の撮像画像に基づき前記被写体が検出された場合に、前記取得領域の撮像を行わせる、制御装置。
  2. 　前記撮像制御部は、
    　フレームごとに、前記検出領域の撮像を行わせ、
    　前記検出領域の撮像が行われる一のフレームにおいて前記被写体が検出された場合に、次のフレームにおいて前記取得領域の撮像を行わせる、請求項１に記載の制御装置。
  3. 　前記検出部は、前記第１の撮像画像の画素値と、設定されている第１の閾値、および設定されている前記第１の閾値よりも小さな第２の閾値の一方または双方との比較結果に基づいて、前記被写体を検出する、請求項１に記載の制御装置。
  4. 　前記検出部は、
    　前記第１の撮像画像の画素値が前記第１の閾値よりも大きい画素数、または、前記第１の撮像画像の画素値が前記第１の閾値以上である画素数をカウントし、
    　カウントされた前記画素数と、設定されている第３の閾値との比較結果に基づいて、前記被写体が検出されたかを判定することによって、前記被写体を検出する、請求項３に記載の制御装置。
  5. 　前記検出部は、カウントされた前記画素数が前記第３の閾値よりも大きい場合、または、前記画素数が前記第３の閾値以上である場合に、前記被写体が検出されたと判定する、請求項４に記載の制御装置。
  6. 　前記検出部は、
    　前記第１の撮像画像の画素値が、前記第２の閾値よりも小さい画素数、または、前記第１の撮像画像の画素値が前記第２の閾値以上である画素数をカウントし、
    　カウントされた前記画素数と、設定されている第４の閾値との比較結果に基づいて、前記被写体が検出されたかを判定することによって、前記被写体を検出する、請求項３に記載の制御装置。
  7. 　前記検出部は、カウントされた前記画素数が前記第４の閾値よりも大きい場合、または、前記画素数が前記第４の閾値以上である場合に、前記被写体が検出されたと判定する、請求項６に記載の制御装置。
  8. 　前記検出部は、
    　現フレームの前記第１の撮像画像の画素値、および前フレームの前記第１の撮像画像の画素値に基づく判定値と、設定されている第５の閾値との比較結果に基づいて、前記被写体を検出する、請求項２に記載の制御装置。
  9. 　複数の前記検出領域が独立に設定されている場合、前記検出部は、複数の前記検出領域それぞれに対応する前記第１の撮像画像に基づいて、複数の前記検出領域ごとに、前記被写体を検出する、請求項１に記載の制御装置。
  10. 　前記取得領域は、複数の前記検出領域ごとに設定され、
    　前記撮像制御部は、前記被写体が検出された前記検出領域に対応する前記取得領域の撮像を行わせる、請求項９に記載の制御装置。
  11. 　前記撮像デバイスの画角内には、前記検出領域として、第１の検出領域と、前記第１の検出領域に対応する第２の検出領域とが設定され、
    　前記検出部は、
    　前記第１の検出領域に対応する前記第１の撮像画像および前記第２の検出領域に対応する前記第１の撮像画像それぞれに基づいて、前記被写体を検出し、
    　検出結果に基づいて、前記被写体の移動速度をさらに検出する、請求項１に記載の制御装置。
  12. 　前記撮像制御部は、検出された前記移動速度に基づくタイミングで、前記取得領域の撮像を行わせる、請求項１１に記載の制御装置。
  13. 　前記撮像制御部は、設定されている所定のタイミングで、前記取得領域の撮像を行わせる、請求項１に記載の制御装置。
  14. 　前記検出領域は、少なくとも前記被写体の一部を撮像することが可能な画角内の一部の領域である、請求項１に記載の制御装置。
  15. 　前記取得領域は、前記撮像デバイスの画角全体の領域、または、前記被写体全体を撮像することが可能な、前記撮像デバイスの画角内の一部の領域である、請求項１に記載の制御装置。
  16. 　前記被写体の検出結果に基づいて、前記撮像デバイスにより撮像された撮像画像の出力を制御する出力制御部をさらに備える、請求項１に記載の制御装置。
  17. 　前記出力制御部は、前記被写体が検出された場合に、前記取得領域が撮像された第２の撮像画像を出力させる、請求項１６に記載の制御装置。
  18. 　前記撮像デバイスを有する撮像部をさらに備える、請求項１に記載の制御装置。
  19. 　撮像デバイスにおける撮像を制御するステップと、
    　前記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出するステップと、
    　を有し、
    　前記制御するステップでは、
    　前記検出領域の撮像、または、前記撮像デバイスの画角内に設定されている取得領域の撮像を、前記撮像デバイスに行わせ、
    　前記第１の撮像画像に基づき前記被写体が検出された場合に、前記取得領域の撮像を行わせる、制御装置により実行される制御方法。
  20. 　撮像デバイスにおける撮像を制御する機能、
    　前記撮像デバイスの画角内の一部に設定されている検出領域が撮像された第１の撮像画像に基づいて、被写体を検出する機能、
    　をコンピュータに実現させ、
    　前記撮像を制御する機能は、
    　前記検出領域の撮像、または、前記撮像デバイスの画角内に設定されている取得領域の撮像を、前記撮像デバイスに行わせ、
    　前記第１の撮像画像に基づき前記被写体が検出された場合に、前記取得領域の撮像を行わせる、プログラム。
PCT/JP2017/004826 2016-05-18 2017-02-09 制御装置、制御方法、およびプログラム WO2017199487A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/099,533 US10951811B2 (en) 2016-05-18 2017-02-09 Control device, control method, and program
CN201780028786.XA CN109076168B (zh) 2016-05-18 2017-02-09 控制装置、控制方法和计算机可读介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-099733 2016-05-18
JP2016099733A JP2017208699A (ja) 2016-05-18 2016-05-18 制御装置、制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2017199487A1 true WO2017199487A1 (ja) 2017-11-23

Family

ID=60324968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004826 WO2017199487A1 (ja) 2016-05-18 2017-02-09 制御装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US10951811B2 (ja)
JP (1) JP2017208699A (ja)
CN (1) CN109076168B (ja)
WO (1) WO2017199487A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559522B (zh) * 2019-01-21 2021-09-28 熵基科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064586A (ja) * 2003-08-13 2005-03-10 Jai Corporation 撮像タイミング自動検知機能を備えた検査・選別機用撮像装置
JP2007324966A (ja) * 2006-06-01 2007-12-13 Shimadzu Corp トリガ信号出力装置
JP2012211796A (ja) * 2011-03-31 2012-11-01 Kubota Corp 鋳物穴加工品の鏡面球体残留検査装置および方法
JP2014182026A (ja) * 2013-03-19 2014-09-29 Ishida Co Ltd 物品検査装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6356552B2 (ja) * 2014-09-16 2018-07-11 東芝メモリ株式会社 情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064586A (ja) * 2003-08-13 2005-03-10 Jai Corporation 撮像タイミング自動検知機能を備えた検査・選別機用撮像装置
JP2007324966A (ja) * 2006-06-01 2007-12-13 Shimadzu Corp トリガ信号出力装置
JP2012211796A (ja) * 2011-03-31 2012-11-01 Kubota Corp 鋳物穴加工品の鏡面球体残留検査装置および方法
JP2014182026A (ja) * 2013-03-19 2014-09-29 Ishida Co Ltd 物品検査装置

Also Published As

Publication number Publication date
CN109076168B (zh) 2021-01-19
US10951811B2 (en) 2021-03-16
CN109076168A (zh) 2018-12-21
JP2017208699A (ja) 2017-11-24
US20190166304A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
WO2018042887A1 (ja) 測距装置、および、測距装置の制御方法
JP6977722B2 (ja) 撮像装置、および画像処理システム
US11454723B2 (en) Distance measuring device and distance measuring device control method
US20200057149A1 (en) Optical sensor and electronic device
WO2019150752A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20210218923A1 (en) Solid-state imaging device and electronic device
US10750104B2 (en) Solid-state imaging apparatus and driving method thereof
WO2020153261A1 (ja) 受光装置および測距装置
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2020166419A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2017199487A1 (ja) 制御装置、制御方法、およびプログラム
WO2017212722A1 (ja) 制御装置及び制御方法
US20190191119A1 (en) Imaging device and control method
WO2020090459A1 (ja) 固体撮像装置、及び電子機器
WO2020153262A1 (ja) 計測装置および測距装置
WO2024090031A1 (ja) 撮像素子および電子機器
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17798925

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17798925

Country of ref document: EP

Kind code of ref document: A1