WO2020036043A1 - 情報処理装置と情報処理方法とプログラム - Google Patents

情報処理装置と情報処理方法とプログラム Download PDF

Info

Publication number
WO2020036043A1
WO2020036043A1 PCT/JP2019/028784 JP2019028784W WO2020036043A1 WO 2020036043 A1 WO2020036043 A1 WO 2020036043A1 JP 2019028784 W JP2019028784 W JP 2019028784W WO 2020036043 A1 WO2020036043 A1 WO 2020036043A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
thinning
information processing
change
imaging
Prior art date
Application number
PCT/JP2019/028784
Other languages
English (en)
French (fr)
Inventor
卓 青木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980052996.1A priority Critical patent/CN112567726B/zh
Priority to KR1020217003347A priority patent/KR102645368B1/ko
Priority to JP2020537392A priority patent/JP7409309B2/ja
Priority to EP19850265.0A priority patent/EP3840359A4/en
Priority to US17/265,524 priority patent/US11563905B2/en
Publication of WO2020036043A1 publication Critical patent/WO2020036043A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • This technology relates to an information processing apparatus, an information processing method, and a program, and enables a subject image with little distortion to be obtained.
  • Patent Literature 1 the imaging region is divided into an attention region and a normal region excluding the attention region, and the attention region is set to have a higher frame rate and a lower decimation rate than the normal region, thereby improving the visibility of the attention region. Improvements have been made over the normal area.
  • the pixels arranged in a two-dimensional manner perform the exposure and the reading of the accumulated charges in a line unit in a time-series manner.
  • distortion of the subject image so-called rolling shutter distortion
  • the rolling shutter distortion becomes remarkable even if the frame rate is increased as in Patent Document 1, for example, if the change in the positional relationship between the imaging device and the subject is large.
  • the first aspect of this technology is: A motion detection unit that detects a change in the relative positional relationship between the imaging unit and the subject, A thinning setting unit configured to set a thinning amount of a line thinning operation of the imaging unit according to a detection result of the motion detection unit.
  • the motion detection unit detects a change in the relative positional relationship between the imaging unit performing the rolling shutter operation and the subject.
  • the motion detection unit detects a change in the relative positional relationship based on the motion of a moving object on which the imaging unit is mounted, an imaging scene, an image acquired by the imaging unit, and the like. For example, when the moving body is a vehicle, a change in the relative positional relationship is detected based on the vehicle speed and the steering angle, or a measurement result of an inertial measurement unit provided on the moving body.
  • the thinning setting unit increases the thinning amount as the change detected by the motion detecting unit increases.
  • the thinning setting unit performs a uniform line thinning operation on the entire screen.
  • the thinning setting unit may set the relative positional relationship caused by the movement of the imaging unit in the optical axis direction. An area where the change is large has a larger thinning amount than an area where the change is small.
  • a read setting unit for setting the reading order of the lines in the imaging unit according to the detection result of the motion detection unit.
  • the read setting unit sets the line reading order direction to the downward direction and sets the line reading order direction in the optical axis direction of the imaging unit. If the change is caused by the backward movement, the line reading order direction is set to the upward direction.
  • a recognition processing unit that performs subject recognition of the image acquired by the imaging unit.
  • the recognition processing unit has a recognizer using a dictionary generated in advance according to the thinning amount, and a recognizer according to the thinning amount set by the thinning setting unit or the thinning amount set for each area.
  • the recognition processing unit performs recognition processing using a recognizer corresponding to the thinning amount set by the thinning setting unit and the reading order direction set by the reading setting unit.
  • An image processing unit that performs a corresponding point search by adjusting the search range according to the thinning amount set by the thinning setting unit, or the corresponding point according to the thinning amount set by the thinning setting unit. Adjust the reliability of.
  • An information processing method includes setting a thinning amount of a line thinning operation in the imaging unit in a thinning setting unit in accordance with a detection result of the motion detecting unit.
  • the third aspect of this technology is: A program that causes a computer to execute control of an imaging unit, Detecting a change in the relative positional relationship between the imaging unit and the subject, Setting the thinning amount of the line thinning operation of the imaging unit according to the change in the relative positional relationship with the computer.
  • the program of the present technology is, for example, provided to a general-purpose computer capable of executing various program codes, in a computer-readable format, such as a storage medium and a communication medium, such as an optical disk, a magnetic disk, and a storage medium such as a semiconductor memory.
  • the program can be provided by a medium or a communication medium such as a network.
  • the thinning amount of the line thinning operation of the imaging unit is set according to the change in the relative positional relationship between the imaging unit and the subject. Therefore, a subject image with less distortion can be obtained. It should be noted that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 2 is a diagram illustrating a configuration of a first embodiment.
  • 4 is a flowchart illustrating an operation of the first exemplary embodiment.
  • FIG. 5 is a diagram illustrating an operation example of the first embodiment.
  • FIG. 3 is a diagram illustrating a case where an imaging unit moves forward with respect to a subject.
  • FIG. 4 is a diagram illustrating a case where an imaging unit moves backward with respect to a subject.
  • FIG. 9 is a diagram illustrating a configuration of a second embodiment. 9 is a flowchart illustrating an operation of the second exemplary embodiment.
  • FIG. 3 is a diagram for explaining a relationship between a distance to a subject and rolling shutter distortion.
  • FIG. 14 is a diagram illustrating a configuration of a third embodiment.
  • FIG. 13 is a flowchart illustrating an operation of the third embodiment.
  • FIG. 14 is a diagram illustrating a configuration of a fourth embodiment.
  • FIG. 9 is a diagram for describing the reliability when acquiring a depth map. It is a figure for explaining the reliability of SLAM. 4 illustrates a relationship between a scene estimation result and a thinning amount. The case where a moving object is included in a captured image is illustrated.
  • FIG. 3 is a block diagram illustrating a configuration example of a schematic function of a vehicle control system.
  • First embodiment 1-1 Configuration of First Embodiment 1-2. Operation of first embodiment Second embodiment 2-1. Configuration of second embodiment 2-2. Operation of second embodiment Third embodiment 3-1. Configuration of Third Embodiment 3-2. 3. Operation of Third Embodiment Fourth embodiment 4-1. Configuration of Fourth Embodiment 4-2. 4. Operation of the fourth embodiment Modified example 6.
  • Application examples
  • FIG. 1 illustrates the configuration of the first embodiment.
  • the imaging system 10 has an imaging unit 20 and a signal processing unit 30-1.
  • the imaging unit 20 has an imaging lens 21 and an image sensor 22.
  • the imaging lens 21 of the imaging unit 20 is configured using a focus lens, a zoom lens, and the like, and forms an optical image of a subject on the imaging surface of the image sensor 22.
  • the image sensor 22 is configured using, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 22 performs a rolling shutter operation, generates an image signal corresponding to the subject optical image, and outputs the image signal to the signal processing unit 30-1. Further, the image sensor 22 generates an image signal by performing line thinning of a thinning amount indicated by a thinning setting signal from a thinning setting unit 32 described later.
  • the thinning amount may be a thinning rate, and in the following description, the thinning amount will be described.
  • the signal processing unit 30-1 performs subject recognition based on the image signal generated by the imaging unit 20.
  • the signal processing unit 30-1 includes a motion detection unit 31, a thinning-out setting unit 32, an interpolation processing unit 36, and a recognition processing unit 37-1.
  • the motion detection unit 31 detects the motion of the imaging unit 20. For example, when the imaging system 10 is mounted on a moving body such as a vehicle, the straight-line speed and angular speed of the imaging unit 20 are detected based on the speed of the vehicle and the steering angle of the steering wheel. The motion detection section 31 outputs the motion detection result to the thinning setting section 32.
  • the thinning setting unit 32 sets the thinning amount according to the motion detected by the motion detecting unit 31.
  • the thinning setting unit 32 calculates the thinning amount Dt based on the equation (1) using, for example, the speed VS in the straight traveling direction and the speed VR in the rotating direction. Note that “ka” and “kb” are preset coefficients.
  • the interpolation processing unit 36 performs an interpolation process using the image signal output from the imaging unit 20, and generates, for example, an image signal of an interpolated image having the same number of lines as the image before thinning.
  • the interpolation processing unit 36 outputs the image signal after the interpolation processing to the recognition processing unit 37-1.
  • the interpolation processing unit 36 may perform the interpolation processing based on the thinning information, and may perform the interpolation processing based on the thinning setting signal generated by the thinning setting unit 32. Alternatively, the interpolation processing may be performed.
  • the recognition processing unit 37-1 includes a recognizer switching unit 371-1 and a plurality of recognizers 372-1 to 372-n.
  • the recognizers 372-1 to 372-n are provided for each thinning amount.
  • the recognizer 372-1 previously stores a dictionary based on a learning image obtained by performing an interpolation process on an image captured with the thinning amount Dt-1, and performs a recognition process using this dictionary.
  • the recognizer 372-n previously stores a dictionary based on a learning image obtained by performing an interpolation process on an image captured with the thinning amount Dt-n, and performs a recognition process using the dictionary.
  • the recognizer switching unit 371 detects a processing area based on the image signal generated by the imaging unit 20.
  • the recognizer switching unit 371 switches the recognizer used for the subject recognition processing according to the thinning amount of the processing area.
  • the recognizer switching unit 371 supplies an image signal to the switched recognizer 372-x, recognizes a subject in the processing area using a dictionary according to the thinning amount, and outputs the recognition result to the signal processing unit 30-1. Output from
  • FIG. 2 is a flowchart illustrating the operation of the first embodiment.
  • the signal processing unit 30-1 performs a motion detection process.
  • the signal processing unit 30-1 detects a movement in a straight traveling direction or a rotating direction. For example, when the imaging system 10 is mounted on a vehicle, the signal processing unit 30-1 proceeds to step ST2 using the speed of the vehicle and the steering angle of the steering wheel as a motion detection result.
  • step ST2 the signal processing unit 30-1 sets the thinning amount.
  • the signal processing unit 30-1 sets the thinning amount based on, for example, the above-described equation (1) based on the movement detected in step ST1, and proceeds to step ST3.
  • step ST3 the signal processing unit 30-1 performs imaging control.
  • the signal processing unit 30-1 generates a thinning-out setting signal indicating the thinning-out amount set in step ST2 and outputs the signal to the imaging unit 20, whereby the thinned-out image in which the line thinning-out of the thinning amount set in step ST2 is performed Are generated by the imaging unit 20, and the process proceeds to step ST4.
  • step ST4 the signal processing unit 30-1 performs an interpolation process.
  • the signal processing unit 30-1 performs an interpolation process using the image signal of the thinned image generated by the imaging unit 20, generates an image signal of an interpolated image that is the number of lines before line thinning, and proceeds to step ST5.
  • step ST5 the signal processing unit 30-1 switches the recognizer.
  • the signal processing unit 30-1 switches the recognizer that performs the object recognition using the image signal of the interpolation image to a recognizer corresponding to the thinning amount set in step ST2, and proceeds to step ST6.
  • step ST6 the signal processing unit 30-1 performs a recognition process.
  • the signal processor 30-1 uses the image signal of the interpolated image generated in step ST4 to perform a subject recognition process by the recognizer switched in step ST5.
  • FIG. 3 shows an operation example of the first embodiment.
  • the subject is, for example, a “STOP” mark displayed on the road, and the imaging unit 20 is mounted on the vehicle and is moving forward.
  • the exposure period of each line is set to a period tp
  • the readout line order direction is set from the upper side to the lower side
  • the leading end of the subject in the captured image is set to a line position Ma
  • the rear end is set to a line position Mb.
  • FIG. 3 illustrates an image acquired by the imaging unit 20 when no thinning is performed.
  • the line positions Ma and Mb move to the near side (downward direction of the captured image) with the passage of time. Therefore, as shown in FIG. 3B, the interval between the line position Ma and the line position Mb increases according to the moving speed of the vehicle during the period of the time difference tda. That is, the subject is in a stretched state as shown in FIG.
  • FIG. 3 illustrates a thinned image acquired by the imaging unit 20 when thinning is performed.
  • the line positions Ma and Mb move toward the near side (downward in the captured image) with the passage of time. Further, since the line thinning-out reading is performed, the time required from the reading of the first line to the reading of the last line is reduced, and the time difference between the line position Ma and the line position Mb is represented by (d) in FIG. As shown in (2), the time difference tdb is shorter than the time difference tda when no thinning is performed. For this reason, in the interpolated image obtained by performing the interpolation processing on the thinned image shown in FIG. 3C, as compared with the case where no thinning is performed, as shown in FIG. Distortion is reduced. Further, if the thinning amount is increased as the forward speed of the vehicle increases, the distortion of the subject can be reduced.
  • interpolation processing is performed on the captured image obtained by performing the thinning, and the recognition processing of the subject is performed by the recognizer corresponding to the thinning amount using the interpolation image, so that the subject can be accurately recognized. become.
  • the thinning amount is set in accordance with the relative position change between the imaging unit and the subject, and a captured image with little rolling shutter distortion is obtained. Furthermore, since a recognizer corresponding to the thinning amount in the acquired captured image is used, the subject can be accurately recognized based on the captured image with little rolling shutter distortion.
  • FIG. 4 is a diagram illustrating a case where the imaging unit moves forward with respect to the subject
  • FIG. 5 is a diagram illustrating a case where the imaging unit moves backward with respect to the subject.
  • the subject is, for example, a “STOP” mark displayed on a road, and the imaging unit 20 is mounted on a vehicle.
  • the exposure period of each line is a period tp
  • the readout line order direction is from the upper side to the lower side
  • the front end of the subject in the captured image is a line position Ma
  • the rear end is a line position Mb.
  • FIG. 4 shows a case where the vehicle is moving forward with respect to the subject, and the motion of the subject in the captured image is in the readout line order direction.
  • FIG. 5 shows a case where the vehicle is moving backward with respect to the subject, and the motion of the subject in the captured image is in the opposite direction to the readout line order direction.
  • FIG. 4 and (a) and (b) of FIG. 5 illustrate images when the vehicle is stopped. Since the vehicle is stopped, the line positions Ma and Mb are constant over time. Also, due to the rolling shutter operation, the start timing of the exposure period between the line position Mb and the line position Mb has a time difference td.
  • FIG. 4 illustrates a case where the vehicle moves forward.
  • the line positions Ma and Mb move toward the near side (downward in the captured image) with the passage of time. Therefore, as shown in FIG. 4D, the time difference td1 between the line position Ma and the line position Mb becomes larger in accordance with the moving speed of the vehicle than when the vehicle is stopped. That is, the subject is in a stretched state as shown in FIG.
  • FIG. 4 illustrates a case where the vehicle moves forward at a high speed. Also in this case, the line positions Ma and Mb move to the near side (downward direction of the captured image) with the passage of time. In addition, since the vehicle is running at high speed, the amount of movement increases. Therefore, as shown in FIG. 4 (f), the line position Ma and the line position Mb fall out of the imaging range before the exposure period, and the subject is displayed as shown in FIG. 4 (e). Will not be done.
  • FIG. 5 illustrates a case where the vehicle moves backward.
  • the line positions Ma and Mb move to the far side (the direction of the horizontal line position in the captured image) with the passage of time. Therefore, as shown in FIG. 5D, the time difference td2 between the line position Ma and the line position Mb becomes smaller according to the moving speed of the vehicle than when the vehicle is stopped. That is, the subject is in a compressed state as shown in FIG.
  • FIG. 5 illustrates a case where the vehicle moves backward at a high speed. Also in this case, the line positions Ma and Mb move to the far side (the direction of the horizontal line position in the captured image) with the passage of time. In addition, since the vehicle is running at high speed, the amount of movement increases. Accordingly, as shown in FIG. 5F, the time difference td3 between the line position Ma and the line position Mb is smaller than the time difference td2. That is, as shown in FIG. 5E, the subject is in a more compressed state than in the case shown in FIG. 5C.
  • the subject moves at high speed in the line reading order direction, the subject does not appear in the captured image. However, if the subject moves in the opposite direction to the reading order direction, the subject moves at high speed. And no longer appear in the captured image.
  • the reading order of the lines is set from the upper side to the lower side or from the lower side to the upper side according to the motion detection result. Then, the subject is prevented from being omitted from the thinned image.
  • FIG. 6 illustrates the configuration of the second embodiment.
  • the imaging system 10 includes an imaging lens 21, an imaging unit 20, and a signal processing unit 30-2.
  • the imaging unit 20 has an imaging lens 21 and an image sensor 22.
  • the imaging lens 21 of the imaging unit 20 is configured using a focus lens, a zoom lens, and the like, and forms an optical image of a subject on the imaging surface of the image sensor 22.
  • the image sensor 22 is configured using, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 22 performs a rolling shutter operation, generates an image signal corresponding to the subject optical image, and outputs the image signal to the signal processing unit 30-2. Further, the image sensor 22 sets the line reading order direction as the direction indicated by the reading order direction signal from the reading setting unit 35 described later, and sets the line reading order direction to the thinning amount indicated by the thinning setting signal from the thinning setting unit 32 described later.
  • An image signal is generated by performing line thinning.
  • the signal processing unit 30-2 performs subject recognition based on the image signal generated by the imaging unit 20.
  • the signal processing unit 30-2 includes a motion detection unit 31, a thinning setting unit 32, a reading setting unit 35, an interpolation processing unit 36, and a recognition processing unit 37-2.
  • the motion detection unit 31 detects the motion of the imaging unit 20. For example, when the imaging system 10 is mounted on a moving body such as a vehicle, the straight-line speed and angular speed of the imaging unit 20 are detected based on the speed of the vehicle and the steering angle of the steering wheel. The motion detection section 31 outputs the motion detection result to the thinning setting section 32.
  • the thinning setting unit 32 sets the thinning amount according to the motion detected by the motion detecting unit 31.
  • the thinning setting unit 32 calculates the thinning amount Dt based on the above equation (1) using, for example, the speed VS in the straight traveling direction and the speed VR in the rotating direction.
  • the thinning setting unit 32 outputs a thinning setting signal indicating the set thinning amount to the recognition processing unit 37-2.
  • the reading setting unit 35 sets the reading order direction of the lines in the imaging unit 20 according to the motion detected by the motion detecting unit 31. When determining that the imaging unit 20 is moving forward, the reading setting unit 35 sets the reading order direction from the bottom to the top. When determining that the imaging unit 20 is retracted, the reading setting unit 35 sets the reading order direction from the upper side to the lower side. The read setting unit 35 generates an order direction setting signal indicating the set read order direction, and outputs the generated signal to the imaging unit 20 and the recognition processing unit 37-2.
  • the interpolation processing unit 36 performs an interpolation process using the image signal output from the imaging unit 20, and generates, for example, an image signal of an interpolated image having the same number of lines as the image before thinning.
  • the interpolation processing unit 36 outputs the image signal after the interpolation processing to the recognition processing unit 37-2.
  • the interpolation processing unit 36 may perform the interpolation processing based on the thinning information, and may perform the interpolation processing based on the thinning setting signal generated by the thinning setting unit 32. Alternatively, the interpolation processing may be performed.
  • the recognition processing unit 37-2 has a recognizer switching unit 371-2 and a plurality of recognizers 372-d1 to 372-dn and 372-u1 to 372-un.
  • the recognizers 372-d1 to 372-dn are recognizers provided according to the thinning amount when the line reading order direction is from the upper side to the lower side
  • the recognizers 372-u1 to 372-un are And a recognizer provided according to the thinning amount when the reading order direction is from the lower side to the upper side.
  • the recognizer 372-d1 previously stores a dictionary based on a learning image obtained by performing an interpolation process on an image captured with the thinning amount Dt-d1 when the reading order direction is from the upper side to the lower side.
  • the recognition process is performed using the dictionary.
  • the recognizer 372-un previously stores a dictionary based on a learning image obtained by performing an interpolation process on an image captured with the thinning amount Dt-un when the reading order direction is from the lower side to the upper side. Recognition processing is performed using this dictionary.
  • the recognizer switching unit 371-2 detects a processing area based on the image signal generated by the imaging unit 20.
  • the recognizer switching unit 371-2 switches the recognizer used for the subject recognition processing according to the thinning amount of the processing area and the reading order set by the reading setting unit 35.
  • the recognizer switching unit 371-2 supplies an image signal to the switched recognizer 372-x, performs recognition processing of the subject in the processing area, and outputs a recognition result from the signal processing unit 30-2.
  • FIG. 7 exemplifies a flowchart showing the operation of the second embodiment.
  • the signal processing unit 30-2 performs a motion detection process.
  • the signal processing unit 30-2 detects a movement in a straight traveling direction or a rotating direction. For example, when the imaging system 10 is mounted on a vehicle, the signal processing unit 30-2 proceeds to step ST12 using the speed of the vehicle and the steering angle of the steering wheel as a motion detection result.
  • step ST12 the signal processing unit 30-2 sets the thinning amount.
  • the signal processing unit 30-2 sets the thinning amount based on, for example, the above-described equation (1) based on the movement detected in step ST11, and proceeds to step ST13.
  • step ST13 the signal processing unit 30-2 sets the reading order direction.
  • the signal processing unit 30-2 sets the line reading order to one of the upper side to the lower side or the lower side to the upper side based on the movement detected in step ST11, and proceeds to step ST14.
  • step ST14 the signal processing unit 30-2 performs imaging control.
  • the signal processing unit 30-2 generates a thinning setting signal indicating the thinning amount set in step ST2 and a sequence direction setting signal indicating the reading sequence direction set in step ST13.
  • the signal processing unit 30-2 outputs the generated thinning-out setting signal and the sequence direction setting signal to the imaging unit 20, so that the line thinning-out of the reading order direction set in step ST13 and the thinning amount set in step ST12 is performed.
  • the image signal of the performed thinned image is generated, and the process proceeds to step ST15.
  • step ST15 the signal processing unit 30-2 performs an interpolation process.
  • the signal processing unit 30-2 performs an interpolation process using the image signal of the thinned image generated by the imaging unit 20, generates an image signal of an interpolated image that is the number of lines before line thinning, and proceeds to step ST16.
  • step ST16 the signal processing unit 30-2 switches the recognizer.
  • the signal processing unit 30-2 switches the recognizer that performs subject recognition using the image signal of the interpolated image to a recognizer corresponding to the thinning amount set in step ST12 and the reading order direction set in step ST13. It proceeds to step ST17.
  • step ST17 the signal processing unit 30-2 performs a recognition process.
  • the signal processing unit 30-2 performs subject recognition processing by the recognizer switched in step ST16 using the image signal of the interpolation image generated in step ST15.
  • the thinning amount and the line reading order direction are set according to the relative position change between the imaging unit and the subject, so that the rolling shutter distortion is small and the subject is prevented from falling out.
  • a captured image is obtained. Further, since a recognizer is used in accordance with the thinning amount and the reading order direction in the acquired captured image, the subject can be accurately recognized based on the captured image with little rolling shutter distortion.
  • FIG. 8 is a diagram for explaining the relationship between the distance to the subject and the rolling shutter distortion.
  • the distortion amount (RS distortion amount) of the rolling shutter operation is large for a short-distance subject, and small for a long-distance subject.
  • the imaging system when the imaging system is mounted on a vehicle, a road surface or the like located in a lower region of the imaging region has a larger amount of RS distortion than a subject in an upper region. Further, when a movement in the rotation direction occurs in the imaging unit, the amount of RS distortion is equal at any position of the captured image as shown in FIG. 8C.
  • the object can be recognized with high accuracy by setting the thinning amount for each area.
  • FIG. 9 illustrates the configuration of the third embodiment.
  • the imaging system 10 includes an imaging lens 21, an imaging unit 20, and a signal processing unit 30-3.
  • the imaging unit 20 has an imaging lens 21 and an image sensor 22.
  • the imaging lens 21 of the imaging unit 20 is configured using a focus lens, a zoom lens, and the like, and forms an optical image of a subject on the imaging surface of the image sensor 22.
  • the image sensor 22 is configured using, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 22 performs a rolling shutter operation, generates an image signal corresponding to the subject optical image, and outputs the image signal to the signal processing unit 30-1. Further, the image sensor 22 sets the line reading order direction to the line based on the sequence direction setting signal from the reading setting unit 35 described later, and sets the line of the thinning amount indicated by the thinning setting signal from the region thinning setting unit 34 described later. An image signal is generated by thinning.
  • CMOS Complementary Metal Oxide Semiconductor
  • the signal processing unit 30-3 performs subject recognition based on the image signal generated by the imaging unit 20.
  • the signal processing unit 30-3 includes a motion detecting unit 31, an area distortion amount estimating unit 33, an area thinning setting unit 34, a reading setting unit 35, an interpolation processing unit 36, and a recognition processing unit 37-3.
  • the motion detection unit 31 detects the motion of the imaging unit 20. For example, when the imaging system 10 is mounted on a moving body such as a vehicle, the straight-line speed and angular speed of the imaging unit 20 are detected based on the speed of the vehicle and the steering angle of the steering wheel. The motion detection unit 31 outputs the motion detection result to the area distortion amount estimation unit 33.
  • the region distortion amount estimating unit 33 estimates the RS distortion amount for each region based on the motion detected by the motion detecting unit 31.
  • the area distortion estimating unit 33 divides the area by, for example, a predetermined number of lines, and estimates the RS distortion amount for each area.
  • a statistic of the distortion amount estimated for each line in the region for example, an average value, a median value, or a maximum value is used.
  • the region distortion amount estimating unit 33 may perform region division based on the distortion amount estimated for each line. For example, using the maximum value of the amount of distortion estimated for each line, if the difference between the maximum value of the adjacent lines exceeds a threshold value, the boundary between the two lines may be used as the region boundary.
  • the region distortion amount estimation unit 33 outputs the distortion amount estimation result for each region to the region thinning setting unit 34.
  • the region thinning setting unit 34 sets the thinning amount for each region according to the distortion amount for each region.
  • the area thinning setting unit 34 calculates the area thinning amount DAt based on the equation (2) using, for example, a map indicating the speed VS in the straight traveling direction, the speed VR in the rotating direction, and the tendency of the rolling shutter distortion during straight traveling. Note that “ka” and “kb” are preset coefficients. “KSmap” is a coefficient of a corresponding area based on a map indicating a rolling shutter distortion tendency when the vehicle is traveling straight.
  • the area thinning setting unit 34 outputs an area thinning setting signal indicating the area thinning amount set for each area to the imaging unit 20 and the recognition processing unit 37-3.
  • DAt (ka ⁇ VS ⁇ KSmap) + (kb ⁇ VRp) (2)
  • the reading setting unit 35 sets the reading order direction in the imaging unit 20 according to the motion detected by the motion detecting unit 31. When determining that the imaging unit 20 is moving forward, the read setting unit 35 sets the line read order direction from the bottom to the top. If the read setting unit 35 determines that the imaging unit 20 is retracted, the read setting unit 35 sets the line reading order from the upper side to the lower side. The read setting unit 35 generates a sequence direction setting signal indicating the set read sequence direction, and outputs the generated signal to the imaging unit 20 and the recognition processing unit 37-3.
  • the interpolation processing unit 36 performs an interpolation process using the image signal output from the imaging unit 20, and generates, for example, an image signal of an interpolated image having the same number of lines as the image before thinning.
  • the interpolation processing unit 36 outputs the image signal after the interpolation processing to the recognition processing unit 37-3.
  • the interpolation processing unit 36 may perform the interpolation processing based on the thinning information, and may perform the interpolation processing based on the thinning setting signal generated by the area thinning setting unit 34. Interpolation processing may be performed based on this.
  • the recognition processing unit 37-3 has a recognizer switching unit 371-3 and a plurality of recognizers 372-d1 to 372-dn and 372-u1 to 372-un.
  • the recognizers 372-d1 to 372-dn are recognizers provided according to the area thinning amount when the reading order direction is from the upper side to the lower side
  • the recognizers 372-u1 to 372-un are: This is a recognizer provided according to the area thinning amount when the reading order direction is from the lower side to the upper side.
  • the recognizer 372-d1 previously stores a dictionary based on a learning image obtained by performing an interpolation process on an image captured with the area thinning amount DAt-d1 when the reading order direction is from the upper side to the lower side.
  • the recognition process is performed using this dictionary.
  • the recognizer 372-un preliminarily stores a dictionary based on a learning image obtained by performing an interpolation process on an image captured with the area thinning amount DAt-un when the reading order direction is from the lower side to the upper side.
  • the recognition process is performed using the dictionary.
  • the recognizer switching unit 371-3 detects a processing area based on the image signal generated by the imaging unit 20. Further, the recognizer switching unit 371-3 determines the thinning amount of the processing region based on the thinning amount for each region set by the region thinning setting unit, and determines the determined thinning amount and the reading set by the reading setting unit 35. The recognizer used for the subject recognition processing is switched according to the order direction. The recognizer switching unit 371-3 supplies an image signal to the switched recognizer 372-x to perform recognition processing of the subject in the processing area, and outputs a recognition result from the signal processing unit 30-3.
  • FIG. 10 illustrates a flowchart showing the operation of the third embodiment.
  • the signal processing unit 30-3 performs a motion detection process.
  • the signal processing unit 30-3 detects a movement in a straight traveling direction or a rotating direction. For example, when the imaging system 10 is mounted on a car, the signal processing unit 30-3 proceeds to step ST22 using the speed of the car and the steering angle of the steering wheel as a motion detection result.
  • step ST22 the signal processing unit 30-3 sets the reading order direction.
  • the signal processing unit 30-3 sets the reading order of the lines to either the upper side to the lower side or the lower side to the upper side based on the movement detected in step ST21, and proceeds to step ST23.
  • step ST23 the signal processing unit 30-3 estimates the RS distortion amount for each region.
  • the signal processing unit 30-3 estimates the amount of RS distortion for each region based on the motion detected in step ST11, and proceeds to step ST24.
  • step ST24 the signal processing unit 30-3 sets the thinning amount.
  • the signal processing unit 30-3 sets the thinning amount based on the RS distortion amount for each region estimated in step ST23, and proceeds to step ST125.
  • step ST25 the signal processing unit 30-3 performs imaging control.
  • the signal processing unit 30-3 generates a thinning setting signal indicating the thinning amount set in step ST24 and a sequence direction setting signal indicating the reading sequence direction set in step ST22.
  • the signal processing unit 30-3 outputs the generated thinning-out setting signal and the sequence direction setting signal to the imaging unit 20, so that the line thinning-out of the reading order direction set in step ST22 and the thinning amount set in step ST24 is performed.
  • An image signal of the performed thinned image is generated, and the process proceeds to step ST26.
  • step ST26 the signal processing unit 30-3 performs an interpolation process.
  • the signal processing unit 30-3 performs an interpolation process using the image signal of the thinned image generated by the imaging unit 20, generates an image signal of an interpolated image which is the number of lines before line thinning, and proceeds to step ST27.
  • step ST27 the signal processing unit 30-3 switches the recognizer.
  • the signal processing unit 30-3 switches the recognizer that performs object recognition using the image signal of the interpolation image to a recognizer that corresponds to the reading order direction set in step ST22 and the thinning amount set in step ST24. It proceeds to step ST28.
  • step ST28 the signal processing unit 30-3 performs a recognition process.
  • the signal processing unit 30-3 uses the image signal of the interpolated image generated in step ST26 to perform subject recognition processing with the recognizer switched in step ST27.
  • the reading order direction and the thinning amount for each area are set in accordance with the relative position change between the imaging unit and the subject, so that the rolling shutter distortion is small and the subject is prevented from being omitted.
  • the captured image obtained is obtained. Further, since a recognizer is used in accordance with the thinning amount and the reading order direction in the acquired captured image, the subject can be accurately recognized based on the captured image with little rolling shutter distortion.
  • FIG. 11 illustrates the configuration of the fourth embodiment.
  • the imaging system 10 includes an imaging lens 21, an imaging unit 20, and a signal processing unit 30-4.
  • the imaging unit 20 has an imaging lens 21 and an image sensor 22.
  • the imaging lens 21 of the imaging unit 20 is configured using a focus lens, a zoom lens, and the like, and forms an optical image of a subject on the imaging surface of the image sensor 22.
  • the image sensor 22 is configured using, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 22 performs a rolling shutter operation, generates an image signal corresponding to the subject optical image, and outputs the image signal to the signal processing unit 30-4. Further, the image sensor 22 sets the line reading order direction to a direction based on a reading order direction setting signal from the reading setting unit 35 described later, and sets the line of the thinning amount indicated by the thinning setting signal from the thinning setting unit 32 described later. An image signal is generated by thinning.
  • CMOS Complementary Metal Oxide Semiconductor
  • the signal processing unit 30-4 performs image processing based on the image signal generated by the imaging unit 20.
  • the signal processing unit 30-4 includes a motion detection unit 31, a thinning-out setting unit 32, an interpolation processing unit 36, and an image processing unit 38.
  • the motion detection unit 31 detects the motion of the imaging unit 20. For example, when the imaging system 10 is mounted on a moving body, for example, a vehicle, the linear traveling speed and the angular speed of the imaging unit 20 are detected based on the speed of the vehicle and the steering angle of the steering wheel.
  • the motion detection section 31 outputs the motion detection result to the thinning setting section 32.
  • the thinning setting unit 32 sets the thinning amount according to the motion detected by the motion detecting unit 31.
  • the thinning setting unit 32 outputs a thinning setting signal indicating the set thinning amount to the image processing unit 38.
  • the interpolation processing unit 36 performs an interpolation process using the image signal output from the imaging unit 20, and generates, for example, an image signal of an interpolated image having the same number of lines as the image before thinning.
  • the interpolation processing unit 36 outputs the image signal after the interpolation processing to the recognition processing unit 37-4.
  • the interpolation processing unit 36 may perform the interpolation processing based on the thinning information, and may perform the interpolation processing based on the thinning setting signal generated by the thinning setting unit 32. Alternatively, the interpolation processing may be performed.
  • the image processing unit 38 performs a corresponding point search using the image signal after the interpolation processing, and generates a depth map or performs a SLAM process by stereo matching.
  • the image processing unit 38 sets the search range and the reliability based on the thinning setting signal generated by the thinning setting unit 32 in the corresponding point search. For example, in setting the search range, the search range is widened as the rolling shutter distortion increases. Further, since the rolling shutter distortion causes distortion in the line direction, the search range may be set wider in the line direction. Further, when rolling shutter distortion occurs, matching accuracy is reduced. Therefore, SLAM or a depth map is generated using the reliability of the corresponding point.
  • the search range for example, when the subject is expanded due to rolling shutter distortion, the search range is set so that the corresponding point can be detected, and when the subject is compressed, the corresponding point can be detected efficiently. Narrow the search range. Also, since the matching accuracy decreases as the RS distortion amount increases, the reliability decreases as the RS distortion amount increases.
  • FIG. 12 is a diagram for explaining the degree of reliability when a depth map is obtained.
  • FIG. 12A shows a left viewpoint image
  • FIG. 12B shows a rolling shutter skewness map corresponding to the left viewpoint image.
  • a region without oblique lines is a region with a small amount of RS distortion
  • a hatched region with a thick diagonal line is a region with a large amount of RS distortion
  • a hatched region with a thin diagonal line is a region with little or no RS distortion amount.
  • FIG. 12C shows a right viewpoint image
  • FIG. 12D shows a rolling shutter distortion map corresponding to the right viewpoint image.
  • step ST31 when lens distortion occurs in the image acquired by the left viewpoint imaging unit, in step ST31, the left viewpoint image and the rolling shutter skewness are corrected using a correction coefficient corresponding to the lens used in the left viewpoint imaging unit. Perform lens distortion correction processing of the map.
  • step ST32 the right viewpoint image and the rolling shutter skewness map are used by using a correction coefficient corresponding to the lens used in the right viewpoint imaging unit. Is performed.
  • FIG. 12E shows a left viewpoint image after the lens distortion correction processing
  • FIG. 12F shows a rolling shutter distortion degree map corresponding to the left viewpoint image after the lens distortion correction processing.
  • FIG. 12G shows a right viewpoint image after the lens distortion correction processing
  • FIG. 12H shows a rolling shutter distortion degree map corresponding to the right viewpoint image after the lens distortion correction processing.
  • a matching process is performed using the left viewpoint image after the lens distortion correction process shown in FIG. 12E and the right viewpoint image after the lens distortion correction process shown in FIG.
  • a depth map shown in FIG. 12 (i) indicating the depth of each pixel position of the left viewpoint image is generated.
  • the depth map indicates that the distance increases as the luminance decreases.
  • the rolling shutter skewness map of FIG. 12F is used as the reliability of the depth map.
  • FIG. 12 (j) shows the reliability.
  • the area without horizontal lines has a high reliability
  • the hatched area with a thick horizontal line has a low reliability
  • the hatched area with a thin vertical line has a high or low reliability.
  • the depth of an area with low reliability is invalidated.
  • temporal or spatial interpolation processing may be performed using the depth of the region with low reliability.
  • FIG. 13 is a diagram for explaining the reliability of SLAM.
  • FIG. 13A shows a captured image at a time T after the lens distortion correction processing
  • FIG. 13B shows a rolling shutter distortion degree map corresponding to the captured image
  • FIG. 13C shows a captured image at the time T-1 after the lens distortion correction processing
  • FIG. 13D shows a rolling shutter distortion degree map corresponding to the captured image.
  • the captured image and the rolling shutter skewness map after the lens distortion correction processing may be subjected to the same processing as in the case of acquiring the depth map.
  • a feature point pair is extracted using the captured images at time T and time T-1 after the lens distortion correction processing in step ST41.
  • FIGS. 13E and 13F illustrate a case where the feature point pair FP has three feature points, and the vertices of a triangle indicating the feature point pair are feature points.
  • the reliability at times T and T-1 is calculated for each feature point pair.
  • the movement amount is extracted for each feature point pair based on the feature point pair at time T and time T-1.
  • the reliability at time T is calculated for each feature point pair.
  • the reliability at time T-1 is calculated in the same manner as the reliability at time T using the rolling shutter skewness map at time T-1.
  • the depth map of the depth map is more accurately compared to the case where the rolling shutter distortion is not used.
  • Generation and SLAM processing can be performed.
  • the vehicle speed and the steering angle are used for the motion detection.
  • the motion of the imaging unit may be detected by detecting the acceleration or the angular speed using an inertial measurement unit (IMU). Good.
  • IMU inertial measurement unit
  • the thinning amount is set based on the motion detection result
  • the thinning amount may be set according to the imaging scene. For example, using the image information or the map information and the self-position information (including the direction of the self-position), it is possible to estimate what kind of scene is captured by the imaging unit.
  • FIG. 14 illustrates the relationship between the estimation result of a scene and the thinning amount.
  • FIG. 14A shows a case where the scene is determined to be open ahead by image information or map information.
  • the subject on the near side for example, a display on the road surface
  • the change in the relative positional relationship between the imaging unit and the subject is small, and the amount of RS distortion is small, so the thinning amount is reduced.
  • the thinning amount is set to the middle since the change in the relative positional relationship between the imaging unit and the subject is neither large nor small.
  • (C) of FIG. 14 shows a case where the scene is determined to be an urban scene with many buildings based on image information or map information.
  • the subject on the near side (for example, display on the road surface) has a large change in the relative positional relationship between the imaging unit and the subject, and has a large RS distortion amount. More.
  • the thinning amount is set to the middle for the subject at the center or upper part (for example, a building in front).
  • (E) of FIG. 14 shows a case where the scene is determined to be an uphill scene based on image information or map information.
  • the subject on the near side for example, a display on the road surface
  • the thinning amount of the upper subject for example, a distant road
  • the thinning amount of the subject in the center is set to the middle.
  • the moving object may be included in the imaging range, and the rolling shutter distortion may increase due to the movement of the moving object. Therefore, a moving object may be detected based on a plurality of images in the time direction acquired by the imaging unit, and the thinning amount may be increased in a region where the moving object is large.
  • FIG. 15 illustrates a case where a moving object is included in a captured image.
  • the moving object is an automobile.
  • FIG. 15A illustrates a captured image including a moving object (for example, a car) OBm in an urban scene.
  • the moving object is moving in the horizontal direction, for example.
  • the area BKm indicated by cross-hatching including the moving object includes the moving object. Is detected as an area having a large size.
  • the signal processing unit 30-4 increases the thinning amount of the line area including the area BKm having a large motion.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to any type of transportation such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), and the like. It may be realized as a device mounted on the body.
  • FIG. 16 is a block diagram illustrating a configuration example of a schematic function of a vehicle control system 100 which is an example of a moving object control system to which the present technology can be applied.
  • a vehicle provided with the vehicle control system 100 is distinguished from other vehicles, the vehicle is referred to as a host vehicle or a host vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body.
  • a system system 110, a storage unit 111, and an automatic operation control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 Interconnected.
  • the communication network 121 may be, for example, an in-vehicle communication network or a bus that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the description of the communication network 121 will be omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate.
  • the input unit 101 includes a device used by a passenger to input various data and instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than a manual operation by voice, gesture, or the like.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device compatible with the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by a passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, an engine speed, A sensor or the like for detecting a motor rotation speed, a wheel rotation speed, or the like is provided.
  • IMU inertial measurement device
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a time-of-flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the surrounding information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging and Ranging), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle. More specifically, for example, the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that captures an image of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sounds in the vehicle compartment, and the like.
  • the biological sensor is provided on, for example, a seat surface or a steering wheel, and detects biological information of a passenger sitting on a seat or a driver holding a steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104, various devices outside the vehicle, a server, a base station, and the like, and transmits data supplied from each unit of the vehicle control system 100, and transmits received data to the vehicle control system. 100 parts.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols. , Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like, and wirelessly communicates with the in-vehicle device 104.
  • the communication unit 103 may be connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL ( Wired communication is performed with the in-vehicle device 104 by using a Mobile High-definition Link).
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Wired communication is performed with the in-vehicle device 104 by using a Mobile High-definition Link.
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Perform communication. Further, for example, the communication unit 103 uses a P2P (Peer @ To @ Peer) technology to communicate with a terminal (for example, a pedestrian or a store terminal, or an MTC (Machine @ Type @ Communication) terminal) existing near the own vehicle. Perform communication.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the communication unit 103 uses a P2P (Peer @ To @ Peer) technology to communicate with a terminal (for example, a pedestrian or a store terminal, or an MTC (Machine @ Type @ Communication) terminal) existing near the own vehicle. Perform communication.
  • P2P Peer @ To @ Peer
  • the communication unit 103 communicates between a vehicle (Vehicle to Vehicle), a road to vehicle (Vehicle to Infrastructure), a communication between a vehicle and a house (Vehicle to Home), and a vehicle to vehicle (Vehicle to Vehicle). ) Perform V2X communication such as communication.
  • the communication unit 103 includes a beacon receiving unit, receives a radio wave or an electromagnetic wave transmitted from a wireless station or the like installed on a road, and obtains information such as a current position, traffic congestion, traffic regulation, or required time. I do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device possessed by the passenger, an information device carried or attached to the own vehicle, a navigation device for searching for a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various types of information to the occupant of the vehicle or to the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates sound data including a warning sound or a warning message for danger such as collision, contact, entry into a dangerous zone, and the like, and outputs an output signal including the generated sound data to the output unit 106. Supply.
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the occupant of the vehicle or to the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as an eyeglass-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 can display visual information in a driver's visual field such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function in addition to a device having a normal display.
  • the display device may be used.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the driving system 108 includes a driving force generating device for generating driving force such as an internal combustion engine or a driving motor, a driving force transmitting mechanism for transmitting driving force to wheels, a steering mechanism for adjusting a steering angle, A braking device for generating a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like are provided.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies a control signal to each unit other than the body system system 110 as necessary, and notifies a control state of the body system system 110 and the like.
  • the body system 110 includes various body-system devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, a head lamp, a back lamp, a brake lamp, a blinker, a fog lamp, and the like). Etc. are provided.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs and data used by each unit of the vehicle control system 100.
  • the storage unit 111 stores map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that is less accurate than the high-accuracy map and covers a wide area, and a local map that includes information around the own vehicle. Is stored.
  • the automatic driving control unit 112 performs control relating to automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 may perform collision avoidance or impact mitigation of the own vehicle, follow-up running based on the following distance, vehicle speed maintaining running, own vehicle collision warning, or own vehicle lane departure warning and the like. It performs cooperative control with the aim of realizing the functions of ADAS (Advanced Driver Assistance System), including: In addition, for example, the automatic driving control unit 112 performs cooperative control for the purpose of autonomous driving in which the vehicle runs autonomously without depending on the operation of the driver.
  • the automatic driving control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various kinds of information necessary for controlling the automatic driving.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the vehicle based on data or signals from each unit of the vehicle control system 100. For example, the outside-of-vehicle information detection unit 141 performs detection processing, recognition processing, tracking processing, and detection processing of the distance to the object around the own vehicle. Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like. Further, for example, the outside-of-vehicle information detection unit 141 performs a process of detecting an environment around the own vehicle. The surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the out-of-vehicle information detection unit 141 uses the data indicating the result of the detection processing as the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. To the emergency avoidance unit 171 and the like.
  • the in-vehicle information detecting unit 142 performs a process of detecting in-vehicle information based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and a recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, gaze direction, and the like.
  • the environment in the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 performs detection processing of the state of the own vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the subject vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position and inclination, door lock state, and other in-vehicle devices. State and the like are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimating unit 132 estimates the position and orientation of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the outside-of-vehicle information detecting unit 141 and the situation recognizing unit 153 of the situation analyzing unit 133. Perform processing. In addition, the self-position estimating unit 132 generates a local map used for estimating the self-position (hereinafter, referred to as a self-position estimation map) as necessary.
  • the self-position estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimating unit 132 supplies data indicating the result of the estimation processing to the map analyzing unit 151, the traffic rule recognizing unit 152, the situation recognizing unit 153, and the like of the situation analyzing unit 133. Further, the self-position estimating unit 132 causes the storage unit 111 to store the self-position estimating map.
  • the situation analysis unit 133 performs analysis processing of the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 performs various types of maps stored in the storage unit 111 while using data or signals from various units of the vehicle control system 100 such as the self-position estimation unit 132 and the outside-of-vehicle information detection unit 141 as needed. Performs analysis processing and builds a map containing information necessary for automatic driving processing.
  • the map analysis unit 151 converts the constructed map into a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a route planning unit 161, an action planning unit 162, and an operation planning unit 163 of the planning unit 134. To supply.
  • the traffic rule recognition unit 152 determines the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the self-position estimating unit 132, the outside-of-vehicle information detecting unit 141, and the map analyzing unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the contents of traffic regulation around the own vehicle, the lanes that can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition processing to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 converts data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the outside-of-vehicle information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on this, a process for recognizing the situation regarding the own vehicle is performed. For example, the situation recognition unit 153 performs recognition processing on the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. Further, the situation recognizing unit 153 generates a local map (hereinafter, referred to as a situation recognizing map) used for recognizing a situation around the own vehicle as needed.
  • the situation recognition map is, for example, an occupancy grid map (Occupancy @ Grid @ Map).
  • the situation of the own vehicle to be recognized includes, for example, the position, posture, and movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the presence / absence and content of an abnormality.
  • the situation around the subject vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement (eg, speed, acceleration, moving direction, and the like) of the surrounding moving object, and the surrounding road.
  • the configuration and the state of the road surface, and the surrounding weather, temperature, humidity, brightness, and the like are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, movement of the line of sight, driving operation, and the like.
  • the situation recognizing unit 153 supplies data indicating the result of the recognition process (including a situation recognizing map as necessary) to the self-position estimating unit 132 and the situation estimating unit 154.
  • the situation recognition unit 153 causes the storage unit 111 to store the situation recognition map.
  • the situation prediction unit 154 performs a situation prediction process for the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, occurrence of an abnormality, and a mileage that can travel.
  • the situation around the own vehicle to be predicted includes, for example, behavior of a moving object around the own vehicle, a change in a signal state, a change in an environment such as weather, and the like.
  • the situation of the driver to be predicted includes, for example, the behavior and physical condition of the driver.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, shows data indicating the result of the prediction process, along with the route planning unit 161, the behavior planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to a specified destination based on the global map. In addition, for example, the route planning unit 161 appropriately changes the route based on conditions such as traffic congestion, accidents, traffic regulations, construction, and the like, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely performs the route planned by the route planning unit 161 within the planned time based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's behavior to drive. For example, the action planning unit 162 performs planning such as start, stop, traveling direction (for example, forward, backward, left turn, right turn, direction change, etc.), traveling lane, traveling speed, and passing. The action planning unit 162 supplies data indicating the planned behavior of the own vehicle to the operation planning unit 163 and the like.
  • the operation planning unit 163 includes data from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154.
  • the operation of the own vehicle for realizing the action planned by the action planning unit 162 is planned.
  • the operation planning unit 163 plans acceleration, deceleration, a traveling trajectory, and the like.
  • the operation planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the operation control unit 135 controls the operation of the own vehicle.
  • the operation control unit 135 includes an emergency avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency avoidance unit 171 performs a collision, a contact, an entry into a danger zone, a driver abnormality, a vehicle An emergency situation such as an abnormality is detected.
  • the emergency avoidance unit 171 plans the operation of the own vehicle to avoid an emergency such as a sudden stop or a sudden turn.
  • the emergency avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • Acceleration / deceleration control section 172 performs acceleration / deceleration control for realizing the operation of the vehicle planned by operation planning section 163 or emergency avoidance section 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generation device or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171. For example, the direction control unit 173 calculates a control target value of the steering mechanism for realizing the traveling trajectory or the sharp turn planned by the operation planning unit 163 or the emergency avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • the imaging unit 20 described in the present embodiment is the data acquisition unit 102, and the signal processing units 30-1 (30-2, 30-3, 30-4) are the exterior information detection units 141.
  • the imaging unit 20 and the signal processing unit 30-1 (30-2, 30-3, 30-4) are provided in the vehicle control system 100, the relative positional relationship between the vehicle provided with the vehicle control system 100 and an object outside the vehicle Since the thinning amount is set in accordance with the change in the image capturing and the image capturing is performed, it is possible to obtain a captured image with little rolling shutter distortion. Further, since the object recognition is performed by switching to the recognizer corresponding to the thinning amount, the object can be recognized with higher accuracy than when the object recognition is performed without switching the recognizer.
  • a series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer built in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in a hard disk, a solid state drive (SSD), or a read only memory (ROM) as a recording medium in advance.
  • the program is a flexible disk, CD-ROM (Compact Disc Only Memory), MO (Magneto Optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card Can be temporarily (permanently) stored (recorded) in a removable recording medium.
  • a removable recording medium can be provided as so-called package software.
  • the program may be installed on the computer from a removable recording medium, or may be transferred from the download site to the computer via a network such as a LAN (Local Area Network) or the Internet by a wireless or wired method.
  • the computer can receive the program thus transferred and install it on a recording medium such as a built-in hard disk.
  • the information processing device of the present technology can also have the following configuration.
  • a motion detection unit that detects a change in the relative positional relationship between the imaging unit and the subject;
  • An information processing apparatus comprising: a thinning setting unit configured to set a thinning amount of a line thinning operation of the imaging unit according to a detection result of the motion detecting unit.
  • the thinning-out setting unit performs the uniform line thinning operation on the entire screen when the change in the relative positional relationship detected by the motion detection unit is a change caused by rotation of the imaging unit.
  • Information processing device is a change in the relative positional relationship detected by the motion detection unit is a change caused by rotation of the imaging unit.
  • the thinning-out setting unit may perform the movement by moving the imaging unit in the direction of the optical axis.
  • the reading setting unit sets the line reading order direction to downward
  • the information processing apparatus according to (5), wherein the line reading order direction is set to the upward direction when the change is caused by the backward movement of the imaging unit in the optical axis direction.
  • the information processing device according to any one of (1) to (6), wherein the motion detection unit detects a change in the relative positional relationship based on a motion of a moving body on which the imaging unit is mounted.
  • the information processing device (9) The information processing device according to (7), wherein the motion detection unit detects a change in the relative positional relationship based on a measurement result of an inertial measurement unit provided on a moving body on which the imaging unit is mounted. (10) The information processing device according to (1), wherein the motion detection unit detects a change in the relative positional relationship based on an imaging scene. (11) The information processing device according to (1), wherein the motion detection unit detects a change in the relative positional relationship based on an image acquired by the imaging unit. (12) Any of (1) to (11) further including a recognition processing unit that performs subject recognition of an image acquired by the imaging unit using a recognizer corresponding to the thinning amount set by the thinning setting unit. An information processing device according to any one of the above.
  • the information processing apparatus wherein the recognition processing unit performs subject recognition using a dictionary generated in advance according to the thinning amount.
  • the recognition processing unit uses a recognizer corresponding to a thinning amount set for each area by the thinning setting unit.
  • a read setting unit configured to set a reading order direction of lines in the imaging unit according to a detection result of the motion detection unit; Any one of (12) to (14), wherein the recognition processing unit performs the object recognition using a recognizer corresponding to the thinning amount set by the thinning setting unit and the reading order direction set by the reading setting unit.
  • an image processing unit that performs a corresponding point search using the image acquired by the imaging unit, The information processing device according to any one of (1) to (15), wherein the image processing unit adjusts a search range according to the thinning amount set by the thinning setting unit.
  • the image processing unit adjusts the reliability of the corresponding point according to the thinning amount set by the thinning setting unit.
  • the thinning amount of the line thinning operation of the imaging unit is set according to a change in the relative positional relationship between the imaging unit and the subject. Therefore, a subject image with less distortion can be obtained. Therefore, it is suitable for a device mounted on a moving body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

動き検出部３１は、ローリングシャッター動作を行う撮像部２０と被写体との相対位置関係の変化を検出する。間引き設定部３２は、動き検出部３１の検出結果に応じて撮像部２０のライン間引き動作の間引き量を設定する。認識処理部３７-1は、間引き設定部３２で設定された間引き量に応じた認識器３７２-xを用いて、撮像部２０で取得された画像の被写体認識を行う。相対位置関係の変化は、撮像部２０が搭載された移動体の動き、撮像シーン、撮像部２０で取得された画像等に基づき検出する。ローリングシャッター動作時にライン間引きが行われて、動き検出部３１の検出結果に応じて間引き量が設定されるので、歪みの少ない被写体画像を得られる。

Description

情報処理装置と情報処理方法とプログラム
　この技術は、情報処理装置と情報処理方法とプログラムに関し、歪みの少ない被写体画像を得られるようにする。
　従来、動物体を撮像する際にフレームレートを高めることで視認性を向上させることが行われている。例えば特許文献１では、撮像領域を注目領域と注目領域を除く通常領域に区分して、注目領域は通常領域よりもフレームレートを高く、間引き率を低く設定することで、注目領域の視認性を通常領域よりも向上させることが行われている。
特開２０１６－１３１３６５号公報
　ところで、撮像装置でローリングシャッター動作が行われる場合、２次元状に配列されている画素では、ライン単位で時系列的に露光と蓄積電荷の読み出し等が行われることから、撮像装置と被写体の位置関係が時間の経過に伴い変化する場合に被写体画像の歪み（いわゆるローリングシャッター歪み）を生じる。ローリングシャッター歪みは、例えば特許文献１のようにフレームレートを高くしても、撮像装置と被写体の位置関係の変化が大きければ顕著となる。
　そこで、この技術では撮像装置と被写体の位置関係が時間の経過に伴い変化する場合でも、歪みの少ない被写体画像を得ることできる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　撮像部と被写体との相対位置関係の変化を検出する動き検出部と、
　前記動き検出部の検出結果に応じて前記撮像部のライン間引き動作の間引き量を設定する間引き設定部と
を備える情報処理装置にある。
　この技術において、動き検出部は、ローリングシャッター動作を行う撮像部と被写体との相対位置関係の変化を検出する。動き検出部は、撮像部が搭載された移動体の動き、撮像シーン、撮像部で取得された画像等に基づき相対位置関係の変化を検出する。例えば移動体が車両である場合は車速と操舵角、あるいは移動体に設けられた慣性計測部の計測結果に基づき相対位置関係の変化を検出する。
　間引き設定部は、動き検出部で検出される変化が大きくなるに伴い、間引き量を大きくする。また、間引き設定部は、動き検出部で検出される相対位置関係の変化が撮像部の回転によって生じる変化である場合、画面全体で均等なライン間引き動作を行う。さらに、間引き設定部は、動き検出部で検出される相対位置関係の変化が撮像部の光軸の方向の移動によって生じる変化である場合、撮像部の光軸方向の移動によって生じる相対位置関係の変化が大きい領域は変化が少ない領域よりも間引き量を大きくする。
　また、動き検出部の検出結果に応じて撮像部におけるラインの読み出し順序方向を設定する読み出し設定部を設ける。読み出し設定部は、動き検出部で検出される相対位置関係の変化が撮像部の光軸方向の前進移動によって生じる変化である場合にラインの読み出し順序方向を下方向として、撮像部の光軸方向の後退移動によって生じる変化である場合にラインの読み出し順序方向を上方向とする。
　また、撮像部で取得された画像の被写体認識を行う認識処理部を設ける。認識処理部は、予め生成された辞書を用いた認識器を間引き量に応じて有しており、間引き設定部で設定された間引き量あるいは領域毎に設定された間引き量に応じた認識器を用いて認識処理を行う。また、認識処理部は、間引き設定部で設定された間引き量と読み出し設定部で設定された読み出し順序方向に応じた認識器を用いて認識処理を行う
　さらに、撮像部で取得された画像を用いて対応点探索を行う画像処理部を備え、画像処理部は、間引き設定部で設定された間引き量に応じて探索範囲を調整する、あるいは間引き設定部で設定された間引き量に応じて対応点の信頼度を調整する。
　この技術の第２の側面は、
　撮像部と被写体との相対位置関係の変化を動き検出部で検出することと、
　前記動き検出部の検出結果に応じて前記撮像部におけるライン間引き動作の間引き量を間引き設定部で設定すること
を備える情報処理方法にある。
　この技術の第３の側面は、
　撮像部の制御をコンピュータで実行させるプログラムであって、
　前記撮像部と被写体との相対位置関係の変化を検出する手順と、
　前記相対位置関係の変化に応じて前記撮像部のライン間引き動作の間引き量を設定する手順と
を前記コンピュータで実行させるプログラム。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術によれば、撮像部と被写体との相対位置関係の変化に応じて撮像部のライン間引き動作の間引き量が設定される。このため、歪みの少ない被写体画像を得られるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
第１の実施の形態の構成を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 第１の実施の形態の動作例を示した図である。 被写体に対して撮像部が前進する場合を例示した図である。 被写体に対して撮像部が後退する場合を例示した図である。 第２の実施の形態の構成を例示した図である。 第２の実施の形態の動作を例示したフローチャートである。 被写体までの距離とローリングシャッター歪みの関係を説明するための図である。 第３の実施の形態の構成を例示した図である。 第３の実施の形態の動作を例示したフローチャートである。 第４の実施の形態の構成を例示した図である。 デプスマップを取得する場合の信頼度を説明するための図である。 ＳＬＡＭの信頼度を説明するための図である。 シーンの推定結果と間引き量の関係を例示している。 撮像画に動物体が含まれた場合を例示している。 車両制御システムの概略的な機能の構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　　１－１．第１の実施の形態の構成
　　１－２．第１の実施の形態の動作
　２．第２の実施の形態
　　２－１．第２の実施の形態の構成
　　２－２．第２の実施の形態の動作
　３．第３の実施の形態
　　３－１．第３の実施の形態の構成
　　３－２．第３の実施の形態の動作
　４．第４の実施の形態
　　４－１．第４の実施の形態の構成
　　４－２．第４の実施の形態の動作
　５．変形例
　６．応用例
　＜１．第１の実施の形態＞
　＜１－１．第１の実施の形態の構成＞
　図１は，第１の実施の形態の構成を例示している。撮像システム１０は、撮像部２０と信号処理部３０-1を有している。
　撮像部２０は撮像レンズ２１とイメージセンサ２２を有している。撮像部２０の撮像レンズ２１は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像をイメージセンサ２２の撮像面に結像させる。
　イメージセンサ２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて構成されている。イメージセンサ２２は、ローリングシャッター動作を行い、被写体光学像に応じた画像信号を生成して信号処理部３０-1へ出力する。また、イメージセンサ２２は、後述する間引き設定部３２からの間引き設定信号で示された間引き量のライン間引きを行って画像信号を生成する。なお、間引き量は間引き率であってもよく、以下の説明では、間引き量として説明を行う。
　信号処理部３０-1は、撮像部２０で生成された画像信号に基づき被写体認識を行う。信号処理部３０-1は、動き検出部３１、間引き設定部３２、補間処理部３６、認識処理部３７-1を有している。
　動き検出部３１は、撮像部２０の動きを検出する。例えば撮像システム１０が車両等の移動体に搭載されている場合、車両の速度やハンドルの操舵角に基づき撮像部２０の直進速度や角速度を検出する。動き検出部３１は、動き検出結果を間引き設定部３２へ出力する。
　間引き設定部３２は、動き検出部３１で検出された動きに応じて間引き量を設定する。間引き設定部３２は、例えば直進方向の速度ＶＳと回転方向の速度ＶＲを用いて、式（１）に基づき間引き量Ｄｔを算出する。なお、「ｋａ」「ｋｂ」は、予め設定されている係数である。間引き設定部３２は、設定した間引き量を示す間引き設定信号を認識処理部３７-1へ出力する。
　Ｄｔ＝ｋａ×ＶＳ＋ｋｂ×ＶＲ　　・・・（１）
　補間処理部３６は、撮像部２０から出力された画像信号を用いて補間処理を行い、例えば間引き前の画像とライン数が等しい補間画像の画像信号を生成する。補間処理部３６は、補間処理後の画像信号を認識処理部３７-1へ出力する。なお、補間処理部３６は、撮像部２０から間引き状態を示す間引き情報が供給される場合、間引き情報に基づいて補間処理を行ってもよく、間引き設定部３２で生成された間引き設定信号に基づいて補間処理を行うようにしてもよい。
　認識処理部３７-1は、認識器切替部３７１-1と複数の認識器３７２-1～認識器３７２-nを有している。認識器３７２-1～３７２-nは、間引き量毎に設けられている。例えば認識器３７２-1は間引き量Ｄｔ-1で撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。また、認識器３７２-nは間引き量Ｄｔ-nで撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。認識器切替部３７１は撮像部２０で生成された画像信号に基づき処理領域を検出する。また、認識器切替部３７１は、処理領域の間引き量に応じて、被写体の認識処理に用いる認識器を切り替える。認識器切替部３７１は、切り替え後の認識器３７２-xに画像信号を供給して、間引き量に応じた辞書を用いて処理領域の被写体を認識して、認識結果を信号処理部３０-1から出力する。
　＜１－２．第１の実施の形態の動作＞
　図２は、第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１で信号処理部３０-1は動き検出処理を行う。信号処理部３０-1は、直進方向や回転方向の動きを検出する。例えば撮像システム１０が自動車に搭載されている場合、信号処理部３０-1は、自動車の速度やハンドルの操舵角を動き検出結果としてステップＳＴ２に進む。
　ステップＳＴ２で信号処理部３０-1は間引き量を設定する。信号処理部３０-1は、ステップＳＴ１で検出された動きに基づき、例えば上述の式（１）に基づき間引き量を設定してステップＳＴ３に進む。
　ステップＳＴ３で信号処理部３０-1は撮像制御を行う。信号処理部３０-1はステップＳＴ２で設定された間引き量を示す間引き設定信号を生成して撮像部２０へ出力することで、ステップＳＴ２で設定された間引き量のライン間引きが行われた間引き画像の画像信号を撮像部２０で生成させてステップＳＴ４に進む。
　ステップＳＴ４で信号処理部３０-1は補間処理を行う。信号処理部３０-1は、撮像部２０で生成された間引き画像の画像信号を用いて補間処理を行い、ライン間引き前のライン数である補間画像の画像信号を生成してステップＳＴ５に進む。
　ステップＳＴ５で信号処理部３０-1は認識器の切り替えを行う。信号処理部３０-1は、補間画像の画像信号を用いて被写体認識を行う認識器を、ステップＳＴ２で設定された間引き量に応じた認識器に切り替えてステップＳＴ６に進む。
　ステップＳＴ６で信号処理部３０-1は認識処理を行う。信号処理部３０-1はステップＳＴ４で生成された補間画像の画像信号を用いて、ステップＳＴ５で切り替えられた認識器によって被写体の認識処理を行う。
　図３は、第１の実施の形態の動作例を示している。なお、被写体は例えば路上に表示された「ＳＴＯＰ」マークであり、撮像部２０は車両に搭載されて前進している。また、各ラインの露光期間を期間ｔp、読み出しライン順序方向を上側から下方向、撮像画における被写体の先端をライン位置Ｍa，後端をライン位置Ｍbとする。
　図３の（ａ）は間引きを行わない場合に撮像部２０で取得された画像を例示している。この場合、ライン順に読み出しが行われることから、ライン位置Ｍa，Ｍbは、時間経過と共に手前側（撮像画の下方向）に移動する。したがって、図３の（ｂ）に示すように、ライン位置Ｍaとライン位置Ｍbとの間隔は時間差ｔdaの期間中の車両の移動速度に応じて広くなる。すなわち、被写体は、図３の（ａ）に示すように伸張された状態となる。
　図３の（ｃ）は間引きを行った場合に撮像部２０で取得された間引き画像を例示している。ライン位置Ｍa，Ｍbは、時間経過と共に手前側（撮像画の下方向）に移動する。また、ライン間引き読み出しを行っていることから、最初のラインの読み出しから最後のラインの読み出しまでに要する時間は短くなり、ライン位置Ｍaとライン位置Ｍbの間隔の時間差は、図３の（ｄ）に示すように、間引きを行っていない場合の時間差ｔdaよりも短い時間差ｔdbとなる。このため、図３の（ｃ）に示す間引き画像に対して補間処理を行うことにより得られた補間画像では、間引きを行っていない場合に比べて図３の（ｅ）に示すように被写体の歪みが少なくなる。また、車両の前進速度が速くなるに伴い間引き量を大きくすれば、被写体の歪みを少なくできる。
　さらに、間引きを行って得られた撮像画に対して補間処理が行われて、補間画像を用いて間引き量に応じた認識器によって被写体の認識処理が行われるので、精度よく被写体を認識できるようになる。
　このように、第１の実施の形態によれば、撮像部と被写体との相対位置変化に応じて間引き量が設定されて、ローリングシャッター歪みの少ない撮像画が取得される。さらに取得された撮像画における間引き量に応じた認識器が用いられるので、ローリングシャッター歪みの少ない撮像画に基づき、精度よく被写体を認識できるようになる。
　＜２．第２の実施の形態＞
　ところで、ローリングシャッター動作を行い取得された撮像画では、撮像部２０で用いられているイメージセンサのライン方向に対して直交する方向の被写体の動きに応じて、被写体が伸張あるいは圧縮される。図４は、被写体に対して撮像部が前進する場合を例示した図であり、図５は、被写体に対して撮像部が後退する場合を例示した図である。なお、被写体は例えば路上に表示された「ＳＴＯＰ」マークであり、撮像部２０は車両に搭載されている。また、図４，図５では、各ラインの露光期間を期間ｔp、読み出しライン順序方向を上側から下方向、撮像画における被写体の先端をライン位置Ｍa，後端をライン位置Ｍbとする。また、図４は、被写体に対して車両が前進しており、撮像画における被写体の動きが読み出しライン順序方向である場合を示している。また、図５は、被写体に対して車両が後退しており、撮像画における被写体の動きが読み出しライン順序方向に対して逆方向である場合を示している。
　図４の（ａ）（ｂ）と図５の（ａ）（ｂ）は、車両が停止している場合の画像を例示している。車両が停止していることから、時間が経過してもライン位置Ｍa，Ｍbは一定である。また、ローリングシャッター動作により、ライン位置Ｍbとライン位置Ｍbの露光期間の開始タイミングは時間差ｔdを有している。
　図４の（ｃ）（ｄ）は、車両が前進した場合を例示している。この場合、ライン位置Ｍa，Ｍbは、時間経過と共に手前側（撮像画の下方向）に移動する。したがって、図４の（ｄ）に示すように、ライン位置Ｍaとライン位置Ｍbとの時間差ｔd1は停止しているときよりも車両の移動速度に応じて大きくなる。すなわち、被写体は図４の（ｃ）に示すように伸張された状態となる。
　図４の（ｅ）（ｆ）は、車両が高速で前進した場合を例示している。この場合にも、ライン位置Ｍa，Ｍbは、時間経過と共に手前側（撮像画の下方向）に移動する。また、車両が高速であることから移動量は大きくなる。したがって、図４の（ｆ）に示すように、ライン位置Ｍaとライン位置Ｍbは、露光期間となる前に、撮像範囲が外れてしまい、図４の（ｅ）に示すように、被写体が表示されなくなってしまう。
　図５の（ｃ）（ｄ）は、車両が後退した場合を例示している。この場合、ライン位置Ｍa，Ｍbは、時間経過と共に奥側（撮像画における水平線のライン位置の方向）に移動する。したがって、図５の（ｄ）に示すように、ライン位置Ｍaとライン位置Ｍbとの時間差ｔd2は停止しているときよりも車両の移動速度に応じて小さくなる。すなわち、被写体は図５の（ｃ）に示すように圧縮された状態となる。
　図５の（ｅ）（ｆ）は、車両が高速で後退した場合を例示している。この場合にも、ライン位置Ｍa，Ｍbは、時間経過と共に奥側（撮像画における水平線のライン位置の方向）に移動する。また、車両が高速であることから移動量は大きくなる。したがって、図５の（ｆ）に示すように、ライン位置Ｍaとライン位置Ｍbとの時間差ｔd3は時間差ｔd2よりもさらに小さくなる。すなわち、被写体は、図５の（ｅ）に示すように、図５の（ｃ）に示す場合よりもさらに圧縮された状態となる。
　このように、ラインの読み出し順序方向に被写体が高速に移動すると被写体が撮像画に映り込まなくなってしまうが、読み出し順序方向に対して被写体の動きが逆方向である場合は、被写体が高速に移動して撮像画に映り込まなくなってしまうことがない。
　そこで、第２の実施の形態では、撮像部２０のイメージセンサからライン単位で信号を読み出す場合、動き検出結果に応じてラインの読み出し順序方向を上側から下方向にあるいは下側から上方向に設定して、間引き画像からの被写体の抜けを防止する。
　＜２－１．第２の実施の形態の構成＞
　図６は，第２の実施の形態の構成を例示している。撮像システム１０は、撮像レンズ２１と撮像部２０、信号処理部３０-2を有している。
　撮像部２０は撮像レンズ２１とイメージセンサ２２を有している。撮像部２０の撮像レンズ２１は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像をイメージセンサ２２の撮像面に結像させる。
　イメージセンサ２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて構成されている。イメージセンサ２２は、ローリングシャッター動作を行い、被写体光学像に応じた画像信号を生成して信号処理部３０-2へ出力する。また、イメージセンサ２２は、ラインの読み出し順序方向を後述する読み出し設定部３５からの読み出し順序方向信号で示された方向として、後述する間引き設定部３２からの間引き設定信号で示された間引き量のライン間引きを行って画像信号を生成する。
　信号処理部３０-2は、撮像部２０で生成された画像信号に基づき被写体認識を行う。信号処理部３０-2は、動き検出部３１、間引き設定部３２、読み出し設定部３５、補間処理部３６、認識処理部３７-2を有している。
　動き検出部３１は、撮像部２０の動きを検出する。例えば撮像システム１０が車両等の移動体に搭載されている場合、車両の速度やハンドルの操舵角に基づき撮像部２０の直進速度や角速度を検出する。動き検出部３１は、動き検出結果を間引き設定部３２へ出力する。
　間引き設定部３２は、動き検出部３１で検出された動きに応じて間引き量を設定する。間引き設定部３２は、例えば直進方向の速度ＶＳと回転方向の速度ＶＲを用いて上述の式（１）に基づき間引き量Ｄｔを算出する。間引き設定部３２は、設定した間引き量を示す間引き設定信号を認識処理部３７-2へ出力する。
　読み出し設定部３５は、動き検出部３１で検出された動きに応じて、撮像部２０におけるラインの読み出し順序方向を設定する。読み出し設定部３５は、撮像部２０が前進していると判別した場合、読み出し順序方向を下側から上方向に設定する。また、読み出し設定部３５は、撮像部２０が後退していると判別した場合、読み出し順序方向を上側から下方向に設定する。読み出し設定部３５は、設定した読み出し順序方向を示す順序方向設定信号を生成して撮像部２０と認識処理部３７-2へ出力する。
　補間処理部３６は、撮像部２０から出力された画像信号を用いて補間処理を行い、例えば間引き前の画像とライン数が等しい補間画像の画像信号を生成する。補間処理部３６は、補間処理後の画像信号を認識処理部３７-2へ出力する。なお、補間処理部３６は、撮像部２０から間引き状態を示す間引き情報が供給される場合、間引き情報に基づいて補間処理を行ってもよく、間引き設定部３２で生成された間引き設定信号に基づいて補間処理を行うようにしてもよい。
　認識処理部３７-2は、認識器切替部３７１-2と複数の認識器３７２-d1～３７２-dn，３７２-u1～３７２-unを有している。なお、認識器３７２-d1～３７２-dnは、ラインの読み出し順序方向が上側から下方向であるときの間引き量に応じて設けられた認識器であり、認識器３７２-u1～３７２-unは、読み出し順序方向が下側から上方向であるときの間引き量に応じて設けられた認識器である。例えば認識器３７２-d1は、読み出し順序方向が上側から下方向であるときの間引き量Ｄｔ-d1で撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。また、認識器３７２-unは、読み出し順序方向が下側から上方向であるときの間引き量Ｄｔ-unで撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。
　認識器切替部３７１-2は撮像部２０で生成された画像信号に基づき処理領域を検出する。また、認識器切替部３７１-2は、処理領域の間引き量と読み出し設定部３５で設定された読み出し順序方向に応じて、被写体の認識処理に用いる認識器を切り替える。認識器切替部３７１-2は、切り替え後の認識器３７２-xに画像信号を供給して処理領域の被写体の認識処理を行い、認識結果を信号処理部３０-2から出力する。
　＜２－２．第２の実施の形態の動作＞
　図７は、第２の実施の形態の動作を示すフローチャートを例示している。ステップＳＴ１１で信号処理部３０-2は動き検出処理を行う。信号処理部３０-2は、直進方向や回転方向の動きを検出する。例えば撮像システム１０が自動車に搭載されている場合、信号処理部３０-2は、自動車の速度やハンドルの操舵角を動き検出結果としてステップＳＴ１２に進む。
　ステップＳＴ１２で信号処理部３０-2は間引き量を設定する。信号処理部３０-2は、ステップＳＴ１１で検出された動きに基づき、例えば上述の式（１）に基づき間引き量を設定してステップＳＴ１３に進む。
　ステップＳＴ１３で信号処理部３０-2は読み出し順序方向を設定する。信号処理部３０-2は、ステップＳＴ１１で検出された動きに基づき、ラインの読み出し順序方向を上側から下方向または下側から上方向のいずれかに設定してステップＳＴ１４に進む。
　ステップＳＴ１４で信号処理部３０-2は撮像制御を行う。信号処理部３０-2は、ステップＳＴ２で設定された間引き量を示す間引き設定信号と、ステップＳＴ１３で設定された読み出し順序方向を示す順序方向設定信号を生成する。信号処理部３０-2は、生成した間引き設定信号と順序方向設定信号を撮像部２０へ出力することで、ステップＳＴ１３で設定された読み出し順序方向かつステップＳＴ１２で設定された間引き量のライン間引きが行われた間引き画像の画像信号を生成させてステップＳＴ１５に進む。
　ステップＳＴ１５で信号処理部３０-2は補間処理を行う。信号処理部３０-2は、撮像部２０で生成された間引き画像の画像信号を用いて補間処理を行い、ライン間引き前のライン数である補間画像の画像信号を生成してステップＳＴ１６に進む。
　ステップＳＴ１６で信号処理部３０-2は認識器の切り替えを行う。信号処理部３０-2は、補間画像の画像信号を用いて被写体認識を行う認識器を、ステップＳＴ１２で設定された間引き量とステップＳＴ１３で設定された読み出し順序方向に応じた認識器に切り替えてステップＳＴ１７に進む。
　ステップＳＴ１７で信号処理部３０-2は認識処理を行う。信号処理部３０-2はステップＳＴ１５で生成された補間画像の画像信号を用いて、ステップＳＴ１６で切り替えられた認識器で被写体認識処理を行う。
　このように、第２の実施の形態によれば、撮像部と被写体との相対位置変化に応じて間引き量やラインの読み出し順序方向が設定されて、ローリングシャッター歪みが少なく被写体の抜けを防止した撮像画が取得される。さらに取得された撮像画における間引き量および読み出し順序方向に応じた認識器が用いられるので、ローリングシャッター歪みの少ない撮像画に基づき、精度よく被写体を認識できるようになる。
　＜３．第３の実施の形態＞
　ローリングシャッター動作を行い取得された撮像画では、被写体の動きや被写体までの距離によって歪みの程度が異なる。図８は、被写体までの距離とローリングシャッター歪みの関係を説明するための図である。図８の（ａ）に示すように例えば撮像領域内の被写体が静止している場合、撮像部が直進したときにおける撮像領域内の被写体の移動速度は、被写体までの距離が短くなるに伴い速くなる。したがって、図８の（ｂ）に示すように、近距離の被写体ではローリングシャッター動作の歪み量（ＲＳ歪み量）が多く、遠距離の被写体ではＲＳ歪み量が少ない。例えば、撮像システムが車両に搭載されている場合、撮像領域の下側領域に位置する路面などは上側領域の被写体に比べてＲＳ歪み量が多い。また、撮像部に回転方向の動きを生じると、図８の（ｃ）に示すように、撮像画のいずれの場所でもＲＳ歪み量は等しい。
　そこで、第３の実施の形態では、領域毎に間引き量を設定することで精度よく被写体を認識できるようにする。
　＜３－１．第３の実施の形態の構成＞
　図９は第３の実施の形態の構成を例示している。撮像システム１０は、撮像レンズ２１と撮像部２０、信号処理部３０-3を有している。
　撮像部２０は撮像レンズ２１とイメージセンサ２２を有している。撮像部２０の撮像レンズ２１は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像をイメージセンサ２２の撮像面に結像させる。
　イメージセンサ２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて構成されている。イメージセンサ２２は、ローリングシャッター動作を行い、被写体光学像に応じた画像信号を生成して信号処理部３０-1へ出力する。また、イメージセンサ２２は、ラインの読み出し順序方向を後述する読み出し設定部３５からの順序方向設定信号に基づく方向として、後述する領域間引き設定部３４からの間引き設定信号で示された間引き量のライン間引きを行って画像信号を生成する。
　信号処理部３０-3は、撮像部２０で生成された画像信号に基づき被写体認識を行う。信号処理部３０-3は、動き検出部３１、領域歪み量推定部３３、領域間引き設定部３４、読み出し設定部３５、補間処理部３６、認識処理部３７-3を有している。
　動き検出部３１は、撮像部２０の動きを検出する。例えば撮像システム１０が車両等の移動体に搭載されている場合、車両の速度やハンドルの操舵角に基づき撮像部２０の直進速度や角速度を検出する。動き検出部３１は、動き検出結果を領域歪み量推定部３３へ出力する。
　領域歪み量推定部３３は、動き検出部３１で検出された動きに基づき、ＲＳ歪み量を領域毎に推定する。領域歪み量推定部３３は、例えば所定ライン数で領域分けを行い領域毎にＲＳ歪み量を推定する。領域のＲＳ歪み量は、領域内のライン毎に推定した歪み量の統計量、例えば平均値や中央値あるいは最大値等を用いる。また、領域歪み量推定部３３は、ライン毎に推定した歪み量に基づき領域分割を行ってもよい。例えばライン毎に推定した歪み量の最大値を利用して、隣接するラインの最大値との差が閾値を超える場合、２つのライン間を領域の境界としてもよい。領域歪み量推定部３３は、領域毎の歪み量推定結果を領域間引き設定部３４へ出力する。
　領域間引き設定部３４は、領域毎の歪み量に応じて間引き量を領域毎に設定する。領域間引き設定部３４は、例えば直進方向の速度ＶＳと回転方向の速度ＶＲと直進時のローリングシャッター歪み傾向を示すマップを用いて、式（２）に基づき領域間引き量ＤＡｔを算出する。なお、「ｋａ」「ｋｂ」は、予め設定されている係数である。「ＫＳmap」は直進時のローリングシャッター歪み傾向を示すマップに基づく該当領域の係数である。領域間引き設定部３４は、領域毎に設定した領域間引き量を示す領域間引き設定信号を撮像部２０と認識処理部３７-3へ出力する。
　ＤＡｔ＝（ｋａ×ＶＳ×ＫＳmap）＋（ｋｂ×ＶＲp）・・・（２）
　読み出し設定部３５は、動き検出部３１で検出された動きに応じて、撮像部２０における読み出し順序方向を設定する。読み出し設定部３５は、撮像部２０が前進していると判別した場合、ラインの読み出し順序方向を下側から上方向に設定する。また、読み出し設定部３５は、撮像部２０が後退していると判別した場合、ラインの読み出し順序方向を上側から下方向に設定する。読み出し設定部３５は、設定した読み出し順序方向を示す順序方向設定信号を生成して撮像部２０と認識処理部３７-3へ出力する。
　補間処理部３６は、撮像部２０から出力された画像信号を用いて補間処理を行い、例えば間引き前の画像とライン数が等しい補間画像の画像信号を生成する。補間処理部３６は、補間処理後の画像信号を認識処理部３７-3へ出力する。なお、補間処理部３６は、撮像部２０から間引き状態を示す間引き情報が供給される場合、間引き情報に基づいて補間処理を行ってもよく、領域間引き設定部３４で生成された間引き設定信号に基づいて補間処理を行うようにしてもよい。
　認識処理部３７-3は、認識器切替部３７１-3と複数の認識器３７２-d1～３７２-dn，３７２-u1～３７２-unを有している。なお、認識器３７２-d1～３７２-dnは、読み出し順序方向が上側から下方向であるときの領域間引き量に応じて設けられた認識器であり、認識器３７２-u1～３７２-unは、読み出し順序方向が下側から上方向であるときの領域間引き量に応じて設けられた認識器である。例えば認識器３７２-ｄ1は、読み出し順序方向が上側から下方向であるときの領域間引き量ＤＡｔ-d1で撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。また、認識器３７２-uｎは、読み出し順序方向が下側から上方向であるときの領域間引き量ＤＡｔ-unで撮像された画像の補間処理を行って得られた学習用画像に基づく辞書を予め記憶しており、この辞書を用いて認識処理を行う。
　認識器切替部３７１-3は撮像部２０で生成された画像信号に基づき処理領域を検出する。また、認識器切替部３７１-3は、領域間引き設定部で設定された領域毎の間引き量に基づき処理領域の間引き量を判別して、判別した間引き量と読み出し設定部３５で設定された読み出し順序方向に応じて、被写体の認識処理に用いる認識器を切り替える。認識器切替部３７１-3は、切り替え後の認識器３７２-xに画像信号を供給して処理領域の被写体の認識処理を行い、認識結果を信号処理部３０-3から出力する。
　＜３－２．第３の実施の形態の動作＞
　図１０は、第３の実施の形態の動作を示すフローチャートを例示している。ステップＳＴ２１で信号処理部３０-3は動き検出処理を行う。信号処理部３０-3は、直進方向や回転方向の動きを検出する。例えば撮像システム１０が自動車に搭載されている場合、信号処理部３０-3は、自動車の速度やハンドルの操舵角を動き検出結果としてステップＳＴ２２に進む。
　ステップＳＴ２２で信号処理部３０-3は読み出し順序方向を設定する。信号処理部３０-3は、ステップＳＴ２１で検出された動きに基づき、ラインの読み出し順序方向を上側から下方向または下側から上方向のいずれかに設定してステップＳＴ２３に進む。
　ステップＳＴ２３で信号処理部３０-3は領域毎にＲＳ歪み量を推定する。信号処理部３０-3は、ステップＳＴ１１で検出された動きに基づき、領域毎のＲＳ歪み量を推定してステップＳＴ２４に進む。
　ステップＳＴ２４で信号処理部３０-3は間引き量を設定する。信号処理部３０-3は、ステップＳＴ２３で推定した領域毎のＲＳ歪み量に基づき間引き量を設定してステップＳＴ１２５に進む。
　ステップＳＴ２５で信号処理部３０-3は撮像制御を行う。信号処理部３０-3は、ステップＳＴ２４で設定された間引き量を示す間引き設定信号と、ステップＳＴ２２で設定された読み出し順序方向を示す順序方向設定信号を生成する。信号処理部３０-3は、生成した間引き設定信号と順序方向設定信号を撮像部２０へ出力することで、ステップＳＴ２２で設定された読み出し順序方向かつステップＳＴ２４で設定された間引き量のライン間引きが行われた間引き画像の画像信号を生成させてステップＳＴ２６に進む。
　ステップＳＴ２６で信号処理部３０-3は補間処理を行う。信号処理部３０-3は、撮像部２０で生成された間引き画像の画像信号を用いて補間処理を行い、ライン間引き前のライン数である補間画像の画像信号を生成してステップＳＴ２７に進む。
　ステップＳＴ２７で信号処理部３０-3は認識器の切り替えを行う。信号処理部３０-3は、補間画像の画像信号を用いて被写体認識を行う認識器を、ステップＳＴ２２で設定された読み出し順序方向とステップＳＴ２４で設定された間引き量に応じた認識器に切り替えてステップＳＴ２８に進む。
　ステップＳＴ２８で信号処理部３０-3は認識処理を行う。信号処理部３０-3はステップＳＴ２６で生成された補間画像の画像信号を用いて、ステップＳＴ２７で切り替えられた認識器で被写体認識処理を行う。
　このように、第３の実施の形態によれば、撮像部と被写体との相対位置変化に応じて読み出し順序方向や領域毎の間引き量が設定されて、ローリングシャッター歪みが少なく被写体の抜けを防止した撮像画が取得される。さらに取得された撮像画における間引き量および読み出し順序方向に応じた認識器が用いられるので、ローリングシャッター歪みの少ない撮像画に基づき、精度よく被写体を認識できるようになる。
　＜４．第４の実施の形態＞
　ところで、上述の実施の形態では撮像部で取得された画像に基づき被写体認識を行う場合について説明したが、デプスマップの生成やＳＬＡＭ（Simultaneous Localization and Mapping）等で行われる対応点探索において、ローリングシャッター歪みを考慮した処理を行うようにしてもよい。
　＜４－１．第４の実施の形態の構成＞
　図１１は，第４の実施の形態の構成を例示している。撮像システム１０は、撮像レンズ２１と撮像部２０、信号処理部３０-4を有している。
　撮像部２０は撮像レンズ２１とイメージセンサ２２を有している。撮像部２０の撮像レンズ２１は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像をイメージセンサ２２の撮像面に結像させる。
　イメージセンサ２２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて構成されている。イメージセンサ２２は、ローリングシャッター動作を行い、被写体光学像に応じた画像信号を生成して信号処理部３０-4へ出力する。また、イメージセンサ２２は、ラインの読み出し順序方向を後述する読み出し設定部３５からの読み出し順序方向設定信号に基づく方向として、後述する間引き設定部３２からの間引き設定信号で示された間引き量のライン間引きを行って画像信号を生成する。
　信号処理部３０-4は、撮像部２０で生成された画像信号に基づき画像処理を行う。信号処理部３０-4は、動き検出部３１、間引き設定部３２、補間処理部３６、画像処理部３８を有している。
　動き検出部３１は、撮像部２０の動きを検出する。例えば撮像システム１０が移動体例えば車両に搭載されている場合、車両の速度やハンドルの操舵角に基づき撮像部２０の直進速度や角速度を検出する。動き検出部３１は、動き検出結果を間引き設定部３２へ出力する。
　間引き設定部３２は、動き検出部３１で検出された動きに応じて間引き量を設定する。間引き設定部３２は、設定した間引き量を示す間引き設定信号を画像処理部３８へ出力する。
　補間処理部３６は、撮像部２０から出力された画像信号を用いて補間処理を行い、例えば間引き前の画像とライン数が等しい補間画像の画像信号を生成する。補間処理部３６は、補間処理後の画像信号を認識処理部３７-4へ出力する。なお、補間処理部３６は、撮像部２０から間引き状態を示す間引き情報が供給される場合、間引き情報に基づいて補間処理を行ってもよく、間引き設定部３２で生成された間引き設定信号に基づいて補間処理を行うようにしてもよい。
　画像処理部３８は、補間処理後の画像信号を用いて対応点探索を行い、ステレオマッチングによってデプスマップの生成あるいはＳＬＡＭの処理を行う。画像処理部３８は、対応点探索において、間引き設定部３２で生成された間引き設定信号に基づきサーチ範囲や信頼度を設定する。例えばサーチ範囲の設定では、ローリングシャッター歪みが大きくなるに伴い探索範囲を広くする。また、ローリングシャッター歪みはライン方向に歪みを生ずることから、探索範囲はライン方向を広く設定してもよい。また、ローリングシャッター歪みを生じるとマッチング精度が低下する。したがって、対応点の信頼度を利用して、ＳＬＡＭあるいはデプスマップの生成を行うようにする。
　＜４－２．第４の実施の形態の動作＞
　第４の実施の形態では、図２に示すフローチャートのステップＳＴ１乃至ステップＳＴ４の処理を行い、その後に画像処理を行う。画像処理では対応点探索を行い、対応点探索における探索範囲や信頼度をＲＳ歪み量に応じて調整する。
　探索範囲の設定では、例えばローリングシャッター歪みによって、被写体が伸張される場合には対応点を検出できるように探索範囲をして、被写体が圧縮される場合には対応点を効率よく検出できるように探索範囲を狭くする。また、ＲＳ歪み量が多くなるに伴いマッチング精度が低下することから、信頼度は、ＲＳ歪み量が多くなるに伴い低くする。
　図１２は、デプスマップを取得する場合の信頼度を説明するための図である。図１２の（ａ）は左視点画像であり、図１２の（ｂ）は左視点画像に対応するローリングシャッター歪度マップを示している。なお、ローリングシャッター歪度マップにおいて、斜線の無い領域はＲＳ歪み量の少ない領域、太い斜線線のハッチング領域はＲＳ歪み量が多い領域、細い斜線のハッチング領域はＲＳ歪み量が多くもなく少なくもない領域であることを示している。また、図１２の（ｃ）は右視点画像であり、図１２の（ｄ）は右視点画像に対応するローリングシャッター歪度マップを示している。ここで、左視点の撮像部で取得される画像にレンズ歪みを生じる場合、ステップＳＴ３１では、左視点の撮像部で用いられているレンズに応じた補正係数用いて左視点画像とローリングシャッター歪度マップのレンズ歪み補正処理を行う。また、右視点の撮像部で取得される画像にレンズ歪みを生じる場合、ステップＳＴ３２では、右視点の撮像部で用いられているレンズに応じた補正係数用いて右視点画像とローリングシャッター歪度マップのレンズ歪み補正処理を行う。なお、図１２の（ｅ）はレンズ歪み補正処理後の左視点画像、図１２の（ｆ）はレンズ歪み補正処理後の左視点画像に対応するローリングシャッター歪度マップを示している。また、図１２の（ｇ）はレンズ歪み補正処理後の右視点画像、図１２の（ｈ）はレンズ歪み補正処理後の右視点画像に対応するローリングシャッター歪度マップを示している。
　ステップＳＴ３３のステレオマッチング処理では、図１２の（ｅ）に示すレンズ歪み補正処理後の左視点画像と図１２の（ｇ）に示すレンズ歪み補正処理後の右視点画像を用いてマッチング処理を行い、例えば左視点画像の各画素位置のデプスを示す図１２の（ｉ）に示すデプスマップを生成する。なお、デプスマップでは、輝度が低くなるに伴い距離が離れていることを示している。ステップＳＴ３４の信頼度処理では、図１２の（ｆ）のローリングシャッター歪度マップを、デプスマップの信頼度として利用する。図１２の（ｊ）は信頼度を示しており、横線の無い領域は信頼度の高い領域、太い横線のハッチング領域は信頼度が低い領域、細い縦線のハッチング領域は信頼度が高くも低くもない領域であることを示している。その後、信頼度に基づき後段の処理では例えば信頼度の低い領域のデプスを無効とする。また、信頼度の低い領域のデプスは、信頼度の低くない領域のデプスを用いて時間的あるいは空間的な補間処理を行ってもよい。
　図１３は、ＳＬＡＭの信頼度を説明するための図である。図１３の（ａ）はレンズ歪み補正処理後の時刻Ｔの撮像画であり、図１３の（ｂ）は撮像画に対応するローリングシャッター歪度マップを示している。また、図１３の（ｃ）はレンズ歪み補正処理後の時刻Ｔ－１の撮像画であり、図１３の（ｄ）は撮像画に対応するローリングシャッター歪度マップを示している。なお、レンズ歪み補正処理後の撮像画やローリングシャッター歪度マップは、デプスマップを取得する場合と同様な処理を行えばよい。
　ＳＡＬＭでは、ステップＳＴ４１でレンズ歪み補正処理後の時刻Ｔと時刻Ｔ－１の撮像画を用いて特徴点ペアを抽出する。なお、図１３の（ｅ）（ｆ）では、特徴点ペアＦＰを構成する特徴点が３個の場合を例示しており、特徴点ペアを示す三角形の頂点が特徴点である。ステップＳＴ４２，４３で特徴点ペア毎に時刻Ｔ，Ｔ－１における信頼度の算出を行う。さらに、ＳＡＬＭでは、ステップＳＴ４４で時刻Ｔと時刻Ｔ－１の特徴点ペアに基づき特徴点ペア毎に移動量を抽出する。ここで、時刻Ｔにおける信頼度は、特徴点ペア毎に算出する。例えば特徴点ペアＦＰの時刻Ｔにおける信頼度ＲＰ(T)は、式（３）に基づき特徴点ペアＦＰを構成するＮ個の特徴点ｐi（ｉ＝１～N）の歪度Ｄｐiを用いて算出する。なお、歪度Ｄｐiは、時刻Ｔのローリングシャッター歪度マップにおける特徴点ｐiの位置のローリングシャッター歪度であり、ローリングシャッター歪度マップの歪度は、歪みがない場合に歪度＝「１」で歪みが多くなるに伴い歪度が「０」に近くなるとする。
Figure JPOXMLDOC01-appb-M000001
　時刻Ｔ－１における信頼度は、時刻Ｔ－１のローリングシャッター歪度マップを用いて、時刻Ｔにおける信頼度と同様に算出する。
　その後、ＳＡＬＭでは、ステップＳＴ４５で信頼度処理を行い、ＳＬＡＭにおける移動量ＬＶ(T,T-1)を、式（４）に基づきＭ個の特徴点ペアＦＰj（j＝1～M）の移動量Ｌjと時刻Ｔにおける信頼度ＲＰ(T)jと時刻Ｔ－１における信頼度ＲＰ(T-1)jに基づいて算出する。
Figure JPOXMLDOC01-appb-M000002
　このように、第４の実施の形態によれば、ローリングシャッター歪みを用いてデプスマップの生成やＳＬＡＭの処理が行われるので、ローリングシャッター歪みを用いていない場合に比べて、精度よくデプスマップの生成やＳＬＡＭの処理を行うことができる。
　＜５．変形例＞
　上述の実施の形態では、動き検出のために車速や操舵角を利用したが、慣性計測部（ＩＭＵ：inertial measurement unit）を用いて加速度や角速度を検出して撮像部の動きを検出してもよい。
　また、動き検出結果に基づき間引き量を設定しているが、間引き量は、撮像シーンに応じて設定してもよい。例えば画像情報あるいは地図情報と自己位置情報（自己位置の向きを含む）を用いれば、撮像部でどのようなシーンが撮像されるか推定できる。
　図１４は、シーンの推定結果と間引き量の関係を例示している。図１４の（ａ）は、画像情報あるいは地図情報等によって前方が開けたシーンと判別された場合を示している。この場合、手前側の被写体（例えば路面上の表示）は、撮像部と被写体との相対位置関係の変化が大きく、ＲＳ歪み量が多いことから図１４の（ｂ）に示すように、間引き量を多くする。また、奥側の被写体（例えば空等）は、撮像部と被写体との相対位置関係の変化が小さく、ＲＳ歪み量が少ないことから間引き量を少なくする。また、中間位置の被写体（例えば山等）は、撮像部と被写体との相対位置関係の変化が大きくも小さくもないことから、間引き量を中間とする。
　図１４の（ｃ）は、画像情報あるいは地図情報等によって建物が多い市街地のシーンと判別された場合を示している。この場合、手前側の被写体（例えば路面上の表示）は、撮像部と被写体との相対位置関係の変化が大きく、ＲＳ歪み量が多いことから、図１４の（ｄ）に示すように間引き量を多くする。また、中央部や上部の被写体（例えば前方の建物等）は、撮像部と被写体との相対位置関係の変化が大きくもなく小さくもないことから、間引き量を中間とする。
　図１４の（ｅ）は、画像情報あるいは地図情報等によって上り坂のシーンと判別された場合を示している。この場合、手前側の被写体（例えば路面上の表示）は、撮像部と被写体との相対位置関係の変化が大きく、ＲＳ歪み量が多いことから、図１４の（ｆ）に示すように間引き量を多くする。また、上部の被写体（例えば遠方の道路等）は、撮像部と被写体との相対位置関係の変化が小さいことから、間引き量を小さくする。また、中央部の被写体（例えば前方の登り坂部分等）は、撮像部と被写体との相対位置関係の変化が大きくもなく小さくもないことから、間引き量を中間とする。
　また、撮像範囲に動物体が含まれて、動物体の動きによってローリングシャッター歪みが大きくなる場合がある。したがって、撮像部で取得された時間方向の複数の撮像画に基づき動物体の検出を行い、動物体の動きが大きい領域では間引き量を多くしてもよい。
　図１５は、撮像画に動物体が含まれた場合を例示している。なお、図１５では、動物体が自動車である。図１５の（ａ）は、市街地のシーンで動物体（例えば自動車）ＯＢｍが含まれた撮像画を例示している。
　動物体は例えば水平方向に移動しており、ブロック単位で動き検出を行った場合の検出結果は、図１５の（ｂ）に示すように、動物体を含むクロスハッチングで示す領域ＢＫmが、動きの大きい領域と検出される。また、信号処理部３０-4は、図１５の（ｃ）に示すように、動きの大きい領域ＢＫmを含むライン領域の間引き量を大きくする。このような処理を行えば、被写体が静止している場合に限らず、被写体が動物体である場合にも被写体の動きに応じて間引き量を調整して、精度よく認識処理を行うことができるようになる。
　＜６．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１６は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　以上説明した車両制御システム１００において、本実施の形態で示した撮像部２０はデータ取得部１０２、信号処理部３０-1（３０-2，３０-3，３０-4）は車外情報検出部１４１に相当する。撮像部２０と信号処理部３０-1（３０-2，３０-3，３０-4）を車両制御システム１００に設けた場合、車両制御システム１００を設けた車両と車外の物体との相対位置関係の変化に応じて撮像部２０の間引き量が設定されて撮像が行われるので、ローリングシャッター歪みの少ない撮像画を取得できるようになる。また、間引き量に応じた認識器に切り替えて被写体認識が行われるので、認識器の切り替えを行うことなく被写体認識を行う場合に比べて精度よく被写体を認識できるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　撮像部と被写体との相対位置関係の変化を検出する動き検出部と、
　前記動き検出部の検出結果に応じて前記撮像部のライン間引き動作の間引き量を設定する間引き設定部と
を備える情報処理装置。
　（２）　前記間引き設定部は、前記動き検出部で検出される変化が大きくなるに伴い、間引き量を大きくする（１）に記載の情報処理装置。
　（３）　前記間引き設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の回転によって生じる変化である場合、画面全体で均等なライン間引き動作を行う（２）に記載の情報処理装置。
　（４）　前記間引き設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の光軸の方向の移動によって生じる変化である場合、前記撮像部の光軸方向の移動によって生じる前記相対位置関係の変化が大きい領域は変化が少ない領域よりも間引き量を大きくする（２）または（３）に記載の情報処理装置。
　（５）　前記動き検出部の検出結果に応じて前記撮像部におけるラインの読み出し順序方向を設定する読み出し設定部をさらに備える（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記読み出し設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の光軸方向の前進移動によって生じる変化である場合にラインの読み出し順序方向を下方向として、前記撮像部の光軸方向の後退移動によって生じる変化である場合にラインの読み出し順序方向を上方向とする（５）に記載の情報処理装置。
　（７）　前記動き検出部は、前記撮像部が搭載された移動体の動きに基づき前記相対位置関係の変化を検出する（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記移動体は車両であり、車速と操舵角に基づき前記相対位置関係の変化を検出する（７）に記載の情報処理装置。
　（９）　前記動き検出部は、前記撮像部が搭載された移動体に設けられた慣性計測部の計測結果に基づき前記相対位置関係の変化を検出する（７）に記載の情報処理装置。
　（１０）　前記動き検出部は、撮像シーンに基づき前記相対位置関係の変化を検出する（１）に記載の情報処理装置。
　（１１）　前記動き検出部は、前記撮像部で取得された画像に基づいて前記相対位置関係の変化を検出する（１）に記載の情報処理装置。
　（１２）　前記間引き設定部で設定された間引き量に応じた認識器を用いて、前記撮像部で取得された画像の被写体認識を行う認識処理部をさらに備える（１）乃至（１１）のいずれかに記載の情報処理装置。
　（１３）　前記認識処理部は、前記間引き量に応じて予め生成された辞書を用いて被写体認識を行う（１２）に記載の情報処理装置。
　（１４）　前記認識処理部は、前記間引き設定部で領域毎に設定された間引き量に応じた認識器を用いる（１２）に記載の情報処理装置。
　（１５）　前記動き検出部の検出結果に応じて前記撮像部におけるラインの読み出し順序方向を設定する読み出し設定部をさらに備え、
　前記認識処理部は、前記間引き設定部で設定された間引き量と前記読み出し設定部で設定された読み出し順序方向に応じた認識器を用いて前記被写体認識を行う（１２）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　前記撮像部で取得された画像を用いて対応点探索を行う画像処理部をさらに備え、
　前記画像処理部は、前記間引き設定部で設定された間引き量に応じて探索範囲を調整する（１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記画像処理部は、前記間引き設定部で設定された間引き量に応じて対応点の信頼度を調整する（１６）に記載の情報処理装置。
　（１８）　ローリングシャッター動作を行う前記撮像部をさらに備える（１）乃至（１７）のいずれかに記載の情報処理装置。
　この技術の情報処理装置と情報処理方法とプログラムでは、撮像部と被写体との相対位置関係の変化に応じて撮像部のライン間引き動作の間引き量が設定される。このため、歪みの少ない被写体画像を得られるようになる。したがって、移動体に搭載される装置等に適している。
　１０・・・撮像システム
　２０・・・撮像部
　２１・・・撮像レンズ
　２２・・・イメージセンサ
　３０-1，３０-2，３０-3，３０-4・・・信号処理部
　３１・・・動き検出部
　３２・・・間引き設定部
　３３・・・領域歪み量推定部
　３４・・・領域間引き設定部
　３５・・・読み出し設定部
　３６・・・補間処理部
　３７-1，３７-2，３７-3，３７-4・・・認識処理部
　３８・・・ 画像処理部
　３７１-1，３７１-2，３７１-3・・・認識器切替部
　３７２-1～３７２-n，３７２-d1～３７２-dn，３７２-u1～３７２-un・・・認識器

Claims (20)

  1. 　撮像部と被写体との相対位置関係の変化を検出する動き検出部と、
    　前記動き検出部の検出結果に応じて前記撮像部のライン間引き動作の間引き量を設定する間引き設定部と
    を備える情報処理装置。
  2. 　前記間引き設定部は、前記動き検出部で検出される変化が大きくなるに伴い、間引き量を大きくする
    請求項１に記載の情報処理装置。
  3. 　前記間引き設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の回転によって生じる変化である場合、画面全体で均等なライン間引き動作を行う
    請求項２に記載の情報処理装置。
  4. 　前記間引き設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の光軸の方向の移動によって生じる変化である場合、前記撮像部の光軸方向の移動によって生じる前記相対位置関係の変化が大きい領域は変化が少ない領域よりも間引き量を大きくする
    請求項２に記載の情報処理装置。
  5. 　前記動き検出部の検出結果に応じて前記撮像部におけるラインの読み出し順序方向を設定する読み出し設定部をさらに備える
    請求項１に記載の情報処理装置。
  6. 　前記読み出し設定部は、前記動き検出部で検出される相対位置関係の変化が前記撮像部の光軸方向の前進移動によって生じる変化である場合にラインの読み出し順序方向を下方向として、前記撮像部の光軸方向の後退移動によって生じる変化である場合にラインの読み出し順序方向を上方向とする
    請求項５に記載の情報処理装置。
  7. 　前記動き検出部は、前記撮像部が搭載された移動体の動きに基づき前記相対位置関係の変化を検出する
    請求項１に記載の情報処理装置。
  8. 　前記移動体は車両であり、車速と操舵角に基づき前記相対位置関係の変化を検出する
    請求項７に記載の情報処理装置。
  9. 　前記動き検出部は、前記撮像部が搭載された移動体に設けられた慣性計測部の計測結果に基づき前記相対位置関係の変化を検出する
    請求項７に記載の情報処理装置。
  10. 　前記動き検出部は、撮像シーンに基づき前記相対位置関係の変化を検出する
    請求項１に記載の情報処理装置。
  11. 　前記動き検出部は、前記撮像部で取得された画像に基づいて前記相対位置関係の変化を検出する
    請求項１に記載の情報処理装置。
  12. 　前記間引き設定部で設定された間引き量に応じた認識器を用いて、前記撮像部で取得された画像の被写体認識を行う認識処理部をさらに備える
    請求項１に記載の情報処理装置。
  13. 　前記認識処理部は、前記間引き量に応じて予め生成された辞書を用いて被写体認識を行う
    請求項１２に記載の情報処理装置。
  14. 　前記認識処理部は、前記間引き設定部で領域毎に設定された間引き量に応じた認識器を用いる
    請求項１２に記載の情報処理装置。
  15. 　前記動き検出部の検出結果に応じて前記撮像部におけるラインの読み出し順序方向を設定する読み出し設定部をさらに備え、
    　前記認識処理部は、前記間引き設定部で設定された間引き量と前記読み出し設定部で設定された読み出し順序方向に応じた認識器を用いて前記被写体認識を行う
    請求項１２に記載の情報処理装置。
  16. 　前記撮像部で取得された画像を用いて対応点探索を行う画像処理部をさらに備え、
    　前記画像処理部は、前記間引き設定部で設定された間引き量に応じて探索範囲を調整する
    請求項１に記載の情報処理装置。
  17. 　前記画像処理部は、前記間引き設定部で設定された間引き量に応じて対応点の信頼度を調整する
    請求項１６に記載の情報処理装置。
  18. 　ローリングシャッター動作を行う前記撮像部をさらに備える
    請求項１に記載の情報処理装置。
  19. 　撮像部と被写体との相対位置関係の変化を動き検出部で検出することと、
    　前記動き検出部の検出結果に応じて前記撮像部におけるライン間引き動作の間引き量を間引き設定部で設定すること
    を備える情報処理方法。
  20. 　撮像部の制御をコンピュータで実行させるプログラムであって、
    　前記撮像部と被写体との相対位置関係の変化を検出する手順と、
    　前記相対位置関係の変化に応じて前記撮像部のライン間引き動作の間引き量を設定する手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2019/028784 2018-08-16 2019-07-23 情報処理装置と情報処理方法とプログラム WO2020036043A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980052996.1A CN112567726B (zh) 2018-08-16 2019-07-23 信息处理设备，信息处理方法和计算机可读记录介质
KR1020217003347A KR102645368B1 (ko) 2018-08-16 2019-07-23 정보 처리 장치와 정보 처리 방법과 프로그램
JP2020537392A JP7409309B2 (ja) 2018-08-16 2019-07-23 情報処理装置と情報処理方法とプログラム
EP19850265.0A EP3840359A4 (en) 2018-08-16 2019-07-23 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US17/265,524 US11563905B2 (en) 2018-08-16 2019-07-23 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018153171 2018-08-16
JP2018-153171 2018-08-16

Publications (1)

Publication Number Publication Date
WO2020036043A1 true WO2020036043A1 (ja) 2020-02-20

Family

ID=69525391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028784 WO2020036043A1 (ja) 2018-08-16 2019-07-23 情報処理装置と情報処理方法とプログラム

Country Status (6)

Country Link
US (1) US11563905B2 (ja)
EP (1) EP3840359A4 (ja)
JP (1) JP7409309B2 (ja)
KR (1) KR102645368B1 (ja)
CN (1) CN112567726B (ja)
WO (1) WO2020036043A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163130A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びにセンサ装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020137313A1 (ja) * 2018-12-28 2020-07-02

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016131365A (ja) 2015-09-18 2016-07-21 株式会社ニコン 撮像装置
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
JP2018006828A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 撮像装置、その制御方法とプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209838A (ja) 2001-01-22 2002-07-30 Olympus Optical Co Ltd 内視鏡撮像装置
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
JP5281424B2 (ja) * 2008-03-18 2013-09-04 株式会社ゼンリン 路面標示地図生成方法
JP5909147B2 (ja) * 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9854216B2 (en) * 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium
JP6311646B2 (ja) 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
JP6740756B2 (ja) * 2016-07-04 2020-08-19 株式会社ニコン 撮像装置および自動車
JP2018033100A (ja) * 2016-08-26 2018-03-01 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016131365A (ja) 2015-09-18 2016-07-21 株式会社ニコン 撮像装置
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
JP2018006828A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 撮像装置、その制御方法とプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022163130A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びにセンサ装置

Also Published As

Publication number Publication date
US11563905B2 (en) 2023-01-24
CN112567726B (zh) 2023-12-05
JPWO2020036043A1 (ja) 2021-09-24
US20210227155A1 (en) 2021-07-22
CN112567726A (zh) 2021-03-26
JP7409309B2 (ja) 2024-01-09
EP3840359A4 (en) 2021-12-15
EP3840359A1 (en) 2021-06-23
KR20210043571A (ko) 2021-04-21
KR102645368B1 (ko) 2024-03-11

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020129369A1 (ja) キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット
JP7380674B2 (ja) 情報処理装置と情報処理方法および移動制御装置と移動制御方法
US20230370709A1 (en) Imaging device, information processing device, imaging system, and imaging method
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP7363890B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020158489A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020017172A1 (ja) 情報処理装置と情報処理方法およびプログラム
JPWO2020170835A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20210069632A (ko) 화상 처리 장치와 화상 처리 방법 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850265

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020537392

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019850265

Country of ref document: EP

Effective date: 20210316