WO2020261838A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents

画像処理装置と画像処理方法およびプログラム Download PDF

Info

Publication number
WO2020261838A1
WO2020261838A1 PCT/JP2020/020715 JP2020020715W WO2020261838A1 WO 2020261838 A1 WO2020261838 A1 WO 2020261838A1 JP 2020020715 W JP2020020715 W JP 2020020715W WO 2020261838 A1 WO2020261838 A1 WO 2020261838A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
distortion
subject
moving speed
Prior art date
Application number
PCT/JP2020/020715
Other languages
English (en)
French (fr)
Inventor
啓太郎 山本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080044482.4A priority Critical patent/CN114026436A/zh
Priority to US17/596,687 priority patent/US20220319013A1/en
Publication of WO2020261838A1 publication Critical patent/WO2020261838A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure

Definitions

  • This technology enables high-speed and high-frequency detection of the moving speed of a subject with respect to an image processing device, an image processing method, and a program.
  • the moving speed is detected by using the radio wave radiated to the animal body or the reflected wave of ultrasonic waves by using the Doppler effect. Further, in Patent Document 1, the moving speed is detected based on an image obtained by capturing an animal body.
  • the movement speed is calculated based on the change in the position of the subject between the frames of the captured image, the frame rate of the captured image, and the like, and the movement of the subject is performed faster and more frequently than the frame rate. Unable to detect speed.
  • the image processing apparatus includes a moving speed detecting unit that detects the moving speed of the subject based on the image distortion of the subject generated in the first captured image obtained by exposing the lines at different timings.
  • the image distortion of the subject generated in the first image captured by the first imaging unit obtained at different timings of line exposure is obtained by the second imaging unit obtained at the same timing of line exposure.
  • the movement speed of the subject is moved based on the amount of distortion of the determined image distortion, the angle of view of the first captured image, and the distance to the subject measured by the distance measuring unit.
  • the speed detection unit detects, for example, in line units.
  • the first imaging unit and the second imaging unit are provided so that the parallax between the first imaging image and the second imaging image is smaller than a predetermined value, and the area pixel sizes of the same subject are equal.
  • the distortion calculation unit that calculates the image distortion of the subject calculates the amount of distortion using the amount of displacement between the line images at the same position of the subject in the first captured image and the second captured image. For example, the amount of misalignment between the line image of the first position of the subject in the first captured image and the second captured image and the amount of misalignment between the line images of the second position whose exposure timing is later than that of the first position. The difference is the amount of distortion. Further, the distortion calculation unit may adjust the line spacing between the first position and the second position according to the image size of the subject. Further, the distortion calculation unit calculates the amount of distortion based on the geometric transformation in which the difference between the geometrically transformed image generated by performing the geometric transformation processing of the second captured image and the first captured image is equal to or less than a preset threshold value. You may.
  • the distortion calculation unit includes an object recognition unit that discriminates an image area of a speed detection object that recognizes a subject using a second captured image and detects a moving speed, and the strain calculation unit detects the speed determined by the object recognition unit.
  • Image distortion is calculated using the image in the image area of the object.
  • the strain calculation unit calculates the image distortion for each of a plurality of speed detection objects determined by the object recognition unit by switching the speed detection target in line units, and the moving speed detection unit is the distortion calculation unit. Based on the sequentially calculated image distortion, the moving speed of the speed detection object is detected in line units.
  • the object recognition unit detects a stationary object as a speed detection target, and the moving speed detecting unit detects the moving speed with respect to the stationary object based on the amount of distortion of the image distortion of the stationary object.
  • the second aspect of this technology is There is an image processing method including detecting the moving speed of the subject by a moving speed detecting unit based on the image distortion of the subject generated in the first captured image obtained by exposing the lines at different timings.
  • the third aspect of this technology is It is a program that uses a captured image to detect the moving speed on a computer.
  • the procedure for acquiring the first captured image obtained by exposing the lines at different timings,
  • the procedure for calculating the image distortion of the subject generated in the first captured image and
  • the program of the present technology provides, for example, a storage medium or communication medium provided in a computer-readable format to a general-purpose computer capable of executing various program codes, for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory. Or, it is a program that can be provided by a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program can be realized on the computer.
  • FIG. 1 is a diagram for explaining a global shutter method and a rolling shutter method.
  • FIG. 1A shows the operation of the solid-state image sensor using the global shutter method.
  • each line L0-g to Ln-g is exposed at the same timing with respect to the vertical drive signal VD, and the captured image is acquired in frame units.
  • FIG. 1B shows the operation of the solid-state image sensor using the rolling shutter method.
  • the first line L0-r is exposed with reference to the vertical drive signal VD, and the second and subsequent lines L1-r to Ln-r are exposed at different timings for each line to capture an image. Is obtained in frame units.
  • the captured image is distorted in the image of the subject. Further, the distortion changes according to the moving speed of the subject, and the distortion increases as the moving speed increases.
  • the time direction is indicated by an arrow t.
  • FIG. 2 illustrates the distortion when the rolling shutter method is used.
  • FIG. 2A exemplifies a captured image when the subject OB is stationary.
  • FIG. 2B shows an image captured when the subject OB moves in the direction of arrow FA at a moving speed Va1
  • FIG. 2C shows a subject OB moving in the direction of arrow FA at a moving speed Va2 (> Va1).
  • the captured image in the case of the above is illustrated.
  • FIG. 2D shows an image captured when the subject OB moves in the arrow FB direction at the moving speed Vb1
  • FIG. 2E shows the subject OB moving in the arrow FB direction at the moving speed Vb2 (> Vb1).
  • the captured image when moving to is illustrated.
  • the image is distorted according to the movement of the subject. Therefore, in the image processing device of the present technology, the subject generated in the captured image is distorted.
  • the moving speed of the subject is detected based on the distortion.
  • an captured image hereinafter referred to as “non-distorted image” in which the image is not distorted according to the movement of the subject and shown in FIG. 1 (b).
  • the moving speed of the subject is increased at high speed and high frequency based on the amount of distortion generated in the distorted image, for example.
  • the amount of displacement of the subject is calculated for each line, and the moving speed of the subject is calculated for each line based on the calculated amount of displacement.
  • FIG. 3 illustrates the configuration of a speed detection system using the image processing device of the present technology.
  • the speed detection system 10 includes an image pickup device 20 that captures a subject, and an image processing device 30 that detects the moving speed of the subject based on the captured image acquired by the image pickup device 20.
  • the imaging device 20 includes a rolling shutter type imaging unit (first imaging unit) 21r and a global shutter type imaging unit (second imaging unit) 21g.
  • the rolling shutter type image pickup unit 21r is configured by using, for example, a CMOS image sensor
  • the global shutter type image pickup unit 21g is, for example, a global shutter type CMOS image sensor or a CCD (Charge Coupled Device) image sensor. Etc. are used.
  • the image pickup unit 21r and the image pickup unit 21g are an image processing device 30 described later, and the image distortion of the subject occurring in the distorted image (first image captured image) obtained by the image pickup unit 21r is obtained by the image pickup unit 21g. It is provided so that it can be easily calculated based on a distorted image (second captured image). For example, the parallax between the distorted image obtained by the imaging unit 21r and the undistorted image obtained by the imaging unit 21g is smaller than a predetermined value, and the area pixel size of the same subject is made equal.
  • FIG. 4 illustrates the arrangement of the imaging unit 21g and the imaging unit 21r.
  • FIG. 4A illustrates a case where the imaging unit 21g and the imaging unit 21r are arranged adjacent to each other so that the parallax between the distorted image and the undistorted image can be ignored.
  • FIG. 4B a half mirror 22 is provided in the optical path of the subject light incident on one of the imaging unit 21g or the imaging unit 21r, and the subject light is incident on the other imaging unit to obtain a distorted image.
  • the undistorted image illustrates the case where parallax does not occur.
  • the image of the stationary subject has the same position and region size in the distorted image and the undistorted image, and the subject
  • the amount of distortion can be easily calculated.
  • the image pickup device 20 outputs the distortion-free image acquired by the image pickup unit 21g using the global shutter method and the distortion image acquired by the image pickup unit 21r using the rolling shutter method to the image processing device 30.
  • the image processing device 30 has a database unit 31, an object recognition unit 32, a strain calculation unit 33, a distance measuring unit 34, and a moving speed detection unit 35.
  • Registration information such as shape data of an object (subject) for detecting the moving speed is registered in advance in the database unit 31.
  • the object recognition unit 32 determines the detection target of the moving speed based on the distortion-free image supplied from the image pickup apparatus 20 and the registration information of the database unit 31, and sets the image area of the detection target as the processing target area.
  • the object recognition unit 32 outputs information indicating the set processing target area to the distortion calculation unit 33 and the distance measuring unit 34.
  • the distortion calculation unit 33 calculates the image distortion of the detection target object in the distorted image in line units by using the image of the processing target area determined by the object recognition unit 32 in the distortion-free image.
  • the strain calculation unit 33 outputs the strain amount calculated for each line to the movement speed detection unit 35.
  • the distance measuring unit 34 measures the distance to the detection target by using either a passive method or an active method. For example, when the passive method is used, the distance measuring unit 34 forms an image of one image and the other image divided by pupil division on a pair of line sensors, and based on the phase difference of the images formed on the line sensors. Measure the distance to the object to be detected. Further, the image sensor used in the image pickup apparatus 20 is provided with an image plane phase difference detection pixel that individually generates an image signal of one image and the other image divided by pupil division, and the image plane phase difference detection pixel is used. The distance to the detection target may be measured based on the generated image signal.
  • the distance measuring unit 34 emits light or radio waves and measures the distance to the detection target based on the reflected light or radio waves.
  • the range finder 34 measures the distance using a TOF (Time of Flight) sensor, LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing), RADAR (Radio Detection and Ringing), and the like.
  • the distance measuring unit 34 outputs the measurement result of the distance to the detection target recognized by the object recognition unit 32 to the moving speed detection unit 35.
  • the moving speed detection unit 35 detects the moving speed of the detection target object based on the image distortion of the detection target object (subject) calculated by the distortion calculation unit 33.
  • the moving speed detection unit 35 uses the imaging condition information (for example, the angle of view and resolution) of the imaging units 21g and 21r and the distance to the detection object measured by the distance measuring unit 34 based on the image distortion as described later. Detects the moving speed of the object to be detected.
  • FIG. 5 illustrates a flowchart showing the first operation.
  • the imaging device performs imaging by the global shutter method.
  • the image pickup apparatus 20 takes an image with the global shutter type image pickup unit 21 g, acquires the captured image, and proceeds to step ST2.
  • step ST2 the image processing device performs object recognition processing.
  • the object recognition unit 32 of the image processing device 30 performs recognition processing of the object included in the captured image acquired in step ST1, detects the detection target for detecting the moving speed, and proceeds to step ST3.
  • step ST3 the image processing device performs distance measurement processing.
  • the distance measuring unit 34 of the image processing device 30 measures the distance to the detection object detected in step ST2 and proceeds to step ST4.
  • step ST4 both imaging devices perform imaging.
  • the image pickup apparatus 20 takes an image with each of the global shutter type image pickup unit 21g and the rolling shutter type image pickup unit 21r, acquires a distortion-free image and a distortion image, and proceeds to step ST5.
  • step ST5 the image processing apparatus performs one-line readout processing from the processing target area.
  • the distortion calculation unit 33 of the image processing device 30 reads out one line of the image of the same position of the detection target detected in step ST2 from the distortion-free image and the distortion image, and proceeds to step ST6.
  • step ST6 the image processing device performs the reference setting process.
  • the distortion calculation unit 33 of the image processing device 30 sets the line at the first position where the image was read out in step ST5 as the reference line La. Further, the distortion calculation unit 33 calculates the amount of misalignment between the image of the reference line La read from the undistorted image and the image of the reference line La read from the distorted image. For example, the reference line image read from the distorted image is moved in pixel units to calculate the error from the reference line image read from the undistorted image, and the movement amount that minimizes the error is set to the reference deviation amount EPa. Then, the process proceeds to step ST7.
  • step ST7 the image processing device performs a new line reading process.
  • the distortion calculation unit 33 of the image processing device 30 is a line at a second position (hereinafter referred to as a “reference line”) different from the reference line at the first position, for example, below the reference line when the read line moves downward.
  • the reference line Lb With the line adjacent to the side as the reference line Lb, the image of the reference line Lb is read out from the undistorted image and the distorted image, and the process proceeds to step ST8.
  • step ST8 the image processing device performs distortion amount calculation processing.
  • the distortion calculation unit 33 calculates the amount of misalignment between the image of the line read from the undistorted image and the image of the line read from the distorted image in step ST7 as the amount of distortion. For example, the image of the reference line Lb read from the distorted image is moved in pixel units, the error from the image of the reference line Lb read from the undistorted image is calculated, and the movement amount that minimizes the error is the displacement amount EPb. Set to and proceed to step ST9.
  • step ST9 the image processing device performs the moving speed detection process.
  • the moving speed detection unit 35 of the image processing device 30 has the distance d to the detection object measured in step ST2, the reference deviation amount EPa calculated in step ST6, the position deviation amount EPb calculated in step ST8, and the position deviation amount EPb.
  • the moving speed of the object to be detected is detected based on the imaging condition information (for example, the angle of view and the resolution) of the imaging units 21g and 21r set in advance.
  • FIG. 6 is a diagram for explaining the operation of the moving speed detection unit.
  • the horizontal angle of view of the imaging units 21g and 21r in the imaging device 20 is the angle ⁇ , and the horizontal direction is the number of pixels Iw. Further, the distance between the imaging device 20 and the detection object OBm is a distance d. In this case, at the position of the detection target object OBm, the horizontal distance Xp corresponding to the horizontal 1-pixel interval can be calculated based on the equation (1).
  • the equation (2) uses the reference deviation amount EPa, the misalignment amount EPb, the distance Xp, and the time Ts. ), The moving speed Bob of the detection target can be calculated.
  • the moving speed detection unit 35 detects the moving speed of the detection target object and proceeds to step ST10.
  • step ST10 the image processing apparatus determines whether the line reading of the processing target area is completed.
  • the distortion calculation unit 33 of the image processing device 30 determines that the line reading of the processing target area is not completed, and proceeds to step ST11. Further, when the strain calculation unit 33 performs the read processing of a new line, when the line of the area different from the processing target area is read, the distortion calculation unit 33 determines that the line reading of the processing target area is completed and ends the processing. ..
  • step ST11 the image processing device performs the reference update process.
  • the distortion calculation unit 33 of the image processing device 30 sets the second position where the image is read out in step ST7 as the new first position, and the reference line Lb as the new reference line La. Further, the position shift amount EPb calculated based on the image of the reference line Lb is set to the reference shift amount EPa, and the process returns to step ST7.
  • the image processing apparatus can detect the moving speed Vob of the detection object with high frequency at the resolution of the line interval (time difference) between the first position and the second position.
  • the object recognition process may be performed using the distortion-free image acquired in step ST4.
  • the line spacing between the first position and the second position may be widened, not limited to the case where the line adjacent to the lower side of the reference line is read when the read line moves downward. By widening the line spacing between the first position and the second position in this way, the resolution for detecting the moving speed is lower than when reading adjacent lines, but the time required to complete the detection of the moving speed is shortened. it can.
  • the line spacing of the read target may be adjusted according to the vertical image size of the detection target object detected in the object recognition process in step ST2, that is, when the image size is small, the first position may be used.
  • the moving speed may be calculated by using the amount of misalignment between the line images at the same position of the subject in the distorted image and the undistorted image as the amount of distortion. Specifically, the moving speed is detected by using the amount of displacement between the line images of the second position as a reference based on the amount of reference deviation EPa of the first position calculated by performing the processes of steps ST5 and ST6 as the amount of distortion. .. Further, the moving speed is detected by fixing the first position and sequentially updating only the second position in the reading direction.
  • the detection result of the movement speed can be obtained promptly, and each time the second position is updated, the line interval (time difference) between the first position and the second position, that is, the movement speed The time Ts used for the calculation becomes longer, and a stable detection result can be obtained.
  • FIG. 7 is a diagram illustrating the first operation.
  • FIG. 7A illustrates a distortion-free image acquired by the imaging unit 21g
  • FIG. 7B illustrates a distorted image acquired by the imaging unit 21r.
  • the distortion calculation unit 33 reads the pixel signal of the reference line La from the undistorted image and the distorted image.
  • the reference line La in the undistorted image is referred to as a signal SLa-g
  • the reference line La in the distorted image is referred to as a signal SLa-r.
  • the distortion calculation unit 33 reads out the pixel signal of the reference line Lb from the distortion-free image and the distortion image.
  • the reference line Lb in the undistorted image is referred to as the signal SLb-g
  • the reference line Lb in the distorted image is referred to as the signal SLb-r.
  • FIG. 8 illustrates the signals of the reference line and the reference line.
  • 8 (a) is the signal SLa-g of the reference line La
  • FIG. 8 (b) is the signal SLa-r of the reference line La in the distorted image
  • FIG. 8 (c) is the reference line Lb in the undistorted image.
  • the signal SLb-g, (d) in FIG. 8 illustrates the signal SLb-r of the reference line Lb in the distorted image.
  • the distortion calculation unit 33 calculates the reference deviation amount EPa of the undistorted image and the distorted image for the reference line La. Specifically, the image of the reference line La of the distorted image is moved in pixel units, and the movement amount that minimizes the error in the region of the detection object OBm is defined as the reference deviation amount EPa.
  • the distortion calculation unit 33 calculates the displacement amount EPb of the undistorted image and the distorted image for the reference line Lb. Specifically, the image of the reference line Lb of the distorted image is moved in pixel units, and the moving amount that minimizes the error in the region of the detection object OBm is defined as the misalignment amount EPb. Further, the moving speed Vob of the detection target OBm between the reference line and the reference line can be calculated based on the above equation (2) with the time difference between the exposure timings of the reference line La and the reference line Lb as the time Ts.
  • the movement speed of the detection target object OBm can be calculated at the time interval of each line.
  • each moving body is used.
  • the moving speed can be calculated. Further, by controlling the reading order of the lines, it is possible to reduce the time difference in which the detection result of the moving speed is obtained among the plurality of moving bodies.
  • FIG. 9 illustrates the operation when there are a plurality of moving objects.
  • the captured image contains two detection objects OBm-1 and OBm-2.
  • the strain calculation unit 33 divides the area into a region AR-1 including the detection target object OBm-1 and a region AR-2 including the detection target object OBm-2. Further, the strain calculation unit 33 calculates the moving speed of, for example, one line for the area AR-1, then calculates the moving speed for the area AR-2, and calculates the moving speed of, for example, one line for the area AR-2. After that, the moving speed of the next line is calculated for the area AR-1.
  • the calculation result of the moving speed of the detection target objects OBm-1 and OBm-2 can be obtained more quickly than when the area is not divided. it can. That is, when the region is not divided, the moving speed of the detection target OBm-2 is not detected until the movement speed detection of the detection target OBm-1 is completed. However, if the moving speed is sequentially detected for each region, the moving speed of the detection target OBm-2 can be detected before the movement speed detection of the detection target OBm-1 is completed. Since the movement speed is sequentially detected for each area, the time from the first detection of the movement speed to the completion of the detection of the last movement speed becomes long.
  • the image processing device can detect the moving speed of the moving subject at high speed and high frequency.
  • the case where the image pickup device 20 is fixed is illustrated, but the image pickup device 20 may be moved.
  • the image pickup device 20 in the distorted image acquired by the imaging unit 21r, for example, a stationary object is distorted according to the movement of the imaging device 20. That is, the moving speed of the imaging device 20 can be calculated from the distortion of the stationary object. Further, since the moving speed of the image pickup apparatus 20 can be detected, the self-position estimation may be performed using the detected moving speed.
  • the self-position is estimated using the amount of wheel rotation and positioning satellite information.
  • the movement speed can be detected based on the captured image, so if the movement amount is determined using the detected movement speed, even if the wheels slip or the reception sensitivity of the positioning signal is poor, it will be accurate. You will be able to estimate your own position.
  • FIG. 10 illustrates a case where the image pickup device is mounted on the side surface of the moving body.
  • FIG. 10A illustrates the relationship between the image pickup device 20 and the subject, and the image pickup device 20 images the detection target object (for example, a building) OBf and the detection target object (for example, a car) OBm.
  • the moving body (own vehicle) on which the image pickup device 20 is mounted is moving in the direction of the arrow FA at a moving speed Va1, and the detection target OBm is moving in the same direction as the own vehicle at a high moving speed Va2 (> Va1). I'm moving.
  • FIG. 10B exemplifies a distorted image obtained by the imaging device 20, and the detection object OBf is distorted due to the movement of the own vehicle.
  • the moving speed is calculated based on the distortion of the detection target object OBf
  • the moving speed Va1 of the own vehicle can be detected. Therefore, by integrating the detected moving speed Va1, it is possible to determine the amount of movement of the own vehicle and estimate the self-position.
  • the detection target object OBm is distorted due to the relative moving speed (Va2-Va1) with the own vehicle. If the moving speed is calculated based on this strain, the relative moving speed of the detection target OBm can be detected. Further, based on the moving speed of the own vehicle and the relative moving speed of the detection target object OBm, the moving speed Va2 of the detection target object OBm can be detected even when the imaging device 20 is moving.
  • Second operation Next, the second operation of the embodiment will be described.
  • geometric transformation for example, affine transformation
  • distortion is performed based on the geometric transformation that minimizes the error between the reference image (geometric transformation image) after the geometric transformation and the distorted image.
  • the amount is calculated, and the moving speed of the object to be detected is detected in line units based on the amount of strain.
  • FIG. 11 illustrates a flowchart showing the second operation.
  • the imaging device performs imaging by the global shutter method.
  • the image pickup apparatus 20 takes an image with the image pickup unit 21g of the global shutter type, acquires the captured image, and proceeds to step ST22.
  • step ST22 the image processing device performs object recognition processing.
  • the object recognition unit 32 of the image processing device 30 performs recognition processing of the object included in the captured image acquired in step ST21, detects the detection target for detecting the moving speed, and proceeds to step ST23.
  • step ST23 the image processing device performs distance measurement processing.
  • the distance measuring unit 34 of the image processing device 30 measures the distance to the detection object detected in step ST22 and proceeds to step ST24.
  • step ST24 both imaging devices perform imaging.
  • the image pickup apparatus 20 takes an image with each of the global shutter type image pickup unit 21g and the rolling shutter type image pickup unit 21r, acquires a distortion-free image and a distortion image, and proceeds to step ST25.
  • step ST25 the image processing device performs image extraction processing from the reference image.
  • the distortion calculation unit 33 of the image processing device 30 extracts an image of the processing target area, that is, the area indicating the detection target detected in step ST22 from the reference image, and proceeds to step ST26.
  • step ST26 the image processing device performs geometric transformation processing of the extracted image.
  • the distortion calculation unit 33 performs geometric transformation processing on the extracted image extracted by the image extraction process of step ST25 so as to generate distortion according to the movement of the detection target object, generates a geometric transformation image, and steps ST27. Proceed to.
  • step ST27 the image processing device determines whether the difference between the distorted image and the geometrically transformed image is equal to or less than the threshold value.
  • the difference between the geometrically converted image generated in step ST26 and the distorted image is equal to or less than the threshold value, that is, the image of the detection target in the reference image is equivalent to the image of the detection target in the distorted image. If it is determined that the image is distorted, the process proceeds to step ST29, and if the difference is larger than the threshold value, the process proceeds to step ST28.
  • step ST28 the image processing apparatus updates the transformation matrix. Since the distortion calculation unit 33 of the image processing device 30 has not been able to correct the distortion of the extracted image below the threshold value, it updates the conversion matrix used for the geometric transformation processing and returns to step ST26 to perform the geometric transformation processing of the extracted image. Do.
  • step ST29 the image processing device performs distortion amount discrimination processing.
  • the distortion calculation unit 33 determines the amount of distortion of the distorted image based on the geometric transformation performed in step ST26 when it is determined in step ST27 that the difference between the distorted image and the geometrically transformed image is equal to or less than the threshold value.
  • the amount of distortion for example, the amount of misalignment between the top line and the bottom line in the extracted image may be determined, or the amount of misalignment between each line in the extracted image may be calculated.
  • the distortion calculation unit 33 determines the image distortion of the subject occurring in the distorted image and proceeds to step ST30.
  • step ST30 the image processing device performs the moving speed detection process.
  • the moving speed detection unit 35 of the image processing device 30 has the distance d to the detection object measured in step ST22, the amount of distortion determined in step ST29, and the preset imaging condition information of the imaging units 21g and 21r.
  • the moving speed of the object to be detected is detected based on (for example, the angle of view and the resolution).
  • the image processing device performs geometric transformation processing on the image of the detection object in the reference image, and determines the amount of distortion according to the movement of the detection object based on the image after geometric transformation and the distorted image.
  • the moving speed of the object to be detected may be detected.
  • FIG. 12 illustrates a case where the subject approaches the image pickup device.
  • FIG. 13 is a diagram for explaining the calculation of the moving speed. For the sake of simplicity, FIG. 13 uses a vertically divided image, but in reality, it is divided into time series in line units.
  • the distortion calculation unit 33 of the image processing apparatus obtains the left end edge OBm-l, the right end edge OBm-r, and the center position OBm-c of the detection target object OBm from the image of each divided region. Further, the strain calculation unit 33 calculates the movement speed in the left-right direction from the amount of misalignment in the left-right direction of the center position OBm-c, as in the above description in which the subject moves in the horizontal direction.
  • the distance to the detection target object OBm is measured by the distance measuring unit 34 when the captured image is acquired.
  • the moving speed in the perspective direction can be obtained from the distance measurement result up to the detection target object OBm.
  • the movement speed in the perspective direction can be detected based on the distance measurement result of the distance measuring unit 34, but also the movement speed in the direction orthogonal to the perspective direction can be increased frequently and at high speed based on the captured image. Can be detected. Therefore, considering not only the moving speed in the perspective direction but also the moving speed in the direction orthogonal to the perspective direction, it is possible to accurately perform, for example, a collision avoidance operation with the detection target object OBm.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as a device mounted on the body.
  • FIG. 14 is a block diagram showing a configuration example of a schematic function of a vehicle control system 100, which is an example of a mobile control system to which the present technology can be applied.
  • a vehicle provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as a own vehicle or a own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body. It includes a system system 110, a storage unit 111, and an automatic operation control unit 112.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. They are interconnected.
  • the communication network 121 is, for example, from an in-vehicle communication network or bus that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without going through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the description of the communication network 121 shall be omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate with each other via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate with each other.
  • the input unit 101 includes a device used by the passenger to input various data, instructions, and the like.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device capable of inputting by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors and the like that acquire data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is equipped with a sensor or the like for detecting the rotation speed of the motor, the rotation speed of the wheels, or the like.
  • IMU inertial measurement unit
  • the data acquisition unit 102 includes various sensors for detecting information outside the own vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting the weather or the weather, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the own vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that images the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices, servers, base stations, etc. outside the vehicle, transmits data supplied from each unit of the vehicle control system 100, and transmits the received data to the vehicle control system. It is supplied to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 is a wireless LAN. , Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), etc. to wirelessly communicate with the in-vehicle device 104.
  • the communication unit 103 uses a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL () via a connection terminal (and a cable if necessary) (not shown). Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Multimedia Interface
  • Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
  • the communication unit 103 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network or a network peculiar to a business operator) via a base station or an access point. Communicate. Further, for example, the communication unit 103 uses P2P (Peer To Peer) technology to connect with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network or a network peculiar to a business operator
  • the communication unit 103 uses P2P (Peer To Peer) technology to connect with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
  • P2P Peer To Peer
  • a terminal for example, a pedestrian or
  • the communication unit 103 includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Perform V2X communication such as communication. Further, for example, the communication unit 103 is provided with a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, traffic regulation, or required time. To do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device owned by a passenger, an information device carried in or attached to the own vehicle, a navigation device for searching a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data) and supplies the output signal to the output unit 106.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image, a panoramic image, or the like, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision, contact, and entry into a danger zone, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision, contact, and entry into
  • the output unit 106 is provided with a device capable of outputting visual information or auditory information to the passengers of the own vehicle or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a spectacle-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 displays visual information in the driver's field of view, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to the device having a normal display. It may be a display device.
  • the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system system 108 as needed, and notifies the control state of the drive system system 108.
  • the drive system system 108 includes various devices related to the drive system of the own vehicle.
  • the drive system system 108 includes a drive force generator for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle, and the like. It is equipped with a braking device that generates braking force, ABS (Antilock Brake System), ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies control signals to each unit other than the body system 110 as necessary, and notifies the control state of the body system 110.
  • the body system 110 includes various body devices equipped on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, head lamps, back lamps, brake lamps, winkers, fog lamps, etc.). Etc.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 stores map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • the automatic driving control unit 112 controls automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 issues collision avoidance or impact mitigation of the own vehicle, follow-up running based on the inter-vehicle distance, vehicle speed maintenance running, collision warning of the own vehicle, lane deviation warning of the own vehicle, and the like. Collision control is performed for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including. Further, for example, the automatic driving control unit 112 performs coordinated control for the purpose of automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • the automatic operation control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for controlling automatic operation.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the vehicle outside information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the vehicle control system 100. For example, the vehicle outside information detection unit 141 performs detection processing, recognition processing, tracking processing, and distance detection processing for an object around the own vehicle. Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like. Further, for example, the vehicle outside information detection unit 141 performs detection processing of the environment around the own vehicle. The surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition, and the like.
  • the vehicle outside information detection unit 141 outputs data indicating the result of the detection process to the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. It is supplied to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the vehicle interior information detection unit 142 performs driver authentication processing and recognition processing, driver status detection processing, passenger detection processing, vehicle interior environment detection processing, and the like.
  • the state of the driver to be detected includes, for example, physical condition, alertness, concentration, fatigue, gaze direction, and the like.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the vehicle interior information detection unit 142 supplies data indicating the result of the detection process to the situational awareness unit 153 of the situational analysis unit 133, the emergency situation avoidance unit 171 of the motion control unit 135, and the like.
  • the vehicle state detection unit 143 performs the state detection process of the own vehicle based on the data or signals from each part of the vehicle control system 100.
  • the state of the own vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position / tilt, door lock state, and other in-vehicle devices. The state etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimation unit 132 estimates the position and posture of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the vehicle exterior information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Perform processing. In addition, the self-position estimation unit 132 generates a local map (hereinafter, referred to as a self-position estimation map) used for self-position estimation, if necessary.
  • the map for self-position estimation is, for example, a highly accurate map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. Further, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141 as necessary, and the map analysis unit 151 of various maps stored in the storage unit 111. Perform analysis processing and build a map containing information necessary for automatic driving processing.
  • the map analysis unit 151 applies the constructed map to the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to.
  • the traffic rule recognition unit 152 determines the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of the signal around the own vehicle, the content of the traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 can be used for data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle condition detection unit 143, and the map analysis unit 151. Based on this, the situation recognition process related to the own vehicle is performed. For example, the situational awareness unit 153 performs recognition processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver of the own vehicle. In addition, the situational awareness unit 153 generates a local map (hereinafter, referred to as a situational awareness map) used for recognizing the situation around the own vehicle, if necessary.
  • the situational awareness map is, for example, an occupied grid map (OccupancyGridMap).
  • the status of the own vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the presence / absence and contents of an abnormality.
  • the surrounding conditions of the vehicle to be recognized include, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding animals (for example, speed, acceleration, moving direction, etc.), and the surrounding roads.
  • the composition and road surface condition, as well as the surrounding weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, eye movement, driving operation, and the like.
  • the situational awareness unit 153 supplies data indicating the result of the recognition process (including a situational awareness map, if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like. Further, the situational awareness unit 153 stores the situational awareness map in the storage unit 111.
  • the situation prediction unit 154 performs a situation prediction process related to the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver.
  • the situation of the own vehicle to be predicted includes, for example, the behavior of the own vehicle, the occurrence of an abnormality, the mileage, and the like.
  • the situation around the own vehicle to be predicted includes, for example, the behavior of the animal body around the own vehicle, the change in the signal state, the change in the environment such as the weather, and the like.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, provides the data indicating the result of the prediction processing to the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the route planning unit 161 plans a route to the destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Further, for example, the route planning unit 161 appropriately changes the route based on the conditions of traffic congestion, accidents, traffic restrictions, construction, etc., and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely sets the route planned by the route planning unit 161 within the planned time based on the data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's actions to drive. For example, the action planning unit 162 plans starting, stopping, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), traveling lane, traveling speed, and overtaking.
  • the action planning unit 162 supplies data indicating the planned behavior of the own vehicle to the operation planning unit 163 and the like.
  • the action planning unit 163 is data from each part of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154.
  • the operation of the own vehicle for realizing the action planned by the action planning unit 162 is planned.
  • the motion planning unit 163 plans acceleration, deceleration, traveling track, and the like.
  • the motion planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the motion control unit 135.
  • the motion control unit 135 controls the motion of the own vehicle.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 may collide, contact, enter a danger zone, have a driver abnormality, or cause a vehicle. Performs emergency detection processing such as abnormalities.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle to avoid an emergency situation such as a sudden stop or a sharp turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for realizing a planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the motion planning unit 163 or the emergency situation avoidance unit 171 and controls to indicate the calculated control target value. The command is supplied to the drive system control unit 107.
  • the image pickup device 20 is provided in the data acquisition unit 102, and the image processing device 30 of the present technology is provided in the vehicle outside information detection unit 141 to determine the moving speed of objects around the own vehicle. Performs travel distance detection processing.
  • the detection result of the image processing device 30 is supplied to, for example, the self-position estimation unit 132, the self-position can be estimated accurately even when the wheels slip or the reception sensitivity of the positioning signal is poor.
  • the detection process of an emergency situation such as a collision or contact is performed.
  • the image pickup device 20 on the side surface of the own vehicle, the relative moving speed of the vehicle traveling side by side with the own vehicle can be detected. Therefore, the relative moving speed of the vehicles traveling side by side can be used. It will be possible to determine when it is possible to safely change lanes.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program that records the processing sequence is installed in the memory in the computer embedded in the dedicated hardware and executed.
  • the program can be pre-recorded on a hard disk as a recording medium, SSD (Solid State Drive), or ROM (Read Only Memory).
  • the program is a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disk, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disk, semiconductor memory card. It can be temporarily or permanently stored (recorded) on a removable recording medium such as.
  • a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus of the present technology can have the following configurations.
  • An image processing device including a moving speed detection unit that detects the moving speed of the subject based on the image distortion of the subject generated in the first captured image obtained by exposing the lines at different timings.
  • the moving speed detecting unit detects the moving speed of the subject based on the angle of view of the first captured image, the distance to the subject, and the amount of distortion of the image distortion. Processing equipment.
  • the image processing apparatus according to (2), wherein the moving speed detecting unit detects the moving speed of the subject in line units based on the amount of distortion of the image distortion for each line.
  • a distortion calculation unit for calculating the image distortion of the subject is provided.
  • the image processing apparatus calculates the amount of distortion using a second captured image obtained by exposing lines at equal timings.
  • the distortion calculation unit determines the amount of misalignment between the line image of the first position of the subject in the first captured image and the second captured image, and the second exposure timing is later than that of the first position.
  • the image processing apparatus according to (5), wherein the difference between the position and the position shift amount between the line images is the distortion amount.
  • the image processing apparatus adjusts the line spacing between the first position and the second position according to the image size of the subject.
  • the strain calculation unit is based on a geometric transformation in which the difference between the geometrically transformed image generated by performing the geometric transformation processing of the second captured image and the first captured image is equal to or less than a preset threshold value.
  • the image processing apparatus according to (4), which calculates the amount of distortion.
  • An object recognition unit for determining an image area of a speed detection object that recognizes a subject using the second captured image and detects a moving speed is provided.
  • the distortion calculation unit calculates the image distortion using the image of the image region of the speed detection object with the speed detection object determined by the object recognition unit as the subject (4) to (8).
  • the distortion calculation unit calculates the image distortion for each of the plurality of speed detection objects determined by the object recognition unit by switching the speed detection object on a line-by-line basis.
  • the object recognition unit detects a stationary object as the speed detection target, and then The image processing apparatus according to (9), wherein the moving speed detecting unit detects the moving speed with respect to the stationary object based on the amount of distortion of the image distortion of the stationary object.
  • the image processing apparatus according to any one of (2) to (11), further including a distance measuring unit for measuring the distance to the subject.
  • the first image pickup unit and the second image pickup unit are provided so that the parallax between the first image pickup image and the second image pickup image is smaller than a predetermined value and the area pixel sizes of the same subject are the same (13). 12) The image processing apparatus according to.

Abstract

ラインの露光が異なるタイミングであるローリングシャッタ方式の第１撮像部２１ｒと、ラインの露光が等しいタイミングで行われるグローバルシャッタ方式の第２撮像部２１ｇは、移動している被写体を撮像する。歪み算出部３３は、第１の撮像部２１ｒで得られた第１撮像画像に生じた被写体の画像歪みを、第２撮像部２１ｇで得られた第２撮像画像を用いて判別する。移動速度検出部３５は、撮像画像の画角と歪み算出部３３で判別した画像歪みの歪み量と測距部３４で測定された被写体までの距離に基づいて、被写体の移動速度をライン単位で検出する。したがって、被写体の移動速度を高速かつ高頻度に検出できるようになる。

Description

画像処理装置と画像処理方法およびプログラム
　この技術は、画像処理装置と画像処理方法およびプログラムに関し、被写体の移動速度を高速かつ高頻度に検出できるようにする。
　従来、動物体の移動速度の検出では、ドップラー効果を利用して、動物体に照射した電波や超音波の反射波を利用して移動速度の検出が行われている。また、特許文献１では、動物体を撮像した画像に基づいて移動速度を検出することが行われている。
特開２００１－１８３３８３号公報
　ところで、特許文献１では、撮像画像のフレーム間における被写体の位置の変化および撮像画像のフレームレート等に基づいて移動速度の算出が行われており、フレームレートよりも高速かつ高頻度で被写体の移動速度を検出することができない。
　そこで、この技術では、被写体の移動速度を高速かつ高頻度に検出できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　ラインの露光が異なるタイミングで行われて得られた第１撮像画像に生じた被写体の画像歪みに基づいて、前記被写体の移動速度を検出する移動速度検出部
を備える画像処理装置にある。
　この技術においては、ラインの露光が異なるタイミングで行われる第１撮像部で得られた第１撮像画像に生じた被写体の画像歪みを、ラインの露光が等しいタイミングで行われる第２撮像部で得られた第２撮像画像に基づいて判別して、判別した画像歪みの歪み量と第１撮像画像の画角と測距部で測定された被写体までの距離に基づいて、被写体の移動速度を移動速度検出部で例えばライン単位で検出する。
　第１撮像部と第２撮像部は、第１撮像画像と第２撮像画像との視差が所定よりも少なく、同一被写体の領域画素サイズが等しくなるように設けられている。
　被写体の画像歪みを算出する歪み算出部は、第１撮像画像と第２撮像画像における被写体の同一位置のライン画像間の位置ずれ量を用いて歪み量を算出する。例えば、第１撮像画像と第２撮像画像における被写体の第１位置のライン画像間の位置ずれ量と、第１位置よりも露光のタイミングが遅い第２位置のライン画像間の位置ずれ量との差を、歪み量とする。また、歪み算出部は、被写体の画像サイズに応じて第１位置と２位置とのライン間隔を調整してもよい。また、歪み算出部は、第２撮像画像の幾何変換処理を行うことにより生成した幾何変換画像と第１撮像画像との差が予め設定された閾値以下となる幾何変換に基づいて歪み量を算出してもよい。
　また、第２撮像画像を用いて被写体認識を行い、移動速度の検出を行う速度検出対象物の画像領域を判別する物体認識部を備え、歪み算出部は、物体認識部で判別された速度検出対象物の画像領域の画像を用いて画像歪みを算出する。また、歪み算出部は、物体認識部で判別された複数の速度検出対象物毎の画像歪みの算出を、ライン単位で速度検出対象物を切り替えて行い、移動速度検出部は、歪み算出部で順次算出された画像歪みに基づき、ライン単位で前記速度検出対象物の移動速度を検出する。また、物体認識部は、速度検出対象物として静止物体を検出して、移動速度検出部は、静止物体の画像歪みの歪み量に基づいて静止物体に対する移動速度を検出する。
　この技術の第２の側面は、
　ラインの露光が異なるタイミングで行われて得られた第１撮像画像に生じた被写体の画像歪みに基づいて、前記被写体の移動速度を移動速度検出部で検出すること
を含む画像処理方法にある。
　この技術の第３の側面は、
　撮像画像を利用して移動速度の検出をコンピュータで実行させるプログラムであって、
　ラインの露光が異なるタイミングで行われて得られた第１撮像画像を取得する手順と、
　前記第１撮像画像に生じた被写体の画像歪みを算出する手順と、
　前記算出された画像歪みに基づいて、前記被写体の移動速度を検出する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラムコードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
グローバルシャッタ方式とローリングシャッタ方式を説明するための図である。 ローリングシャッタ方式を用いた場合の歪みを例示した図である。 速度検出システムの構成を例示した図である。 撮像部２１ｇと撮像部２１ｒの配置を例示した図である。 第１の動作を示すフローチャートを例示した図である。 移動速度検出部の動作を説明するための図である。 第１の動作を例示した図である。 基準ラインと参照ラインの信号を例示した図である。 移動体が複数である場合の動作を例示した図である。 撮像装置が移動体の側面に搭載されている場合を例示した図である。 第２の動作を示すフローチャートを例示した図である。 被写体が撮像装置に近づいて来る場合を例示した図である。 移動速度の算出を説明するための図である。 車両制御システムの概略的な機能の構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．本技術における速度検出について
　２．実施の形態の構成
　３．実施の形態の動作
　　３－１．第１の動作
　　３－２．第２の動作
　　３－３．他の動作
　４．応用例
　＜１．本技術における速度検出について＞
　図１は、グローバルシャッタ方式とローリングシャッタ方式を説明するための図である。図１の（ａ）はグローバルシャッタ方式を用いた固体撮像装置の動作を示している。グローバルシャッタ方式では、垂直駆動信号ＶＤを基準とする等しいタイミングで各ラインＬ0-g～Ｌn-gの露光を行い、撮像画像がフレーム単位で取得される。図１の（ｂ）はローリングシャッタ方式を用いた固体撮像装置の動作を示している。ローリングシャッタ方式では、垂直駆動信号ＶＤを基準として最初のラインＬ0-rの露光を行い、２ライン目以降のラインＬ1-r～Ｌn-rでは、ライン毎に異なるタイミングで露光を行い、撮像画像がフレーム単位で取得される。したがって、このため、被写体が移動する場合、撮像画像では被写体の画像に歪みを生じてしまう。また、歪みは被写体の移動速度に応じて変化して、移動速度が速くなると歪みが多くなる。なお、図１および後述する図１１では、時間方向を矢印ｔで示している。
　図２は、ローリングシャッタ方式を用いた場合の歪みを例示している。図２の（ａ）は被写体ＯＢが静止している場合の撮像画像を例示している。図２の（ｂ）は被写体ＯＢが移動速度Ｖa1で矢印ＦＡ方向に移動している場合の撮像画像、図２の（ｃ）は被写体ＯＢが移動速度Ｖa2（＞Ｖa1）で矢印ＦＡ方向に移動している場合の撮像画像を例示している。また、図２の（ｄ）は被写体ＯＢが移動速度Ｖb1で矢印ＦＢ方向に移動している場合の撮像画像、図２の（ｅ）は被写体ＯＢが移動速度Ｖb2（＞Ｖb1）で矢印ＦＢ方向に移動している場合の撮像画像を例示している。
　このように、ローリングシャッタ方式を用いた固体撮像装置で取得される撮像画像では、被写体の動きに応じて画像の歪みを生じることから、本技術の画像処理装置では、撮像画像に生じた被写体の歪みに基づいて被写体の移動速度を検出する。具体的には、図１の（ａ）に示すように、被写体の動きに応じた画像の歪みを生じていない撮像画像（以下「無歪み画像」という）と、図１の（ｂ）に示すように、被写体の動きに応じた画像の歪みを生じている撮像画像（以下「歪み画像」という）から、歪み画像に生じた歪み量に基づいて被写体の移動速度を高速かつ高頻度に、例えばライン毎に被写体の位置ずれ量を算出して、算出した位置ずれ量に基づいて、被写体の移動速度をライン単位で算出する。
　＜２．実施の形態の構成＞
　図３は、本技術の画像処理装置を用いた速度検出システムの構成を例示している。速度検出システム１０は、被写体を撮像する撮像装置２０と、撮像装置２０で取得された撮像画像に基づき被写体の移動速度を検出する画像処理装置３０を有している。
　撮像装置２０は、ローリングシャッタ方式の撮像部（第１撮像部）２１ｒと、グローバルシャッタ方式の撮像部（第２撮像部）２１ｇを有している。ローリングシャッタ方式の撮像部２１ｒは、例えばＣＭＯＳイメージセンサ等を用いて構成されており、グローバルシャッタ方式の撮像部２１ｇは、例えばグローバルシャッタ方式のＣＭＯＳイメージセンサ、または、ＣＣＤ（Charge Coupled Device）イメージセンサ等を用いて構成されている。
　撮像部２１ｒと撮像部２１ｇは、後述する画像処理装置３０で、撮像部２１ｒで得られた歪み画像（第１撮像画像）に生じている被写体の画像歪みを、撮像部２１ｇで得られた無歪み画像（第２撮像画像）に基づいて容易に算出できるように設けられている。例えば、撮像部２１ｒで得られる歪み画像と撮像部２１ｇで得られる無歪み画像との視差が所定よりも少なく、同一被写体の領域画素サイズが等しくなるように設けられている。
　図４は、撮像部２１ｇと撮像部２１ｒの配置を例示している。図４の（ａ）は、歪み画像と無歪み画像との視差を無視できるように、撮像部２１ｇと撮像部２１ｒを隣接して配置した場合を例示している。また、図４の（ｂ）は、撮像部２１ｇまたは撮像部２１ｒの一方に入射する被写体光の光路にハーフミラー２２を設けて、被写体光を他方の撮像部に入射させることで、歪み画像と無歪み画像は視差を生じない場合を例示している。ここで、撮像部２１ｇと撮像部２１ｒの撮像光学系とイメージセンサの有効画素数等が等しい場合、静止している被写体の画像は歪み画像と無歪み画像で位置と領域サイズが等しく、被写体の移動に伴い被写体の画像歪みが生じた場合に歪み量を容易に算出できるようになる。
　撮像装置２０は、グローバルシャッタ方式を用いた撮像部２１ｇで取得された無歪み画像と、ローリングシャッタ方式を用いた撮像部２１ｒで取得された歪み画像を画像処理装置３０へ出力する。
　画像処理装置３０は、図３に示すように、データベース部３１、物体認識部３２、歪み算出部３３、測距部３４および移動速度検出部３５を有している。
　データベース部３１には、移動速度を検出する対象物（被写体）の形状データ等の登録情報が予め登録されている。物体認識部３２は、撮像装置２０から供給された無歪み画像とデータベース部３１の登録情報に基づき移動速度の検出対象物を判別して、検出対象物の画像領域を処理対象領域として設定する。物体認識部３２は、設定した処理対象領域を示す情報を歪み算出部３３と測距部３４へ出力する。
　歪み算出部３３は、無歪み画像における物体認識部３２で判別した処理対象領域の画像を用いて、歪み画像における検出対象物の画像歪みをライン単位で算出する。歪み算出部３３は、ライン単位で算出した歪み量を移動速度検出部３５へ出力する。
　測距部３４は、パッシブ方式またはアクティブ方式の何れの方式を用いて検出対象物までの距離を測定する。例えばパッシブ方式を用いる場合、測距部３４は、瞳分割によって分割した一方の画像と他方の画像を一対のラインセンサ上に結像させて、ラインセンサに結像された画像の位相差に基づき検出対象物までの距離を測定する。また、撮像装置２０で用いられるイメージセンサに、瞳分割によって分割された一方の画像と他方の画像の画像信号を個々に生成する像面位相差検出画素を設けて、像面位相差検出画素で生成された画像信号に基づき検出対象までの距離を測定してもよい。測距部３４は、アクティブ方式を用いる場合、光や電波を出射して、反射された光や電波に基づき検出対象物までの距離を測定する。例えば、測距部３４は、ＴＯＦ（Time of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＲＡＤＡＲ（Radio Detection and Ranging）等を用いて距離を測定する。測距部３４は、物体認識部３２で認識された検出対象物までの距離の測定結果を移動速度検出部３５へ出力する。
　移動速度検出部３５は、歪み算出部３３で算出された検出対象物（被写体）の画像歪みに基づいて、検出対象物の移動速度を検出する。移動速度検出部３５は、撮像部２１ｇ，２１ｒの撮像条件情報（例えば画角と解像度）と測距部３４で測定された検出対象物までの距離を用いて、後述するように画像歪みに基づいて検出対象物の移動速度を検出する。
　＜３．実施の形態の動作＞
　　＜３－１．第１の動作＞
　次に、実施の形態の第１の動作について説明する。第１の動作では、処理対象領域の画像をライン単位で抽出して、無歪み画像から抽出した画像と歪み画像から抽出した画像における検出対象領域の位置ずれ量を用いて歪み量を算出して、算出した歪み量に基づき検出対象物の移動速度をライン単位で検出する。
　図５は、第１の動作を示すフローチャートを例示している。ステップＳＴ１で撮像装置はグローバルシャッタ方式で撮像を行う。撮像装置２０は、グローバルシャッタ方式の撮像部２１ｇで撮像を行い、撮像画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で画像処理装置は物体認識処理を行う。画像処理装置３０の物体認識部３２は、ステップＳＴ１で取得された撮像画像に含まれる物体の認識処理を行い、移動速度を検出する検出対象物を検出してステップＳＴ３に進む。
　ステップＳＴ３で画像処理装置は測距処理を行う。画像処理装置３０の測距部３４は、ステップＳＴ２で検出した検出対象物までの距離を測定してステップＳＴ４に進む。
　ステップＳＴ４で撮像装置は両方式で撮像を行う。撮像装置２０は、グローバルシャッタ方式の撮像部２１ｇとローリングシャッタ方式の撮像部２１ｒのそれぞれで撮像を行い無歪み画像と歪み画像を取得してステップＳＴ５に進む。
　ステップＳＴ５で画像処理装置は処理対象領域からの１ライン読み出し処理を行う。画像処理装置３０の歪み算出部３３は、無歪み画像と歪み画像からステップＳＴ２で検出された検出対象物の同じ位置の画像を１ライン読み出してステップＳＴ６に進む。
　ステップＳＴ６で画像処理装置は基準設定処理を行う。画像処理装置３０の歪み算出部３３は、ステップＳＴ５で画像の読み出しを行った第１位置のラインを基準ラインＬａに設定する。また、歪み算出部３３は、無歪み画像から読み出した基準ラインＬａの画像と歪み画像から読み出した基準ラインＬａの画像との位置ずれ量を算出する。例えば、歪み画像から読み出した基準ラインの画像を画素単位で移動して無歪み画像から読み出した基準ラインの画像との誤差を算出して、誤差が最小となる移動量を基準ずれ量ＥＰａに設定してステップＳＴ７に進む。
　ステップＳＴ７で画像処理装置は新たなラインの読み出し処理を行う。画像処理装置３０の歪み算出部３３は、第１位置の基準ラインとは異なる第２位置のライン（以下「参照ライン」という）、例えば読み出しラインが下方向に移動する場合には基準ラインの下側に隣接するラインを参照ラインＬｂとして、参照ラインＬｂの画像を無歪み画像と歪み画像から読み出してステップＳＴ８に進む。
　ステップＳＴ８で画像処理装置は歪み量算出処理を行う。歪み算出部３３は、ステップＳＴ７で無歪み画像から読み出したラインの画像と歪み画像から読み出したラインの画像との位置ずれ量を歪み量として算出する。例えば、歪み画像から読み出した参照ラインＬｂの画像を画素単位で移動して無歪み画像から読み出した参照ラインＬｂの画像との誤差を算出して、誤差が最小となる移動量を位置ずれ量ＥＰｂに設定してステップＳＴ９に進む。
　ステップＳＴ９で画像処理装置は移動速度検出処理を行う。画像処理装置３０の移動速度検出部３５は、ステップＳＴ２で測定された検出対象物までの距離ｄと、ステップＳＴ６で算出された基準ずれ量ＥＰａとステップＳＴ８で算出された位置ずれ量ＥＰｂ、および予め設定されている撮像部２１ｇ，２１ｒの撮像条件情報（例えば画角と解像度）に基づき、検出対象物の移動速度を検出する。
　図６は、移動速度検出部の動作を説明するための図である。撮像装置２０における撮像部２１ｇ，２１ｒの水平画角が角度θであり、水平方向を画素数Ｉｗとする。また、撮像装置２０と検出対象物ＯＢｍとの間隔は距離ｄである。この場合、検出対象物ＯＢｍの位置において、水平方向の１画素間隔に対応する水平方向の距離Ｘｐは式（１）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000001
　ここで、基準ラインＬａの後に読み出しが行われた参照ラインＬｂとの露光タイミングの差を時間Ｔｓとすれば、基準ずれ量ＥＰａと位置ずれ量ＥＰｂと距離Ｘｐおよび時間Ｔｓを用いて式（２）に基づき検出対象物の移動速度Ｖｏｂを算出できる。
Figure JPOXMLDOC01-appb-M000002
　このようにして、移動速度検出部３５は検出対象物の移動速度を検出してステップＳＴ１０に進む。
　ステップＳＴ１０で画像処理装置は処理対象領域のライン読み出しが完了したか判別する。画像処理装置３０の歪み算出部３３は、新たなラインの読み出し処理によって処理対象領域内のラインが読み出される場合、処理対象領域のライン読み出しは完了していないと判別してステップＳＴ１１に進む。また、歪み算出部３３は、新たなラインの読み出し処理を行うと、処理対象領域と異なる領域のラインの読み出しが行われる場合、処理対象領域のライン読み出しは完了したと判別して処理を終了する。
　ステップＳＴ１１で画像処理装置は基準更新処理を行う。画像処理装置３０の歪み算出部３３は、ステップＳＴ７で画像の読み出しを行った第２位置を新たな第１位置として、参照ラインＬｂを新たな基準ラインＬａとする。また、参照ラインＬｂの画像に基づいて算出した位置ずれ量ＥＰｂを基準ずれ量ＥＰａに設定してステップＳＴ７に戻る。
　このような処理を行えば、画像処理装置では、第１位置と第２位置のライン間隔（時間差）の解像度で、検出対象物の移動速度Ｖobを高頻度に検出できるようになる。
　なお、図５に示すフローチャートは例示であって、図５と異なる処理を行ってもよい。例えばステップＳＴ４で取得された無歪み画像を用いて物体認識処理を行うようにしてもよい。また、ステップＳＴ７では、読み出しラインが下方向に移動する場合に基準ラインの下側に隣接するラインを読み出す場合に限らず、第１位置と第２位置のライン間隔を広くしてもよい。このように、第１位置と第２位置のライン間隔を広くすれば、隣接するラインを読み出す場合に比べて移動速度の検出の解像度は低くなるが、移動速度の検出完了までに要する時間を短くできる。
　また、ステップＳＴ２の物体認識処理で検出された検出対象物の垂直方向の画像サイズに応じて、読み出し対象のライン間隔を調整してもよい、すなわち、画像サイズが小さい場合には第１位置と第２位置のライン間隔を狭くして移動速度の検出頻度を高くして、画像サイズが大きい場合はライン間隔を広くして移動速度の検出完了までに要する時間を短縮することで、検出対象物の移動速度を効率よく検出できるようになる。
　さらに、歪み画像と無歪み画像における被写体の同一位置のライン画像間の位置ずれ量を歪み量として、移動速度を算出してもよい。具体的には、ステップＳＴ５とステップＳＴ６の処理を行うことにより算出した第１位置の基準ずれ量ＥＰａを基準とした第２位置のライン画像間の位置ずれ量を歪み量として移動速度を検出する。また、第１位置を固定して第２位置のみを読み出し方向に順次更新して移動速度の検出を行う。このように移動速度を検出すれば、速やかに移動速度の検出結果が得られると共に、第２位置が更新される毎に、第１位置と第２位置とのライン間隔（時間差）すなわち移動速度の算出に用いる時間Ｔｓが長くなり、安定した検出結果を得ることが可能となる。
　図７は、第１の動作を例示した図である。図７の（ａ）は、撮像部２１ｇで取得された無歪み画像、図７の（ｂ）は撮像部２１ｒで取得された歪み画像を例示している。歪み算出部３３は、無歪み画像と歪み画像から基準ラインＬａの画素信号を読み出す。なお、無歪み画像における基準ラインＬａを信号ＳＬａ-g、歪み画像における基準ラインＬａを信号ＳＬａ-rとする。また、歪み算出部３３は、無歪み画像と歪み画像から参照ラインＬｂの画素信号を読み出す。なお、無歪み画像における参照ラインＬｂを信号ＳＬｂ-g、歪み画像における参照ラインＬｂを信号ＳＬｂ-rとする。
　図８は、基準ラインと参照ラインの信号を例示している。図８の（ａ）は基準ラインＬａの信号ＳＬａ-g、図８の（ｂ）は歪み画像における基準ラインＬａの信号ＳＬａ-r、図８の（ｃ）は無歪み画像における参照ラインＬｂの信号ＳＬｂ-g、図８の（ｄ）は歪み画像における参照ラインＬｂの信号ＳＬｂ-rを例示している。
　歪み算出部３３は、基準ラインＬａについて無歪み画像と歪み画像の基準ずれ量ＥＰａを算出する。具体的には歪み画像の基準ラインＬａの画像を画素単位で移動して、検出対象物ＯＢｍの領域における誤差が最小となる移動量を基準ずれ量ＥＰａとする。
　また、歪み算出部３３は、参照ラインＬｂについて無歪み画像と歪み画像の位置ずれ量ＥＰｂを算出する。具体的には歪み画像の参照ラインＬｂの画像を画素単位で移動して、検出対象物ＯＢｍの領域における誤差が最小となる移動量を位置ずれ量ＥＰｂとする。さらに、基準ラインＬａと参照ラインＬｂとの露光タイミングの時間差を時間Ｔｓとして、上述の式（２）に基づき、基準ラインと参照ライン間における検出対象物ＯＢｍの移動速度Ｖobを算出できる。
　また、参照ラインＬｂは、次の移動速度検出時における基準ラインに更新されることから、検出対象物ＯＢｍの移動速度をライン単位の時間間隔で算出できるようになる。
　ところで、図７に示す第１の動作では、移動体が１つである場合を例示したが、撮像範囲に複数の移動体が含まれる場合も上述のような処理を行えば、移動体毎に移動速度を算出できる。また、ラインの読み出し順序を制御することで、複数の移動体間で移動速度の検出結果が得られる時間差を少なくできる。
　図９は、移動体が複数である場合の動作を例示している。例えば撮像画像には２つの検出対象物ＯＢｍ-1，ＯＢｍ-2が含まれている。歪み算出部３３は、物体認識部３２の認識結果に基づき、検出対象物ＯＢｍ-1が含まれる領域ＡＲ-1と、検出対象物ＯＢｍ-2が含まれる領域ＡＲ-2に領域分割を行う。さらに、歪み算出部３３は領域ＡＲ-1について例えば１ラインの移動速度を算出したあとは、領域ＡＲ-2について移動速度の算出を行い、領域ＡＲ-2について例えば１ラインの移動速度を算出したあとは、領域ＡＲ-1について次のラインの移動速度の算出を行う。このように、分割された領域を順に選択して移動速度を算出すれば、検出対象物ＯＢｍ-1，ＯＢｍ-2の移動速度の算出結果を、領域分割を行わない場合に比べて速やかに取得できる。すなわち、領域分割を行わない場合、検出対象物ＯＢｍ-1の移動速度検出が完了しないと検出対象物ＯＢｍ-2の移動速度が検出されない。しかし、領域毎に順次移動速度検出を行えば、検出対象物ＯＢｍ-1の移動速度検出が完了する前に検出対象物ＯＢｍ-2の移動速度を検出できる。なお、領域毎に順次移動速度検出を行うことから、最初に移動速度が検出されてから最後の移動速度の検出が完了するまでの時間は長くなる。
　このような第１の動作によれば、画像処理装置では、移動する被写体の移動速度を高速かつ高頻度に検出できるようになる。
　また、上述の実施の形態では、撮像装置２０が固定されている場合を例示したが、撮像装置２０が移動してもよい。この場合、撮像部２１ｒで取得される歪み画像では、例えば静止物体が撮像装置２０の動きに応じて歪みを生じる。すなわち、静止物体の歪みから撮像装置２０の移動速度を算出することができる。さらに、撮像装置２０の移動速度を検出できることから、検出した移動速度を利用して自己位置推定を行うようにしてもよい。
　従来の自己位置推定では、車輪の回転量や測位衛星情報などを用いて、自己位置が推定されている。しかし、車輪の空転による誤差や、測位信号の受信感度が悪い状況などでは、自己位置を精度よく検出することができない。しかし、本技術を用いることで、撮像画像に基づき移動速度を検出できるので、検出した移動速度を用いて移動量を判別すれば、車輪の空転や測位信号の受信感度が悪い場合でも、精度よく自己位置を推定できるようになる。
　図１０は、撮像装置が移動体の側面に搭載されている場合を例示している。図１０の（ａ）は撮像装置２０と被写体の関係を例示しており、撮像装置２０は、検出対象物（例えば建物）ＯＢｆと検出対象物（例えば車）ＯＢｍを撮像する。撮像装置２０が搭載された移動体（自車）は、矢印ＦＡの方向に移動速度Ｖa1で移動しており、検出対象物ＯＢｍは、自車と同じ方向に早い移動速度Ｖa2（＞Ｖa1)で移動している。
　図１０の（ｂ）は撮像装置２０で得られた歪み画像を例示しており、検出対象物ＯＢｆは自車の移動による歪みが生じている。この検出対象物ＯＢｆの歪みに基づき移動速度を算出すれば、自車の移動速度Ｖa1を検出できる。したがって、検出した移動速度Ｖa1を積算することで自車の移動量を判別して、自己位置を推定することが可能となる。また、検出対象物ＯＢｍは、自車との相対移動速度（Ｖa2－Ｖa1）による歪みが生じる。この歪みに基づき移動速度を算出すれば、検出対象物ＯＢｍの相対移動速度を検出できる。さらに、自車の移動速度と検出対象物ＯＢｍの相対移動速度に基づき、撮像装置２０が移動している場合でも、検出対象物ＯＢｍの移動速度Ｖa2を検出できる。
　　＜３－２．第２の動作＞
　次に、実施の形態の第２の動作について説明する。第２の動作では、基準画像における処理対象領域の画像の幾何変換（例えばアフィン変換）を行い、幾何変換後の基準画像（幾何変換画像）と歪み画像の誤差が最小となる幾何変換に基づき歪み量を算出して、歪み量に基づき検出対象物の移動速度をライン単位で検出する。
　図１１は、第２の動作を示すフローチャートを例示している。ステップＳＴ２１で撮像装置はグローバルシャッタ方式で撮像を行う。撮像装置２０は、グローバルシャッタ方式の撮像部２１ｇで撮像を行い撮像画像を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で画像処理装置は物体認識処理を行う。画像処理装置３０の物体認識部３２は、ステップＳＴ２１で取得された撮像画像に含まれる物体の認識処理を行い、移動速度を検出する検出対象物を検出してステップＳＴ２３に進む。
　ステップＳＴ２３で画像処理装置は測距処理を行う。画像処理装置３０の測距部３４は、ステップＳＴ２２で検出した検出対象物までの距離を測定してステップＳＴ２４に進む。
　ステップＳＴ２４で撮像装置は両方式で撮像を行う。撮像装置２０は、グローバルシャッタ方式の撮像部２１ｇとローリングシャッタ方式の撮像部２１ｒのそれぞれで撮像を行い無歪み画像と歪み画像を取得してステップＳＴ２５に進む。
　ステップＳＴ２５で画像処理装置は基準画像からの画像抽出処理を行う。画像処理装置３０の歪み算出部３３は、基準画像から処理対象領域すなわちステップＳＴ２２で検出された検出対象物を示す領域の画像を抽出してステップＳＴ２６に進む。
　ステップＳＴ２６で画像処理装置は抽出画像の幾何変換処理を行う。歪み算出部３３は、ステップＳＴ２５の画像抽出処理で抽出された抽出画像に対して、検出対象物の移動に応じた歪みを生じるように幾何変換処理を行い、幾何変換画像を生成してステップＳＴ２７に進む。
　ステップＳＴ２７で画像処理装置は歪み画像と幾何変換画像との差分が閾値以下であるか判別する。画像処理装置３０の歪み算出部３３は、ステップＳＴ２６で生成した幾何変換画像と歪み画像との差分が閾値以下、すなわち基準画像における検出対象物の画像が歪み画像における検出対象物の画像と同等の歪みであると判別した場合にはステップＳＴ２９に進み、差分が閾値よりも大きい場合はステップＳＴ２８に進む。
　ステップＳＴ２８で画像処理装置は変換行列を更新する。画像処理装置３０の歪み算出部３３は、抽出画像の歪みが閾値以下に補正できていないことから、幾何変換処理に用いる変換行列を更新してステップＳＴ２６に戻り、抽出した画像の幾何変換処理を行う。
　ステップＳＴ２９で画像処理装置は歪み量判別処理を行う。歪み算出部３３は、ステップＳＴ２７で歪み画像と幾何変換画像との差分が閾値以下であると判別されたときにステップＳＴ２６で行われた幾何変換に基づき歪み画像の歪み量を判別する。なお、歪み量は、抽出画像における例えば最上段のラインと最下段のライン間の位置ずれ量を判別してもよく、抽出画像における各ライン間の位置ずれ量を算出してもよい。歪み算出部３３は歪み画像に生じている被写体の画像歪みを判別してステップＳＴ３０に進む。
　ステップＳＴ３０で画像処理装置は移動速度検出処理を行う。画像処理装置３０の移動速度検出部３５は、ステップＳＴ２２で測定された検出対象物までの距離ｄと、ステップＳＴ２９で判別した歪み量、および予め設定されている撮像部２１ｇ，２１ｒの撮像条件情報（例えば画角と解像度）に基づき、検出対象物の移動速度を検出する。
　このように、画像処理装置は、基準画像における検出対象物の画像に対する幾何変換処理を行い、幾何変換後の画像と歪み画像に基づき、検出対象物の動きに応じた歪み量を判別して、検出対象物の移動速度を検出するようにしてもよい。
　　＜３－３．他の動作＞
　上述の第１および第２の動作では、被写体が撮像装置２０の前方を横切る場合の動作を例示したが、被写体が撮像装置２０に近づく方向あるいは離れる方向に移動する場合に適用してもよい。
　図１２は、被写体が撮像装置に近づいて来る場合を例示している。また、図１３は、移動速度の算出を説明するための図である。なお、説明を簡単とするため、図１３では縦５分割の撮像画像を用いているが、実際はライン単位で、時系列に分割される。
　図１２に示すように、検出対象物ＯＢｍが近づいてくるシーンでは、図１３に示すように分割領域毎にスケール変化を生じる。ここで、画像処理装置の歪み算出部３３は、各分割領域の画像から検出対象物ＯＢｍの左端エッジＯＢｍ-lと右端エッジＯＢｍ-rと中心位置ＯＢｍ-cを求める。また、歪み算出部３３は、被写体が水平方向に移動する上述の説明と同様に、中心位置ＯＢｍ-cの左右方向の位置ずれ量から左右方向の移動速度を算出する。なお、検出対象物ＯＢｍまでの距離は、撮像画像の取得時に測距部３４で測定する。また、検出対象物ＯＢｍまで測距結果から遠近方向の移動速度を求めることができる。
　このように、本技術によれば、測距部３４の測距結果に基づき遠近方向の移動速度を検出できるだけでなく、撮像画像に基づき遠近方向と直交する方向の移動速度を高頻度かつ高速に検出できる。したがって、遠近方向の移動速度だけでなく遠近方向と直交する方向の移動速度を考慮して、例えば検出対象物ＯＢｍとの衝突回避動作等を精度よく行うことが可能となる。
　＜４．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１４は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　このように構成された移動体制御システムでは、撮像装置２０をデータ取得部１０２に設け、車外情報検出部１４１に本技術の画像処理装置３０を設けて、自車の周囲の物体の移動速度や移動距離の検出処理を行う。画像処理装置３０の検出結果を例えば自己位置推定部１３２に供給することで、車輪の空転や測位信号の受信感度が悪い場合でも、精度よく自己位置を推定できるようになる。また、画像処理装置３０の検出結果を動作制御部１３５の緊急事態回避部１７１に供給することで、衝突や接触等の緊急事態の検出処理を行う。
　例えば、緊急事態回避部１７１は、画像処理装置３０で検出した移動速度に基づき自車と周囲の物体の相対速度Ｖreを算出する。また、緊急事態回避部１７１は、測距部で測定された周囲の物体までの距離Ｄreに基づき、衝突余裕時間Ｔtc（＝Ｄre／Ｖre）を算出して、緊急事態を回避するための自車の動作を計画して加減速制御部１７２及び方向制御部１７３等に供給する。
　また、撮像装置２０を自車の側面に設けることで、自車と並んで走行している車両の相対移動速度を検出できるので、並んで走行している車両の相対移動速度を利用して、車線変更を安全に行うことができるタイミングを判別できるようになる。
　また、監視分野に本技術を適用すれば、監視対象範囲に含まれる被写体の動きを高速かつ高頻度で判別できるようになる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　ラインの露光が異なるタイミングで行われて得られた第１撮像画像に生じた被写体の画像歪みに基づいて、前記被写体の移動速度を検出する移動速度検出部
を備える画像処理装置。
　（２）　前記移動速度検出部は、前記第１撮像画像の画角と前記被写体までの距離と、前記画像歪みの歪み量に基づいて前記被写体の移動速度を検出する（１）に記載の画像処理装置。
　（３）　前記移動速度検出部は、前記画像歪みのライン毎の歪み量に基づいて前記被写体の移動速度をライン単位で検出する（２）に記載の画像処理装置。
　（４）　前記被写体の画像歪みを算出する歪み算出部を備え、
　前記歪み算出部は、ラインの露光が等しいタイミングで行われて得られた第２撮像画像を用いて、前記歪み量を算出する（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記歪み算出部は、前記第１撮像画像と前記第２撮像画像における前記被写体の同一位置のライン画像間の位置ずれ量を用いて前記歪み量を算出する（４）に記載の画像処理装置。
　（６）　前記歪み算出部は、前記第１撮像画像と前記第２撮像画像における前記被写体の第１位置のライン画像間の位置ずれ量と、前記第１位置よりも露光のタイミングが遅い第２位置のライン画像間の位置ずれ量との差を、前記歪み量とする（５）に記載の画像処理装置。
　（７）　前記歪み算出部は、前記被写体の画像サイズに応じて前記第１位置と前記第２位置とのライン間隔を調整する（７）に記載の画像処理装置。
　（８）　前記歪み算出部は、前記第２撮像画像の幾何変換処理を行うことにより生成した幾何変換画像と前記第１撮像画像との差が予め設定された閾値以下となる幾何変換に基づいて前記歪み量を算出する（４）に記載の画像処理装置。
　（９）　前記第２撮像画像を用いて被写体認識を行い、移動速度の検出を行う速度検出対象物の画像領域を判別する物体認識部を備え、
　前記歪み算出部は、前記物体認識部で判別された前記速度検出対象物を前記被写体として、前記速度検出対象物の画像領域の画像を用いて前記画像歪みを算出する（４）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記歪み算出部は、前記物体認識部で判別された複数の速度検出対象物毎の画像歪みの算出を、ライン単位で前記速度検出対象物を切り替えて行い、
　前記移動速度検出部は、前記歪み算出部で順次算出された画像歪みに基づき、ライン単位で前記速度検出対象物の移動速度を検出する（９）に記載の画像処理装置。
　（１１）　前記物体認識部は、前記速度検出対象物として静止物体を検出して、
　前記移動速度検出部は、前記静止物体の画像歪みの歪み量に基づいて前記静止物体に対する移動速度を検出する（９）に記載の画像処理装置。
　（１２）　ラインの露光が異なるタイミングで行われて第１撮像画像を取得する第１撮像部と、
　ラインの露光が等しいタイミングで行われて第２撮像画像を取得する第２撮像部と、
　前記被写体までの距離を測定する測距部とをさらに備える（２）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記第１撮像部と前記第２撮像部は、前記第１撮像画像と前記第２撮像画像との視差が所定よりも少なく、同一被写体の領域画素サイズが等しくなるように設けた（１２）に記載の画像処理装置。
　１０・・・速度検出システム
　２０・・・撮像装置
　２１ｇ，２１ｒ・・・撮像部
　２２・・・ハーフミラー
　３０・・・画像処理装置
　３１・・・データベース部
　３２・・・物体認識部
　３３・・・歪み算出部
　３４・・・測距部
　３５・・・移動速度検出部

Claims (15)

  1. 　ラインの露光が異なるタイミングで行われて得られた第１撮像画像に生じた被写体の画像歪みに基づいて、前記被写体の移動速度を検出する移動速度検出部
    を備える画像処理装置。
  2. 　前記移動速度検出部は、前記第１撮像画像の画角と前記被写体までの距離と、前記画像歪みの歪み量に基づいて前記被写体の移動速度を検出する
    請求項１に記載の画像処理装置。
  3. 　前記移動速度検出部は、前記画像歪みのライン毎の歪み量に基づいて前記被写体の移動速度をライン単位で検出する
    請求項２に記載の画像処理装置。
  4. 　前記被写体の画像歪みを算出する歪み算出部を備え、
    　前記歪み算出部は、ラインの露光が等しいタイミングで行われて得られた第２撮像画像を用いて、前記第１撮像画像に生じた被写体の画像歪みの歪み量を算出する
    請求項１に記載の画像処理装置。
  5. 　前記歪み算出部は、前記第１撮像画像と前記第２撮像画像における前記被写体の同一位置のライン画像間の位置ずれ量を用いて前記歪み量を算出する
    請求項４に記載の画像処理装置。
  6. 　前記歪み算出部は、前記第１撮像画像と前記第２撮像画像における前記被写体の第１位置のライン画像間の位置ずれ量と、前記第１位置よりも露光のタイミングが遅い第２位置のライン画像間の位置ずれ量との差を、前記歪み量とする
    請求項５に記載の画像処理装置。
  7. 　前記歪み算出部は、前記被写体の画像サイズに応じて前記第１位置と前記第２位置とのライン間隔を調整する
    請求項６に記載の画像処理装置。
  8. 　前記歪み算出部は、前記第２撮像画像の幾何変換処理を行うことにより生成した幾何変換画像と前記第１撮像画像との差が予め設定された閾値以下となる幾何変換に基づいて前記歪み量を算出する
    請求項４に記載の画像処理装置。
  9. 　前記第２撮像画像を用いて被写体認識を行い、移動速度の検出を行う速度検出対象物の画像領域を判別する物体認識部を備え、
    　前記歪み算出部は、前記物体認識部で判別された前記速度検出対象物を前記被写体として、前記速度検出対象物の画像領域の画像を用いて前記画像歪みを算出する
    請求項４に記載の画像処理装置。
  10. 　前記歪み算出部は、前記物体認識部で判別された複数の速度検出対象物毎の画像歪みの算出を、ライン単位で前記速度検出対象物を切り替えて行い、
    　前記移動速度検出部は、前記歪み算出部で順次算出された画像歪みに基づき、ライン単位で前記速度検出対象物の移動速度を検出する
    請求項８に記載の画像処理装置。
  11. 　前記物体認識部は、前記速度検出対象物として静止物体を検出して、
    　前記移動速度検出部は、前記静止物体の画像歪みの歪み量に基づいて前記静止物体に対する移動速度を検出する
    請求項８に記載の画像処理装置。
  12. 　ラインの露光が異なるタイミングで行われて第１撮像画像を取得する第１撮像部と、
    　ラインの露光が等しいタイミングで行われて第２撮像画像を取得する第２撮像部と、
    　前記被写体までの距離を測定する測距部と
    をさらに備える、
    請求項２に記載の画像処理装置。
  13. 　前記第１撮像部と前記第２撮像部は、前記第１撮像画像と前記第２撮像画像との視差が所定よりも少なく、同一被写体の領域画素サイズが等しくなるように設けた
    請求項１２に記載の画像処理装置。
  14. 　ラインの露光が異なるタイミングで行われて得られた第１撮像画像に生じた被写体の画像歪みに基づいて、前記被写体の移動速度を移動速度検出部で検出すること
    を含む画像処理方法。
  15. 　撮像画像を利用して移動速度の検出をコンピュータで実行させるプログラムであって、
    　ラインの露光が異なるタイミングで行われて得られた第１撮像画像を取得する手順と、
    　前記第１撮像画像に生じた被写体の画像歪みを算出する手順と、
    　前記算出された画像歪みに基づいて、前記被写体の移動速度を検出する手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2020/020715 2019-06-25 2020-05-26 画像処理装置と画像処理方法およびプログラム WO2020261838A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080044482.4A CN114026436A (zh) 2019-06-25 2020-05-26 图像处理装置、图像处理方法和程序
US17/596,687 US20220319013A1 (en) 2019-06-25 2020-05-26 Image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-117125 2019-06-25
JP2019117125 2019-06-25

Publications (1)

Publication Number Publication Date
WO2020261838A1 true WO2020261838A1 (ja) 2020-12-30

Family

ID=74059672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020715 WO2020261838A1 (ja) 2019-06-25 2020-05-26 画像処理装置と画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20220319013A1 (ja)
CN (1) CN114026436A (ja)
WO (1) WO2020261838A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023068117A1 (ja) * 2021-10-20 2023-04-27 ソニーグループ株式会社 身体装着型端末及び情報処理システム
WO2023068191A1 (ja) * 2021-10-20 2023-04-27 ソニーグループ株式会社 情報処理装置及び情報処理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04276554A (ja) * 1991-03-05 1992-10-01 Sony Corp 速度測定装置
WO1993009523A1 (en) * 1991-11-07 1993-05-13 Traffic Vision Systems International Inc. Video-based object acquisition, identification and velocimetry
JPH11264836A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 固体撮像装置
JP2004096504A (ja) * 2002-08-30 2004-03-25 Mitsubishi Heavy Ind Ltd 移動物体撮影装置
JP2008217330A (ja) * 2007-03-02 2008-09-18 Kobe Univ 速度推定方法および速度推定プログラム
JP2009525464A (ja) * 2006-01-30 2009-07-09 ビシカメト オサケ ユキチュア 表面の並進運動を測定する方法と装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09307857A (ja) * 1996-05-17 1997-11-28 Sony Corp 画像信号処理装置及び画像信号処理方法
DK0900498T3 (da) * 1996-05-29 2003-05-05 Macrovision Corp Fremgangsmåde og apparatur til anbringelse af kompressionskompatible videofingeraftryk
US6381302B1 (en) * 2000-07-05 2002-04-30 Canon Kabushiki Kaisha Computer assisted 2D adjustment of stereo X-ray images
JP2001183383A (ja) * 1999-12-28 2001-07-06 Casio Comput Co Ltd 撮像装置及び撮像対象の速度算出方法
JP2004096498A (ja) * 2002-08-30 2004-03-25 Mitsubishi Heavy Ind Ltd 移動物体撮影システム
JP2008241490A (ja) * 2007-03-28 2008-10-09 Seiko Epson Corp センサ用補正装置、プロジェクタ、測定値の補正方法、および補正プログラム
JP5560739B2 (ja) * 2009-07-08 2014-07-30 株式会社ニコン 電子カメラ
JP2011030065A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd 撮像装置
CN101776759B (zh) * 2010-02-03 2012-06-13 中国科学院对地观测与数字地球科学中心 基于遥感图像的区域目标运动速度获取方法及装置
US9124804B2 (en) * 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
CN202160219U (zh) * 2011-03-02 2012-03-07 吴伟佳 带有速度补偿单元的图像扫描装置
JP6175992B2 (ja) * 2013-08-30 2017-08-09 ソニー株式会社 露出制御装置および露出制御方法、ならびに撮像装置
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
JP6635825B2 (ja) * 2016-02-26 2020-01-29 キヤノン株式会社 撮像システムおよびその制御方法、撮像装置、レンズ装置
EP3506623B1 (en) * 2016-08-24 2022-03-02 Sony Group Corporation Image processing apparatus and method
CN107395972B (zh) * 2017-07-31 2020-03-06 华勤通讯技术有限公司 一种快速移动对象的拍摄方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04276554A (ja) * 1991-03-05 1992-10-01 Sony Corp 速度測定装置
WO1993009523A1 (en) * 1991-11-07 1993-05-13 Traffic Vision Systems International Inc. Video-based object acquisition, identification and velocimetry
JPH11264836A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 固体撮像装置
JP2004096504A (ja) * 2002-08-30 2004-03-25 Mitsubishi Heavy Ind Ltd 移動物体撮影装置
JP2009525464A (ja) * 2006-01-30 2009-07-09 ビシカメト オサケ ユキチュア 表面の並進運動を測定する方法と装置
JP2008217330A (ja) * 2007-03-02 2008-09-18 Kobe Univ 速度推定方法および速度推定プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023068117A1 (ja) * 2021-10-20 2023-04-27 ソニーグループ株式会社 身体装着型端末及び情報処理システム
WO2023068191A1 (ja) * 2021-10-20 2023-04-27 ソニーグループ株式会社 情報処理装置及び情報処理システム

Also Published As

Publication number Publication date
CN114026436A (zh) 2022-02-08
US20220319013A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US20200409387A1 (en) Image processing apparatus, image processing method, and program
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
JP2019045892A (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20220390557A9 (en) Calibration apparatus, calibration method, program, and calibration system and calibration target
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20220092876A1 (en) Information processing apparatus, information processing method, and program
JPWO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
JPWO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2019150918A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
JPWO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2020170835A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
KR20220031561A (ko) 이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20833687

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20833687

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP