WO2021132227A1 - 情報処理装置、センシング装置、移動体及び情報処理方法 - Google Patents

情報処理装置、センシング装置、移動体及び情報処理方法 Download PDF

Info

Publication number
WO2021132227A1
WO2021132227A1 PCT/JP2020/047906 JP2020047906W WO2021132227A1 WO 2021132227 A1 WO2021132227 A1 WO 2021132227A1 JP 2020047906 W JP2020047906 W JP 2020047906W WO 2021132227 A1 WO2021132227 A1 WO 2021132227A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection target
size
coordinates
space
image
Prior art date
Application number
PCT/JP2020/047906
Other languages
English (en)
French (fr)
Inventor
顕嗣 山本
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to CN202080089795.1A priority Critical patent/CN114868150A/zh
Priority to US17/757,875 priority patent/US20230046397A1/en
Priority to EP20904558.2A priority patent/EP4083961A4/en
Priority to JP2021567484A priority patent/JP7254967B2/ja
Publication of WO2021132227A1 publication Critical patent/WO2021132227A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • This disclosure relates to an information processing device, a sensing device, a mobile body, and an information processing method.
  • the presence or absence of an approaching vehicle or pedestrian is detected by processing an image signal output from a camera provided in the vehicle and capturing an image of the surroundings of the vehicle, and a square frame is used for the approaching vehicle or pedestrian in the image.
  • An image processing apparatus for displaying with a mark is disclosed (see, for example, Patent Document 1).
  • the information processing device of the present disclosure includes an input interface, a processor, and an output interface.
  • the input interface is configured to acquire observation data obtained from the observation space.
  • the processor is configured to detect a detection target included in the observation data.
  • the processor maps the coordinates of the detected detection target to the coordinates of the detection target in the virtual space, tracks the position and speed of the mass point representing the detection target in the virtual space, and the tracked mass point. It is configured to map and transform the coordinates in the virtual space to the coordinates in the display space.
  • the processor sequentially observes the size of the detection target on the display space, and is based on the current observation value of the detection target size and the past estimated value of the detection target size. It is configured to estimate the size of the detection target at the present time.
  • the output interface is configured to output output information based on the coordinates of the mass point mapped on the display space and the estimated size of the detection target.
  • the sensing device of the present disclosure includes a sensor, a processor, and an output interface.
  • the sensor is configured to sense the observation space and acquire observation data to be detected.
  • the processor is configured to detect a detection target included in the observation data.
  • the processor maps the coordinates of the detected detection target to the coordinates of the detection target in the virtual space, tracks the position and speed of the mass point representing the detection target in the virtual space, and the tracked mass point. It is configured to map-convert the coordinates in the virtual space to the coordinates in the display space.
  • the processor sequentially observes the size of the detection target on the display space, and is based on the current observation value of the detection target size and the past estimated value of the detection target size. It is configured to estimate the size of the detection target at the present time.
  • the output interface is configured to output output information based on the coordinates of the mass point mapped on the display space and the estimated size of the detection target.
  • the mobile body of the present disclosure is provided with a sensing device.
  • the sensing device includes a sensor, a processor, and an output interface.
  • the sensor is configured to sense the observation space and acquire observation data to be detected.
  • the processor is configured to detect a detection target included in the observation data.
  • the processor maps the coordinates of the detected detection target to the coordinates of the detection target in the virtual space, tracks the position and speed of the mass point representing the detection target in the virtual space, and the tracked mass point. It is configured to map-convert the coordinates in the virtual space to the coordinates in the display space.
  • the processor sequentially observes the size of the detection target on the display space, and is based on the current observation value of the detection target size and the past estimated value of the detection target size. It is configured to estimate the size of the detection target at the present time.
  • the output interface is configured to output output information based on the coordinates of the mass point mapped to the display space and the estimated size of the detection target.
  • the information processing method of the present disclosure includes acquiring observation data from the observation space and detecting a detection target included in the observation data.
  • the detected coordinates of the detection target are mapped to the coordinates of the detection target in the virtual space, the position and speed of the mass point representing the detection target in the virtual space are tracked, and the tracked mass point is traced. Includes mapping conversion of the coordinates on the virtual space to the coordinates on the display space.
  • the information processing method sequentially observes the size of the detection target on the display space, and is based on the current observation value of the detection target size and the past estimated value of the detection target size. This includes estimating the size of the detection target at the present time.
  • the information processing method includes outputting output information based on the coordinates of the mass point mapped and transformed on the display space and the estimated size of the detection target.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing system including an image processing device which is an information processing device according to an embodiment.
  • FIG. 2 is a diagram showing a vehicle and a pedestrian equipped with the image processing system of FIG.
  • FIG. 3 is a flowchart showing an example of a process of tracking a subject image on a moving image.
  • FIG. 4 is a diagram showing an example of a subject image on a moving image.
  • FIG. 5 is a diagram for explaining the relationship between a subject in a real space, a subject image in a moving image, and a mass point in a virtual space.
  • FIG. 6 is a diagram showing an example of the movement of mass points in the virtual space.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing system including an image processing device which is an information processing device according to an embodiment.
  • FIG. 2 is a diagram showing a vehicle and a pedestrian equipped with the image processing system of FIG.
  • FIG. 3 is a flowchart showing
  • FIG. 7 is a diagram illustrating a method of tracking the size of a subject image in a moving image.
  • FIG. 8 is a diagram showing an example of estimating the size of the subject image.
  • FIG. 9 is an example of an image in which an image element (bounding box) is displayed on a moving image.
  • FIG. 10 is a block diagram showing a schematic configuration of an image pickup device which is a sensing device according to an embodiment.
  • FIG. 11 is a block diagram showing an example of a schematic configuration of a sensing device including a millimeter wave radar.
  • FIG. 12 is a flow chart showing an example of processing executed by the information processing unit of the sensing device of FIG. It is a figure which shows an example of the observation data which was mapped into the virtual space. It is a figure which clustered the observation data of FIG.
  • the position and size of the image of the vehicle and the pedestrian in the image of the display space are changed every moment as the relative position of the approaching vehicle and the pedestrian and the own vehicle changes. Change. Therefore, grasping the size of the detection target while accurately tracking the positions of approaching vehicles and pedestrians has a large processing load, which may lead to tracking errors and / or a decrease in accuracy.
  • the information processing device can reduce the processing load while tracking the detection target with high accuracy.
  • the image processing device 20 which is an example of the information processing device according to the embodiment of the present disclosure is included in the image processing system 1.
  • the image processing system 1 includes an image pickup device 10, an image processing device 20, and a display 30.
  • the image pickup apparatus 10 is an example of a sensor that senses the observation space.
  • the image processing system 1 is mounted on a vehicle 100, which is an example of a moving body, as illustrated in FIG.
  • the x-axis direction of the coordinates in the real space is the width direction of the vehicle 100 in which the imaging device 10 is installed.
  • the real space is the observation space for which observation data is acquired.
  • the y-axis direction is the direction in which the vehicle 100 moves backward.
  • the x-axis direction and the y-axis direction are directions parallel to the road surface on which the vehicle 100 is located.
  • the z-axis direction is a direction perpendicular to the road surface.
  • the z-axis direction can be called the vertical direction.
  • the x-axis direction, the y-axis direction, and the z-axis direction are orthogonal to each other.
  • the method of taking the x-axis direction, the y-axis direction, and the z-axis direction is not limited to this.
  • the x-axis direction, y-axis direction, and z-axis direction can be interchanged with each other.
  • the image pickup apparatus 10 includes an image pickup optical system 11, an image pickup element 12, and a processor 13.
  • the image pickup device 10 can be installed at various positions of the vehicle 100.
  • the image pickup apparatus 10 includes, but is not limited to, a front camera, a left side camera, a right side camera, a rear camera, and the like.
  • the front camera, the left side camera, the right side camera, and the rear camera are installed in the vehicle 100 so that the peripheral areas in front, the left side, the right side, and the rear of the vehicle 100 can be imaged, respectively.
  • the image pickup apparatus 10 is attached to the vehicle 100 so that the rear of the vehicle 100 can be imaged with the optical axis direction facing downward from the horizontal direction. There is.
  • the image pickup device 10 includes an image pickup optical system 11, an image pickup element 12, and a processor 13.
  • the imaging optical system 11 includes one or more lenses.
  • the image sensor 12 includes a CCD image sensor (Charge-Coupled Device Image Sensor) and a CMOS image sensor (Complementary MOS Image Sensor).
  • the image pickup device 12 converts a subject image imaged on the image pickup surface of the image pickup device 12 by the image pickup optical system 11 into an electric signal.
  • the subject image is an image of the subject to be detected.
  • the image sensor 12 can capture a moving image at a predetermined frame rate.
  • the moving image is an example of observation data.
  • Each still image that constitutes a moving image is called a frame.
  • the number of images that can be captured per second is called the frame rate.
  • the frame rate may be, for example, 60 fps (frames per second), 30 fps, or the like.
  • the processor 13 controls the entire image pickup device 10 and executes various image processing on the moving image output from the image pickup device 12.
  • the image processing performed by the processor 13 may include arbitrary processing such as distortion correction, brightness adjustment, contrast adjustment, and gamma correction.
  • the processor 13 may be composed of one or a plurality of processors.
  • Processor 13 includes, for example, one or more circuits or units configured to perform one or more data calculation procedures or processes by executing instructions stored in the associated memory.
  • the processor 13 includes one or more processors, a microprocessor, a microcontroller, an integrated circuit for a specific application (ASIC: Application Specific Integrated Circuit), a digital signal processor (DSP: Digital Signal Processor), and a programmable logic device (PLD; Programmable Logic Device). ), Field-Programmable Gate Array (FPGA), or any combination of these devices or configurations, or any other known device or configuration combination.
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • PLD programmable logic device
  • FPGA Field-Programmable Gate Array
  • the image processing device 20 can be attached to an arbitrary position on the vehicle 100.
  • the image processing device 20 includes an input interface 21, a storage unit 22, a processor 23, and an output interface 24.
  • the input interface 21 is configured to be able to communicate with the image pickup apparatus 10 by a wired or wireless communication means.
  • the input interface 21 acquires a moving image from the image pickup device 10.
  • the input interface 21 may correspond to the transmission method of the image signal transmitted by the image pickup apparatus 10.
  • the input interface 21 can be rephrased as an input unit or an acquisition unit.
  • the image pickup device 10 and the input interface 21 may be connected by an in-vehicle communication network such as CAN (Control Area Network).
  • the storage unit 22 is a storage device that stores data and programs required for processing performed by the processor 23.
  • the storage unit 22 temporarily stores a moving image acquired from the imaging device 10.
  • the storage unit 22 sequentially stores the data generated by the processing performed by the processor 23.
  • the storage unit 22 may be configured by using any one or more of, for example, a semiconductor memory, a magnetic memory, an optical memory, and the like.
  • the semiconductor memory may include a volatile memory and a non-volatile memory.
  • the magnetic memory may include, for example, a hard disk, a magnetic tape, or the like.
  • the optical memory may include, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray (registered trademark) Disc), and the like.
  • the processor 23 controls the entire image processing device 20.
  • the processor 23 recognizes the subject image included in the moving image acquired via the input interface 21.
  • the processor 23 maps the coordinates of the recognized subject image to the coordinates of the subject 40 in the virtual space, and tracks the position and speed of the mass point representing the subject 40 in the virtual space.
  • a mass point is a point that has mass and no size.
  • the virtual space is a virtual space used to describe the motion of an object in an arithmetic unit such as a processor 23.
  • the virtual space is a two-dimensional space in which a value in the z-axis direction is a predetermined fixed value in a coordinate system including three axes of the x-axis, the y-axis, and the z-axis of the real space.
  • the processor 23 maps and transforms the coordinates of the tracked mass points in the virtual space into the coordinates in the image space for displaying the moving image.
  • the image space is an example of a display space.
  • the display space is a space in which the detection target is two-dimensionally expressed in order to make it visible to the user or to be used in another device.
  • the processor 23 sequentially observes the size of the subject image in the image space, and based on the observed value of the size of the subject image at the present time and the estimated value of the size of the subject image in the past, the present time.
  • the size of the subject image 42 is estimated. Details of the processing performed by the processor 23 will be described later.
  • the processor 23 may include a plurality of processors like the processor 13 of the image pickup apparatus 10. Further, the processor 23 may be configured by combining a plurality of types of devices in the same manner as the processor 13.
  • the output interface 24 is configured to output an output signal, which is output information, from the image processing device 20.
  • the output interface 24 can be rephrased as an output unit.
  • the output interface 24 can output an output signal based on the coordinates of the mass point mapped on the image space for displaying the moving image and the estimated size of the subject image in the image space.
  • the output interface 24 can superimpose an image element indicating the size of the subject image on the image output from the image pickup apparatus 10 and output it to the display 30.
  • An image element indicating the size of a subject image is, for example, a bounding box.
  • the bounding box is a rectangular border that surrounds the subject image.
  • the output interface 24 may output the coordinates of the mass point and the size of the subject image as they are as an output signal.
  • the output interface 24 may be configured to include a physical connector and a wireless communication device.
  • the output interface 24 is connected to a network of vehicles 100 such as CAN.
  • the output interface 24 can be connected to the display 30, the control device of the vehicle 100, the alarm device, and the like via a communication network such as CAN.
  • the information output from the output interface 24 is appropriately used by each of the display 30, the control device, and the alarm device.
  • the display 30 can display a moving image output from the image processing device 20.
  • the display 30 receives information on the coordinates of a mass point representing the position of the subject image and the size of the subject image from the image processing device 20, it has a function of generating an image element according to the information and superimposing the information on the moving image.
  • the display 30 may employ various types of devices.
  • the display 30 includes a liquid crystal display (LCD: Liquid Crystal Display), an organic EL (Electro-Luminescence) display, an inorganic EL display, a plasma display (PDP: Plasma Display Panel), an electric field emission display (FED: Field Emission Display), and the like.
  • LCD Liquid Crystal Display
  • organic EL Electro-Luminescence
  • FED Field Emission Display
  • An electrophoretic display, a twisted ball display, or the like can be adopted.
  • the image processing method is an example of an information processing method.
  • the image processing device 20 may be configured to read and implement a program recorded on a non-temporary computer-readable medium for the processing performed by the processor 23 described below.
  • Non-temporary computer-readable media include, but are not limited to, magnetic storage media, optical storage media, photomagnetic storage media, and semiconductor storage media.
  • Magnetic storage media include magnetic disks, hard disks, and magnetic tapes.
  • Optical storage media include optical discs such as CDs (Compact Discs), DVDs, and Blu-ray Discs (Blu-ray® Discs).
  • the semiconductor storage medium includes a ROM (Read Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), and a flash memory.
  • the flowchart of FIG. 3 is a process executed by the processor 23 by acquiring sequential frames of moving images.
  • the processor 23 of the image processing device 20 tracks the position and size of the subject image 42 each time a frame of a moving image is acquired according to the flowchart of FIG.
  • the image pickup device 10 installed behind the vehicle 100 images a pedestrian who is the subject 40.
  • the subject 40 is not limited to pedestrians, but may include various objects such as vehicles traveling on the road and obstacles on the road.
  • FIG. 4 shows an example of one frame of a moving image.
  • the subject image 42 of the subject 40 which is a pedestrian crossing the back of the vehicle 100, is displayed in the two-dimensional image space 41 composed of the uv coordinate system.
  • the u coordinate is the coordinate in the horizontal direction of the image.
  • the v coordinate is the vertical coordinate of the image.
  • the origin of the uv coordinate is the upper left end point of the image space 41.
  • the u coordinate has a positive direction in the direction from left to right.
  • the v-coordinate has a positive direction from top to bottom.
  • the processor 23 recognizes the subject image 42 from each frame of the moving image by image recognition (step S102). As a result, the processor 23 detects the subject 40.
  • the method of recognizing the subject image 42 includes various known methods.
  • the recognition method of the subject image 42 includes a method of recognizing the shape of an object such as a vehicle or a pedestrian, a method of template matching, a method of calculating a feature amount from an image and using it for matching, and the like.
  • a function approximator that can learn the relationship between input and output can be used to calculate the features.
  • a neural network can be used as a function approximator that can learn the relationship between input and output.
  • the processor 23 transforms the coordinates (u, v) of the subject image 42 in the image space 41 into the coordinates (x', y') of the subject 40 in the virtual space (step S103).
  • the coordinates (u, v) of the image space 41 which are two-dimensional coordinates, cannot be converted into the coordinates (x, y, z) of the real space.
  • the coordinates (u, v) of the image space 41 can be changed to the coordinates (x, y, z 0 ) (z 0) of the real space. It becomes possible to map to the coordinates (x', y') of the two-dimensional virtual space corresponding to the fixed value). This will be described below with reference to FIGS. 4 and 5.
  • a representative point 43 located at the center of the lowermost part of the subject image 42 is specified.
  • the representative point 43 can be the lowest position of the v-coordinate and the center position of the u-coordinate range of the area occupied by the subject image 42 in the image space 41.
  • the representative point 43 is assumed to be a position in contact with the road surface or the ground of the subject 40 corresponding to the subject image 42.
  • FIG. 5 shows the relationship between the subject 40 located in the three-dimensional real space and the subject image 42 on the two-dimensional image space 41.
  • the coordinates (x, y, z) in the real space are directed from the center of the image pickup optical system 11 of the image pickup device 10 based on the coordinates (u, v) of the image space 41.
  • the direction can be calculated.
  • the internal parameters of the image pickup device 10 include information such as the focal length and distortion of the image pickup optical system 11 and the pixel size of the image pickup device 12.
  • the reference surface 44 corresponds to the road surface or the ground on which the vehicle 100 is located.
  • the specific point is the point corresponding to the mass point 45.
  • the processor 23 has a position (x', y') and a velocity (v x' ,,) of the mass point 45 mapped from the representative point 43 of the subject image 42 to the virtual space 46 on the virtual space 46.
  • v y' ) is tracked (step S104). Since the mass point 45 has the position (x', y') and velocity (v x' , v y' ) information, the processor 23 has a range of the position (x', y') of the mass point 45 in the sequential frame. Can be predicted. The processor 23 can recognize the mass point 45 located in the range predicted in the next frame as the mass point 45 corresponding to the subject image 42 being tracked. The processor 23 sequentially updates the position (x', y') and velocity (v x' , v y' ) of the mass point 45 each time a new frame is input.
  • an estimation using a Kalman filter based on a state space model can be adopted.
  • robustness against undetectable and false detection of the subject 40 to be tracked is improved.
  • the image processing device 20 of the present embodiment by mapping the subject image 42 to the mass point 45 in the real space, it is possible to apply a model describing the motion in the real space, so that the tracking accuracy of the subject image 42 can be improved. improves. Further, by treating the subject 40 as a mass point 45 having no size, simple and simple tracking becomes possible.
  • the processor 23 maps the coordinates of the mass point 45 on the virtual space 46 into the coordinates (u, v) on the image space 41 (step S105).
  • the mass point 45 located at the coordinates (x', y') of the virtual space 46 can be mapped to the image space 41 as a point located at the coordinates (x', y', 0) of the real space.
  • the coordinates (x', y', 0) in the real space can be mapped to the coordinates (u, v) on the image space 41 of the image pickup apparatus 10 by a known method.
  • the processor 23 can execute the processes of steps S106 and S107 described below in parallel with the processes of steps S103 to S105 described above.
  • the processor 23 may execute one of the processes of steps S103 to S105 and the processes of steps S106 and S107 before and after the other process.
  • the processor 23 observes the size of the subject image 42 in the image space on which the moving image recognized in step S102 is displayed (step S106).
  • the size of the subject image 42 includes the width and height of the subject image 42 occupying the image space.
  • the size of the subject image 42 can be expressed in units of pixels, for example.
  • the processor 23 estimates the size of the current subject image 42 based on the observed value of the size of the current subject image 42 and the estimated value of the size of the past subject image 42 (step S107).
  • the "current subject image” means a subject image based on the image of the frame most recently acquired from the image pickup apparatus 10.
  • the "previous subject image” means a subject image based on the image of the frame immediately before the frame immediately acquired from the image pickup apparatus 10.
  • the processor 23 sequentially observes the size of the subject image 42 with respect to the image of each frame acquired as a moving image.
  • the current observation may be referred to as the "current observation”
  • the observation made one before the current observation may be referred to as the "previous observation”.
  • "current time” and “this time”, and “previous” and “previous time” are used with almost the same meaning.
  • the processor 23 has an estimated value W (k-1) of the previous width estimated as a result of the previous observation and an observed value W means of the current width obtained as a result of the current observation.
  • the tracking process is performed based on k), and the estimated value W (k) of the current width is calculated.
  • the processor 23 is based on the estimated value H (k-1) of the previous height estimated as a result of the previous observation and the observed value H means (k) of the current height obtained as a result of the current observation. Then, the tracking process is performed to calculate the estimated value H (k) of the current height.
  • k corresponds to the sequential number of frames included in the moving image. This observation targets the kth frame.
  • the width and height of the subject image 42 can be estimated based on the following mathematical formulas (1) and (2).
  • W (k) W (k-1) + ⁇ (Wmeans (k) -W (k-1)) (1)
  • H (k) H (k-1) + ⁇ (Hmeans (k) -H (k-1)) (2)
  • the parameter ⁇ is a parameter included in the range of 0 ⁇ ⁇ ⁇ 1.
  • the parameter ⁇ is a parameter set according to the reliability of the observed values W means (k) and H means (k) of the width and height.
  • the processor 23 may dynamically adjust the parameter ⁇ during the tracking. For example, the processor 23 may estimate the recognition accuracy of the subject image 42 included in the moving image and dynamically adjust the parameter ⁇ based on the estimated recognition accuracy. For example, the processor 23 calculates values such as brightness and contrast of the image from the moving image, determines that the recognition accuracy of the subject image 42 is low when the image is dark or the contrast is low, and reduces the parameter ⁇ . You can do it.
  • the processor 23 may adjust the parameter ⁇ according to the speed of movement of the subject image 42 in the moving image. For example, when the movement of the subject image 42 in the moving image is fast, the processor 23 may set the parameter ⁇ to a larger value than when the movement of the subject image 42 is slow because the processor 23 follows the movement of the subject image 42. ..
  • the processor 23 may not be able to detect the observed value of the size of the subject image 42 at the present time from the frame this time in step S102. For example, when two subject images 42 overlap in the image space where a moving image is displayed, the size of each of the individual subject images 42 may not be detected. In such a case, the processor 23 may estimate the size of the current subject image 42 based only on the estimated value of the size of the past subject image 42. For example, the processor 23 uses the previous width and height estimates W (k-1) and H (k-1) as the current width and height estimates W (k) and H (k). May be.
  • the processor 23 If the processor 23 cannot detect the current observed value of the size of the subject image 42, the estimated values W (kj) and H (k) of the width and height of the subject image 42 included in the two or more previous frames. -J) (j ⁇ 2) may be considered.
  • the processor 23 uses the parameters ⁇ included in the range of 0 ⁇ ⁇ ⁇ 1 for the estimated values W (k) and H (k) of the width and height of the current subject image 42, and uses the following mathematical formula ( It may be estimated by 3) and (4).
  • the processor 23 sets the estimated values W (k-1) and H (k-1) of the width and height of the previous frame as the predicted values W (k-1) of the width and height in the frame. , H (k-1).
  • the processor 23 uses the predicted width and height values W (k-1) and H (k-1) and the observed width and height values W means (k) and H means (k) in the frame. , Estimates the width and height estimates W (k) and H (k) in the frame.
  • the estimated values W (k + 1) and H (k + 1) of the width and height of the subject image 42 in the frame can be set.
  • the processor 23 may calculate the estimated values W (k + 1) and H (k + 1) of the width and height of the subject image 42 in the k + 1st frame using the mathematical formulas (3) and (4).
  • the width and height estimates W (k-1) and H (k-1) in the previous frame, and the width and height estimates W (k) in the previous frame, H (k) is reflected in the estimated values W (k + 1) and H (k + 1).
  • the estimated value W (k) of the width and height of the subject image 42 is stable.
  • H (k) can be calculated.
  • step S105 the coordinates (u, v) mapped to the image space 41 of the current mass point 45 are obtained, and when the size of the subject image 42 is estimated in step S107, the processor 23 performs the process of step S108. move on.
  • step S108 as shown in FIG. 9, the processor 23 superimposes an image element 48 representing the estimated size of the object image on the position based on the coordinates of the mass point in the image space where the moving image is displayed.
  • the image element 48 is, for example, a bounding box.
  • the bounding box is a rectangular border that surrounds the subject image 42.
  • the processor 23 displays a moving image including the subject image 42 to which the image element 48 is added on the display 30 via the output interface 24. As a result, the user of the image processing system 1 can visually check the subject image 42 recognized by the image processing device 20 in a state of being emphasized by the image element 48.
  • the image processing device 20 tracks the position of the subject image 42 as a mass point 45 in the virtual space 46, tracks the size of the subject image 42 in the image space 41, and synthesizes the results. Is displayed on the display 30. As a result, the image processing device 20 can reduce the processing load while tracking the position and size of the subject image 42 with high accuracy.
  • the image processing device 20 uses the Kalman filter for tracking the mass point 45 corresponding to the position of the subject image 42, even if the recognition error of the position of the subject image 42 in the image processing device 20 is large.
  • the position of the subject image 42 can be estimated with high accuracy.
  • the image processing device 20 sequentially observes the size of the subject image 42, and sets the observed value of the size of the subject image 42 at the present time and the estimated value of the size of the subject image 42 in the past. Based on this, the size of the current subject image 42 is estimated. As a result, the image processing device 20 can estimate the size of the subject image 42 with high accuracy even when the error in the size of the observed subject image 42 is large. Further, since the image processing device 20 calculates the estimated value of the current subject image 42 by reflecting the estimated value of the past subject image 42 using the parameters ⁇ and ⁇ , the observed value at each time point includes an error. It is possible to suppress the flicker and the like of the displayed image element 48 even in the case of variation in. As a result, the image processing device 20 can provide an image that is easy for the user to see.
  • FIG. 10 is a diagram schematically showing an image pickup apparatus 50 according to an embodiment of the present disclosure having the function of the image processing apparatus 20.
  • the image pickup apparatus 50 includes an image pickup optical system 51, an image pickup element 52, a storage unit 53, a processor 54, and an output interface 55.
  • the image pickup optical system 51 and the image pickup element 52 are components similar to the image pickup optical system 11 and the image pickup element 12 of the image pickup apparatus 10 of FIG.
  • the storage unit 53 and the output interface 55 are components similar to the storage unit 22 and the output interface 24 of the image processing device 20 of FIG.
  • the processor 54 is a component having the functions of the processor 13 of the image pickup apparatus 10 and the processor 23 of the image processing apparatus 20 of FIG.
  • the image pickup device 50 captures a moving image of the subject 40 imaged by the image pickup optical system 51 by the image pickup element 52.
  • the processor 54 executes the same process as that described in the flowchart of FIG. 3 for the moving image output by the image sensor 52.
  • the image pickup apparatus 50 can display an image in which the image element 48, which is a bounding box as shown in FIG. 9, is added to the subject image 42 on the display 30.
  • the information processing device is the image processing device 20, and the sensor is the image pickup device 10.
  • the sensor is not limited to an imaging device that detects visible light, and includes a far-infrared camera that acquires an image by far-infrared light.
  • the information processing apparatus of the present disclosure is not limited to one that acquires a moving image as observation data and detects a detection target by image recognition.
  • the sensor may be a sensor other than an imaging device capable of sensing the observation space to be observed and detecting the direction and size of the detection target.
  • Sensors include, for example, sensors that use electromagnetic waves or ultrasonic waves. Sensors using electromagnetic waves include millimeter-wave radar and LiDAR (Laser Imaging Detection and Ranging).
  • the detection target is not limited to the subject captured as an image.
  • the information processing device may detect the detection target by acquiring observation data including information such as the direction and size of the detection target output from the sensor.
  • the display space is not limited to the image space in which the moving image is displayed, and can be a space in which the detected detection target can be displayed two-dimensionally.
  • the sensing device 60 includes a millimeter-wave radar 61, which is an example of a sensor, an information processing unit 62, and an output unit 63.
  • the sensing device 60 can be mounted at various positions in the vehicle, similar to the imaging device 10.
  • the millimeter wave radar 61 can detect the distance, speed, direction, etc. of the detection target by using electromagnetic waves in the millimeter wave band.
  • the millimeter wave radar 61 includes a transmission signal generation unit 64, a high frequency circuit 65, a transmission antenna 66, a reception antenna 67, and a signal processing unit 68.
  • the transmission signal generation unit 64 generates a frequency-modulated chirp signal.
  • a chirp signal is a signal whose frequency rises or falls at regular intervals.
  • the transmission signal generation unit 64 is mounted on, for example, a DSP (Digital Signal Processor).
  • the transmission signal generation unit 64 may be controlled by the information processing unit 62.
  • the chirp signal is D / A converted and then frequency-converted in the high-frequency circuit 65 to become a high-frequency signal.
  • the high-frequency circuit 65 radiates a high-frequency signal as a radio wave toward the observation space by the transmitting antenna 66.
  • the high-frequency circuit 65 can receive the reflected wave, which is the radio wave radiated from the transmitting antenna 66 by the receiving antenna 67 and reflected by the detection target, as a receiving signal.
  • the millimeter wave radar 61 may include a plurality of receiving antennas 67.
  • the millimeter-wave radar 61 can estimate the direction of the detection target by detecting the phase difference between the receiving antennas in the signal processing unit 68.
  • the method of directional detection in the millimeter wave radar 61 is not limited to the one using the phase difference.
  • the millimeter wave radar 61 can also detect the direction of the detection target by scanning the beam in the millimeter wave band.
  • the high frequency circuit 65 amplifies the received signal, mixes it with the transmitted signal, and converts it into a beat signal indicating a frequency difference.
  • the beat signal is converted into a digital signal and output to the signal processing unit 68.
  • the signal processing unit 68 processes the received signal and executes estimation processing such as distance, speed, and direction. Since the method of estimating the distance, speed, direction, etc. in the millimeter wave radar 61 is known, the description of the processing by the signal processing unit 68 will be omitted.
  • the signal processing unit 68 is mounted on a DSP, for example.
  • the signal processing unit 68 may be mounted on the same DSP as the transmission signal generation unit 64.
  • the signal processing unit 68 outputs the estimated distance, speed, and direction information to the information processing unit 62 as observation data to be detected.
  • the information processing unit 62 can perform various processes by mapping the detection target into the virtual space based on the observation data.
  • the information processing unit 62 is composed of one or more processors similar to the processor 13 of the image pickup apparatus 10.
  • the information processing unit 62 may control the entire sensing device 60. The process executed by the information processing unit 62 will be described in more detail later.
  • the output unit 63 is an output interface that outputs the result of processing by the information processing unit 62 to an external display device of the sensing device 60 or an ECU in the vehicle.
  • the output unit 63 may include a communication processing circuit connected to a vehicle network such as CAN, a communication connector, and the like.
  • the information processing unit 62 acquires observation data from the signal processing unit 68 (step S201).
  • the information processing unit 62 maps the observation data to the virtual space (step S202).
  • An example of the observation data mapped in the virtual space is shown in FIG.
  • the observation data of the millimeter wave radar 61 is obtained as point information having distance, velocity, and direction information, respectively.
  • the information processing unit 62 maps each observation data onto a horizontal plane.
  • the horizontal axis shows the x-axis direction, which is the left-right direction with the center as 0, in meters.
  • the vertical axis shows the distance in the depth direction, which is the y-axis direction, in meters, with the closest position as 0.
  • the information processing unit 62 clusters a collection of points in the virtual space and detects the detection target (step S203).
  • Clustering means extracting a point cloud, which is a collection of points, from data indicating individual points.
  • the information processing unit 62 can extract a point cloud which is a collection of points showing observation data.
  • the information processing unit 62 can determine that the detection target actually exists in the portion where a large number of observation data are collected. On the other hand, the observation data corresponding to each discrete point can be judged to be due to observation noise.
  • the information processing unit 62 may set a threshold value for the number of points corresponding to the observation data, the density, or the like, and determine whether or not the collection of observation data is the detection target.
  • the information processing unit 62 can estimate the size of the detection target based on the size of the area occupied by the point cloud.
  • the information processing unit 62 tracks the position of each detected point cloud in the virtual space (step S204).
  • the information processing unit 62 can set the center of the area occupied by each point cloud or the average of the coordinates of the positions of the points included in the point cloud as the position of each point cloud.
  • the information processing unit 62 grasps the movement of the detection target in chronological order by tracking the movement of the point cloud.
  • the information processing unit 62 estimates the type of detection target corresponding to each point cloud (step S205).
  • the types of detection targets include “vehicles”, “pedestrians”, “motorcycles” and the like.
  • the type of the detection target can be specified by using any one or more of the speed, size, shape, position of the detection target, the density of points of the observation data, the intensity of the detected reflected wave, and the like.
  • the information processing unit 62 can accumulate the Doppler speed of the detection target acquired from the signal processing unit 68 in time series, and estimate the type of the detection target from the distribution pattern. Further, the information processing unit 62 can estimate the type of the detection target from the information on the size of the detection target estimated in step S203.
  • the information processing unit 62 can acquire the intensity of the reflected wave corresponding to the observation data from the signal processing unit 68 and estimate the type of the detection target. For example, a vehicle containing a large amount of metal has a large reflected cross section, so that the intensity of the reflected wave is stronger than that of a pedestrian having a small reflected cross section.
  • the information processing unit 62 may estimate the type of the detection target and calculate the reliability indicating the certainty of the estimation.
  • the information processing unit 62 maps-converts the detection target from the virtual space to the display space, which is the display space (step S206).
  • the display space may be a two-dimensional plane representing a three-dimensional observation space viewed from the user's point of view, such as an image space.
  • the display space may be a two-dimensional space in which the observation target is viewed from the z-axis direction (vertical direction).
  • the information processing unit 62 may directly map the observation data acquired from the signal processing unit 68 in step S201 to the display space without going through steps S203 to S205.
  • the information processing unit 62 further performs data processing based on the detection target mapped to the display space and the data such as the position, speed, size, and type of the detection target obtained in steps S203 to S206. It can be done (step S207). For example, the information processing unit 62 sequentially observes the size of the detection target on the display space, and based on the observed value of the size of the detection target at the present time and the estimated value of the size of the detection target in the past. The size of the detection target at the present time may be estimated. Therefore, the information processing unit 62 can execute a process similar to the process shown in FIG. 3 using the observation data of the millimeter wave radar 61. Further, the information processing unit 62 can output each data from the output unit 63 for processing by another device (step S207).
  • the sensing device 60 can perform the same processing as the case where the image pickup device is used as the sensor to obtain a similar effect.
  • the sensing device 60 of FIG. 11 incorporates a millimeter-wave radar 61 and an information processing unit 62.
  • the millimeter-wave radar and the information processing device having the function of the information processing unit 62 may be provided as separate bodies.
  • the "moving body” in the present disclosure includes vehicles, ships, and aircraft.
  • Vehicles in the present disclosure include, but are not limited to, automobiles and industrial vehicles, and may include railroad vehicles, living vehicles, and fixed-wing aircraft traveling on runways.
  • Automobiles include, but are not limited to, passenger cars, trucks, buses, motorcycles, trolley buses and the like, and may include other vehicles traveling on the road.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include, but are not limited to, forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, cultivators, porters, binders, combines, and mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, mobile cranes, dump trucks, and road rollers. Vehicles include those that run manually. The classification of vehicles is not limited to the above. For example, an automobile may include an industrial vehicle that can travel on the road and may include the same vehicle in multiple categories. Ships in the present disclosure include marine jets, boats and tankers. Aircraft in the present disclosure include fixed-wing aircraft and rotary-wing aircraft.
  • Image processing system 10 Imaging device (sensing device) 11 Imaging optical system 12 Image sensor 13 Processor 20 Image processing device (information processing device) 21 Input interface 22 Storage unit 23 Processor 24 Output interface 30 Display 40 Subject (detection target) 41 Image space (display space) 42 Subject image 43 Representative point 44 Reference plane 45 Mass point 46 Virtual space 48 Image element 50 Imaging device (sensing device) 51 Imaging optical system 52 Image sensor 53 Storage unit 54 Processor 55 Output interface 60 Sensing device 61 Millimeter wave radar (sensor) 62 Information processing unit 63 Output unit 64 Transmission signal generation unit 65 High frequency circuit 66 Transmission antenna 67 Reception antenna 68 Signal processing unit 100 Vehicle (mobile)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理装置は、入力インターフェイスと、プロセッサと、出力インターフェイスとを備える。入力インターフェイスは、観測空間から得られた観測データを取得する。プロセッサは、観測データに含まれる検出対象を検出する。プロセッサは、検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、仮想空間上で検出対象を表す質点の位置及び速度を追跡し、追跡した質点の仮想空間上の座標を、表示空間上の座標に写像変換する。プロセッサは、表示空間上での検出対象の大きさを逐次観測し、現時点の被写体像の大きさの観測値と、過去の被写体像の大きさの推定値とに基づき、検出対象の大きさを推定する。出力インターフェイスは、表示空間上に写像変換された質点の座標、及び、推定された検出対象の大きさに基づく出力情報を出力する。

Description

情報処理装置、センシング装置、移動体及び情報処理方法 関連出願の相互参照
　本出願は、２０１９年１２月２３日に出願された日本国特許出願２０１９－２３１６６２号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、情報処理装置、センシング装置、移動体及び情報処理方法に関する。
　従来、車両に設けられて車両周辺の映像を取り込むカメラから出力される映像信号を処理して接近する車両及び歩行者等の有無を検知し、画像中の接近車両及び歩行者等に四角枠のマークを付加して表示する画像処理装置が開示されている（例えば、特許文献１参照）。
特開平１１－３２１４９４ 号公報
　本開示の情報処理装置は、入力インターフェイスと、プロセッサと、出力インターフェイスとを備える。前記入力インターフェイスは、観測空間から得られた観測データを取得するように構成される。前記プロセッサは、前記観測データに含まれる検出対象を検出するように構成される。前記プロセッサは、該検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、前記仮想空間上で前記検出対象を表す質点の位置及び速度を追跡し、前記追跡した前記質点の前記仮想空間上の座標を表示空間上の座標に写像変換するように構成される。前記プロセッサは、前記表示空間上での前記検出対象の大きさを逐次観測し、現時点の前記検出対象の大きさの観測値と、過去の前記検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定するように構成される。前記出力インターフェイスは、前記表示空間上に写像変換された前記質点の座標、及び、前記推定された前記検出対象の大きさに基づく出力情報を出力するように構成される。
　本開示のセンシング装置は、センサと、プロセッサと、出力インターフェイスとを備える。前記センサは、観測空間をセンシングし、検出対象の観測データを取得するように構成される。前記プロセッサは、前記観測データに含まれる検出対象を検出するように構成される。前記プロセッサは、該検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、前記仮想空間上で前記検出対象を表す質点の位置及び速度を追跡し、前記追跡した前記質点の前記仮想空間上の座標を前記表示空間上の座標に写像変換するように構成される。前記プロセッサは、前記表示空間上での前記検出対象の大きさを逐次観測し、現時点の前記検出対象の大きさの観測値と、過去の前記検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定するように構成される。前記出力インターフェイスは、前記表示空間上に写像変換された前記質点の座標、及び、前記推定された前記検出対象の大きさに基づく出力情報を出力するように構成される。
　本開示の移動体はセンシング装置を備える。前記センシング装置は、センサと、プロセッサと、出力インターフェイスとを備える。前記センサは、観測空間をセンシングし、検出対象の観測データを取得するように構成される。前記プロセッサは、前記観測データに含まれる検出対象を検出するように構成される。前記プロセッサは、該検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、前記仮想空間上で前記検出対象を表す質点の位置及び速度を追跡し、前記追跡した前記質点の前記仮想空間上の座標を前記表示空間上の座標に写像変換するように構成される。前記プロセッサは、前記表示空間上での前記検出対象の大きさを逐次観測し、現時点の前記検出対象の大きさの観測値と、過去の前記検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定するように構成される。前記出力インターフェイスは、前記表示空間に写像変換された前記質点の座標、及び、前記推定された前記検出対象の大きさに基づく出力情報を出力するように構成される。
　本開示の情報処理方法は、観測空間から観測データを取得し、前記観測データに含まれる検出対象を検出することを含む。前記情報処理方法は、該検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、前記仮想空間上で前記検出対象を表す質点の位置及び速度を追跡し、前記追跡した前記質点の前記仮想空間上の座標を前記表示空間上の座標に写像変換することを含む。前記情報処理方法は、前記表示空間上での前記検出対象の大きさを逐次観測し、現時点の前記検出対象の大きさの観測値と、過去の前記検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定することを含む。前記情報処理方法は、前記表示空間上に写像変換された前記質点の座標、及び、前記推定された前記検出対象の大きさに基づく出力情報を出力することを含む。
図１は、一実施形態に係る情報処理装置である画像処理装置を含む画像処理システムの概略構成を示すブロック図である。 図２は、図１の画像処理システムを搭載する車両と歩行者とを示す図である。 図３は、動画像上の被写体像を追跡する処理の例を示すフローチャートである。 図４は、動画像上の被写体像の一例を示す図である。 図５は、実空間の被写体、動画像中の被写体像及び仮想空間における質点の関係を説明する図である。 図６は、仮想空間における質点の移動の一例を示す図である。 図７は、動画像における被写体像の大きさの追跡方法を説明する図である。 図８は、被写体像の大きさ推定の一例を示す図である。 図９は、動画像上に画像要素（バウンディングボックス）を表示した画像の例である。 図１０は、一実施形態に係るセンシング装置である撮像装置の概略構成を示すブロック図である。 図１１は、ミリ波レーダーを含むセンシング装置の概略構成の一例を示すブロック図である。 図１２は、図１１のセンシング装置の情報処理部が実行する処理の例を示すフ８９ローチャートである。 仮想空間に写像変換された観測データの一例を示す図である。 図１３の観測データをクラスタ化した図である。
　車両等に搭載する情報処理装置において、接近する車両及び歩行者等と自車両との相対位置の変化に伴って表示空間の画像中の車両及び歩行者等の像の位置及び大きさは刻々と変化する。そのため、接近する車両及び歩行者等の位置を正確に追跡しながら、検出対象の大きさを把握することは処理負荷が大きく、追跡ミス及び／又は精度の低下を招く虞がある。
　情報処理装置は、検出対象を高精度に追跡しながら処理負荷の軽減が可能であることが好ましい。
　以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
　本開示の一実施形態に係る情報処理装置の一例である画像処理装置２０は、画像処理システム１に含まれる。画像処理システム１は、撮像装置１０と、画像処理装置２０と、ディスプレイ３０とを含む。撮像装置１０は、観測空間をセンシングするセンサの一例である。画像処理システム１は、図２に例示するように移動体の一例である車両１００に搭載される。
　図２に示すように、本実施形態において、実空間の座標のうち、ｘ軸方向は、撮像装置１０が設置された車両１００の幅方向とする。実空間は、観測データを取得する対象である観測空間である。ｙ軸方向は、車両１００の後退する方向とする。ｘ軸方向とｙ軸方向とは、車両１００が位置する路面に平行な方向である。ｚ軸方向は、路面に対して垂直な方向である。ｚ軸方向は、鉛直方向とよぶことができる。ｘ軸方向、ｙ軸方向及びｚ軸方向は、互いに直交する。ｘ軸方向、ｙ軸方向及びｚ軸方向のとり方はこれに限られない。ｘ軸方向、ｙ軸方向及びｚ軸方向は、互いに入れ替えることができる。
（撮像装置）
　撮像装置１０は、撮像光学系１１、撮像素子１２及びプロセッサ１３を含んで構成される。
　撮像装置１０は、車両１００の種々の位置に設置されうる。撮像装置１０は、フロントカメラ、左サイドカメラ、右サイドカメラ、及び、リアカメラ等を含むが、これらに限られない。フロントカメラ、左サイドカメラ、右サイドカメラ、及びリアカメラは、それぞれ車両１００の前方、左側方、右側方、及び後方の周辺領域を撮像可能となるように車両１００に設置される。以下に一例として説明する実施形態では、図２に示すように、撮像装置１０は、車両１００の後方を撮像可能なように、光軸方向を水平方向より下に向けて車両１００に取付けられている。
　撮像装置１０は、図１に示すように撮像光学系１１、撮像素子１２及びプロセッサ１３を含む。撮像光学系１１は、１つ以上のレンズを含んで構成される。撮像素子１２は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。撮像素子１２は、撮像光学系１１により撮像素子１２の撮像面に結像された被写体像を、電気信号に変換する。被写体像は、検出対象である被写体の像である。撮像素子１２は、所定のフレームレートで、動画像を撮像することができる。動画像は、観測データの一例である。動画像を構成する各静止画像をフレームと呼ぶ。１秒間に撮像できる画像の数をフレームレートという。フレームレートは、例えば、６０ｆｐｓ（frames per second）、３０ｆｐｓ等としうる。
　プロセッサ１３は、撮像装置１０全体を制御するとともに、撮像素子１２から出力された動画像に対して、種々の画像処理を実行する。プロセッサ１３が行う画像処理は、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を含みうる。
　プロセッサ１３は、１つ又は複数のプロセッサで構成されうる。プロセッサ１３は、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続又は処理を実行するように構成された１以上の回路又はユニットを含む。プロセッサ１３は、１以上のプロセッサ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、デジタル信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field-Programmable Gate Array）、又はこれらのデバイス若しくは構成の任意の組み合わせ、又は他の既知のデバイス若しくは構成の組み合わせを含む。
（画像処理装置）
　画像処理装置２０は、車両１００の任意の位置に取り付けることができる。画像処理装置２０は、入力インターフェイス２１、記憶部２２、プロセッサ２３及び出力インターフェイス２４を含んで構成される。
　入力インターフェイス２１は、撮像装置１０との間で有線又は無線の通信手段により通信可能に構成される。入力インターフェイス２１は、撮像装置１０から動画像を取得する。入力インターフェイス２１は、撮像装置１０の送信する画像信号の伝送方式に対応してよい。入力インターフェイス２１は、入力部又は取得部と言い換えることができる。撮像装置１０と入力インターフェイス２１との間は、ＣＡＮ（Control Area Network）等の車載通信ネットワークにより接続されてよい。
　記憶部２２は、プロセッサ２３が行う処理に必要なデータ及びプログラムを格納する記憶装置である。例えば、記憶部２２は、撮像装置１０から取得した動画像を一時的に記憶する。例えば、記憶部２２は、プロセッサ２３が行う処理により生成されるデータを、順次格納する。記憶部２２は、例えば半導体メモリ、磁気メモリ、及び光メモリ等の何れか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、及びＢＤ（Blu-ray（登録商標） Disc）等を含んでよい。
　プロセッサ２３は、画像処理装置２０全体を制御する。プロセッサ２３は、入力インターフェイス２１を介して取得した動画像に含まれる被写体像を認識する。プロセッサ２３は、認識した被写体像の座標を仮想空間の被写体４０の座標に写像変換し、仮想空間上で被写体４０を表す質点の位置及び速度を追跡する。質点は、質量を有し大きさを持たない点である。仮想空間は、プロセッサ２３等の演算装置において、物体の運動を記述するために使用する仮想的な空間である。本実施形態において、仮想空間は、実空間のｘ軸、ｙ軸及びｚ軸の３軸より成る座標系において、ｚ軸方向の値を所定の固定値とする２次元空間である。プロセッサ２３は、追跡した質点の仮想空間上の座標を、動画像を表示する画像空間上の座標に写像変換する。画像空間は、表示空間の一例である。表示空間は、利用者に視認させるため、または、他の装置での利用に供するため、検出対象を２次元的に表現した空間である。また、プロセッサ２３は、画像空間上での被写体像の大きさを逐次観測し、現時点の被写体像の大きさの観測値と、過去の被写体像の大きさの推定値とに基づいて、現時点の被写体像４２の大きさを推定する。プロセッサ２３が行う処理の詳細については、後述する。プロセッサ２３は、撮像装置１０のプロセッサ１３と同じく、複数のプロセッサを含んでよい。また、プロセッサ２３は、プロセッサ１３と同じく、複数の種類のデバイスが組み合わされて構成されてよい。
　出力インターフェイス２４は、画像処理装置２０から出力情報である出力信号を出力するように構成される。出力インターフェイス２４は、出力部と言い換えることができる。出力インターフェイス２４は、動画像を表示する画像空間上に写像変換された質点の座標、及び、推定された画像空間内の被写体像の大きさに基づく出力信号を出力することができる。例えば、出力インターフェイス２４は、撮像装置１０から出力された画像に、被写体像の大きさを示す画像要素を重畳して、ディスプレイ３０に出力することができる。被写体像の大きさを示す画像要素は、例えばバウンディングボックスである。バウンディングボックスは、被写体像を囲む長方形の枠線である。出力インターフェイス２４は、出力信号として、質点の座標及び被写体像の大きさを、そのまま出力してよい。
　出力インターフェイス２４は、物理コネクタ、及び、無線通信機を含んで構成されうる。複数の実施形態の１つにおいて、出力インターフェイス２４は、ＣＡＮ等の車両１００のネットワークに接続される。出力インターフェイス２４は、ＣＡＮ等の通信ネットワークを介してディスプレイ３０、車両１００の制御装置、及び警報装置等に接続されうる。出力インターフェイス２４から出力された情報は、ディスプレイ３０、制御装置、及び警報装置の各々で適宜利用される。
　ディスプレイ３０は、画像処理装置２０から出力される動画像を表示しうる。ディスプレイ３０は、画像処理装置２０から、被写体像の位置を表す質点の座標及び被写体像の大きさの情報を受け取った場合、これに従う画像要素を生成して動画像に重畳させる機能を有してよい。ディスプレイ３０は、種々の種類の装置を採用しうる。例えば、ディスプレイ３０は、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、電界放出ディスプレイ（ＦＥＤ：Field Emission Display）、電気泳動ディスプレイ、ツイストボールディスプレイ等を採用しうる。
（被写体像の追跡処理）
　次に、図３のフローチャートを参照して、画像処理装置２０の実行する画像処理方法の詳細を説明する。画像処理方法は、情報処理方法の一例である。画像処理装置２０は、以下に説明するプロセッサ２３が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。
　図３のフローチャートは、動画像の順次のフレームを取得して、プロセッサ２３が実行する処理である。画像処理装置２０のプロセッサ２３は、図３のフローチャートに従い、動画像のフレームを取得する度に、被写体像４２の位置及び大きさを追跡（トラッキング）する。以下の説明では、図２に示すように、車両１００の後ろに設置された撮像装置１０が、被写体４０である歩行者を撮像している場合を想定する。被写体４０は、歩行者に限られず、道路上を走行する車両、道路上の障害物等、種々の対象物を含みうる。
　プロセッサ２３は、入力インターフェイス２１を介して、撮像装置１０から動画像の各フレームを取得する（ステップＳ１０１）。図４に、動画像の1フレームの一例が示される。図４の例では、ｕｖ座標系からなる２次元の画像空間４１に、車両１００の後ろを横切る歩行者である被写体４０の被写体像４２が表示されている。ｕ座標は、画像の横方向の座標である。ｖ座標は、画像の縦方向の座標である。図４において、ｕｖ座標の原点は、画像空間４１の左上端の点である。また、ｕ座標は、左から右へ向かう方向を正の方向とする。ｖ座標は、上から下へ向かう方向を正の方向とする。
　プロセッサ２３は、画像認識により動画像の各フレームから被写体像４２を認識する（ステップＳ１０２）。これにより、プロセッサ２３は、被写体４０を検出する。被写体像４２の認識方法は、公知の種々の方法を含む。例えば、被写体像４２の認識方法は、車両及び歩行者等の物体の形状認識による方法、テンプレートマッチングによる方法、画像から特徴量を算出しマッチングに利用する方法等を含む。特徴量の算出には、入出力の関係を学習可能な関数近似器を用いることができる。入出力の関係を学習可能な関数近似器には、ニューラルネットワークを用いることができる。
　プロセッサ２３は、画像空間４１の被写体像４２の座標（ｕ，ｖ）を仮想空間の被写体４０の座標（ｘ’，ｙ’）に写像変換する（ステップＳ１０３）。一般に、２次元座標である画像空間４１の座標（ｕ，ｖ）は、実空間の座標（ｘ，ｙ，ｚ）に変換することはできない。しかし、実空間における高さを特定し、ｚ座標を所定値に固定することにより、画像空間４１の座標（ｕ，ｖ）を、実空間の座標（ｘ，ｙ，ｚ0）（ｚ0は固定値）に対応する２次元の仮想空間の座標（ｘ’，ｙ’）に写像することが可能になる。以下に、図４及び図５を参照して説明する。
　図４において、被写体像４２の最下部の中央に位置する代表点４３を特定する。例えば、代表点４３は、画像空間４１において、被写体像４２が占める領域のｖ座標の最も下の位置且つｕ座標の範囲の中心位置とすることができる。この代表点４３は、被写体像４２に対応する被写体４０の路面又は地面と接している位置であると想定される。
　図５において、３次元の実空間に位置する被写体４０と、２次元の画像空間４１上の被写体像４２との関係が示される。撮像装置１０の内部パラメータが既知の場合、画像空間４１の座標（ｕ，ｖ）に基づき、撮像装置１０の撮像光学系１１の中心から実空間の対応する座標（ｘ，ｙ，ｚ）に向かう方向を算出することができる。撮像装置１０の内部パラメータは、撮像光学系１１の焦点距離、歪、及び、撮像素子１２の画素サイズ等の情報を含む。実空間において、画像空間４１の代表点４３に対応する方向に向かう直線が、ｚ＝０の基準面４４と交差する点を被写体４０の質点４５とする。基準面４４は、車両１００が位置する路面又は地面に相当する。質点４５は、３次元の座標（ｘ，ｙ，０）を有する。したがって、ｚ＝０の２次元空間を仮想空間とするとき、質点４５の座標は、（ｘ’，ｙ’）で表すことができる。仮想空間上の質点４５の座標（ｘ’，ｙ’）は、実空間においてｚ軸に沿う方向から被写体４０を見た場合のｘｙ平面（ｚ＝０）での被写体４０の特定の点の座標（ｘ，ｙ）に相当する。特定の点は、質点４５に対応する点である。
　プロセッサ２３は、図６に示すように、仮想空間４６上で被写体像４２の代表点４３から仮想空間４６に写像変換された質点４５の位置（ｘ’，ｙ’）及び速度（ｖx'，ｖy'）を追跡する（ステップＳ１０４）。質点４５が位置（ｘ’，ｙ’）及び速度（ｖx'，ｖy'）の情報を有することにより、プロセッサ２３は、順次のフレームにおける質点４５の位置（ｘ’，ｙ’）の範囲を予測することができる。プロセッサ２３は、次のフレームで予測された範囲に位置する質点４５を、追跡している被写体像４２に対応する質点４５であると認識することができる。プロセッサ２３は、新たなフレームの入力を受ける毎に、順次質点４５の位置（ｘ’，ｙ’）及び速度（ｖx'，ｖy'）を更新する。
　質点４５の追跡は、例えば、状態空間モデルに基づくカルマンフィルタを用いた推定を採用することができる。カルマンフィルタを用いた予測／推定を行うことにより、追跡対象の被写体４０の検知不能及び誤検知等に対するロバスト性が向上する。一般に、画像空間４１の被写体像４２に対しては、運動を記述する適切なモデルで記述することは困難である。そのため、画像空間４１の被写体像４２に対して簡易に高精度の位置の推定を行うことは困難であった。本実施形態の画像処理装置２０では、被写体像４２を実空間の質点４５に写像変換することにより、実空間における運動を記述するモデルの適用が可能になるので、被写体像４２の追跡の精度が向上する。また、被写体４０を、大きさを持たない質点４５として扱うことにより、単純で簡易な追跡が可能となる。
　プロセッサ２３は、質点４５の新たな位置を推定するごとに、質点４５の仮想空間４６上の座標を、画像空間４１上の座標（ｕ，ｖ）に写像変換する（ステップＳ１０５）。仮想空間４６の座標（ｘ’，ｙ’）に位置する質点４５は、実空間の座標（ｘ’，ｙ’，０）に位置する点として、画像空間４１に写像変換することができる。実空間の座標（ｘ’，ｙ’，０）は、公知の方法により撮像装置１０の画像空間４１上の座標（ｕ，ｖ）に写像することができる。
　プロセッサ２３は、上述のステップＳ１０３からステップＳ１０５の処理に並行して、以下に説明するステップＳ１０６及びステップＳ１０７の処理を実行することができる。プロセッサ２３は、ステップＳ１０３からステップＳ１０５の処理と、ステップＳ１０６及びステップＳ１０７の処理との一方の処理を、他方の処理の前後に実行してよい。
　プロセッサ２３は、ステップＳ１０２において認識した動画像が表示される画像空間上の被写体像４２の大きさを観測する（ステップＳ１０６）。被写体像４２の大きさは、画像空間上に占める被写体像４２の幅及び高さを含む。被写体像４２の大きさは、例えば、画素を単位として表すことができる。
　プロセッサ２３は、現時点の被写体像４２の大きさの観測値と、過去の被写体像４２の大きさの推定値に基づいて、現時点の被写体像４２の大きさを推定する（ステップＳ１０７）。ここで、「現時点での被写体像」とは、直近に撮像装置１０から取得したフレームの画像に基づく被写体像を意味する。「一つ前の被写体像」は、直近に撮像装置１０から取得したフレームよりも一つ前のフレームの画像に基づく被写体像を意味する。プロセッサ２３は、動画像として取得した各フレームの画像について、逐次被写体像４２の大きさの観測を行う。本願において現時点での観測を「今回の観測」とし、今回の観測よりも１つ前に行った観測を「前回の観測」とすることがある。本願では、「現時点」と「今回」、及び、「一つ前」と「前回」を、それぞれほぼ同じ意味で使用している。
　図７に示すように、プロセッサ２３は、前回の観測の結果推定された前回の幅の推定値Ｗ（ｋ－１）と、今回の観測の結果得られた今回の幅の観測値Ｗmeans（ｋ）とに基づいて、追跡処理を行い、今回の幅の推定値Ｗ（ｋ）を算出する。プロセッサ２３は、前回の観測の結果推定された前回の高さの推定値Ｈ（ｋ－１）と、今回の観測の結果得られた今回の高さの観測値Ｈmeans（ｋ）とに基づいて、追跡処理を行い、今回の高さの推定値Ｈ（ｋ）を算出する。ここで、ｋは、動画像に含まれるフレームの順次の番号に対応する。今回の観測はｋ番目のフレームを対象とする。被写体像４２の幅及び高さの推定は、次の数式（１）、（２）に基づいて行うことができる。
Ｗ（ｋ）＝Ｗ（ｋ－１）＋α（Ｗｍｅａｎｓ（ｋ）－Ｗ（ｋ－１））（１）
Ｈ（ｋ）＝Ｈ（ｋ－１）＋α（Ｈｍｅａｎｓ（ｋ）－Ｈ（ｋ－１））（２）
　パラメータαは、０≦α≦１の範囲に含まれるパラメータである。パラメータαは、幅及び高さの観測値Ｗmeans（ｋ）、Ｈmeans（ｋ）に対する信頼度に応じて設定されるパラメータである。α＝０の場合、今回の幅及び高さの推定値Ｗ（ｋ）、Ｈ（ｋ）は、それぞれ、前回の幅及び高さの推定値Ｗ（ｋ－１）、Ｈ（ｋ－１）と同じ値となる。α＝０．５の場合、今回の幅及び高さの推定値Ｗ（ｋ）、Ｈ（ｋ）は、それぞれ、前回の幅及び高さの推定値Ｗ（ｋ－１）、Ｈ（ｋ－１）と今回の幅及び高さの観測値Ｗmeans（ｋ）、Ｈmeans（ｋ）との平均値となる。α＝１の場合、今回の幅及び高さの推定値Ｗ（ｋ）、Ｈ（ｋ）は、それぞれ、今回の幅及び高さの観測値Ｗmeans（ｋ）、Ｈmeans（ｋ）となる。
　プロセッサ２３は、追跡を行っている間パラメータαを動的に調整してよい。例えば、プロセッサ２３は、動画像に含まれる被写体像４２の認識の精度を推定し、推定した認識の精度に基づいてパラメータαを動的に調整してよい。例えば、プロセッサ２３は、動画像から画像の明るさ及びコントラスト等の値を計算し、画像が暗い場合又はコントラストが低い場合、被写体像４２の認識の精度が低いと判断して、パラメータαを小さくしてよい。プロセッサ２３は、動画像内での被写体像４２の動きの速さに従って、パラメータαを調整してよい。例えば、動画像内での被写体像４２の動きが速い場合、プロセッサ２３は、被写体像４２の動きに追随するため被写体像４２の動きが遅い場合に比べパラメータαをより大きな値に設定してよい。
　プロセッサ２３は、ステップＳ１０２で今回のフレームから、現時点の被写体像４２の大きさの観測値が検出できない場合がある。例えば、動画像が表示される画像空間上で２つの被写体像４２が重なるような場合、それらの個々の被写体像４２の大きさを検出できなくなることがある。そのような場合、プロセッサ２３は、過去の被写体像４２の大きさの推定値のみに基づいて、現時点の被写体像４２の大きさを推定してよい。例えば、プロセッサ２３は、一つ前の幅及び高さの推定値Ｗ（ｋ－１），Ｈ（ｋ－１）を、現時点の幅及び高さの推定値Ｗ（ｋ）、Ｈ（ｋ）としてよい。
　プロセッサ２３は、被写体像４２の大きさの現時点の観測値が検出できない場合、２つ以上前のフレームに含まれる被写体像４２の幅及び高さの推定値Ｗ（ｋ－ｊ），Ｈ（ｋ－ｊ）（ｊ≧２）を考慮してよい。例えば、プロセッサ２３は、現時点の被写体像４２の幅及び高さの推定値Ｗ（ｋ）及びＨ（ｋ）を、０≦β≦１の範囲に含まれるパラメータβを用いて、次の数式（３）、（４）により推定してよい。
Ｗ（ｋ）＝Ｗ（ｋ－１）＋β(Ｗ（ｋ－１）－Ｗ（ｋ－２））　　（３）
Ｈ（ｋ）＝Ｈ（ｋ－１）＋β（Ｈ（ｋ－１）－Ｈ（ｋ－２））　　（４）
これにより、被写体像４２の現時点の大きさが取得できない場合、２つ前までの被写体像４２の大きさの推定値を反映して、現時点の被写体像４２の大きさを推定することができる。
　被写体像４２の大きさの追跡の流れの一例を、図８を用いて説明する。被写体像４２の推定を行う初期値（ｋ＝０）として、プロセッサ２３は最初の幅及び高さの観測値Ｗmeans（０）、Ｈmeans（０）を、幅及び高さの推定値Ｗ（０）、Ｈ（０）とする。以降のフレームにおいて、プロセッサ２３は、前回のフレームの幅及び高さの推定値Ｗ（ｋ－１）、Ｈ（ｋ－１）をそのフレームにおける幅及び高さの予測値Ｗ（ｋ－１）、Ｈ（ｋ－１）とする。プロセッサ２３は、幅及び高さの予測値Ｗ（ｋ－１）、Ｈ（ｋ－１）とそのフレームにおける幅及び高さの観測値Ｗmeans（ｋ）、Ｈmeans（ｋ）とを用いて、そのフレームにおける幅及び高さの推定値Ｗ（ｋ）、Ｈ（ｋ）を推定する。
　図８において、ｋ＋１番目のフレームにおいて、観測値が得られないとする。この場合、プロセッサ２３は、数式（１）、（２）においてα＝０として一つ前のフレームにおける被写体像４２の幅及び高さの予測値Ｗ（ｋ）、Ｈ（ｋ）を、ｋ＋１番目のフレームにおける被写体像４２の幅及び高さの推定値Ｗ（ｋ＋１）、Ｈ（ｋ＋１）とすることができる。あるいは、プロセッサ２３は、数式（３）、（４）を用いて、ｋ＋１番目のフレームにおける被写体像４２の幅及び高さの推定値Ｗ（ｋ＋１）、Ｈ（ｋ＋１）を算出してよい。この場合、２つ前のフレームにおける幅及び高さの推定値Ｗ（ｋ－１）、Ｈ（ｋ－１）、及び、１つ前のフレームにおける幅及び高さの推定値Ｗ（ｋ）、Ｈ（ｋ）が、推定値Ｗ（ｋ＋１）、Ｈ（ｋ＋１）に反映される。
　このように、プロセッサ２３は、画像空間４１の動画像から被写体像４２の幅及び高さの観測値を検出できない場合も、安定して被写体像４２の幅及び高さの推定値Ｗ（ｋ）、Ｈ（ｋ）を算出することができる。
　ステップＳ１０５において、現時点の質点４５の画像空間４１へ写像変換した座標（ｕ，ｖ）が得られ、ステップＳ１０７で被写体像４２の大きさが推定されると、プロセッサ２３は、ステップＳ１０８の処理に進む。ステップＳ１０８において、プロセッサ２３は、図９に示すように、動画像が表示される画像空間上の質点の座標に基づく位置に、推定された物体像の大きさを表す画像要素４８を重畳した画像を生成する。画像要素４８は、例えばバウンディングボックスである。バウンディングボックスは、被写体像４２を囲む長方形の枠線である。プロセッサ２３は、画像要素４８を付加した被写体像４２を含む動画像を、出力インターフェイス２４を介してディスプレイ３０に表示させる。これにより、画像処理システム１の利用者は、画像処理装置２０が認識した被写体像４２を画像要素４８により強調された状態で目視することができる。
　本実施形態によれば、画像処理装置２０は、被写体像４２の位置を仮想空間４６において質点４５として追跡し、被写体像４２の大きさを画像空間４１内で追跡し、それらの結果を合成してディスプレイ３０に表示させる。これによって、画像処理装置２０は、被写体像４２の位置及び大きさを高精度に追跡しながら処理負荷を軽減することができる。
　本実施形態によれば、画像処理装置２０は、被写体像４２の位置に対応する質点４５の追跡に、カルマンフィルタを用いたので、画像処理装置２０における被写体像４２の位置の認識誤差が大きい場合でも、高い精度で被写体像４２の位置を推定することができる。
　本実施形態によれば、画像処理装置２０は、被写体像４２の大きさを逐次観測し、現時点の被写体像４２の大きさの観測値と、過去の被写体像４２の大きさの推定値とに基づいて、現時点の被写体像４２の大きさを推定するようにした。これによって、画像処理装置２０は、観測される被写体像４２の大きさの誤差が大きい場合でも、高い精度で被写体像４２の大きさを推定することができる。また、画像処理装置２０は、パラメータα及びβを用いて、過去の被写体像４２の推定値を反映して現時点の被写体像４２の推定値を算出するので、各時点の観測値が誤差を含んでばらつく場合でも、表示される画像要素４８のちらつき等を抑制することができる。これにより、画像処理装置２０は、利用者に見やすい画像を提供することができる。
（追跡機能を有する撮像装置）
　上記実施形態において説明した本実施形態の画像処理装置２０の機能は、撮像装置に搭載することができる。図１０は、画像処理装置２０の機能を有する本開示の一実施形態に係る撮像装置５０の概略示す図である。撮像装置５０は、撮像光学系５１、撮像素子５２、記憶部５３、プロセッサ５４、出力インターフェイス５５を備える。撮像光学系５１及び撮像素子５２は、図１の撮像装置１０の撮像光学系１１及び撮像素子１２と類似の構成要素である。記憶部５３及び出力インターフェイス５５は、図１の画像処理装置２０の記憶部２２及び出力インターフェイス２４と類似の構成要素である。プロセッサ５４は、図１の撮像装置１０のプロセッサ１３及び画像処理装置２０のプロセッサ２３の機能を併せ持つ構成要素である。
　撮像装置５０では、撮像光学系５１により結像された被写体４０の動画像を撮像素子５２により撮像する。撮像素子５２が出力した動画像について、プロセッサ５４が図３のフローチャートに記載される処理と同じ処理を実行する。これによって、撮像装置５０は、被写体像４２に図９に示されるようなバウンディングボックスである画像要素４８を付加した画像を、ディスプレイ３０に表示させることができる。
　上記実施形態では、情報処理装置を画像処理装置２０とし、センサを撮像装置１０として説明した。センサは、可視光を検出する撮像装置に限られず、遠赤外線による画像を取得する遠赤外線カメラを含む。また、本開示の情報処理装置は、動画像を観測データとして取得して画像認識により検出対象を検出するものに限られない。例えば、センサは、観測対象である観測空間をセンシングして、検出対象の方向及び大きさを検出することが可能な撮像装置以外のセンサであってよい。センサには、例えば、電磁波または超音波を用いたセンサが含まれる。電磁波を用いたセンサには、ミリ波レーダーおよびＬｉＤＡＲ（Laser Imaging Detection and Ranging）が含まれる。したがって、検出対象は、画像として撮像される被写体とは限られない。情報処理装置は、センサから出力された、検出対象の方向及び大きさ等の情報を含む観測データを取得して、検出対象を検出してよい。また、表示空間は、動画像が表示される画像空間に限られず、検出した検出対象を２次元的に表示することができる空間とすることができる。
　（ミリ波レーダーを含むセンシング装置）
　一例として、図１１を参照して、一実施形態に係るセンシング装置６０について説明する。センシング装置６０は、センサの一例であるミリ波レーダー６１と、情報処理部６２と、出力部６３とを含む。センシング装置６０は、撮像装置１０と類似に車両の種々の位置に搭載することができる。
　ミリ波レーダー６１は、ミリ波帯の電磁波を使用して、検出対象の距離、速度および方向等を検出することができる。ミリ波レーダー６１は、送信信号生成部６４、高周波回路６５、送信アンテナ６６、受信アンテナ６７および信号処理部６８を含む。
　送信信号生成部６４は、周波数変調されたチャープ信号を発生させる。チャープ信号は、周波数が一定期間ごとに上昇または下降する信号である。送信信号生成部６４は、例えばＤＳＰ（Digital Signal Processor）に実装される。送信信号生成部６４は、情報処理部６２により制御されてよい。
　チャープ信号は、Ｄ／Ａ変換された後、高周波回路６５において周波数変換され高周波信号となる。高周波回路６５は、送信アンテナ６６により、高周波信号を電波として観測空間に向けて放射する。高周波回路６５は、受信アンテナ６７により、送信アンテナ６６から放射された電波が検出対象により反射された反射波を、受信信号として受信することができる。ミリ波レーダー６１は複数の受信アンテナ６７を備えてよい。ミリ波レーダー６１は、信号処理部６８において、各受信アンテナ間の位相差を検出することにより、検出対象の方向を推定することができる。ミリ波レーダー６１における方位検知の方法は、位相差を用いたものに限られない。ミリ波レーダー６１は、ミリ波帯のビームの走査により検出対象の方位を検出することもできる。
　高周波回路６５は、受信信号を増幅し、送信信号と混合して周波数の差を示すビート信号に変換する。ビート信号は、デジタル信号に変換され、信号処理部６８に出力される。信号処理部６８は、受信信号を処理して、距離、速度、および方向等の推定処理を実行する。ミリ波レーダー６１における距離、速度および方向等の推定方法は公知であるから、信号処理部６８による処理の内容は、説明を省略する。信号処理部６８は、例えばＤＳＰに実装される。信号処理部６８は、送信信号生成部６４と同じＤＳＰに実装されてよい。
　信号処理部６８は、検出対象の観測データとして、推定した距離、速度、および、方向の情報を、情報処理部６２に出力する。情報処理部６２は、観測データに基づいて、検出対象を仮想空間に写像変換して、種々の処理を実行することができる。情報処理部６２は、撮像装置１０のプロセッサ１３と類似の一つ以上のプロセッサにより構成される。情報処理部６２は、センシング装置６０の全体を制御してよい。情報処理部６２の実行する処理については、さらに詳しく後述する。
　出力部６３は、情報処理部６２による処理の結果をセンシング装置６０の外部の表示装置、または、車両内のＥＣＵに出力する出力インターフェイスである。出力部６３は、ＣＡＮ等の車両のネットワークに接続する通信処理回路、および、通信コネクタ等を含んでよい。
　以下に、情報処理部６２が実行する処理の一部が、図１２のフローチャートを参照して説明される。
　情報処理部６２は、信号処理部６８から観測データを取得する（ステップＳ２０１）。
　次に、情報処理部６２は、観測データを仮想空間に写像する（ステップＳ２０２）。仮想空間に写像された観測データの一例が、図１３に示される。ミリ波レーダー６１の観測データは、それぞれ、距離、速度および方向の情報を有する点の情報として得られる。情報処理部６２は、各観測データを水平面上に写像する。図１３において、横軸は中心を０として左右方向であるｘ軸方向をメートル単位で示したものである。縦軸は、最も近い位置を０として、ｙ軸方向である奥行方向の距離をメートル単位で示したものである。
　次に、情報処理部６２は、仮想空間の各点の集まりをクラスタ化し、検出対象を検出する（ステップＳ２０３）。クラスタ化は、個々の点を示すデータから、点の集まりである点群を抽出することを意味する。情報処理部６２は、図１４に破線の楕円で囲んで示すように、観測データを示す各点の集まりである点群を抽出することができる。情報処理部６２は、多数の観測データが集まっている部分には、実際に検出対象が存在していると判断することができる。これに対して、個々の離散した点に対応する観測データは、観測ノイズによるものと判断することができる。情報処理部６２は、観測データに対応する点の数、または、密度などに閾値を設けて、観測データの集まりが検出対象であるか否かを判断してよい。情報処理部６２は、点群の占める領域の大きさに基づいて、検出対象の大きさを推定することができる。
　次に、情報処理部６２は、検出されたそれぞれの点群の仮想空間内での位置をトラッキングする（ステップＳ２０４）。情報処理部６２は、各点群の占める領域の中心、または、点群に含まれる点の位置の座標の平均を、それぞれの点群の位置とすることができる。情報処理部６２は、点群の動きをトラッキングすることにより、検出対象の動きを時系列で把握する。
　ステップＳ２０４の後、または、ステップＳ２０４と並行して、情報処理部６２は、それぞれの点群に対応する検出対象の種別を推定する（ステップＳ２０５）。検出対象の種別には、「車両」、「歩行者」および「二輪車」等を含む。検出対象の種別の特定は、検出対象の速さ、大きさ、形状、位置、観測データの点の密度、検出された反射波の強度等の何れか一つ以上を用いて行うことができる。例えば、情報処理部６２は、信号処理部６８から取得した検出対象のドップラー速度を時系列的に蓄積して、その分布のパターンから検出対象の種別を推定することができる。また、情報処理部６２は、ステップＳ２０３で推定した検出対象の大きさの情報から、検出対象の種別を推定することができる。さらに、情報処理部６２は、信号処理部６８から、観測データに対応する反射波の強度を取得して、検出対象の種別を推定することができる。例えば、金属を多く含む車両は反射断面積が大きいので、反射断面積が小さい歩行者よりも、反射波の強度が強い。情報処理部６２は、検出対象の種別を推定するとともに、推定の確からしさを示す信頼度を算出してよい。
　ステップＳ２０５の後、情報処理部６２は、検出対象を仮想空間から表示用の空間である表示空間に写像変換する（ステップＳ２０６）。表示空間は、画像空間のように利用者の視点から見た３次元の観測空間を２次元平面で表したものであってよい。表示空間は、観察対象をｚ軸方向（鉛直方向）から見た２次元空間であってよい。情報処理部６２は、ステップＳ２０１で信号処理部６８から取得した観測データを、ステップＳ２０３～Ｓ２０５を介さず、直接表示空間に写像してもよい。
　情報処理部６２は、表示空間に写像変換された検出対象、および、ステップＳ２０３～Ｓ２０６により得られた検出対象の位置、速さ、大きさおよび種別等のデータに基づいて、更なるデータ処理を行うことができる（ステップＳ２０７）。例えば、情報処理部６２は、表示空間上での検出対象の大きさを逐次観測し、現時点の検出対象の大きさの観測値と、過去の検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定してよい。したがって、情報処理部６２は、図３に示した処理と類似の処理を、ミリ波レーダー６１の観測データを用いて実行することができる。また、情報処理部６２は、各データを他の装置での処理のために出力部６３から出力することができる（ステップＳ２０７）。
　以上説明したように、センサとしてミリ波レーダー６１を用いた場合も、センシング装置６０は、センサとして撮像装置を用いる場合と類似の処理を実行し類似の効果を得ることができる。図１１のセンシング装置６０は、ミリ波レーダー６１と情報処理部６２とを内蔵している。しかし、ミリ波レーダーと情報処理部６２の機能を有する情報処理装置とは、別体として設けられてもよい。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車及び産業車両を含むが、これに限られず、鉄道車両及び生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
　１　　　画像処理システム
　１０　　撮像装置（センシング装置）
　１１　　撮像光学系
　１２　　撮像素子
　１３　　プロセッサ
　２０　　画像処理装置（情報処理装置）
　２１　　入力インターフェイス
　２２　　記憶部
　２３　　プロセッサ
　２４　　出力インターフェイス
　３０　　ディスプレイ
　４０　　被写体（検出対象）
　４１　　画像空間（表示空間）
　４２　　被写体像
　４３　　代表点
　４４　　基準面
　４５　　質点
　４６　　仮想空間
　４８　　画像要素
　５０　　撮像装置（センシング装置）
　５１　　撮像光学系
　５２　　撮像素子
　５３　　記憶部
　５４　　プロセッサ
　５５　　出力インターフェイス
　６０　　センシング装置
　６１　　ミリ波レーダー（センサ）
　６２　　情報処理部
　６３　　出力部
　６４　　送信信号生成部
　６５　　高周波回路
　６６　　送信アンテナ
　６７　　受信アンテナ
　６８　　信号処理部　１００　車両（移動体）

Claims (11)

  1. 　観測空間から得られた観測データを取得するように構成された入力インターフェイスと、
    　前記観測データに含まれる検出対象を検出し、該検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、前記仮想空間上で前記検出対象を表す質点の位置及び速度を追跡し、前記追跡した前記質点の前記仮想空間上の座標を表示空間上の座標に写像変換するとともに、前記表示空間上での前記検出対象の大きさを逐次観測し、現時点の前記検出対象の大きさの観測値と、過去の前記検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定するように構成されたプロセッサと、
    　前記表示空間上に写像変換された前記質点の座標、及び、前記推定された前記検出対象の大きさに基づく出力情報を出力するように構成された出力インターフェイスと
    を備える情報処理装置。
  2. 　前記仮想空間は、実空間のｘ軸、ｙ軸及びｚ軸の３軸より成る座標系において、ｚ軸方向の値を所定の固定値とする２次元空間である、請求項１に記載の情報処理装置。
  3. 　前記プロセッサは、カルマンフィルタを用いて前記質点の位置及び速度の追跡を行う、請求項１又は２に記載の情報処理装置。
  4. 　前記検出対象の大きさは、前記検出対象の幅と高さとを含み、現時点の一つ前の前記検出対象の幅及び高さの推定値を、それぞれ、Ｗ（ｋ－１）及びＨ（ｋ－１）とし、現時点の前記検出対象の幅及び高さの観測値を、それぞれ、Ｗｍｅａｎｓ（ｋ）及びＨｍｅａｎｓ（ｋ）とするとき、前記プロセッサは、現時点の前記検出対象の幅及び高さの推定値Ｗ（ｋ）及びＨ（ｋ）を、０≦α≦１の範囲に含まれるパラメータαを用いて、
    Ｗ（ｋ）＝Ｗ（ｋ－１）＋α（Ｗｍｅａｎｓ（ｋ）－Ｗ（ｋ－１））　　　　　（１）
    Ｈ（ｋ）＝Ｈ（ｋ－１）＋α（Ｈｍｅａｎｓ（ｋ）－Ｈ（ｋ－１））　　　　　（２）
    により推定する、請求項１から３の何れか一項に記載の情報処理装置。
  5. 　前記プロセッサは、前記観測データに含まれる前記検出対象の検出の精度を推定し、前記検出の精度に基づいて前記パラメータαを動的に調整する、請求項４に記載の情報処理装置。
  6. 　前記プロセッサは、前記観測空間内での前記検出対象の動きの速さに従って、前記パラメータαを動的に調整する、請求項４に記載の情報処理装置。
  7. 　前記プロセッサは、現時点の前記検出対象の大きさの観測値が取得できない場合、過去の前記検出対象の大きさの推定値のみに基づいて、現時点の前記検出対象の大きさを推定する、請求項１から３の何れか一項に記載の情報処理装置。
  8. 　前記検出対象の大きさは、前記検出対象の幅と高さとを含み、現時点の一つ前の前記検出対象の幅及び高さの推定値を、それぞれ、Ｗ（ｋ－１）及びＨ（ｋ－１）とし、現時点の二つ前の前記検出対象の幅及び高さの推定値を、それぞれ、Ｗ（ｋ－２）及びＨ（ｋ－２）とするとき、前記プロセッサは、現時点の前記検出対象の幅及び高さの推定値Ｗ（ｋ）及びＨ（ｋ）を、０≦β≦１の範囲に含まれるパラメータβを用いて、
    Ｗ（ｋ）＝Ｗ（ｋ－１）＋β(Ｗ（ｋ－１）－Ｗ（ｋ－２））　　　　　（３）
    Ｈ（ｋ）＝Ｈ（ｋ－１）＋β（Ｈ（ｋ－１）－Ｈ（ｋ－２））　　　　　（４）
    により推定する、請求項７に記載の情報処理装置。
  9. 　観測空間をセンシングし、検出対象の観測データを取得するように構成されたセンサと、
    　前記観測データに含まれる検出対象を検出し、該検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、前記仮想空間上で前記検出対象を表す質点の位置及び速度を追跡し、前記追跡した前記質点の前記仮想空間上の座標を表示空間上の座標に写像変換するとともに、前記表示空間上での前記検出対象の大きさを逐次観測し、現時点の前記検出対象の大きさの観測値と、過去の前記検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定するように構成されたプロセッサと、
    　前記表示空間上に写像変換された前記質点の座標、及び、前記推定された前記検出対象の大きさに基づく出力情報を出力するように構成された出力インターフェイスと
    を備えるセンシング装置。
  10. 　観測空間をセンシングし、検出対象の観測データを取得するように構成されたセンサと、前記観測データに含まれる検出対象を検出し、該検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、前記仮想空間上で前記検出対象を表す質点の位置及び速度を追跡し、前記追跡した前記質点の前記仮想空間上の座標を表示空間上の座標に写像変換するとともに、前記表示空間上での前記検出対象の大きさを逐次観測し、現時点の前記検出対象の大きさの観測値と、過去の前記検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定するように構成されたプロセッサと、前記表示空間上に写像変換された前記質点の座標、及び、前記推定された前記検出対象の大きさに基づく出力情報を出力するように構成された出力インターフェイスと
    を含むセンシング装置を備える移動体。
  11. 　観測空間から観測データを取得し、
    　前記観測データに含まれる検出対象を検出し、
    　該検出した検出対象の座標を仮想空間の検出対象の座標に写像変換し、
    　前記仮想空間上で前記検出対象を表す質点の位置及び速度を追跡し、
    　前記追跡した前記質点の前記仮想空間上の座標を表示空間上の座標に写像変換し、
    　前記表示空間上での前記検出対象の大きさを逐次観測し、
    　現時点の前記検出対象の大きさの観測値と、過去の前記検出対象の大きさの推定値とに基づいて、現時点の前記検出対象の大きさを推定し、
    　前記表示空間上に写像変換された前記質点の座標、及び、前記推定された前記検出対象の大きさに基づく出力情報を出力する情報処理方法。
PCT/JP2020/047906 2019-12-23 2020-12-22 情報処理装置、センシング装置、移動体及び情報処理方法 WO2021132227A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080089795.1A CN114868150A (zh) 2019-12-23 2020-12-22 信息处理装置、感测装置、移动体以及信息处理方法
US17/757,875 US20230046397A1 (en) 2019-12-23 2020-12-22 Information processing apparatus, sensing apparatus, mobile object, and method for processing information
EP20904558.2A EP4083961A4 (en) 2019-12-23 2020-12-22 INFORMATION PROCESSING DEVICE, SENSOR DEVICE, MOVABLE BODY AND INFORMATION PROCESSING METHOD
JP2021567484A JP7254967B2 (ja) 2019-12-23 2020-12-22 情報処理装置、センシング装置、移動体及び情報処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019231662 2019-12-23
JP2019-231662 2019-12-23

Publications (1)

Publication Number Publication Date
WO2021132227A1 true WO2021132227A1 (ja) 2021-07-01

Family

ID=76574127

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047906 WO2021132227A1 (ja) 2019-12-23 2020-12-22 情報処理装置、センシング装置、移動体及び情報処理方法

Country Status (5)

Country Link
US (1) US20230046397A1 (ja)
EP (1) EP4083961A4 (ja)
JP (1) JP7254967B2 (ja)
CN (1) CN114868150A (ja)
WO (1) WO2021132227A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11321494A (ja) 1998-05-08 1999-11-24 Yazaki Corp 後側方監視装置
JP2011119917A (ja) * 2009-12-02 2011-06-16 Denso Corp 車両用表示装置
WO2013146206A1 (ja) * 2012-03-28 2013-10-03 株式会社メガチップス 物体検出装置およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2037408B1 (en) * 2007-09-14 2012-03-28 Saab Ab Method, computer program and device for determining the risk of midair collision
WO2012138828A2 (en) * 2011-04-08 2012-10-11 The Trustees Of Columbia University In The City Of New York Kalman filter approach to augment object tracking
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9406145B2 (en) * 2014-01-31 2016-08-02 Applied Concepts, Inc. Mobile radar and visual tracking coordinate transformation
US11030775B2 (en) * 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
EP3474236A4 (en) * 2016-06-16 2019-12-11 Sony Interactive Entertainment Inc. IMAGING DEVICE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11321494A (ja) 1998-05-08 1999-11-24 Yazaki Corp 後側方監視装置
JP2011119917A (ja) * 2009-12-02 2011-06-16 Denso Corp 車両用表示装置
WO2013146206A1 (ja) * 2012-03-28 2013-10-03 株式会社メガチップス 物体検出装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4083961A4

Also Published As

Publication number Publication date
CN114868150A (zh) 2022-08-05
EP4083961A4 (en) 2023-12-20
JP7254967B2 (ja) 2023-04-10
EP4083961A1 (en) 2022-11-02
JPWO2021132227A1 (ja) 2021-07-01
US20230046397A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
CN109017570B (zh) 车辆周围场景呈现方法和装置、车辆
CN113490863B (zh) 雷达辅助的单个图像三维深度重建
US10445928B2 (en) Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
CN110979321B (zh) 一种用于无人驾驶车辆的障碍物躲避方法
US11508122B2 (en) Bounding box estimation and object detection
US11475678B2 (en) Lane marker detection and lane instance recognition
CN103176185B (zh) 用于检测道路障碍物的方法及系统
US10650255B2 (en) Vehicular vision system with object detection
US9151626B1 (en) Vehicle position estimation system
US20110234761A1 (en) Three-dimensional object emergence detection device
US20110169957A1 (en) Vehicle Image Processing Method
US20150248594A1 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN103204104A (zh) 一种车辆全视角驾驶监控系统及方法
Chen et al. Vision-based distance estimation for multiple vehicles using single optical camera
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
WO2021132227A1 (ja) 情報処理装置、センシング装置、移動体及び情報処理方法
WO2021132229A1 (ja) 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム
JP5903901B2 (ja) 車両位置算出装置
Klotz et al. Onboard Sensor Systems for Automatic Train Operation
JP2023029064A (ja) 画像処理装置、画像処理方法、撮像装置、及び移動体
CN118131208A (zh) 基于毫米波雷达与视觉融合的汽车安全换道方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20904558

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567484

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020904558

Country of ref document: EP

Effective date: 20220725