WO2021132229A1 - 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム - Google Patents

情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム Download PDF

Info

Publication number
WO2021132229A1
WO2021132229A1 PCT/JP2020/047909 JP2020047909W WO2021132229A1 WO 2021132229 A1 WO2021132229 A1 WO 2021132229A1 JP 2020047909 W JP2020047909 W JP 2020047909W WO 2021132229 A1 WO2021132229 A1 WO 2021132229A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
information processing
information
detection target
image
Prior art date
Application number
PCT/JP2020/047909
Other languages
English (en)
French (fr)
Inventor
顕嗣 山本
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP20908156.1A priority Critical patent/EP4083911A4/en
Priority to US17/758,003 priority patent/US20230048222A1/en
Priority to CN202080089797.0A priority patent/CN114902278A/zh
Priority to JP2021567485A priority patent/JP7312275B2/ja
Publication of WO2021132229A1 publication Critical patent/WO2021132229A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • This disclosure relates to an information processing device, a sensing device, a mobile body, an information processing method, and an information processing system.
  • a device for detecting the type, position, size, etc. of an object to be detected has been provided based on the output of a sensor mounted on a vehicle such as an in-vehicle camera.
  • a sensor mounted on a vehicle such as an in-vehicle camera.
  • erroneous detection and detection error may be included depending on the performance of the sensor and the surrounding environment. Therefore, a device or system capable of outputting the reliability of the detection result together with the measurement of the detection target has been proposed (see, for example, Patent Document 1).
  • Patent Document 1 a camera that recognizes a subject to be imaged from a camera image, sequentially measures the three-dimensional position of the subject, and creates information as an index of reliability of the measurement information together with the measurement information.
  • the system is disclosed.
  • the information processing device of the present disclosure includes an input interface, a processor, and an output interface.
  • the input interface acquires observation data obtained from the observation space.
  • the processor detects a detection target from the observation data, calculates a plurality of individual indexes indicating the reliability of at least one of the identification information and the measurement information of the detection target, and the calculated individual indexes. Further calculate the integrated index that integrates.
  • the output interface outputs the integrated index.
  • the sensing device of the present disclosure includes a sensor, a processor, and an output interface.
  • the sensor is configured to sense the observation space and acquire observation data to be detected.
  • the processor detects a detection target from the observation data, calculates a plurality of individual indexes each indicating reliability with respect to at least one of the identification information and the measurement information of the detection target, and the calculated individual indexes. Further calculate the integrated index that integrates.
  • the output interface outputs the integrated index.
  • the mobile body of the present disclosure includes an information processing device.
  • the information processing device includes an input interface, a processor, and an output interface.
  • the input interface acquires observation data obtained from the observation space.
  • the processor detects a detection target from the observation data, calculates a plurality of individual indexes each indicating reliability with respect to at least one of the identification information and the measurement information of the detection target, and the calculated individual indexes. Further calculate the integrated index that integrates.
  • the output interface outputs the integrated index.
  • a plurality of observation data are acquired from the observation space, a detection target is detected from the observation data, and each of them indicates reliability with respect to at least one of the identification information and the measurement information of the detection target.
  • the image processing method includes further calculating an integrated index that integrates the plurality of calculated individual indexes, and outputting the integrated index.
  • the information processing system of the present disclosure includes a sensor, an information processing device, and a determination device.
  • the sensor acquires observation data from the observation space.
  • the information processing device includes a processor.
  • the processor detects a detection target from the observation data, and each calculates a plurality of individual indexes indicating the reliability of at least one of the detection target identification information and the measurement information.
  • the processor further calculates an integrated index that integrates the calculated individual indexes.
  • the determination device determines whether or not at least one of the identification information and the measurement information based on the sensor can be used based on the integrated index.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing system which is an information processing system according to an embodiment.
  • FIG. 2 is a diagram showing an example of a vehicle equipped with the image processing system of FIG. 1 and a subject.
  • FIG. 3 is a functional block diagram of the control unit of the image processing device of FIG.
  • FIG. 4 is a diagram showing an example of a subject image on a moving image.
  • FIG. 5 is a diagram for explaining the relationship between a subject in a real space, a subject image in a moving image, and a mass point in a virtual space.
  • FIG. 6 is a diagram showing an example of the movement of mass points in the virtual space.
  • FIG. 7 is a diagram showing an error ellipse of the estimated value of the subject position.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing system which is an information processing system according to an embodiment.
  • FIG. 2 is a diagram showing an example of a vehicle equipped with the image processing system of FIG
  • FIG. 8 is a diagram illustrating a method of calculating the first index.
  • FIG. 9 is a diagram showing a cumulative distribution function in the calculation method of the second index.
  • FIG. 10 is a flowchart showing an example of processing executed by the control unit of the image processing apparatus of FIG.
  • FIG. 11 is a block diagram showing a schematic configuration of an image pickup device which is a sensing device according to an embodiment.
  • FIG. 12 is a block diagram showing an example of a schematic configuration of a sensing device including a millimeter wave radar.
  • FIG. 13 is a flowchart showing an example of processing executed by the information processing unit of the sensing device of FIG. It is a figure which shows an example of the observation data which was mapped into the virtual space. It is a figure which clustered the observation data of FIG.
  • the detected information may include quantitative measurement information and identification information such as the type of detection target. In such a case, it may be very complicated to create reliability information for each information of each individual.
  • the image processing system 1 which is an example of the information processing system according to the embodiment of the present disclosure, includes an image pickup device 10, an image processing device 20, and a determination device 30.
  • the image pickup apparatus 10 is an example of a sensor that senses the observation space.
  • the image processing device 20 is an example of an information processing device.
  • the image processing system 1 is mounted on a vehicle 100, which is an example of a moving body, as illustrated in FIG.
  • the x-axis direction of the coordinates in the real space is the width direction of the vehicle 100 in which the imaging device 10 is installed.
  • the real space is the observation space for which observation data is acquired.
  • the y-axis direction is the direction in which the vehicle 100 moves backward.
  • the x-axis direction and the y-axis direction are directions parallel to the road surface on which the vehicle 100 is located.
  • the z-axis direction is a direction perpendicular to the road surface.
  • the z-axis direction can be called the vertical direction.
  • the x-axis direction, the y-axis direction, and the z-axis direction are orthogonal to each other.
  • the method of taking the x-axis direction, the y-axis direction, and the z-axis direction is not limited to this.
  • the x-axis direction, y-axis direction, and z-axis direction can be interchanged with each other.
  • the image pickup apparatus 10 includes an image pickup optical system 11, an image pickup element 12, and a control unit 13.
  • the image pickup device 10 can be installed at various positions of the vehicle 100.
  • the image pickup apparatus 10 includes, but is not limited to, a front camera, a left side camera, a right side camera, a rear camera, and the like.
  • the front camera, the left side camera, the right side camera, and the rear camera are installed in the vehicle 100 so that the peripheral areas in front, the left side, the right side, and the rear of the vehicle 100 can be imaged, respectively.
  • the image pickup apparatus 10 is attached to the vehicle 100 so that the rear of the vehicle 100 can be imaged with the optical axis direction facing downward from the horizontal direction. There is.
  • the image sensor 12 includes a CCD image sensor (Charge-Coupled Device Image Sensor) and a CMOS image sensor (Complementary MOS Image Sensor).
  • the image pickup device 12 converts a subject image imaged on the image pickup surface of the image pickup device 12 by the image pickup optical system 11 into an electric signal.
  • the subject image is an image of the subject to be detected.
  • the image sensor 12 can capture a moving image at a predetermined frame rate.
  • the moving image is an example of observation data.
  • Each still image that constitutes a moving image is called a frame.
  • the number of images that can be captured per second is called the frame rate.
  • the frame rate may be, for example, 60 fps (frames per second), 30 fps, or the like.
  • the control unit 13 controls the entire image pickup device 10 and executes various image processing on the moving image output from the image pickup device 12.
  • the image processing performed by the control unit 13 may include arbitrary processing such as distortion correction, brightness adjustment, contrast adjustment, and gamma correction.
  • the control unit 13 may be composed of one or a plurality of processors.
  • the control unit 13 includes, for example, one or more circuits or units configured to perform one or more data calculation procedures or processes by executing instructions stored in the associated memory.
  • the control unit 13 includes one or more processors, a microprocessor, a microprocessor, an integrated circuit for a specific application (ASIC: Application Specific Integrated Circuit), a digital signal processing device (DSP: Digital Signal Processor), and a programmable logic device (PLD; Programmable Logic). Includes Device), Field Programmable Gate Array (FPGA), or any combination of these devices or configurations, or any other known device or configuration combination.
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • PLD programmable logic device
  • FPGA Field Programmable Gate Array
  • the image processing device 20 can be attached to an arbitrary position on the vehicle 100.
  • the image processing device 20 may be arranged in the dashboard of the vehicle 100, in the trunk room, under the seat, or the like.
  • the image processing device 20 includes an input interface 21, a control unit 22, an output interface 23, and a storage unit 24.
  • the input interface 21 is configured to be able to communicate with the image pickup apparatus 10 by a wired or wireless communication means.
  • the input interface 21 is configured to be able to acquire a moving image from the image pickup device 10.
  • the input interface 21 may correspond to the transmission method of the image signal transmitted by the image pickup apparatus 10.
  • the input interface 21 can be rephrased as an input unit or an acquisition unit.
  • the image pickup device 10 and the input interface 21 may be connected by an in-vehicle communication network such as CAN (Control Area Network).
  • the control unit 22 controls the entire image processing device 20.
  • the control unit 22 detects a subject image from the moving image acquired via the input interface 21, and calculates a plurality of individual indexes, each of which indicates the reliability of at least one of the identification information and the measurement information of the subject image.
  • the control unit 22 further calculates an integrated index that integrates a plurality of calculated individual indexes.
  • the control unit 22 is configured to include one or a plurality of processors, like the control unit 13 of the image pickup apparatus 10. Further, the control unit 22 may be configured by combining a plurality of types of devices in the same manner as the control unit 13.
  • the control unit 22 can be rephrased as a processor or a controller.
  • the "identification information” is information indicating the characteristics of the subject 40 detected from the moving image.
  • the “identification information” includes the “type”, “color”, “luminance” and the like of the subject 40 detected from the moving image.
  • the "type” of the subject 40 is a classification of an object that is the subject 40 according to the type of the object.
  • the type of subject 40 can be rephrased as the "class” of the subject.
  • Each “identification information” is specified by one of a plurality of types.
  • the type of "type” of the subject 40 includes, for example, “vehicle", “pedestrian”, “motorcycle” and the like.
  • the control unit 22 specifies the "type” as one of a plurality of “type” types.
  • the type of "color” of the subject 40 includes, for example, “red”, “blue”, “yellow” and the like.
  • the control unit 22 can specify one of “red”, “blue”, and “yellow” as the type of the color.
  • the "luminance” of the subject 40 is classified into a plurality of types such as “bright” and “dark” by setting a threshold value according to the brightness detected by the image sensor 12.
  • the "measurement information” is quantitative information obtained by processing the image of the subject 40 included in the moving image in sequential frames and performing an operation.
  • the “measurement information” includes, for example, the “position”, “distance”, “size”, and the like of the subject 40 detected from the moving image.
  • the “position” indicates, for example, the coordinates of the subject 40 in the real space.
  • the “distance” is, for example, the distance from the vehicle 100, particularly the image pickup apparatus 10, to the subject 40.
  • the "size” is a dimension such as a width and a height in the real space of the subject 40.
  • the "reliability” is the certainty of the identification information and the measurement information calculated by the control unit 22.
  • “Reliability” is a relative concept.
  • the "reliability” of the present disclosure can be represented by a numerical value from 0 to 1 by an index representing the reliability. For example, the smaller the reliability index, the lower the reliability. For example, the larger the reliability index, the higher the reliability.
  • control unit 22 includes an image recognition unit 51, a measurement information calculation unit 52, a measurement information correction unit 53, a first index calculation unit 54, a second index calculation unit 55, and an integrated index calculation unit 56. It is composed of functional blocks. Details of the processing performed by each functional block will be described later.
  • the output interface 23 is configured to output an output signal, which is output information, from the image processing device 20.
  • the output interface 23 can be rephrased as an output unit.
  • the output interface 23 can output the identification information and the measurement information calculated by the control unit 22, and the integrated index indicating the reliability of the information to the outside of the image processing device 20.
  • the output interface 23 can output the identification information, the measurement information, and the integrated index to, for example, the determination device 30 outside the image processing device 20.
  • the determination device 30 may be included in a collision prevention device, an alarm device, and the like.
  • the output interface 23 may include at least one of a physical connector and a wireless communication device. In one of a plurality of embodiments, the output interface 23 may be connected to a network of vehicles 100 such as CAN. The output interface 23 can be connected to the determination device 30, the collision avoidance device of the vehicle 100, the inter-vehicle distance warning device, and the like via a communication network such as CAN.
  • the storage unit 24 is a storage device that stores data and programs required for processing performed by the control unit 22.
  • the storage unit 24 temporarily stores the moving image acquired from the imaging device 10.
  • the storage unit 24 sequentially stores the data generated by the processing performed by the control unit 22.
  • the storage unit 24 may be configured by using any one or more of, for example, a semiconductor memory, a magnetic memory, an optical memory, and the like.
  • the semiconductor memory may include a volatile memory and a non-volatile memory.
  • the magnetic memory may include, for example, a hard disk, a magnetic tape, or the like.
  • the optical memory may include, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray (registered trademark) Disc), and the like.
  • the determination device 30 determines whether or not at least one of the identification information and the measurement information regarding each subject 40 can be used based on the integrated index output from the image processing device 20.
  • the determination device 30 may be incorporated into another device that uses the identification information and the measurement information.
  • the device having the determination device 30 includes a device that provides functions such as collision warning, automatic braking, and automatic steering.
  • the determination device 30 assumes a case where the image processing device 20 detects a specific type of subject 40 in the traveling direction of the vehicle 100 together with the distance to the subject 40.
  • the determination device 30 may not adopt the information regarding the subject 40 output by the image processing device 20.
  • the determination device 30 may control the vehicle or the like by adopting the information about the subject 40 output by the image processing device 20.
  • Each functional block of the control unit 22 may be a hardware module or a software module.
  • the control unit 22 can execute the operations performed by the individual functional blocks described below.
  • the control unit 22 may execute all the operations of each functional block.
  • the operation performed by each functional block may be paraphrased as the operation performed by the control unit 22.
  • the process performed by the control unit 22 by using any of the functional blocks can be regarded as being executed by the control unit 22 itself.
  • FIG. 4 shows an example of a one-frame image of a moving image.
  • the image space is an example of a display space.
  • the display space is a space in which the detection target is two-dimensionally expressed in order to make it visible to the user or to be used in another device.
  • the u coordinate is the coordinate in the horizontal direction of the image.
  • the v coordinate is the vertical coordinate of the image.
  • the origin of the uv coordinate is the upper left end point of the image space 41.
  • the u coordinate has a positive direction in the direction from left to right.
  • the v-coordinate has a positive direction from top to bottom.
  • the image recognition unit 51 detects the subject images 42a and 42b (hereinafter, appropriately collectively referred to as the subject image 42) from each frame of the moving image.
  • the method for detecting the subject image 42 includes various known methods.
  • the recognition method of the subject image 42 includes a method of recognizing the shape of an object such as a vehicle or a pedestrian, a method of template matching, a method of calculating a feature amount from an image and using it for matching, and the like.
  • a function approximator capable of learning the input / output relationship can be used for calculating the feature amount.
  • a neural network can be used as a function approximator that can learn the relationship between input and output.
  • the image recognition unit 51 calculates the feature amount by using a function approximation device that has learned the feature amount of each type of the subject 40 such as a vehicle, a pedestrian, and a two-wheeled vehicle in advance by deep learning by a neural network. Can be done.
  • the image recognition unit 51 outputs information on the type of the subject 40 as an example of the identification information.
  • the image recognition unit 51 calculates the type of the subject 40 and the affiliation probability for each type for each detected subject image 42.
  • the affiliation probability indicates the probability of belonging to the type. For example, when the type of the subject image 42a is set to "vehicle", "pedestrian", and “motorcycle", the image recognition unit 51 sets the belonging probabilities to "vehicle” 0.7 and "pedestrian” 0.2. , "Motorcycle” 0.1. In this case, the number of types is three.
  • the image recognition unit 51 determines that the "pedestrian" having the highest belonging probability is the type of the subject image 42a.
  • the image recognition unit 51 can output information indicating the position and size of each subject image 42 detected for each frame in the image space 41.
  • the image recognition unit 51 can specify the range occupied by the subject image 42 in the horizontal direction (u direction) and the vertical direction (v direction) in the image space 41 to determine the size of the subject image 42.
  • the range occupied by the subject image 42 in the image space 41 is shown by a rectangular frame in FIG. Further, the image recognition unit 51 specifies the position of the subject image 42 in the image space 41.
  • the image recognition unit 51 points the point located at the center of the lowermost portion of the range occupied by the image space 41 of the subject images 42a and 42b to the representative points 43a and 43b representing the positions of the subject images 42a and 42b (hereinafter, in the following). , As appropriate, collectively referred to as the representative point 43).
  • the representative point 43 is assumed to be a position in contact with the road surface or the ground of the subject 40 corresponding to the subject image 42.
  • the image recognition unit 51 can output the detected identification information to the outside of the image processing device 20 via the output interface 23.
  • the image recognition unit 51 hands over the identification information of each subject 40 and the belonging probability for each type of the identification information to the first index calculation unit 54.
  • the image recognition unit 51 delivers information on the position and size of the subject image 42 in the image space 41 to the measurement information calculation unit 52.
  • the measurement information calculation unit 52 calculates the measurement information based on the position and size of the subject image 42 detected by the image recognition unit 51 in the image space 41. For example, the measurement information calculation unit 52 calculates the position of the subject 40 by mapping the position of the representative point 43 specified by the image recognition unit 51 into the real space.
  • the relationship between the subject 40 located in the three-dimensional real space and the subject image 42 on the two-dimensional image space 41 is shown.
  • the coordinates (x, y, z) in the real space are directed from the center of the image pickup optical system 11 of the image pickup device 10 based on the coordinates (u, v) of the image space 41.
  • the direction can be calculated.
  • the internal parameters of the image pickup device 10 include information such as the focal length and distortion of the image pickup optical system 11 and the pixel size of the image pickup device 12.
  • the reference surface 44 corresponds to the road surface or the ground on which the vehicle 100 is located.
  • the virtual space is a virtual space used by the control unit 22 to describe the movement of an object.
  • the specific point is the point corresponding to the mass point 45.
  • the method of detecting the position of the subject 40 using the subject image 42 is not limited to the direction by the mapping transformation as shown in FIG.
  • the measurement information calculation unit 52 can detect the three-dimensional position of the subject 40.
  • the measurement information calculation unit 52 determines the distance from the image pickup device 10 to each pixel of the subject image 42 based on the parallax of the images acquired from the plurality of image pickup devices 10 arranged with the optical axes parallel to each other. Can be calculated.
  • the moving images acquired from the plurality of imaging devices 10 are included in the observation data.
  • the measurement information calculation unit 52 acquires the distance to the subject 40 from the distance measuring device mounted on the vehicle 100 and can measure the distance, and fuses this with the information of the subject image 42 detected by the image recognition unit 51.
  • the position of the subject 40 in the real space may be calculated.
  • Distance measuring devices include LIDAR (Light Detection and Ringing), millimeter-wave radar, laser radar, ultrasonic sensors, and stereo cameras.
  • the distance measuring device is not limited to the above, and various devices capable of measuring the distance can be adopted.
  • the observation data includes data on the distance to the subject 40 acquired from the distance measuring device.
  • the measurement information calculation unit 52 can calculate the size of the subject 40 in the real space based on the size of the subject image 42 in the image space 41 and the information of the distance to the subject 40.
  • the image recognition unit 51 may not be able to perform correct detection. Further, the detection of the measurement information by the measurement information calculation unit 52 may include errors due to various factors such as the accuracy of the image pickup apparatus 10, vibration during imaging, and ambient brightness. Therefore, the measurement information correction unit 53 estimates the correct measurement information and corrects the measurement information based on the measurement information of the subject 40 obtained from the images of the sequential frames. A case where the measurement information calculation unit 52 calculates the coordinates (x', y') of the mass point 45 on the virtual space 46 as the position of the subject 40 will be described. As shown in FIG.
  • the measurement information correction unit 53 determines the position (x', y') and velocity (v) of the mass point 45 mapped from the representative point 43 of the subject image 42 to the virtual space 46 on the virtual space 46.
  • x' , v y' is tracked. It is assumed that k-1, k, and k + 1 in FIG. 6 indicate the number of the corresponding frame of the mass point 45. Since the mass point 45 has the information of the position (x', y') and the velocity (v x' , v y' ), the control unit 22 controls the position (x', y') of the mass point 45 in the sequential frame. The range can be predicted.
  • the control unit 22 can recognize the mass point 45 located in the range predicted in the next frame as the mass point 45 corresponding to the tracked subject image 42.
  • the control unit 22 sequentially updates the position (x', y') and velocity (v x' , v y' ) of the mass point 45 each time a new frame is input.
  • an estimation using a Kalman filter based on a state space model can be adopted.
  • robustness against undetectable and false detection of the subject 40 to be tracked is improved.
  • the image processing device 20 of the present disclosure by mapping the subject image 42 to the mass point 45 on the virtual space corresponding to the xy plane of the real space, it is possible to apply a model describing the motion in the real space. The tracking accuracy of the subject 40 is improved. Further, by treating the subject 40 as a mass point 45 having no size, simple and simple tracking becomes possible.
  • the measurement information correction unit 53 estimates the correct position of the subject 40 at that time.
  • the measurement information correction unit 53 may assume a normal distribution in estimating the position of the subject 40.
  • the measurement information correction unit 53 calculates an estimated value of the position of the subject 40 and also calculates an error covariance matrix.
  • the measurement information correction unit 53 can define the probability density distribution of the position of the subject 40 in the virtual space 46 by the error covariance matrix.
  • the error range is represented by an error ellipse, and the certainty of the estimation range defined by the image processing apparatus 20 as a specification can be evaluated.
  • the error ellipse is an ellipse indicating a range in which it can be statistically determined that the true value is located in the range with a predetermined probability.
  • the error ellipse 47 can be displayed as an elliptical region around the mass point 45 of the subject 40 in the virtual space 46.
  • the probability density distribution of the mass points 45 is a one-dimensional normal distribution, respectively.
  • the probability density distributions in the x'axis direction and the y'axis direction are shown as curves on the x'axis and the y'axis.
  • the two eigenvalues ⁇ 1 and ⁇ 2 of the error covariance matrix correspond to the major and minor axis lengths of the error ellipse.
  • ⁇ 1 ⁇ 2 ⁇ is the area of the error ellipse.
  • the measurement information correction unit 53 corrects the measurement information calculated by the measurement information calculation unit 52 based on an estimated value such as the position of the mass point 45 each time the measurement information is acquired from the image of each frame.
  • the measurement information correction unit 53 outputs the corrected measurement information via the output interface 23.
  • the measurement information correction unit 53 calculates the error covariance matrix or its eigenvalue and delivers it to the second index calculation unit 55.
  • the first index calculation unit 54 calculates the first index related to the identification information based on the belonging probability for each type of the identification information calculated by the image recognition unit 51.
  • the first index is also called an object identification index.
  • the first index is an individual index.
  • the first index calculating module 54 a vector whose elements belonging probability of each type of identification information and belongs probability vector v p, when the number of types and N, the first index related to identification information, Calculated by here, Means the L2 norm of the belonging probability vector v p.
  • the L2 norm is also called the Euclidean norm.
  • the first index takes a value of 0 or more and 1 or less.
  • the first index becomes large when the affiliation probability of a specific type is close to 1.
  • the first index becomes smaller when there is no difference in the affiliation probability between types. For example, when the number of types is two and the probabilities of each are two, p 1 and p 2 , the mathematical formula (1) can be expressed as follows. The sum of p 1 and p 2 is always 1.
  • FIG. 8 represents v p1 and v p2 , which are examples of belonging probability vectors v p in a coordinate system in which the values of p 1 and p 2 are taken on two axes.
  • the tip of the belonging probability vector v p is located on a straight line connecting the points (1,0) and the points (0,1).
  • the formula (2) has the smallest value 0 when the combination (p 1 , p 2 ) of the belonging probabilities of the two types is (0.5, 0.5).
  • the image recognition unit 51 determines that the subject 40 is a vehicle, but the first index shows that the former is more reliable than the latter.
  • the first index calculation unit 54 outputs the first index to the integrated index calculation unit 56.
  • the first index is not limited to the reliability index regarding the type of the subject 40.
  • the first index may include, for example, an index such as color and brightness.
  • the first index is not limited to one, and may include a plurality of indexes.
  • the second index calculation unit 55 calculates the second index based on the eigenvalues of the error covariance matrix calculated by the measurement information correction unit 53.
  • the second index is an individual index.
  • the eigenvalues of the error covariance matrix can be used to evaluate the certainty of the estimation range of the measurement information of the subject 40.
  • the second index calculation unit 55 calculates the second index based on the certainty of the estimated range of the position of the subject 40.
  • the estimation error of the position of an object on a two-dimensional plane can be considered to follow the chi-square distribution with two degrees of freedom used in statistics.
  • PDF probability density function
  • CDF cumulative distribution function
  • the second index calculation unit 55 sets the eigenvalues of the error covariance matrix to ⁇ 1 and ⁇ 2, and sets the one-sided tolerance widths in the x and y directions allowed as the error range of the image processing device 20 to d 1 and d 2 . Then, the chi-square value ⁇ 2 is calculated by the following formula (5).
  • One of the x-direction and the y-direction is the first direction, and the other is the second direction.
  • the tolerance widths in the x-direction and the y-direction represent the range of error of the estimated value with respect to the true value, which the image processing apparatus 20 guarantees to the user or the downstream system.
  • the one-sided tolerance width in the x direction is 1 m.
  • the denominator corresponds to the product of the major and minor axes of the error ellipse, which indicates the range of the standard deviation ⁇ of the error variance.
  • the value of ⁇ 2 calculated from equation (5) corresponds to the ratio of the area of the tolerance circle to the area of the error ellipse.
  • the second index calculation unit 55 calculates the second index by applying ⁇ 2 calculated by the formula (5) to the formula (4).
  • the second index can be called an object detection index.
  • the cumulative distribution function with two degrees of freedom is represented by a graph as shown in FIG.
  • the horizontal axis represents ⁇ 2.
  • the vertical axis is the cumulative distribution, which corresponds to the second index.
  • the second index takes a value of 0 or more and 1 or less.
  • the second index calculation unit 55 outputs the second index to the integrated index calculation unit 56.
  • the second index is not limited to the index related to the position of the object.
  • the second index may include an index of the distance to the subject 40 and the reliability of the size of the subject 40.
  • the second index is not limited to one, and may be plural.
  • the integrated index calculation unit 56 calculates an integrated index that integrates a plurality of individual indexes including the first index calculated by the first index calculation unit 54 and / or the second index calculated by the second index calculation unit 55. ..
  • the integrated index is also called an object detection index.
  • Each individual index takes a value of 0 or more and 1 or less.
  • the integrated index calculation unit 56 calculates the integrated index a total according to the following mathematical formula (6).
  • the integrated index a total is a value of 0 or more and 1 or less.
  • the integrated index a total may be calculated by the mathematical formula (7).
  • w i represents the weight of the individual index a i.
  • the integrated index calculation unit 56 can output the calculated integrated index a total to the outside of the image processing device 20 such as the determination device 30 via the output interface 23.
  • the control unit 22 determines the type, color, brightness, and other identification information of the subject image 42 detected by the image recognition unit 51, and the position, distance, size, and the like of the corrected subject 40 calculated by the measurement information correction unit 53.
  • the integrated index a total may be output together with the measurement information.
  • the integrated index calculation unit 56 can output one integrated index a total for each subject image 42 recognized by the image recognition unit 51.
  • the image processing method is an example of an information processing method.
  • the image processing device 20 may be configured to read and implement a program recorded on a non-temporary computer-readable medium for the processing performed by the control unit 22 described below.
  • Non-temporary computer-readable media include, but are not limited to, magnetic storage media, optical storage media, photomagnetic storage media, and semiconductor storage media.
  • Magnetic storage media include magnetic disks, hard disks, and magnetic tapes.
  • Optical storage media include optical discs such as CDs (Compact Discs), DVDs, and Blu-ray Discs (Blu-ray® Discs).
  • the semiconductor storage medium includes a ROM (Read Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), and a flash memory.
  • the flowchart of FIG. 10 is a process of acquiring sequential frames of moving images and executing the process by the control unit 22.
  • the control unit 22 of the image processing device 20 executes the processes of steps S101 to S108 each time a frame of a moving image is acquired according to the flowchart of FIG.
  • control unit 22 acquires a frame of a moving image from the image pickup device 10 via the input interface 21 (step S101).
  • the control unit 22 detects the subject image 42 from the image of the frame by the image recognition unit 51 (step S102). The control unit 22 calculates the type of identification information of the subject 40 and the belonging probability of the type together with the detected subject image 42. Further, the control unit 22 calculates information such as the position and size of the subject image 42 in the image space 41.
  • the control unit 22 calculates the first index representing the reliability of the identification information based on the belonging probability for each type of the identification information calculated in step S102 in the first index calculation unit 54 (step S103).
  • the first index takes a value of 0 or more and 1 or less.
  • the control unit 22 executes steps S104 to S106 in parallel with step S103 or before and after step S103.
  • the control unit 22 measures the position, distance, size, etc. of the subject 40 in the real space based on the information on the position and size of the subject image 42 in the image space 41 calculated in step S102 in the measurement information calculation unit 52. Information is calculated (step S104).
  • the control unit 22 corrects the measurement information calculated by the measurement information calculation unit 52 in the measurement information correction unit 53 (step S105).
  • the control unit 22 estimates the correct measurement information by using the estimated value of the measurement information in the past frame and the measurement information calculated in step S104.
  • the control unit 22 calculates the error distribution together with the estimated value of the measurement information.
  • the error distribution is calculated as an error covariance matrix.
  • the control unit 22 calculates the second index representing the reliability of the measurement information in the second index calculation unit 55 using the eigenvalues of the error covariance matrix calculated in step S105 (step S106).
  • the second index takes a value of 0 or more and 1 or less.
  • the control unit 22 calculates the integrated index in which the first index and the second index are integrated based on the first index and the second index calculated in steps S103 and S106 in the integrated index calculation unit 56 (step). S107).
  • the integrated index takes a value of 0 or more and 1 or less.
  • the control unit 22 outputs the integrated index calculated in step S107 to the outside (step S108).
  • the control unit 22 may output the identification information of the subject image 42 detected in step S102 and the measurement information of the subject 40 corrected in step S105 together with the integrated index.
  • the control unit 22 integrates a plurality of reliability information to obtain one reliability index for one detection target subject 40. Can be calculated. As a result, the control unit 22 can output one integrated index for each of the individual subjects 40 recognized as the subject image 42 in the image recognition.
  • the output of the image processing device 20 is output in the determination device 30 located at the subsequent stage of the image processing device 20. It becomes easier to determine how much you should trust.
  • the determination device 30 is incorporated in a system such as a collision avoidance device for the vehicle 100 or an inter-vehicle distance warning device, and the determination device 30 has acquired an integrated index calculated by a plurality of image processing devices 20. ..
  • the determination device 30 can perform processing according to the reliability according to the values of the plurality of integrated indexes output from the plurality of image processing devices 20.
  • the determination device 30 will output the image processing device 20 if the value of the integrated index output by one of the image processing devices 20 is closer to 1. Information based on is more reliable and can be used with priority.
  • the first index in the present embodiment was calculated according to the mathematical formula (1) based on the affiliation probability for each type of identification information having a plurality of types. This makes it possible to calculate the reliability of the identification information as a consistent index from 0 to 1 by a simple calculation.
  • the second index in the present embodiment was calculated according to mathematical formulas (4) and (5) based on the error covariance matrix of the measurement information and the tolerance guaranteed by the image processing apparatus 20. This makes it possible to calculate the reliability of the measurement information as a consistent index from 0 to 1 by a simple calculation.
  • the image processing device 20 of the present disclosure represents all the reliability indexes of the first index, the second index, and the integrated index with numerical values of 0 or more and 1 or less, the reliability index can be handled consistently. For example, even if the number of reliability indexes to be considered increases, it is easy to integrate them into one index by using the formula (6) or the formula (7).
  • FIG. 11 is a diagram schematically showing an image pickup apparatus 60 according to an embodiment of the present disclosure, which has the functions of the image processing apparatus 20.
  • the image pickup apparatus 60 includes an image pickup optical system 61, an image pickup element 62, a control unit 63, an output interface 64, and a storage unit 65.
  • the image pickup optical system 61 and the image pickup element 62 are components similar to the image pickup optical system 11 and the image pickup element 12 of the image pickup apparatus 10 of FIG.
  • the output interface 64 and the storage unit 65 are components similar to the output interface 23 and the storage unit 24 of the image processing device 20 of FIG.
  • the control unit 63 is a component having the functions of the control unit 13 of the image pickup apparatus 10 and the control unit 22 of the image processing apparatus 20 of FIG.
  • the moving image of the subject 40 imaged by the image pickup optical system 61 is imaged by the image pickup element 62.
  • the control unit 63 executes the same or similar processing as that described in the flowchart of FIG.
  • the image pickup apparatus 60 can calculate the identification information and the measurement information of the subject image 42, and can also calculate the integrated index indicating the reliability of the information.
  • the calculated integrated index is output to the outside of the image pickup apparatus 60 via the output interface 64. As a result, an effect similar to that of the image processing apparatus 20 of the image processing system 1 shown in FIG. 1 can be obtained.
  • the information processing device is the image processing device 20, and the sensor is the image pickup device 10.
  • the sensor is not limited to an imaging device that detects visible light, and includes a far-infrared camera that acquires an image by far-infrared light.
  • the information processing apparatus of the present disclosure is not limited to one that acquires a moving image as observation data and detects a detection target by image recognition.
  • the sensor may be a sensor other than an imaging device capable of sensing the observation space to be observed and detecting the direction and size of the detection target.
  • Sensors include, for example, sensors that use electromagnetic waves or ultrasonic waves. Sensors using electromagnetic waves include millimeter-wave radar and LiDAR (Laser Imaging Detection and Ranging).
  • the detection target is not limited to the subject captured as an image.
  • the information processing device may detect the detection target by acquiring observation data including information such as the direction and size of the detection target output from the sensor.
  • the display space is not limited to the image space in which the moving image is displayed, and can be a space in which the detected detection target can be displayed two-dimensionally.
  • the sensing device 70 includes a millimeter-wave radar 71, which is an example of a sensor, an information processing unit 72, and an output unit 73.
  • the sensing device 70 can be mounted at various positions of the vehicle in the same manner as the imaging device 10.
  • the millimeter wave radar 71 can detect the distance, speed, direction, etc. of the detection target by using electromagnetic waves in the millimeter wave band.
  • the millimeter wave radar 71 includes a transmission signal generation unit 74, a high frequency circuit 75, a transmission antenna 76, a reception antenna 77, and a signal processing unit 78.
  • the transmission signal generation unit 74 generates a frequency-modulated chirp signal.
  • a chirp signal is a signal whose frequency rises or falls at regular intervals.
  • the transmission signal generation unit 74 is mounted on, for example, a DSP (Digital Signal Processor).
  • the transmission signal generation unit 74 may be controlled by the information processing unit 72.
  • the chirp signal is D / A converted and then frequency-converted in the high-frequency circuit 75 to become a high-frequency signal.
  • the high-frequency circuit 75 radiates a high-frequency signal as a radio wave toward the observation space by the transmitting antenna 76.
  • the high-frequency circuit 75 can receive the reflected wave, which is the radio wave radiated from the transmitting antenna 76 by the receiving antenna 77 and reflected by the detection target, as a receiving signal.
  • the millimeter wave radar 71 may include a plurality of receiving antennas 77.
  • the millimeter-wave radar 71 can estimate the direction of the detection target by detecting the phase difference between the receiving antennas in the signal processing unit 78.
  • the method of directional detection in the millimeter wave radar 71 is not limited to the one using the phase difference.
  • the millimeter wave radar 71 can also detect the direction of the detection target by scanning the beam in the millimeter wave band.
  • the high frequency circuit 75 amplifies the received signal, mixes it with the transmitted signal, and converts it into a beat signal indicating a frequency difference.
  • the beat signal is converted into a digital signal and output to the signal processing unit 78.
  • the signal processing unit 78 processes the received signal and executes estimation processing such as distance, speed, and direction. Since the method of estimating the distance, speed, direction, etc. in the millimeter wave radar 71 is known, the description of the processing by the signal processing unit 78 will be omitted.
  • the signal processing unit 78 is mounted on a DSP, for example.
  • the signal processing unit 78 may be mounted on the same DSP as the transmission signal generation unit 74.
  • the signal processing unit 78 outputs information such as the estimated distance, speed, and direction as observation data to be detected to the information processing unit 72.
  • the information processing unit 72 can perform various processes by mapping the detection target into the virtual space based on the observation data.
  • the information processing unit 72 is composed of one or more processors similar to the control unit 13 of the image pickup apparatus 10.
  • the information processing unit 72 may control the entire sensing device 70. The process executed by the information processing unit 72 will be described in more detail later.
  • the output unit 73 is an output interface that outputs the result of processing by the information processing unit 72 to an external display device of the sensing device 70 or an ECU in the vehicle.
  • the output unit 73 may include a communication processing circuit connected to a vehicle network such as CAN, a communication connector, and the like.
  • the information processing unit 72 acquires observation data from the signal processing unit 78 (step S201).
  • the information processing unit 72 maps the observation data to the virtual space (step S202).
  • An example of the observation data mapped in the virtual space is shown in FIG.
  • the observation data of the millimeter wave radar 71 is obtained as point information having distance, velocity, and direction information, respectively.
  • the information processing unit 72 maps each observation data onto a horizontal plane.
  • the horizontal axis shows the x-axis direction, which is the left-right direction with the center as 0, in meters.
  • the vertical axis shows the distance in the depth direction, which is the y-axis direction, in meters, with the closest position as 0.
  • the information processing unit 72 clusters a collection of points in the virtual space and detects the detection target (step S203).
  • Clustering means extracting a point cloud, which is a collection of points, from data indicating individual points.
  • the information processing unit 72 can extract a point cloud which is a collection of points showing observation data.
  • the information processing unit 72 can determine that the detection target actually exists in the portion where a large number of observation data are collected. On the other hand, the observation data corresponding to each discrete point can be judged to be due to observation noise.
  • the information processing unit 72 may set a threshold value for the number of points corresponding to the observation data, the density, or the like, and determine whether or not the collection of observation data is the detection target.
  • the information processing unit 72 can estimate the size of the detection target based on the size of the area occupied by the point cloud.
  • the information processing unit 72 tracks the position of each detected point cloud in the virtual space (step S204).
  • the information processing unit 72 can set the center of the area occupied by each point cloud or the average of the coordinates of the positions of the points included in the point cloud as the position of each point cloud.
  • the information processing unit 72 grasps the movement of the detection target in chronological order by tracking the movement of the point cloud.
  • the information processing unit 72 estimates the correct position of the detection target at that time. In estimating the position of the detection target, the information processing unit 72 may calculate the estimated value of the position and the error covariance matrix in the same manner as the measurement information correction unit 53 of FIG.
  • the information processing unit 72 estimates the type of detection target corresponding to each point cloud (step S205).
  • the types of detection targets include “vehicles”, “pedestrians”, “motorcycles” and the like.
  • the type of the detection target can be specified by using any one or more of the speed, size, shape, position of the detection target, the density of points of the observation data, the intensity of the detected reflected wave, and the like.
  • the information processing unit 72 can accumulate the Doppler speed of the detection target acquired from the signal processing unit 78 in time series, and estimate the type of the detection target from the distribution pattern. Further, the information processing unit 72 can estimate the type of the detection target from the information on the size of the detection target estimated in step S203.
  • the information processing unit 72 can acquire the intensity of the reflected wave corresponding to the observation data from the signal processing unit 78 and estimate the type of the detection target. For example, a vehicle containing a large amount of metal has a large reflected cross section, so that the intensity of the reflected wave is stronger than that of a pedestrian having a small reflected cross section.
  • the information processing unit 72 may estimate the type of the detection target and calculate the reliability indicating the certainty of the estimation.
  • the information processing unit 72 maps-converts the detection target from the virtual space to the display space, which is the display space (step S206).
  • the display space may be a two-dimensional plane representing a three-dimensional observation space viewed from the user's point of view, such as an image space.
  • the display space may be a two-dimensional space in which the observation target is viewed from the z-axis direction (vertical direction).
  • the information processing unit 72 may directly map the observation data acquired from the signal processing unit 78 in step S201 to the display space without going through steps S203 to S205.
  • the information processing unit 72 further performs data processing based on the detection target mapped to the display space and the data such as the position, speed, size, and type of the detection target obtained in steps S203 to S206. It can be done (step S207). For example, the information processing unit 72 uses the type of the detection target estimated in step S205 as identification information indicating the type of the detection target, and sets the reliability as the belonging probability for each type, which is similar to the first index calculation unit 54 in FIG. Can be processed. Further, the information processing unit 72 uses the information such as the position and size of the detection target estimated in steps S203 and S204 as measurement information, and uses an error covariance matrix to perform processing similar to that of the second index calculation unit 55 in FIG. It can be performed. Therefore, the information processing unit 72 can execute a process similar to the process shown in FIG. 10 using the observation data of the millimeter wave radar 71. Further, the information processing unit 72 can output each data from the output unit 73 for processing by another device (step S207).
  • the sensing device 70 can perform the same processing as the case where the image pickup device is used as the sensor to obtain a similar effect.
  • the sensing device 70 of FIG. 12 has a millimeter-wave radar 71 and an information processing unit 72 built-in.
  • the millimeter-wave radar and the information processing device having the function of the information processing unit 72 may be provided as separate bodies.
  • the "moving body” in the present disclosure includes vehicles, ships, and aircraft.
  • Vehicles in the present disclosure include, but are not limited to, automobiles and industrial vehicles, and may include railroad vehicles, living vehicles, and fixed-wing aircraft traveling on runways.
  • Automobiles include, but are not limited to, passenger cars, trucks, buses, motorcycles, trolley buses and the like, and may include other vehicles traveling on the road.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include, but are not limited to, forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, cultivators, porters, binders, combines, and mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, mobile cranes, dump trucks, and road rollers. Vehicles include those that run manually. The classification of vehicles is not limited to the above. For example, an automobile may include an industrial vehicle that can travel on the road and may include the same vehicle in multiple categories. Ships in the present disclosure include marine jets, boats and tankers. Aircraft in the present disclosure include fixed-wing aircraft and rotary-wing aircraft.
  • Image processing system (information processing system) 10 Imaging device (sensing device) 11 Imaging optical system 12 Control unit 20 Image processing device (information processing device) 21 Input interface 22 Control unit (processor) 23 Output interface 24 Storage unit 30 Judgment device 40 Subject (detection target) 41 Image space 42, 42a, 42b Subject image 43 Representative point 44 Reference surface 45 Mass point 46 Virtual space 51 Image recognition unit 52 Measurement information calculation unit 53 Measurement information correction unit 54 First index calculation unit 55 Second index calculation unit 56 Integrated index Calculation unit 60 Imaging device (sensing device) 61 Imaging optical system 62 Image sensor 63 Control unit 64 Output interface 70 Sensing device 71 Millimeter wave radar (sensor) 72 Information processing unit 73 Output unit 74 Transmission signal generation unit 75 High frequency circuit 76 Transmission antenna 77 Reception antenna 78 Signal processing unit 100 Vehicle (mobile) v 1 , v 2 belonging probability vector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置は、入力インターフェイスと、プロセッサと、出力インターフェイスとを備える。入力インターフェイスは、観測空間から得られた観測データを取得する。プロセッサは、観測データ中から検出対象被写体像を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、算出した複数の個別指標を統合した統合指標をさらに算出する。出力インターフェイスは、前記統合指標を出力する。

Description

情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム 関連出願の相互参照
　本出願は、２０１９年１２月２５日に出願された日本国特許出願２０１９－２３５１１５号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システムに関する。
　従来、車載カメラ等の車両に搭載されたセンサの出力に基づいて、検出対象の物体のタイプ、位置、大きさ等を検知する装置が提供されている。このような装置では、センサの性能及び周辺環境により、誤検出をすること及び検出誤差を含むことがある。このため、検出対象の測定とともに、検出結果の信頼度を出力できる装置又はシステムが提案されている（例えば、特許文献１参照）。
　例えば、特許文献１では、カメラの画像から撮像対象の被写体を認識し、その被写体の３次元位置を逐次計測すると共に、当該計測情報の信頼度の指標となる情報を、計測情報と共に創出するカメラシステムが開示されている。
特開平９－３２２０４８号公報
　本開示の情報処理装置は、入力インターフェイスと、プロセッサと、出力インターフェイスとを備える。前記入力インターフェイスは、観測空間から得られた観測データを取得する。前記プロセッサは、前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、該算出した複数の個別指標を統合した統合指標をさらに算出する。前記出力インターフェイスは、前記統合指標を出力する。
　本開示のセンシング装置は、センサと、プロセッサと、出力インターフェイスとを備える。前記センサは、観測空間をセンシングし、検出対象の観測データを取得するように構成される。前記プロセッサは、前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、該算出した複数の個別指標を統合した統合指標をさらに算出する。前記出力インターフェイスは、前記統合指標を出力する。
　本開示の移動体は、情報処理装置を備える。前記情報処理装置は、入力インターフェイスと、プロセッサと、出力インターフェイスとを備える。前記入力インターフェイスは、観測空間から得られた観測データを取得する。前記プロセッサは、前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、該算出した複数の個別指標を統合した統合指標をさらに算出する。前記出力インターフェイスは、前記統合指標を出力する。
　本開示の画像処理方法は、観測空間から観測データを取得し、前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出することを含む。前記画像処理方法は、前記算出した複数の個別指標を統合した統合指標をさらに算出し、前記統合指標を出力することを含む。
　本開示の情報処理システムは、センサと、情報処理装置と、判定装置とを含む。前記センサは、観測空間から観測データを取得する。前記情報処理装置は、プロセッサを含む。前記プロセッサは、前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出する。前記プロセッサは、該算出した複数の個別指標を統合した統合指標をさらに算出する。前記判定装置は、前記統合指標に基づいて、前記センサに基づく前記識別情報及び前記計測情報の少なくとも何れかの情報の使用可否を判定する。
図１は、一実施形態に係る情報処理システムである画像処理システムの概略構成を示すブロック図である。 図２は、図１の画像処理システムを搭載する車両と被写体との一例を示す図である。 図３は、図１の画像処理装置の制御部の機能ブロック図である。 図４は、動画像上の被写体像の一例を示す図である。 図５は、実空間の被写体、動画像中の被写体像及び仮想空間における質点の関係を説明する図である。 図６は、仮想空間における質点の移動の一例を示す図である。 図７は、被写体位置の推定値の誤差楕円を示す図である。 図８は、第１の指標の算出方法を説明する図である。 図９は、第２の指標の算出方法における累積分布関数を示す図である。 図１０は、図１の画像処理装置の制御部が実行する処理の例を示すフローチャートである。 図１１は、一実施形態に係るセンシング装置である撮像装置の概略構成を示すブロック図である。 図１２は、ミリ波レーダーを含むセンシング装置の概略構成の一例を示すブロック図である。 図１３は、図１２のセンシング装置の情報処理部が実行する処理の例を示すフローチャートである。 仮想空間に写像変換された観測データの一例を示す図である。 図１４の観測データをクラスタ化した図である。
　車載カメラ等のセンシング装置で取得した観測データを処理する情報処理装置において、検出対象が多種類で多個体にわたる場合がある。また、情報処理装置では、検出される情報に、定量的な計測情報、および、検出対象の種別等の識別情報が含まれうる。そのような場合に、各個体の各情報について信頼度の情報を創出すると非常に煩雑になる虞がある。
　複数の信頼度の情報を統合して一つの信頼度の指標を算出することができると、利用しやすい場合がある。
　以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
　本開示の一実施形態に係る情報処理システムの一例である画像処理システム１は、撮像装置１０と、画像処理装置２０と、判定装置３０とを含む。撮像装置１０は、観測空間をセンシングするセンサの一例である。画像処理装置２０は、情報処理装置の一例である。画像処理システム１は、図２に例示するように移動体の一例である車両１００に搭載される。
　図２に示すように、本実施形態において、実空間の座標のうち、ｘ軸方向は、撮像装置１０が設置された車両１００の幅方向とする。実空間は、観測データを取得する対象である観測空間である。ｙ軸方向は、車両１００の後退する方向とする。ｘ軸方向とｙ軸方向とは、車両１００が位置する路面に平行な方向である。ｚ軸方向は、路面に対して垂直な方向である。ｚ軸方向は、鉛直方向とよぶことができる。ｘ軸方向、ｙ軸方向及びｚ軸方向は、互いに直交する。ｘ軸方向、ｙ軸方向及びｚ軸方向のとり方はこれに限られない。ｘ軸方向、ｙ軸方向及びｚ軸方向は、互いに入れ替えることができる。
（撮像装置）
　図１に示すように、撮像装置１０は、撮像光学系１１、撮像素子１２及び制御部１３を含んで構成される。
　撮像装置１０は、車両１００の種々の位置に設置されうる。撮像装置１０は、フロントカメラ、左サイドカメラ、右サイドカメラ、及び、リアカメラ等を含むが、これらに限られない。フロントカメラ、左サイドカメラ、右サイドカメラ、及びリアカメラは、それぞれ車両１００の前方、左側方、右側方、及び後方の周辺領域を撮像可能となるように車両１００に設置される。以下に一例として説明する実施形態では、図２に示すように、撮像装置１０は、車両１００の後方を撮像可能なように、光軸方向を水平方向より下に向けて車両１００に取付けられている。
　撮像素子１２は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。撮像素子１２は、撮像光学系１１により撮像素子１２の撮像面に結像された被写体像を、電気信号に変換する。被写体像は、検出対象である被写体の像である。撮像素子１２は、所定のフレームレートで、動画像を撮像することができる。動画像は、観測データの一例である。動画像を構成する各静止画像をフレームと呼ぶ。１秒間に撮像できる画像の数をフレームレートという。フレームレートは、例えば、６０ｆｐｓ（frames per second）、３０ｆｐｓ等としうる。
　制御部１３は、撮像装置１０全体を制御するとともに、撮像素子１２から出力された動画像に対して、種々の画像処理を実行する。制御部１３が行う画像処理は、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を含みうる。
　制御部１３は、１つ又は複数のプロセッサで構成されうる。制御部１３は、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続又は処理を実行するように構成された１以上の回路又はユニットを含む。制御部１３は、１以上のプロセッサ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、デジタル信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field-Programmable Gate Array）、又はこれらのデバイス若しくは構成の任意の組み合わせ、又は他の既知のデバイス若しくは構成の組み合わせを含む。
（画像処理装置）
　画像処理装置２０は、車両１００の任意の位置に取り付けることができる。例えば、画像処理装置２０は、車両１００のダッシュボード内、トランクルーム内、又は、座席下等に配置されうる。画像処理装置２０は、入力インターフェイス２１、制御部２２、出力インターフェイス２３及び記憶部２４を含んで構成される。
　入力インターフェイス２１は、撮像装置１０との間で有線又は無線の通信手段により通信可能に構成される。入力インターフェイス２１は、撮像装置１０から動画像を取得可能に構成される。入力インターフェイス２１は、撮像装置１０の送信する画像信号の伝送方式に対応してよい。入力インターフェイス２１は、入力部又は取得部と言い換えることができる。撮像装置１０と入力インターフェイス２１との間は、ＣＡＮ（Control Area Network）等の車載通信ネットワークにより接続されてよい。
　制御部２２は、画像処理装置２０全体を制御する。制御部２２は、入力インターフェイス２１を介して取得した動画像中から被写体像を検出し、それぞれが被写体像の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出する。制御部２２は、算出した複数の個別指標を統合した統合指標をさらに算出する。制御部２２は、撮像装置１０の制御部１３と同じく、一つ又は複数のプロセッサを含んで構成される。また、制御部２２は、制御部１３と同じく、複数の種類のデバイスが組み合わされて構成されてよい。制御部２２は、プロセッサ又はコントローラと言い換えることができる。
　本実施形態において、「識別情報」とは、動画像から検出される被写体４０の特徴を示す情報である。「識別情報」は、動画像から検出される被写体４０の「タイプ」、「色」及び「輝度」等を含む。ここで、被写体４０の「タイプ」は、被写体４０である物体を物体の種別により分類したものである。被写体４０のタイプは、被写体の「クラス」と言い換えうる。「識別情報」は、それぞれ複数の種別の中の一つによって特定される。被写体４０の「タイプ」の種別は、例えば、「車両」、「歩行者」、及び、「二輪車」等を含む。被写体４０が道路上の物体の場合、制御部２２はその「タイプ」を、複数の「タイプ」の種別の中の一つに特定する。被写体４０の「色」の種別は、例えば、「赤色」、「青色」及び「黄色」等を含む。被写体４０が、路側に位置する信号機のライトの場合、制御部２２は、その色の種別として、「赤色」、「青色」及び「黄色」の中の一つを特定することができる。被写体４０の「輝度」は、撮像素子１２により検出される輝度に応じて閾値を設けることにより、「明るい」、「暗い」等の複数の種別に区分される。
　本実施形態において、「計測情報」とは、動画像に含まれる被写体４０の像を順次のフレームで処理して演算により得られる定量的な情報である。「計測情報」は、例えば、動画像から検出される被写体４０の「位置」、「距離」及び「大きさ」等を含む。「位置」は、例えば、被写体４０の実空間における座標を示す。「距離」は、例えば、車両１００、特に撮像装置１０から被写体４０までの距離である。「大きさ」は、被写体４０の実空間における、幅及び高さ等の寸法である。
　本実施形態において、「信頼度」は、制御部２２により算出される識別情報及び計測情報の確からしさである。「信頼度」は、相対的な概念である。本開示の「信頼度」は、信頼度を表す指標により、０から１の数値で表されることができる。例えば、信頼度の指標が小さいほど信頼度が低い。例えば、信頼度の指標が大きいほど、信頼度が高い。
　制御部２２は、図３に示すように、画像認識部５１、計測情報算出部５２、計測情報補正部５３、第１指標算出部５４、第２指標算出部５５及び統合指標算出部５６の各機能ブロックを含んで構成される。各機能ブロックが行う処理の詳細については、後述する。
　出力インターフェイス２３は、画像処理装置２０から出力情報である出力信号を出力するように構成される。出力インターフェイス２３は、出力部と言い換えることができる。出力インターフェイス２３は、制御部２２により算出された識別情報及び計測情報、並びに、これらの情報の信頼度を示す統合指標を、画像処理装置２０の外部に出力することができる。出力インターフェイス２３は、例えば、画像処理装置２０の外部の判定装置３０に上記識別情報、計測情報及び統合指標を出力することができる。判定装置３０は、衝突防止装置及び警報装置等に含まれてよい。
　出力インターフェイス２３は、物理コネクタ、及び、無線通信機の少なくとも何れかを含んで構成されうる。複数の実施形態の１つにおいて、出力インターフェイス２３は、ＣＡＮ等の車両１００のネットワークに接続されうる。出力インターフェイス２３は、ＣＡＮ等の通信ネットワークを介して判定装置３０、車両１００の衝突回避装置、及び車間距離警報装置等に接続されうる。
　記憶部２４は、制御部２２が行う処理に必要なデータ及びプログラムを格納する記憶装置である。例えば、記憶部２４は、撮像装置１０から取得した動画像を一時的に記憶する。例えば、記憶部２４は、制御部２２が行う処理により生成されるデータを、順次格納する。記憶部２４は、例えば半導体メモリ、磁気メモリ、及び光メモリ等の何れか一つ以上を用いて構成されてよい。半導体メモリは、揮発性メモリ及び不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスク及び磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、及びＢＤ（Blu-ray（登録商標） Disc）等を含んでよい。
　判定装置３０は、画像処理装置２０から出力された統合指標に基づいて、各被写体４０に関する識別情報及び計測情報の少なくとも何れかの情報の使用可否を判定する。判定装置３０は、識別情報及び計測情報を使用する他の装置に組み込まれてよい。判定装置３０を有する装置としては、衝突警告、自動ブレーキ、及び、自動操舵等の機能を提供する装置を含む。例えば、判定装置３０は、画像処理装置２０において車両１００の進行方向に特定のタイプの被写体４０が当該被写体４０までの距離とともに検出された場合を想定する。統合指標の値が０に近く著しく信頼度が低い場合、判定装置３０は、画像処理装置２０の出力する被写体４０に関する情報を採用しないことができる。統合指標の値が１に近く信頼度が高い場合、判定装置３０は、画像処理装置２０の出力する被写体４０に関する情報を採用して車両等の制御等を実行してよい。
（制御部の機能）
　以下に、図３から図９を参照して、制御部２２の各機能ブロックについて説明する。制御部２２の各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。以下に説明する個々の機能ブロックが行う動作を、制御部２２は実行できる。制御部２２は、各機能ブロックの全ての動作を実行してよい。各機能ブロックが行う動作は、制御部２２が行う動作として言い換えてよい。制御部２２が、各機能ブロックのいずれかを使役して行う処理は、制御部２２が自ら実行するものとみなせる。
（画像認識部）
　画像認識部５１は、入力インターフェイス２１を介して、撮像装置１０から動画像の各フレームを取得する。図４に、動画像の１フレームの画像の一例が示される。図４の例では、ｕｖ座標系からなる２次元の画像空間４１に、車両１００の後ろを横切ろうとしている歩行者の被写体像４２ａと、車両１００の後方を走る他の車両の被写体像４２ｂが表示されている。画像空間は、表示空間の一例である。表示空間は、利用者に視認させるため、または、他の装置での利用に供するため、検出対象を２次元的に表現した空間である。ｕ座標は、画像の横方向の座標である。ｖ座標は、画像の縦方向の座標である。図４において、ｕｖ座標の原点は、画像空間４１の左上端の点である。また、ｕ座標は、左から右へ向かう方向を正の方向とする。ｖ座標は、上から下へ向かう方向を正の方向とする。
　画像認識部５１は、動画像の各フレームから被写体像４２ａ、４２ｂ（以下、適宜纏めて被写体像４２とする）を検出する。被写体像４２の検出方法は、公知の種々の方法を含む。例えば、被写体像４２の認識方法は、車両及び歩行者等の物体の形状認識による方法、テンプレートマッチングによる方法、画像から特徴量を算出しマッチングに利用する方法等を含む。特徴量を用いる被写体像４２の検出方法の場合、特徴量の算出には、入出力の関係を学習可能な関数近似器を用いることができる。入出力の関係を学習可能な関数近似器には、ニューラルネットワークを用いることができる。例えば、画像認識部５１は、予めニューラルネットワークによる深層学習により、車両、歩行者、二輪車等の被写体４０のタイプの各種別の特徴量を学習した関数近似器を用いて、特徴量を算出することができる。
　画像認識部５１は、識別情報の一例として、被写体４０のタイプの情報を出力する。画像認識部５１は、検出した被写体像４２ごとに、被写体４０のタイプの種別と種別ごとの所属確率を算出する。所属確率は、その種別に属する確率を示す。例えば、画像認識部５１は、被写体像４２ａのタイプの種別を「車両」、「歩行者」、「二輪車」とするとき、その所属確率を「車両」０．７、「歩行者」０．２、「二輪車」０．１のように算出する。この場合、種別の数は３つである。画像認識部５１は、所属確率が最も高い「歩行者」を、被写体像４２ａのタイプの種別であると判定する。
　画像認識部５１は、フレームごとに検出した個々の被写体像４２について、画像空間４１上の位置及び大きさ等を表す情報を出力できる。例えば、画像認識部５１は、画像空間４１内で被写体像４２が占める横方向（ｕ方向）及び縦方向（ｖ方向）の範囲を特定して、被写体像４２の大きさとすることができる。例えば、被写体像４２の画像空間４１内で占める範囲は、図４において矩形の枠で示される。また、画像認識部５１は、被写体像４２の画像空間４１における位置を特定する。例えば、画像認識部５１は、それぞれの被写体像４２ａ、４２ｂの画像空間４１で占める範囲の最下部の中央に位置する点を、被写体像４２ａ、４２ｂの位置を表す代表点４３ａ、４３ｂ（以下において、適宜纏めて代表点４３とする）として特定する。この代表点４３は、被写体像４２に対応する被写体４０の路面又は地面と接している位置であると想定される。
　画像認識部５１は、検出した識別情報を、出力インターフェイス２３を介して画像処理装置２０の外部に出力することができる。画像認識部５１は、各被写体４０の識別情報と識別情報の種別ごとの所属確率を、第１指標算出部５４に引き渡す。画像認識部５１は、被写体像４２の画像空間４１における位置及び大きさの情報を、計測情報算出部５２に引き渡す。
（計測情報算出部）
　計測情報算出部５２は、画像認識部５１で検出した被写体像４２の画像空間４１における位置及び大きさに基づいて、計測情報を算出する。例えば、計測情報算出部５２は、画像認識部５１で特定した代表点４３の位置を、実空間に写像変換することにより被写体４０の位置を算出する。
　例えば、図５において、３次元の実空間に位置する被写体４０と、２次元の画像空間４１上の被写体像４２との関係が示される。撮像装置１０の内部パラメータが既知の場合、画像空間４１の座標（ｕ，ｖ）に基づき、撮像装置１０の撮像光学系１１の中心から実空間の対応する座標（ｘ，ｙ，ｚ）に向かう方向を算出することができる。撮像装置１０の内部パラメータは、撮像光学系１１の焦点距離、歪、及び、撮像素子１２の画素サイズ等の情報を含む。実空間において、画像空間４１の代表点４３に対応する方向に向かう直線が、ｚ＝０の基準面４４と交差する点を被写体４０の質点４５とする。基準面４４は、車両１００が位置する路面又は地面に相当する。質点４５は、３次元の座標（ｘ，ｙ，０）を有する。したがって、ｚ＝０の２次元平面を仮想空間４６とするとき、質点４５の座標は、（ｘ’，ｙ’）で表すことができる。仮想空間は、制御部２２において、物体の運動を記述するために使用する仮想的な空間である。仮想空間４６上の質点４５の座標（ｘ’，ｙ’）は、実空間においてｚ軸に沿う方向から被写体４０を見た場合のｘｙ平面（ｚ＝０）での被写体４０の特定の点の座標（ｘ，ｙ）に相当する。特定の点は、質点４５に対応する点である。
　被写体像４２を用いて被写体４０の位置を検出する方法は、図５に示したような写像変換による方向に限られない。例えば、撮像装置１０を複数台用いて、ステレオカメラを構成することによって、計測情報算出部５２は被写体４０の３次元の位置を検出することが可能になる。この場合、計測情報算出部５２は、光軸を平行にして配置された複数台の撮像装置１０から取得される画像の視差に基づいて、撮像装置１０から被写体像４２の各画素までの距離を算出しうる。この場合、複数台の撮像装置１０から取得される動画像が観測データに含まれる。
　また、計測情報算出部５２は、車両１００に搭載された距離を計測可能な測距装置から、被写体４０までの距離を取得し、これを画像認識部５１で検出した被写体像４２の情報と融合させ、被写体４０の実空間における位置を算出してよい。測距装置には、ＬＩＤＡＲ（Light Detection and Ranging）、ミリ波レーダー、レーザーレーダー、超音波センサ、及び、ステレオカメラが含まれる。測距装置は、上記のものに限られず、距離測定をすることができる種々の装置を採用しうる。この場合、撮像装置１０から取得される動画像に加え、測距装置から取得される被写体４０までの距離のデータが、観測データに含まれる。
　計測情報算出部５２は、実空間における被写体４０の大きさを、画像空間４１における被写体像４２の大きさと、被写体４０までの距離の情報に基づいて算出することができる。
（計測情報補正部）
　画像認識部５１は、画像空間４１で被写体像４２が重なりあった場合、正しい検出を行えない場合がある。また、計測情報算出部５２による計測情報の検出には、撮像装置１０の精度、撮像時の振動及び周辺の明るさ等の種々の要因による誤差を含みうる。このため、計測情報補正部５３は、順次のフレームの画像から得られる被写体４０の計測情報に基づいて、正しい計測情報を推定して計測情報を補正する。計測情報算出部５２で、被写体４０の位置として仮想空間４６上の質点４５の座標（ｘ’，ｙ’）を算出する場合について説明する。計測情報補正部５３は、図６に示すように、仮想空間４６上で被写体像４２の代表点４３から仮想空間４６に写像変換された質点４５の位置（ｘ’，ｙ’）及び速度（ｖx'，ｖy'）を追跡（トラッキング）する。図６中のｋ－１、ｋ、ｋ＋１は、質点４５の対応するフレームの番号を示すものとする。質点４５が位置（ｘ’，ｙ’）及び速度（ｖx'，ｖy'）の情報を有することにより、制御部２２は、順次のフレームにおける質点４５の位置（ｘ’，ｙ’）の範囲を予測することができる。制御部２２は、次のフレームで予測された範囲に位置する質点４５を、追跡している被写体像４２に対応する質点４５であると認識することができる。制御部２２は、新たなフレームの入力を受ける毎に、順次質点４５の位置（ｘ’，ｙ’）及び速度（ｖx'，ｖy'）を更新する。
　質点４５の追跡は、例えば、状態空間モデルに基づくカルマンフィルタを用いた推定を採用することができる。カルマンフィルタを用いた予測／推定を行うことにより、追跡対象の被写体４０の検知不能及び誤検知等に対するロバスト性が向上する。一般に、画像空間４１の被写体像４２に対しては、運動を記述する適切なモデルで記述することは困難である。そのため、簡易に高精度の位置の推定を行うことは困難であった。本開示の画像処理装置２０では、被写体像４２を実空間のｘｙ平面に対応する仮想空間上の質点４５に写像変換することにより、実空間における運動を記述するモデルの適用が可能になるので、被写体４０の追跡の精度が向上する。また、被写体４０を、大きさを持たない質点４５として扱うことにより、単純で簡易な追跡が可能となる。
　計測情報補正部５３は、撮像装置１０から動画像のフレームを取得するごとに、その時点での被写体４０の正しい位置を推定する。計測情報補正部５３は、被写体４０の位置の推定において、正規分布を仮定してよい。計測情報補正部５３は、被写体４０の位置の推定値を算出すると共に、誤差共分散行列を算出する。計測情報補正部５３は、誤差共分散行列により、仮想空間４６における被写体４０の位置の確率密度分布を規定しうる。誤差共分散行列を用いると、誤差の範囲を誤差楕円により表現し、画像処理装置２０が仕様として定めている推定範囲の確からしさを評価することができる。誤差楕円は、真値が所定の確率でその範囲に位置すると統計的に判断できる範囲を示す楕円である。
　図７に示すように、誤差楕円４７は、仮想空間４６における被写体４０の質点４５の周りの楕円形の領域として表示することができる。ｘ’軸及びｙ’軸方向について見たとき、質点４５の確率密度分布はそれぞれ一次元の正規分布となる。図７において、ｘ’軸方向及びｙ’軸方向の確率密度分布が、ｘ’軸及びｙ’軸上に曲線として示されている。誤差共分散行列の２つの固有値λ1、λ2は、誤差楕円の長軸長及び短軸長に対応する。λ1λ2πは、誤差楕円の面積となる。
　計測情報補正部５３は、各フレームの画像から計測情報を取得する度に、質点４５の位置等の推定値等に基づき計測情報算出部５２で算出した計測情報を補正する。計測情報補正部５３は、補正した計測情報を、出力インターフェイス２３を介して出力する。計測情報補正部５３は、誤差共分散行列、又は、その固有値を計算して、第２指標算出部５５に引き渡す。
（第１指標算出部）
　第１指標算出部５４は、画像認識部５１で算出した識別情報の種別ごとの所属確率に基づいて、識別情報に関する第１指標を算出する。第１指標は、物体識別指標とも呼ぶ。第１指標は、個別指標である。第１指標算出部５４は、識別情報の種別ごとの所属確率を要素とするベクトルを所属確率ベクトルｖpとし、種別の数をＮとするとき、識別情報に関する第１指標を、
Figure JPOXMLDOC01-appb-M000006
 により算出する。ここで、
Figure JPOXMLDOC01-appb-M000007
 は、所属確率ベクトルｖpのＬ２ノルムを意味する。Ｌ２ノルムは、ユークリッドノルムとも呼ばれる。
　第１指標は０以上１以下の値をとる。第１指標は、特定の種別の所属確率が１に近いとき大きくなる。第１指標は、種別間の所属確率に差がないとき小さくなる。例えば、種別の数が２つであり、それぞれの確率が、ｐ1とｐ2の２つの場合の、数式（１）は次のように表せる。ｐ1とｐ2との和は常に１となる。
Figure JPOXMLDOC01-appb-M000008
　図８は、ｐ1及びｐ2の値を２軸にとった座標系における、所属確率ベクトルｖpの例であるｖp1、ｖp2を表す。所属確率ベクトルｖpの先端は、点（１，０）と点（０，１）とを結ぶ直線上に位置する。数式（２）は、２つの種別の所属確率の組み合わせ（ｐ1，ｐ2）が（０．５，０．５）のとき最も小さい値０となる。数式（２）は、２つの種別の所属確率の組み合わせ（ｐ1，ｐ2）が（１，０）又は（０，１）に近いほど１に近くなる。数式（２）の値が１に近いほど、画像認識部５１が識別情報の種別を明確に判定しているといえる。
　Ｎが３以上の場合も類似の判定が有効である。例えば、被写体４０のタイプの種別が、それぞれ、車両、歩行者、二輪車の３つであり、その所属確率ベクトルｖpが、
ｖp＝（０．９，０．１，０．０）の場合と、ｖp＝（０．６，０．２，０．２）の場合とを比べると、前者の場合の第１指標は、０．７７６５０、後者の場合の第１指標は０．２０３４１となる。この場合、画像認識部５１は、いずれも被写体４０を車両であると判定するが、第１指標から前者の方が後者よりも信頼度が高いことが示される。
　第１指標算出部５４は、第１指標を統合指標算出部５６に出力する。第１指標は、被写体４０のタイプに関する信頼度の指標に限られない。第１指標は、例えば、色及び輝度等の指標を含んでよい。第１指標は、一つに限られず、複数の指標を含んでよい。
（第２指標算出部）
　第２指標算出部５５は、計測情報補正部５３で算出した誤差共分散行列の固有値に基づいて、第２指標を算出する。第２指標は、個別指標である。誤差共分散行列の固有値は、被写体４０の計測情報の推定範囲の確からしさ評価するために使用できる。第２指標算出部５５は、第２指標を被写体４０の位置の推定範囲の確からしさに基づいて算出する。
　一般に、２次元平面上の物体位置の推定誤差は、統計学で利用される自由度２のカイ二乗分布に従うと考えることができる。自由度２のカイ二乗分布では、確率密度関数（ＰＤＦ：probability density function）は数式（３）であることが知られている。
Figure JPOXMLDOC01-appb-M000009
　また、一般に、自由度２のカイ二乗分布では、累積分布関数（ＣＤＦ：cumulative distribution function）は、数式（４）であることが知られている。
Figure JPOXMLDOC01-appb-M000010
　第２指標算出部５５は、誤差共分散行列の固有値をλ1及びλ2とし、画像処理装置２０の誤差範囲として許容されるｘ方向及びｙ方向の片側公差幅を、ｄ1及びｄ2とするとき、次の数式（５）によりカイ二乗値χ2を算出する。ｘ方向及びｙ方向は、一方が第１方向であり、他方が第２方向である。ｘ方向及びｙ方向の公差幅は、画像処理装置２０が利用者又は下流のシステムに対して保証する、推定値の真値に対する誤差の範囲を表す。例えば、測定値がｘ方向に１０ｍであり、画像処理装置２０の保証する公差が１０％の場合、ｘ方向の片側公差幅は１ｍとなる。
Figure JPOXMLDOC01-appb-M000011
 　数式（５）の左辺において、分母は誤差分散の標準偏差σの範囲を示す誤差楕円の長軸及び短軸の積に相当する。数式（５）から算出されるχ2の値は、誤差楕円の面積に対する公差円の面積の比に相当する。第２指標算出部５５は、数式（５）で算出したχ2を数式（４）に適用して第２指標を算出する。第２指標は、物体検知指標と呼ぶことができる。
　統計学で公知なように、自由度２の累積分布関数は図９のようなグラフで表される。ここで、横軸は、χ2を表す。縦軸は累積分布であり、第２指標に相当する。χ2の値が小さく０に近い近づくほど、誤差楕円が大きく、第２指標は０に近い値となる。この場合、位置推定の信頼度は低いと判断することができる。χ2の値が大きく無限大近づくほど、誤差楕円が小さく、第２指標は１に近い値となる。この場合、位置推定の信頼度は高いと判断することができる。第２指標は、０以上１以下の値をとる。
　第２指標算出部５５は、第２指標を、統合指標算出部５６に出力する。第２指標は、物体位置に関する指標に限られない。第２指標には、被写体４０までの距離及び被写体４０の大きさの信頼度を指標化したものを含んでよい。第２指標は一つに限られず、複数であってよい。
（統合指標算出部）
　統合指標算出部５６は、第１指標算出部５４で算出された第１指標及び／又は第２指標算出部５５で算出された第２指標を含む複数の個別指標を統合した統合指標を算出する。統合指標は、物体検知指標とも呼ぶ。各個別指標は、０以上１以下の値をとる。複数の個別指標が、ｎ個の個別指標ａi（ｉは１からｎの自然数）により構成される場合、統合指標算出部５６は、次の数式（６）に従い統合指標ａtotalを算出する。統合指標ａtotalは０以上１以下の値となる。
Figure JPOXMLDOC01-appb-M000012
　数式（６）に代えて、個別指標ａi間に重みづけをして統合指標ａtotalを算出することも可能である。例えば、統合指標ａtotalは、数式（７）により算出してよい。
Figure JPOXMLDOC01-appb-M000013
 数式（７）において、ｗiは個別指標ａiの重みを表している。
　統合指標算出部５６は、算出した統合指標ａtotalを、出力インターフェイス２３を介して判定装置３０等の画像処理装置２０の外部に出力することができる。制御部２２は、画像認識部５１で検出した被写体像４２のタイプ、色及び輝度等の識別情報、並びに、計測情報補正部５３で算出した補正された被写体４０の位置、距離及び大きさ等の計測情報と共に、統合指標ａtotalを出力してよい。統合指標算出部５６は、画像認識部５１で認識した個々の被写体像４２に対して、一つの統合指標ａtotalを出力することができる。
（画像処理装置の処理フロー）
　次に、図１０のフローチャートを参照して、本開示の一実施形態に係る画像処理方法を説明する。画像処理方法は、情報処理方法の一例である。画像処理装置２０は、以下に説明する制御部２２が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。
　図１０のフローチャートは、動画像の順次のフレームを取得して、制御部２２が実行する処理である。画像処理装置２０の制御部２２は、図１０のフローチャートに従い、動画像のフレームを取得する度に、ステップＳ１０１からステップＳ１０８の処理を実行する。
　初めに、制御部２２は、入力インターフェイス２１を介して、撮像装置１０から動画像のフレームを取得する（ステップＳ１０１）。
　ステップＳ１０１で動画像のフレームを取得すると、制御部２２は、画像認識部５１により当該フレームの画像から被写体像４２を検出する（ステップＳ１０２）。制御部２２は、検出した被写体像４２とともに、被写体４０の識別情報の種別と当該種別の所属確率を算出する。また制御部２２は、被写体像４２の画像空間４１における位置及び大きさ等の情報を算出する。
　制御部２２は、第１指標算出部５４において、ステップＳ１０２で算出された識別情報の種別ごとの所属確率に基づいて、識別情報の信頼度を表す第１指標を算出する（ステップＳ１０３）。第１指標は０以上１以下の値をとる。
　制御部２２は、ステップＳ１０３と並行して、又は、ステップＳ１０３と前後して、ステップＳ１０４～Ｓ１０６を実行する。
　制御部２２は、計測情報算出部５２において、ステップＳ１０２で算出した被写体像４２の画像空間４１における位置及び大きさの情報に基づいて、実空間における被写体４０の位置、距離、大きさ等の計測情報を算出する（ステップＳ１０４）。
　制御部２２は、計測情報補正部５３において、計測情報算出部５２で算出した計測情報を補正する（ステップＳ１０５）。制御部２２は、過去のフレームにおける計測情報の推定値と、ステップＳ１０４で算出した計測情報とを用いて、正しい計測情報を推定する。制御部２２は、計測情報の推定値と共に、誤差の分布を計算する。誤差の分布は、誤差共分散行列として算出される。
　制御部２２は、第２指標算出部５５において、ステップＳ１０５で算出された誤差共分散行列の固有値を用いて、計測情報の信頼度を表す第２指標を算出する（ステップＳ１０６）。第２指標は、０以上１以下の値をとる。
　制御部２２は、統合指標算出部５６において、ステップＳ１０３及びステップＳ１０６で算出された第１指標及び第２指標に基づいて、第１指標と第２指標とを統合した統合指標を算出する（ステップＳ１０７）。統合指標は、０以上１以下の値をとる。
　制御部２２は、ステップＳ１０７で算出した統合指標を外部に出力する（ステップＳ１０８）。制御部２２は、ステップＳ１０２で検出した被写体像４２の識別情報、及び、ステップＳ１０５で補正した被写体４０の計測情報を、統合指標と共に出力してよい。
　以上説明したように、本実施形態に係る画像処理装置２０によれば、制御部２２は、複数の信頼度の情報を統合して一つの検出対象の被写体４０に対して一つの信頼度の指標を算出することができる。これにより、制御部２２は、画像認識で被写体像４２として認識された個々の被写体４０に対して、それぞれ、一つの統合指標を出力することができる。
　また、個々の被写体４０について検出した情報を信頼してよいか否かを、１つの指標で表すことができることにより、画像処理装置２０の後段に位置する判定装置３０において、画像処理装置２０の出力をどの程度信頼すべきか判定することが容易になる。例えば、判定装置３０が、車両１００の衝突回避又は車間距離警報装置等のシステムに組み込まれており、判定装置３０は複数の画像処理装置２０が算出する統合指標を取得している場合を想定する。判定装置３０は、複数の画像処理装置２０から出力される複数の統合指標の値に応じて、信頼度に応じた処理を行うことができる。仮に、複数の画像処理装置２０の情報の間に差異がある場合、判定装置３０は、一方の画像処理装置２０が出力する統合指標の値がより１に近い値ならば、当該画像処理装置２０に基づく情報をより信頼し、優先して使用することができる。
　本実施形態における第１指標は、複数の種別を有する識別情報の種別ごとの所属確率に基づいて、数式（１）に従い算出された。これにより、簡単な演算で識別情報の信頼度を０から１の一貫性のある指標として算出することが可能である。
　本実施形態における第２指標は、計測情報の誤差共分散行列と画像処理装置２０の保証する公差に基づいて、数式（４）、（５）に従い算出された。これにより、簡単な演算で計測情報の信頼度を０から１の一貫性のある指標として算出することが可能である。
　本開示の画像処理装置２０は、第１指標、第２指標及び統合指標のすべての信頼度の指標を０以上１以下の数値で表しているので、信頼度の指標の一貫した取り扱いができる。例えば、考慮すべき信頼性の指標が増えた場合も、数式（６）又は数式（７）を用いて、一つの指標に統合することが容易である。
（信頼度の指標を算出する撮像装置）
　上記実施形態において説明した本開示の画像処理装置２０の機能は、撮像装置に搭載することができる。図１１は、画像処理装置２０の機能を有する本開示の一実施形態に係る撮像装置６０の概略示す図である。撮像装置６０は、撮像光学系６１、撮像素子６２、制御部６３、出力インターフェイス６４及び記憶部６５を備える。撮像光学系６１及び撮像素子６２は、図１の撮像装置１０の撮像光学系１１及び撮像素子１２と類似の構成要素である。出力インターフェイス６４及び記憶部６５は、図１の画像処理装置２０の出力インターフェイス２３及び記憶部２４と類似の構成要素である。制御部６３は、図１の撮像装置１０の制御部１３及び画像処理装置２０の制御部２２の機能を併せ持つ構成要素である。
　撮像装置６０では、撮像光学系６１により結像された被写体４０の動画像を撮像素子６２により撮像する。撮像素子６２が出力した動画像について、制御部６３が図１０のフローチャートに記載される処理と同一又は類似の処理を実行する。これによって、撮像装置６０は、被写体像４２の識別情報及び計測情報を算出するとともに、それらの情報の信頼度を示す統合指標を算出することができる。算出された統合指標は、出力インターフェイス６４を介して撮像装置６０の外部に出力される。これにより、図１に示した画像処理システム１の画像処理装置２０と類似の効果が得られる。
　上記実施形態では、情報処理装置を画像処理装置２０とし、センサを撮像装置１０として説明した。センサは、可視光を検出する撮像装置に限られず、遠赤外線による画像を取得する遠赤外線カメラを含む。また、本開示の情報処理装置は、動画像を観測データとして取得して画像認識により検出対象を検出するものに限られない。例えば、センサは、観測対象である観測空間をセンシングして、検出対象の方向及び大きさを検出することが可能な撮像装置以外のセンサであってよい。センサには、例えば、電磁波または超音波を用いたセンサが含まれる。電磁波を用いたセンサには、ミリ波レーダーおよびＬｉＤＡＲ（Laser Imaging Detection and Ranging）が含まれる。したがって、検出対象は、画像として撮像される被写体とは限られない。情報処理装置は、センサから出力された、検出対象の方向及び大きさ等の情報を含む観測データを取得して、検出対象を検出してよい。また、表示空間は、動画像が表示される画像空間に限られず、検出した検出対象を２次元的に表示することができる空間とすることができる。
　（ミリ波レーダーを含むセンシング装置）
　一例として、図１２を参照して、一実施形態に係るセンシング装置７０について説明する。センシング装置７０は、センサの一例であるミリ波レーダー７１と、情報処理部７２と、出力部７３とを含む。センシング装置７０は、撮像装置１０と類似に車両の種々の位置に搭載することができる。
　ミリ波レーダー７１は、ミリ波帯の電磁波を使用して、検出対象の距離、速度および方向等を検出することができる。ミリ波レーダー７１は、送信信号生成部７４、高周波回路７５、送信アンテナ７６、受信アンテナ７７および信号処理部７８を含む。
　送信信号生成部７４は、周波数変調されたチャープ信号を発生させる。チャープ信号は、周波数が一定期間ごとに上昇または下降する信号である。送信信号生成部７４は、例えばＤＳＰ（Digital Signal Processor）に実装される。送信信号生成部７４は、情報処理部７２により制御されてよい。
　チャープ信号は、Ｄ／Ａ変換された後、高周波回路７５において周波数変換され高周波信号となる。高周波回路７５は、送信アンテナ７６により、高周波信号を電波として観測空間に向けて放射する。高周波回路７５は、受信アンテナ７７により、送信アンテナ７６から放射された電波が検出対象により反射された反射波を、受信信号として受信することができる。ミリ波レーダー７１は複数の受信アンテナ７７を備えてよい。ミリ波レーダー７１は、信号処理部７８において、各受信アンテナ間の位相差を検出することにより、検出対象の方向を推定することができる。ミリ波レーダー７１における方位検知の方法は、位相差を用いたものに限られない。ミリ波レーダー７１は、ミリ波帯のビームの走査により検出対象の方位を検出することもできる。
　高周波回路７５は、受信信号を増幅し、送信信号と混合して周波数の差を示すビート信号に変換する。ビート信号は、デジタル信号に変換され、信号処理部７８に出力される。信号処理部７８は、受信信号を処理して、距離、速度、および方向等の推定処理を実行する。ミリ波レーダー７１における距離、速度および方向等の推定方法は公知であるから、信号処理部７８による処理の内容は、説明を省略する。信号処理部７８は、例えばＤＳＰに実装される。信号処理部７８は、送信信号生成部７４と同じＤＳＰに実装されてよい。
　信号処理部７８は、検出対象の観測データとして、推定した距離、速度、および、方向等の情報を、情報処理部７２に出力する。情報処理部７２は、観測データに基づいて、検出対象を仮想空間に写像変換して、種々の処理を実行することができる。情報処理部７２は、撮像装置１０の制御部１３と類似に一つ以上のプロセッサにより構成される。情報処理部７２は、センシング装置７０の全体を制御してよい。情報処理部７２の実行する処理については、さらに詳しく後述する。
　出力部７３は、情報処理部７２による処理の結果をセンシング装置７０の外部の表示装置、または、車両内のＥＣＵに出力する出力インターフェイスである。出力部７３は、ＣＡＮ等の車両のネットワークに接続する通信処理回路、および、通信コネクタ等を含んでよい。
　以下に、情報処理部７２が実行する処理の一部が、図１３のフローチャートを参照して説明される。
　情報処理部７２は、信号処理部７８から観測データを取得する（ステップＳ２０１）。
　次に、情報処理部７２は、観測データを仮想空間に写像する（ステップＳ２０２）。仮想空間に写像された観測データの一例が、図１４に示される。ミリ波レーダー７１の観測データは、それぞれ、距離、速度および方向の情報を有する点の情報として得られる。情報処理部７２は、各観測データを水平面上に写像する。図１４において、横軸は中心を０として左右方向であるｘ軸方向をメートル単位で示したものである。縦軸は、最も近い位置を０として、ｙ軸方向である奥行方向の距離をメートル単位で示したものである。
　次に、情報処理部７２は、仮想空間の各点の集まりをクラスタ化し、検出対象を検出する（ステップＳ２０３）。クラスタ化は、個々の点を示すデータから、点の集まりである点群を抽出することを意味する。情報処理部７２は、図１５に破線の楕円で囲んで示すように、観測データを示す各点の集まりである点群を抽出することができる。情報処理部７２は、多数の観測データが集まっている部分には、実際に検出対象が存在していると判断することができる。これに対して、個々の離散した点に対応する観測データは、観測ノイズによるものと判断することができる。情報処理部７２は、観測データに対応する点の数、または、密度などに閾値を設けて、観測データの集まりが検出対象であるか否かを判断してよい。情報処理部７２は、点群の占める領域の大きさに基づいて、検出対象の大きさを推定することができる。
　次に、情報処理部７２は、検出されたそれぞれの点群の仮想空間内での位置をトラッキングする（ステップＳ２０４）。情報処理部７２は、各点群の占める領域の中心、または、点群に含まれる点の位置の座標の平均を、それぞれの点群の位置とすることができる。情報処理部７２は、点群の動きをトラッキングすることにより、検出対象の動きを時系列で把握する。情報処理部７２は、仮想空間内での点群の位置を取得するごとに、その時点での検出対象の正しい位置を推定する。情報処理部７２は、検出対象の位置の推定において、図３の計測情報補正部５３と類似に、位置の推定値を算出すると共に、誤差共分散行列を算出してよい。
　ステップＳ２０４の後、または、ステップＳ２０４と並行して、情報処理部７２は、それぞれの点群に対応する検出対象の種別を推定する（ステップＳ２０５）。検出対象の種別には、「車両」、「歩行者」および「二輪車」等を含む。検出対象の種別の特定は、検出対象の速さ、大きさ、形状、位置、観測データの点の密度、検出された反射波の強度等の何れか一つ以上を用いて行うことができる。例えば、情報処理部７２は、信号処理部７８から取得した検出対象のドップラー速度を時系列的に蓄積して、その分布のパターンから検出対象の種別を推定することができる。また、情報処理部７２は、ステップＳ２０３で推定した検出対象の大きさの情報から、検出対象の種別を推定することができる。さらに、情報処理部７２は、信号処理部７８から、観測データに対応する反射波の強度を取得して、検出対象の種別を推定することができる。例えば、金属を多く含む車両は反射断面積が大きいので、反射断面積が小さい歩行者よりも、反射波の強度が強い。情報処理部７２は、検出対象の種別を推定するとともに、推定の確からしさを示す信頼度を算出してよい。
　ステップＳ２０５の後、情報処理部７２は、検出対象を仮想空間から表示用の空間である表示空間に写像変換する（ステップＳ２０６）。表示空間は、画像空間のように利用者の視点から見た３次元の観測空間を２次元平面で表したものであってよい。表示空間は、観察対象をｚ軸方向（鉛直方向）から見た２次元空間であってよい。情報処理部７２は、ステップＳ２０１で信号処理部７８から取得した観測データを、ステップＳ２０３～Ｓ２０５を介さず、直接表示空間に写像してもよい。
　情報処理部７２は、表示空間に写像変換された検出対象、および、ステップＳ２０３～Ｓ２０６により得られた検出対象の位置、速さ、大きさおよび種別等のデータに基づいて、更なるデータ処理を行うことができる（ステップＳ２０７）。例えば、情報処理部７２は、ステップＳ２０５で推定した検出対象の種別を、検出対象のタイプを示す識別情報とし、信頼度を種別ごとの所属確率として、図３の第１指標算出部５４と類似の処理を行うことができる。また、情報処理部７２は、ステップＳ２０３およびＳ２０４で推定した検出対象の位置及び大きさ等の情報を計測情報として、誤差共分散行列を用いて図３の第２指標算出部５５と類似の処理を行うことができる。したがって、情報処理部７２は、図１０に示した処理と類似の処理を、ミリ波レーダー７１の観測データを用いて実行することができる。また、情報処理部７２は、各データを他の装置での処理のために出力部７３から出力することができる（ステップＳ２０７）。
　以上説明したように、センサとしてミリ波レーダー７１を用いた場合も、センシング装置７０は、センサとして撮像装置を用いる場合と類似の処理を実行し類似の効果を得ることができる。図１２のセンシング装置７０は、ミリ波レーダー７１と情報処理部７２とを内蔵している。しかし、ミリ波レーダーと情報処理部７２の機能を有する情報処理装置とは、別体として設けられてもよい。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車及び産業車両を含むが、これに限られず、鉄道車両及び生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
　１　　　　画像処理システム（情報処理システム）
　１０　　　撮像装置（センシング装置）
　１１　　　撮像光学系
　１２　　　制御部
　２０　　　画像処理装置（情報処理装置）
　２１　　　入力インターフェイス
　２２　　　制御部（プロセッサ）
　２３　　　出力インターフェイス
　２４　　　記憶部
　３０　　　判定装置
　４０　　　被写体（検出対象）
　４１　　　画像空間
　４２、４２ａ、４２ｂ　　　被写体像
　４３　　　代表点
　４４　　　基準面
　４５　　　質点
　４６　　　仮想空間
　５１　　　画像認識部
　５２　　　計測情報算出部
　５３　　　計測情報補正部
　５４　　　第１指標算出部
　５５　　　第２指標算出部
　５６　　　統合指標算出部
　６０　　　撮像装置（センシング装置）
　６１　　　撮像光学系
　６２　　　撮像素子
　６３　　　制御部
　６４　　　出力インターフェイス
　７０　　センシング装置
　７１　　ミリ波レーダー（センサ）
　７２　　情報処理部
　７３　　出力部
　７４　　送信信号生成部
　７５　　高周波回路
　７６　　送信アンテナ
　７７　　受信アンテナ
　７８　　信号処理部
　１００　　車両（移動体）
　ｖ1、ｖ2　　　所属確率ベクトル

Claims (16)

  1. 　観測空間から得られた観測データを取得する入力インターフェイスと、
    　前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、該算出した複数の個別指標を統合した統合指標をさらに算出するプロセッサと、
    　前記統合指標を出力する出力インターフェイスと、を備える情報処理装置。
  2. 　前記複数の個別指標及び前記統合指標は、それぞれ０以上１以下の値をとる請求項１に記載の情報処理装置。
  3. 　前記複数の個別指標は、ｎ個の個別指標ａi（ｉは１からｎの自然数）により構成され、前記プロセッサは、前記統合指標を
    Figure JPOXMLDOC01-appb-M000001
     により算出する、請求項２に記載の情報処理装置。
  4. 　前記複数の個別指標は、ｎ個の個別指標ａi（ｉは１からｎの自然数）により構成され、ｗiを各指標の重みとするとき、前記プロセッサは、前記統合指標を
    Figure JPOXMLDOC01-appb-M000002
     により算出する、請求項２に記載の情報処理装置。
  5. 　前記計測情報は、定量的な情報であって、前記検出対象の位置、距離及び大きさの少なくとも何れかに関する情報を含む、請求項１から４の何れか一項に記載の情報処理装置。
  6. 　前記計測情報が前記位置に関する情報であるとき、前記プロセッサは、前記位置に関する前記個別指標を、前記検出対象の位置の推定範囲の確からしさに基づいて算出する、請求項５に記載の情報処理装置。
  7. 　前記プロセッサは、前記観測データから前記検出対象の２次元平面上の位置を、誤差共分散行列とともに算出し、当該誤差共分散行列と、前記推定範囲とに基づいて、前記位置に関する前記個別指標を算出する、請求項６に記載の情報処理装置。
  8. 　前記誤差共分散行列の固有値をλ1及びλ2とし、前記推定範囲として許容される前記２次元平面の第１方向及び該第１方向と交差する第２方向の片側公差幅を、ｄ1及びｄ2とするとき、前記プロセッサは、
    Figure JPOXMLDOC01-appb-M000003
     により算出されるχ2を用いて、前記位置に関する前記個別指標を、
    Figure JPOXMLDOC01-appb-M000004
     により算出する、請求項７に記載の情報処理装置。
  9. 　前記識別情報は、複数の種別の中の一つにより特定される情報であって、前記検出対象のタイプ、色、及び輝度の少なくとも何れかを含む、請求項１から８の何れか一項に記載の情報処理装置。
  10. 　前記プロセッサは、前記観測データから前記検出対象の属する可能性のあるタイプ、色又は輝度の種別を、当該種別の所属確率とともに算出し、該所属確率に基づいて前記識別情報に関する前記個別指標を算出する、請求項９に記載の情報処理装置。
  11. 　前記種別ごとの前記所属確率を要素とするベクトルを所属確率ベクトルｖpとし、前記種別の数をＮとするとき、前記プロセッサは、前記識別情報に関する前記個別指標を、
    Figure JPOXMLDOC01-appb-M000005
     により算出する、請求項１０に記載の情報処理装置。
  12. 　観測空間をセンシングし、検出対象の観測データを取得するように構成されたセンサと、
    　前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、該算出した複数の個別指標を統合した統合指標をさらに算出するプロセッサと、
    　前記統合指標を出力する出力インターフェイスと
    を備えるセンシング装置。
  13. 　観測空間から得られた観測データを取得する入力インターフェイス、前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、該算出した複数の個別指標を統合した統合指標をさらに算出するプロセッサ、及び、前記統合指標を出力する出力インターフェイスを備える情報処理装置を備える移動体。
  14. 　観測空間から観測データを取得し、
    　前記観測データ中から検出対象を検出し、
    　それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、
    　該算出した複数の個別指標を統合した統合指標をさらに算出し、
    　前記統合指標を出力する
    情報処理方法。
  15. 　観測空間から観測データを取得するセンサと、
    　前記観測データ中から検出対象を検出し、それぞれが当該検出対象の識別情報及び計測情報の少なくとも何れかに関する信頼度を示す複数の個別指標を算出し、該算出した複数の個別指標を統合した統合指標をさらに算出するプロセッサを含む情報処理装置と、
    　前記統合指標に基づいて、前記センサに基づく前記識別情報及び前記計測情報の少なくとも何れかの情報の使用可否を判定する判定装置と、
    を備える情報処理システム。
  16. 　複数の前記センサと、複数の前記情報処理装置とを備え、前記判定装置は、前記複数の情報処理装置の算出する複数の前記統合指標に基づいて、前記複数のセンサの何れに基づく情報を優先して使用するか判定する請求項１５に記載の情報処理システム。
PCT/JP2020/047909 2019-12-25 2020-12-22 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム WO2021132229A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20908156.1A EP4083911A4 (en) 2019-12-25 2020-12-22 INFORMATION PROCESSING DEVICE, DETECTION DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING SYSTEM
US17/758,003 US20230048222A1 (en) 2019-12-25 2020-12-22 Information processing apparatus, sensing apparatus, mobile object, method for processing information, and information processing system
CN202080089797.0A CN114902278A (zh) 2019-12-25 2020-12-22 信息处理装置、感测装置、移动体、信息处理方法以及信息处理系统
JP2021567485A JP7312275B2 (ja) 2019-12-25 2020-12-22 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019235115 2019-12-25
JP2019-235115 2019-12-25

Publications (1)

Publication Number Publication Date
WO2021132229A1 true WO2021132229A1 (ja) 2021-07-01

Family

ID=76572980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047909 WO2021132229A1 (ja) 2019-12-25 2020-12-22 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム

Country Status (5)

Country Link
US (1) US20230048222A1 (ja)
EP (1) EP4083911A4 (ja)
JP (1) JP7312275B2 (ja)
CN (1) CN114902278A (ja)
WO (1) WO2021132229A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220237414A1 (en) * 2021-01-26 2022-07-28 Nvidia Corporation Confidence generation using a neural network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322048A (ja) 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステム
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4490076B2 (ja) 2003-11-10 2010-06-23 日本電信電話株式会社 物体追跡方法、物体追跡装置、プログラム、および、記録媒体
JP2010113514A (ja) 2008-11-06 2010-05-20 Sony Corp 情報処理装置、情報処理方法、プログラム
FR2947657B1 (fr) * 2009-07-06 2016-05-27 Valeo Vision Procede de detection d'un obstacle pour vehicule automobile
JP5515018B2 (ja) 2011-12-06 2014-06-11 本田技研工業株式会社 環境認識装置
US20160070972A1 (en) 2014-09-10 2016-03-10 VISAGE The Global Pet Recognition Company Inc. System and method for determining a pet breed from an image
WO2016084316A1 (en) 2014-11-28 2016-06-02 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
JP6570791B2 (ja) * 2017-04-26 2019-09-04 三菱電機株式会社 処理装置
JP6818626B2 (ja) 2017-04-28 2021-01-20 株式会社東芝 車種判別装置、車種判別方法、および車種判別システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322048A (ja) 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステム
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4083911A4

Also Published As

Publication number Publication date
CN114902278A (zh) 2022-08-12
JPWO2021132229A1 (ja) 2021-07-01
JP7312275B2 (ja) 2023-07-20
EP4083911A1 (en) 2022-11-02
EP4083911A4 (en) 2024-01-10
US20230048222A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN110979321B (zh) 一种用于无人驾驶车辆的障碍物躲避方法
CN111712731B (zh) 目标检测方法、系统及可移动平台
CN109017570B (zh) 车辆周围场景呈现方法和装置、车辆
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
US9429650B2 (en) Fusion of obstacle detection using radar and camera
JP4857840B2 (ja) 物体検出方法および物体検出装置
US8605947B2 (en) Method for detecting a clear path of travel for a vehicle enhanced by object detection
WO2017057058A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4246766B2 (ja) 車両から対象物を位置測定して追跡する方法および装置
US20070225933A1 (en) Object detection apparatus and method
CN104573646A (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN108638999A (zh) 一种基于360度环视输入的防碰撞预警系统及方法
KR101694837B1 (ko) 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
CN110659548B (zh) 车辆及其目标检测方法、装置
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
US11281916B2 (en) Method of tracking objects in a scene
CN113569778A (zh) 基于多模态数据融合的路面湿滑区域检测及预警方法
WO2021132229A1 (ja) 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN116587978A (zh) 一种基于车载显示屏的碰撞预警方法及系统
JP7064400B2 (ja) 物体検知装置
CN116635919A (zh) 物体跟踪装置以及物体跟踪方法
WO2021132227A1 (ja) 情報処理装置、センシング装置、移動体及び情報処理方法
EP3540643A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20908156

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567485

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020908156

Country of ref document: EP

Effective date: 20220725