WO2022210062A1 - 情報処理装置、車両、路側機、および情報処理方法 - Google Patents

情報処理装置、車両、路側機、および情報処理方法 Download PDF

Info

Publication number
WO2022210062A1
WO2022210062A1 PCT/JP2022/012917 JP2022012917W WO2022210062A1 WO 2022210062 A1 WO2022210062 A1 WO 2022210062A1 JP 2022012917 W JP2022012917 W JP 2022012917W WO 2022210062 A1 WO2022210062 A1 WO 2022210062A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
captured image
subject
image
information processing
Prior art date
Application number
PCT/JP2022/012917
Other languages
English (en)
French (fr)
Inventor
浩治 新
成人 服部
隆一 澤田
弘展 谷川
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to CN202280024950.0A priority Critical patent/CN117063218A/zh
Priority to EP22780277.4A priority patent/EP4318435A1/en
Publication of WO2022210062A1 publication Critical patent/WO2022210062A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present disclosure relates to information processing devices, vehicles, roadside units, and information processing methods.
  • the information processing device includes: an image interface that acquires a captured image from the imaging unit; At least part of the imaging range of the imaging unit overlaps the detection range, and a distance measurement sensor measures a distance distribution including distance values to reflection points in a plurality of directions by receiving reflected waves from an object of the projected waves.
  • a sensor interface that obtains the distance distribution from detecting a subject image that is a target from the captured image, and determining a position of the subject corresponding to the subject image in a width direction parallel to the horizontal direction and perpendicular to the optical axis direction of the imaging unit based on the captured image and the distance distribution; a controller for calculating the
  • the moving object is an imaging unit that generates a captured image; At least a part of the imaging range of the imaging unit overlaps the detection range, and a distance distribution is generated by receiving the reflected waves from the object of the projection waves, and the distance distribution is composed of the distance values to the reflection points for each of a plurality of directions.
  • a distance sensor detecting a subject image that is a target from the captured image, and determining a position of the subject corresponding to the subject image in a width direction parallel to the horizontal direction and perpendicular to the optical axis direction of the imaging unit based on the captured image and the distance distribution; a controller for calculating the
  • the roadside unit is an imaging unit that generates a captured image; At least a part of the imaging range of the imaging unit overlaps the detection range, and a distance distribution is generated by receiving the reflected waves from the object of the projection waves, and the distance distribution is composed of the distance values to the reflection points for each of a plurality of directions.
  • a distance sensor detecting a subject image that is a target from the captured image, and determining a position of the subject corresponding to the subject image in a width direction parallel to the horizontal direction and perpendicular to the optical axis direction of the imaging unit based on the captured image and the distance distribution; a controller for calculating the
  • the information processing method is generate a captured image, For a detection range that overlaps at least a part of the range of the captured image, a distance distribution composed of distance values to reflection points for each of a plurality of directions is generated by receiving reflected waves from the object of the projected waves. , Detecting a subject image that is a target from the captured image, A position of a subject corresponding to the subject image in a width direction parallel to the horizontal direction and perpendicular to the optical axis direction of the imaging unit is calculated based on the captured image and the distance distribution.
  • FIG. 2 is a block diagram showing a schematic configuration of the information processing apparatus of FIG. 1;
  • FIG. FIG. 3 is a captured image showing a subject image and individual object area frames detected by the controller in FIG. 2 ;
  • FIG. 4 is an enlarged view of a subject image and an individual object area frame in FIG. 3;
  • FIG. FIG. 3 is a flowchart for explaining position calculation processing executed by the controller in FIG. 2;
  • FIG. 5 is an aerial view of the real space corresponding to the captured image of FIG. 4, showing the trajectory of points corresponding to a part of the frame line forming the individual object area frame of FIG. 4 in the real space;
  • FIG. 5 is an aerial view of the real space corresponding to the captured image of FIG. 4, showing the trajectory of points corresponding to a part of the frame line forming the individual object area frame of FIG. 4 in the real space;
  • a roadside device 11 including an information processing device 10 may be configured to include a detection device 12, a memory 13, a communication section 14, and a controller 15.
  • the detection device 12 may detect waves propagating from around the roadside unit 11 .
  • the detecting device 12 may detect the existing position in the real space of the object to be measured around the roadside unit 11 based on the detected waves.
  • the existing position is, for example, the position of the world coordinate system.
  • the objects to be measured are, for example, humans, box-shaped vehicles, motorcycles, and bicycles.
  • the memory 13 may store the location of the roadside unit 11 .
  • the communication unit 14 may communicate with an external device by wire or wirelessly.
  • the external device is, for example, a terminal device such as a navigation device used in a vehicle adjacent to the roadside unit 11, or a server device that recognizes the current position of a running vehicle and transmits traffic information to the vehicle.
  • the external equipment may be a terminal for manual calibration of the detection device 12 .
  • the controller 15 may control the communication unit 14 to transmit the type of the object to be measured and its position in the real space together with the position of the roadside unit 11 to an external device that notifies the user.
  • the detection device 12 may have the detection unit 16 and the information processing device 10 .
  • the detection unit 16 may have an imaging unit 17 and a ranging sensor 18 .
  • a detector coordinate system may be defined in the detector 16 .
  • the detection unit coordinate system is a three-dimensional coordinate system having an origin at an arbitrary position in the detection unit 16 and three mutually perpendicular axes passing through the origin as coordinate axes.
  • the origin of the detection unit coordinate system is, for example, the intersection of the optical axis of the imaging unit 17 and the imaging device.
  • the detection unit coordinate system includes, for example, lines parallel to the optical axis of the imaging unit 17 in the coordinate axes.
  • the detection unit 16 may be fixed to a structure, such as a signal device, a utility pole, and a streetlight, which has a height capable of capturing an outdoor scene including a road surface.
  • the position and orientation of the detection unit 16 with respect to the structure may be determined in advance.
  • the position of the detector 16 means the origin of the detector coordinate system with respect to the reference position in the world coordinate system.
  • the attitude of the detection unit 16 means the inclination of the coordinate axes of the detection unit coordinate system with respect to the coordinate axes of the world coordinate system.
  • the “world coordinate system” means a coordinate system set based on the three-dimensional space outside the detection unit 16 .
  • the imaging unit 17 generates a captured image by detecting electromagnetic waves propagating from multiple object points.
  • the imaging unit 17 may generate a captured image at a predetermined frame rate such as 30 fps.
  • the imaging unit 17 may be capable of detecting at least one of visible light, near-infrared light, and far-infrared light.
  • the imaging unit 17 may be a visible light camera capable of generating a visible light image, or an infrared camera capable of generating a near-infrared image or a far-infrared image.
  • the imaging unit 17 may be fixed at a predetermined position in the detection unit coordinate system.
  • the imaging unit 17 may be fixed in a posture facing a direction determined in the detection unit coordinate system.
  • the distance measurement sensor 18 emits a projection wave, and measures the distance value to the reflection point on the object based on the time from the emission of the projection wave to the reception of the reflected wave from the object irradiated with the projection wave. do.
  • the distance measurement sensor 18 generates a distance distribution including distance values for each direction in which the reflected waves are generated.
  • the ranging sensor 18 may generate a distance distribution at a predetermined cycle. It is preferable that the difference between the generation cycle of the distance distribution and the reciprocal of the frame rate of the imaging unit 17 is small.
  • the projected waves may include, for example, at least one of radio waves, sound waves, and light waves.
  • the range distribution may include detection results of at least one of radar, sonar, and LiDAR.
  • the ranging sensor 18 is a millimeter wave radar.
  • the ranging sensor 18 may have a detection axis.
  • the detection axis may be a straight line passing through the source of the projected wave and parallel to any direction of travel within the projection range of the projected wave.
  • the distance measurement sensor 18 may detect the distance value from the reflection point for each direction tilted about two straight lines parallel to a plane perpendicular to the detection axis.
  • the ranging sensor 18 may be fixed at a predetermined position in the detection unit coordinate system.
  • the distance measurement sensor 18 may be fixed in a posture facing a direction determined in the detection unit coordinate system.
  • the distance measurement sensor 18 may be fixed in a position and orientation in which at least a part of the detection range overlaps with the imaging section 17 .
  • the distance measurement sensor 18 may be fixed at a position and attitude in which the optical axis of the imaging unit 17 and the detection axis of the distance measurement sensor 18 are parallel and close to each other.
  • the information processing device 10 includes an image interface 19, a sensor interface 20, and a controller 21.
  • Information processing apparatus 10 may further include memory 22 .
  • the image interface 19 acquires the captured image from the imaging unit 17.
  • the sensor interface 20 acquires the distance distribution from the ranging sensor 18 .
  • the memory 22 includes arbitrary storage devices such as RAM (Random Access Memory) and ROM (Read Only Memory).
  • the memory 22 may store various programs that cause the controller 21 to function and various information that the controller 21 uses.
  • the memory 22 may store the correspondence between the position of each pixel forming the captured image and each direction corresponding to the distance value included in the distance distribution.
  • the correspondence between the position of each pixel and each direction may be calculated based on the respective positions and orientations of the imaging unit 17 and the distance measuring sensor 18 in the detection unit coordinate system.
  • the memory 22 may store distance values from the distance measuring sensor 18 to the road surface or the floor for each direction from the distance measuring sensor 18 .
  • the distance value from the distance measuring sensor 18 to the road surface may be sampled by fixing the detection unit 16 to a structure and causing the distance measuring sensor 18 to detect the distance in a state where there is nothing on the road surface or floor.
  • On the road surface or on the floor surface may mean a state in contact with the road surface or the floor surface.
  • the memory 22 may store distance values in the distance distribution obtained from the distance measuring sensor 18 and conversion formulas or conversion tables from corresponding directions to coordinate positions in the world coordinate system.
  • the conversion formula or conversion table may be based on the position and orientation of the detection unit 16 with respect to the structure and the position and orientation of the ranging sensor 18 in the detection unit 16 .
  • the world coordinate system may have axes in the vertical direction of the real space and two directions parallel to the horizontal plane and perpendicular to each other.
  • the memory 22 stores, when the pixels constituting the captured image acquired from the imaging unit 17 indicate an object on the road surface or the floor surface, the coordinates of the pixels in the two-dimensional coordinate system to the world coordinate system, or A conversion table may be stored.
  • the controller 21 includes one or more processors and memory.
  • the processor may include a general-purpose processor that loads a specific program to perform a specific function, and a dedicated processor that specializes in specific processing.
  • a dedicated processor may include an Application Specific Integrated Circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the controller 21 may be either a SoC (System-on-a-Chip) in which one or more processors cooperate, or a SiP (System In a Package).
  • the controller 21 may extract, from the distance distribution acquired from the ranging sensor 18, a distance value different from the distance value to the road surface or the floor surface, along with the corresponding direction.
  • the controller 21 detects a subject image corresponding to the subject to be measured from the captured image. More specifically, the controller 21 detects the subject image within a range where the imaging range of the imaging section 17 and the detection range of the distance measuring sensor 18 overlap. The controller 21 may detect the subject image by known methods such as pattern matching and deep learning. The controller 21 may use the distance distribution to detect the subject image as described below.
  • the controller 21 may identify areas in the captured image where there is a high possibility that the subject image exists, based on the distance distribution acquired from the ranging sensor 18 or the previously extracted distance distribution. More specifically, the controller 21 selects at least one distance value group in which the difference in distance values is equal to or less than a predetermined value and the corresponding directions are close to each other, from among the distance values for each direction constituting the distance distribution. can be extracted.
  • the difference between the distance values being equal to or less than a predetermined value means, for example, that the difference between the maximum value and the minimum value of the distance value group is equal to or less than a predetermined value, or that the difference between two distance values corresponding to two directions adjacent to each other is equal to or less than a predetermined value.
  • the controller 21 specifies an area including at least an area corresponding to the direction group in the captured image as an area where the subject image is likely to exist. good.
  • the controller 21 may include directions in which the angle between an arbitrary direction and the closest direction is less than the outer edge threshold in the direction group to which the closest direction belongs.
  • the outer edge threshold is a threshold for comparing angles between directions corresponding to the reflection points for determining whether or not there is an outer edge of a single subject image between the two reflection points.
  • the outer edge threshold may be set so as to decrease as the distance from the range sensor 18 to the road surface or floor surface increases.
  • the controller 21 may perform at least one of increasing the brightness gain of the captured image and relaxing the threshold used for detecting the subject image in areas where the subject image is likely to exist.
  • the threshold is, for example, a threshold to be compared with the degree of difference or similarity with the stored pattern in pattern matching. Also, the threshold is, for example, a threshold to be compared with the reliability of subject estimation based on deep learning.
  • the controller 21 may detect the subject image from the captured image while performing at least one of brightness gain expansion and threshold relaxation.
  • the controller 21 may create an individual object area frame surrounding the subject image for each subject image detected in the captured image.
  • the individual object area frame sf consists of two straight lines that are in contact with both ends of the subject image si in the first direction in the captured image im and parallel to the second direction.
  • the first direction is the direction in the captured image that corresponds to the width direction that is parallel to the horizontal direction and perpendicular to the optical axis direction in real space.
  • the second direction is a direction that corresponds to the vertically downward direction in the real space and is perpendicular to the first direction in the captured image.
  • the edge of the vertically lower side of the subject image si may become unclear under dark conditions such as at night or under bad weather conditions such as rain.
  • An error may occur in the straight line on the second direction side of the frame sf.
  • the controller 21 may calculate the distance to the subject corresponding to the detected subject image si based on at least one of the captured image im and the distance distribution.
  • the controller 21 may be able to calculate the distance based only on the captured image im. Specifically, the controller 21 regards the line on the second direction side of the individual object area frame sf in the captured image im as the position where the corresponding object exists on the road surface in the real space, and sets the coordinates of the line in the world coordinate system. It may be possible to calculate the distance by transforming to the coordinates of .
  • the controller 21 may be able to calculate the distance to the subject by extracting the distance values in the extracted group of directions based on the distance distribution. Note that the controller 21 may be capable of calculating the distance by averaging the distance value group corresponding to the direction group. Alternatively, the controller 21 may be capable of calculating the distance by averaging a predetermined percentage of distance values such as 10% from the minimum value side in the distance value group.
  • the controller 21 may use the captured image im in the distance calculation based on the distance distribution. Specifically, the controller 21 may extract a distance value group corresponding to a direction group corresponding to the area within the object individual area frame sf from the distance distribution. Further, the controller 21 may use the extracted distance value group to calculate the distance to the subject. For example, the controller 21 may calculate the distance by averaging a plurality of extracted distance value groups. Alternatively, the controller 21 may calculate the distance by averaging a predetermined ratio of distances from the minimum value side in the plurality of extracted distance value groups.
  • the controller 21 may finally calculate the distance to the subject using the distance calculated based only on the individual object area frame sf and the distance calculated based on the distance distribution. For example, the controller 21 may apply a weighted average of the distance calculated based only on the individual object area frame sf and the distance calculated based on the distance distribution to the final calculation.
  • the controller 21 may preferentially use the distance distribution to calculate the distance to the subject. For example, the controller 21 may preferentially use the distance distribution by increasing the weight on the distance calculated based on the distance distribution.
  • the controller 21 may change the priority of the distance distribution used for calculating the distance to the subject, in other words, the weighting, according to the luminance of the captured image im.
  • the controller 21 calculates the position in the width direction of the subject corresponding to the detected subject image si based on the captured image im and the distance distribution. Specifically, the controller 21 may calculate the position of the subject in the width direction based on the individual object area frame sf and the distance of the subject. A more specific method of calculating the position in the width direction will be described below.
  • the controller 21 may calculate the position of the subject on the road surface in the world coordinate system corresponding to the direction, based on the distance of the subject calculated based on the distance distribution and the direction corresponding to the distance.
  • the controller 21 may calculate the position in the second direction in the captured image im corresponding to the position of the subject on the road surface in the world coordinate system. As shown in FIG. 4, the controller 21 creates a virtual straight line vl extending in the first direction at the calculated position in the second direction, and an extension line of each of the two straight lines extending in the second direction of the individual object area frame sf. may be calculated.
  • the controller 21 may calculate the position coordinates of the central point mp between the two intersection points ip.
  • the controller 21 may calculate position coordinates in the world coordinate system corresponding to the position coordinates of the center point mp.
  • the controller 21 may calculate the position of the subject in the width direction by calculating the position coordinates in the world coordinate system.
  • position calculation processing executed by the controller 21 in this embodiment will be described using the flowchart of FIG.
  • the position calculation process is started when acquiring the latest captured image im and the distance distribution.
  • step S100 the controller 21 extracts a distance value different from the distance value to the road surface or floor surface, together with the corresponding direction, from the acquired distance distribution. After extraction, the process proceeds to step S101.
  • step S101 the controller 21 extracts a group of directions belonging to the same subject from among the distance values for each direction that constitute the acquired distance distribution. Specifically, the controller 21 selects a group of directions corresponding to a group of distance values in which the difference in distance values is equal to or less than a predetermined value and whose directions are close to each other from among the plurality of distance values for each direction, to the same subject. It is extracted as a group of directions to which it belongs. After extraction, the process proceeds to step S102.
  • step S102 the controller 21 identifies areas in the captured image im corresponding to the group of directions extracted in step S101 as areas in which the subject image si is likely to exist. After identification, the process proceeds to step S103.
  • step S103 the controller 21 relaxes the thresholds used for brightness gain expansion of the captured image im and detection of the subject image si in the identified region. After luminance gain expansion and threshold relaxation, the process proceeds to step S104.
  • step S104 the controller 21 detects the subject image si from the acquired captured image im. After detection, the process proceeds to step S105.
  • step S105 the controller 21 creates individual object area frames sf separately surrounding the subject images si detected in step S104. After creation, the process proceeds to step S106.
  • step S106 the controller 21 extracts the distance value in the direction corresponding to the area within the individual object area frame sf from the acquired distance distribution. After extraction, the process proceeds to step S107.
  • step S107 the controller 21 calculates the distance of the subject based on the distance value extracted in step S106. After the calculation, the process proceeds to step S108.
  • step S108 the position of the object in the width direction is calculated based on the individual object area frame sf created in step S105 and the distance of the object calculated in step S107. After the calculation, the position calculation process ends.
  • the information processing apparatus 10 of the present embodiment configured as described above detects a subject image si, which is a target, from the captured image im, and detects a subject corresponding to the subject image si in parallel with the horizontal direction and the optical axis of the imaging unit 17. A position in the width direction perpendicular to the direction is calculated based on the captured image im and the distance distribution.
  • the information processing apparatus 10 uses a distance with high detection accuracy based on the distance distribution, so it is possible to improve the detection accuracy of the position in the width direction of the subject based on the captured image im. Therefore, the information processing device 10 can improve the detection accuracy of position detection.
  • the information processing apparatus 10 of the present embodiment preferentially uses the distance distribution to calculate the distance to the subject.
  • the information processing apparatus 10 calculates the distance to the subject by prioritizing the distance distribution whose detection accuracy is higher than that of the captured image im. can improve the detection accuracy of
  • the information processing apparatus 10 of the present embodiment changes the priority of the distance distribution used for calculating the distance to the subject according to the brightness of the captured image im.
  • the brightness of the captured image im affects detection accuracy.
  • the information processing apparatus 10 having the above-described configuration for such an event changes the priority of the distance distribution in a situation where the detection accuracy of distance detection is deteriorated using only the captured image im, so that the distance detection accuracy is improved. can be better.
  • the information processing apparatus 10 of the present embodiment identifies a region in the captured image im where the subject image si is likely to exist based on the distance distribution, and increases the luminance gain of the captured image im and the subject image si in the region.
  • the subject image si is detected from the captured image im in a state in which at least one of the threshold relaxations used for the detection of is executed.
  • pixel values of the subject image si and surrounding images are generally compared. Therefore, when the difference in pixel values between the subject image si and the surrounding images decreases, the ability to detect the subject image si decreases.
  • the detectability of the subject image si is improved, but erroneous detection increases.
  • the information processing apparatus 10 having the above-described configuration for such an event executes at least one of increasing the luminance gain and relaxing the threshold only in areas where there is a high possibility that the subject exists based on the distance distribution. It is possible to improve the detectability of the subject image si while suppressing erroneous detection of the subject image si. Therefore, the information processing apparatus 10 can detect a subject image si while suppressing erroneous detection of the subject image si, even under dark conditions such as nighttime when the ability to detect the object image si is low, and under bad weather conditions such as rain. It may improve the detectability of si.
  • the information processing apparatus 10 of the present embodiment creates an individual object area frame sf surrounding the object image si by subject image detection for the captured image im, and based on the direction corresponding to the individual object area frame sf in the distance distribution. to calculate the distance to the subject.
  • the accuracy of the angle associated with the distance value is generally relatively low. Therefore, for example, in a configuration for calculating the distance to an object assuming that a single object exists in a group of directions corresponding to a group of distance values in which the difference in distance values is equal to or less than a predetermined value and the corresponding directions are close to each other.
  • the information processing apparatus 10 having the above-described configuration for such events reduces the influence of such leakage, and thus can improve the distance calculation accuracy.
  • the information processing apparatus 10 of the present embodiment calculates the position in the width direction based on the individual object area frame sf and the distance of the subject calculated based on the direction corresponding to the individual object area frame sf in the distance distribution. Calculate In order to explain the effect of this configuration, the calculation of the object distance using the individual object area frame sf will be explained below.
  • Two straight lines parallel to the second direction of the individual object area frame sf correspond to the vertical direction in real space and are represented as points.
  • the two straight lines in the captured image im are represented as a locus of straight points in real space, and as shown in FIG. It corresponds to two linear tangent lines tl which are in contact with each other.
  • the position of an arbitrary point for example, the center point of a line segment connecting the intersections of a straight line parallel to the width direction passing through the subject sb in the depth direction and two tangent lines tl is the position of the subject sb in the width direction.
  • the depth direction is a direction perpendicular to the width direction on a plane perpendicular to the vertical direction in real space.
  • at least one of the two tangent lines tl is inclined with respect to the depth direction. error also occurs.
  • the position of the straight line parallel to the width direction is calculated when the position of the straight line parallel to the width direction deviates from the subject sb. and the true position tp calculated when the position of the straight line parallel to the width direction overlaps the subject sb.
  • the dividing line pl is a center line cl that passes through the center point of the intersection between the straight lines extending in the first direction and the straight lines at both ends of the individual object area frame sf in the captured image im. , is the corresponding straight line in real space.
  • a deviation of the same length in the first direction and the second direction in the captured image im causes a greater deviation in the depth direction than in the width direction in real space. Therefore, in a situation where the detection accuracy of the subject image si is lowered as described above, if an error occurs in the position of the straight line on the second direction side of the individual object area frame sf, the position of the subject sb in the width direction is also large. An error ⁇ can occur.
  • the information processing apparatus 10 having the above configuration for such events uses the distance of the subject sb based on the distance distribution with high detection accuracy. improve.
  • the information processing device 10 is configured to be applied to the roadside device 11, but is not limited to such a configuration.
  • the information processing device 10 may be mounted on a vehicle or the like.
  • Descriptions such as “first” and “second” in the present disclosure are identifiers for distinguishing the configurations. Configurations distinguished in the description as “first”, “second”, etc. in this disclosure can be interchanged with the numbers in the configuration. For example, a first direction can exchange identifiers “first” and “second” with a second direction. The exchange of identifiers is done simultaneously. The configurations are still distinct after the exchange of identifiers. Identifiers may be deleted. Configurations from which identifiers have been deleted are distinguished by codes. The description of identifiers such as “first”, “second”, etc. in this disclosure should not be used as a basis for interpreting the order of the configuration and the existence of identifiers with lower numbers.
  • Computer systems and other hardware include, for example, general-purpose computers, PCs (personal computers), dedicated computers, workstations, PCSs (Personal Communications Systems), mobile (cellular) telephones, and data processing functions. Mobile phones, RFID receivers, game consoles, electronic notepads, laptop computers, GPS (Global Positioning System) receivers or other programmable data processing devices.
  • the various operations are performed by dedicated circuitry (e.g., discrete logic gates interconnected to perform a particular function) implemented with program instructions (software), or by one or more processors. Note that it may be implemented by logic blocks, program modules, or the like.
  • processors that execute logic blocks, program modules, etc. include, for example, one or more microprocessors, CPUs (Central Processing Units), ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), PLDs (Programmable Logic Device), FPGA (Field Programmable Gate Array), processors, controllers, microcontrollers, microprocessors, electronic devices, other devices designed to be able to perform the functions described herein, and/or combinations of any of these be Embodiments shown may be implemented, for example, in hardware, software, firmware, middleware, microcode, or any combination thereof. Instructions may be program code or code segments for performing the required tasks. The instructions may then be stored in a non-transitory machine-readable storage medium or other medium.
  • a code segment may represent a procedure, function, subprogram, program, routine, subroutine, module, software package, class or any combination of instructions, data structures or program statements.
  • Code segments send and/or receive information, data arguments, variables or memory contents from other code segments or hardware circuits, thereby connecting code segments with other code segments or hardware circuits. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

情報処理装置１０は画像インターフェース１９とセンサインターフェース２０とコントローラ２１とを有する。画像インターフェース１９は撮像部から撮像画像を取得する。センサインターフェース２０は測距センサから距離分布を取得する。測距センサは撮像部の撮像範囲の少なくとも一部と検出範囲が重複する。測距センサは投射波の物体における反射波を受信することにより距離分布を計測する。距離分布は複数の方向毎の反射点までの距離値を含む。コントローラ２１は撮像画像から対象である被写体像を検出する。コントローラ２１は被写体の幅方向における位置を撮像画像及び距離分布に基づいて算出する。被写体は被写体像に対応する。幅方向は水平方向に平行且つ撮像部の光軸方向に垂直である。

Description

情報処理装置、車両、路側機、および情報処理方法 関連出願の相互参照
　本出願は、２０２１年３月２９日に日本国に特許出願された特願２０２１－０５５７６４の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、情報処理装置、車両、路側機、および情報処理方法に関するものである。
　車両の運転支援及び屋外監視等の用途で、特定の種類の被写体の実空間における位置の検出が求められている。高精度で位置を検出するために、近距離の範囲内では画像を用いて位置検出を行い、遠距離の範囲内ではミリ波レーダを用いて位置検出を行うことが提案されている（特許文献１参照）。
特開２０１６－２０６７７３号公報
　上述した諸課題を解決すべく、第１の観点による情報処理装置は、
　撮像部から撮像画像を取得する画像インターフェースと、
　前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値を含む距離分布を計測する測距センサから、該距離分布を取得するセンサインターフェースと、
　前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。
　また、第２の観点による移動体は、
　撮像画像を生成する撮像部と、
　前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
　前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。
　また、第３の観点による路側機は、
　撮像画像を生成する撮像部と、
　前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
　前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。
　また、第４の観点による情報処理方法は、
　撮像画像を生成し、
　前記撮像画像の範囲の少なくとも一部と重複する検出範囲に対して、投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成し、
　前記撮像画像から対象である被写体像を検出し、
　該被写体像に対応する被写体の、水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を、前記撮像画像及び前記距離分布に基づいて算出する。
本実施形態に係る情報処理装置を含む路側機の概略構成を示すブロック図である。 図１の情報処理装置の概略構成を示すブロック図である。 図２のコントローラにより検出された被写体像及び物体個別領域枠を示す撮像画像である。 図３の被写体像及び物体個別領域枠の拡大図である。 図２のコントローラが実行する位置算出処理を説明するためのフローチャートである。 図４の物体個別領域枠を形成する一部の枠線に実空間において対応する点の軌跡を示す図４の撮像画像に対応する実空間を上空から見た図である。
　以下、本開示を適用した情報処理装置の実施形態について、図面を参照して説明する。
　図１に示すように、本開示の一実施形態に係る情報処理装置１０を含む路側機１１は、検出装置１２、メモリ１３、通信部１４、及びコントローラ１５を含んで構成されてよい。
　検出装置１２は、路側機１１周辺から伝播する波動を検出してよい。検出装置１２は、検出した波動に基づいて、路側機１１の周囲における測定対象である被写体の実空間における存在位置を検出してよい。存在位置は、例えば、ワールド座標系の位置である。本実施形態においては、測定対象は、例えば、人間、箱型車両、自動二輪車、及び自転車である。メモリ１３は、路側機１１の位置を記憶してよい。通信部１４は、有線または無線により外部機器と通信してよい。外部機器は、例えば、路側機１１に近接する車両において利用されるナビゲーション装置などの端末装置、または走行中の車両の現在位置を認識して当該車両に交通情報を送信するサーバ装置等である。外部機器は、検出装置１２の手動較正用の端末装置であってよい。コントローラ１５は、測定対象の種類および実空間における存在位置を、路側機１１の位置とともに、ユーザに報知する外部機器に送信するよう通信部１４を制御してよい。
　以下に、検出装置１２の詳細について説明する。検出装置１２は、検出部１６及び情報処理装置１０を有してよい。
　検出部１６は、撮像部１７及び測距センサ１８を有してよい。検出部１６には、検出部座標系が定められていてよい。検出部座標系は、検出部１６における任意の位置を原点とし、当該原点を通る互いに垂直な３軸を座標軸とする三次元座標系である。検出部座標系の原点は、例えば、撮像部１７の光軸と撮像素子の交点である。検出部座標系は、例えば、撮像部１７の光軸に平行な線を座標軸に含む。
　検出部１６は、例えば、信号装置、電柱、および街灯などの、屋外において路面を含む光景を撮像可能な高さを有する構造物に固定されてよい。構造物に対する検出部１６の位置及び姿勢は、事前に定められてよい。検出部１６の位置は、ワールド座標系において基準となる位置に対する検出部座標系の原点を意味する。検出部１６の姿勢は、ワールド座標系の座標軸に対する検出部座標系の座標軸の傾きを意味する。本開示において「ワールド座標系」は、検出部１６の外部の三次元空間に基づいて設定された座標系を意味する。
　撮像部１７は、複数の物点から伝播する電磁波を検出することにより、撮像画像を生成する。撮像部１７は、３０ｆｐｓ等の所定のフレームレートで撮像画像を生成してよい。撮像部１７は、可視光、近赤外光、及び遠赤外光の少なくとも一つを検出可能であってよい。言換えると、撮像部１７は、可視光画像を生成可能な可視光カメラ、近赤外画像又は遠赤外画像を生成可能な赤外線カメラであってよい。
　撮像部１７は、検出部座標系において定められた位置に固定されてよい。撮像部１７は、検出部座標系において定められた方向を向く姿勢で固定されてよい。
　測距センサ１８は、投射波を放射し、投射波の放射時点から当該投射波が照射された物体における反射波を受信時点までの時間に基づいて、当該物体における反射点までの距離値を計測する。測距センサ１８は、反射波が生じた方向毎の距離値を含む距離分布を生成する。測距センサ１８は、所定の周期で距離分布を生成してよい。距離分布の生成周期は、撮像部１７のフレームレートの逆数との差が小さいことが好ましい。
　投射波は、例えば、電波、音波、及び光波の少なくとも一つを含んでよい。言換えると、距離分布は、レーダ、ソナー、ＬｉＤＡＲの少なくとも一つの検出結果を含んでよい。本実施形態において、測距センサ１８は、ミリ波レーダである。
　測距センサ１８は、検出軸を有してよい。検出軸は、投射波の発生源を通り、投射波の投射範囲内の任意の進行方向に平行な直線であってよい。測距センサ１８は、検出軸に垂直な平面に平行な２直線を軸にして傾斜させた方向別に反射点からの距離値を検出してよい。
　測距センサ１８は、検出部座標系において定められた位置に固定されてよい。測距センサ１８は、検出部座標系において定められた方向を向く姿勢で固定されてよい。例えば、測距センサ１８は、撮像部１７と検出範囲の少なくとも一部が重複する位置及び姿勢で固定されてよい。例えば、測距センサ１８は、撮像部１７の光軸と、測距センサ１８の検出軸が平行且つ互いに近接する位置及び姿勢で固定されてよい。
　図２に示すように、情報処理装置１０は、画像インターフェース１９、センサインターフェース２０、及びコントローラ２１を含む。情報処理装置１０は、更にメモリ２２を含んでよい。
　画像インターフェース１９は、撮像部１７から撮像画像を取得する。センサインターフェース２０は、測距センサ１８から距離分布を取得する。
　メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ２２は、コントローラ２１を機能させる多様なプログラム、およびコントローラ２１が用いる多様な情報を記憶してよい。
　メモリ２２は、撮像画像を構成する各画素の位置と、距離分布に含まれる距離値に対応する各方向との対応を記憶してよい。各画素の位置と各方向との対応は、検出部座標系における撮像部１７及び測距センサ１８それぞれの位置および姿勢に基づいて、算出されてよい。
　メモリ２２は、測距センサ１８から路面又は床面までの距離値を測距センサ１８からの方向別に記憶してよい。測距センサ１８から路面までの距離値は、検出部１６を構造物に固定して路面又は床面上に何もない状態で測距センサ１８に距離を検出させることによりサンプルされてよい。路面上又は床面上とは、路面又は床面に接する状態を意味してよい。
　メモリ２２は、測距センサ１８から取得する距離分布における距離値及び対応する方向からのワールド座標系における座標位置への変換式又は変換表を記憶してよい。変換式又は変換表は、構造物に対する検出部１６の位置及び姿勢、並びに検出部１６における測距センサ１８の位置及び姿勢に基づいてよい。ワールド座標系は、実空間の鉛直方向と、および水平面に平行且つ互いに垂直な２方向とを軸としてよい。
　メモリ２２は、撮像部１７から取得する撮像画像を構成する画素が路面又は床面上の物体を示す場合の、当該画素の二次元座標系の座標からのワールド座標系への座標の変換式または変換表を記憶してよい。
　コントローラ２１は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。コントローラ２１は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）のいずれかであってもよい。
　コントローラ２１は、測距センサ１８から取得する距離分布から、路面又は床面までの距離値と異なる距離値を、対応する方向とともに抽出してよい。
　コントローラ２１は、撮像画像から測定対象である被写体に対応する被写体像を検出する。より具体的には、コントローラ２１は、撮像部１７の撮像範囲及び測距センサ１８の検出範囲が重複する範囲内で、被写体像を検出する。コントローラ２１は、パターンマッチング、深層学習等の公知の方法により被写体像を検出してよい。コントローラ２１は、被写体像の検出に、以下に説明するように距離分布を用いてよい。
　コントローラ２１は、撮像画像において被写体像の存在する可能性の高い領域を、測距センサ１８から取得した距離分布、又は前述の抽出済みの距離分布に基づいて特定してよい。より具体的には、コントローラ２１は、距離分布を構成する複数の方向別の距離値の中から、距離値の差が所定値以下であり且つ対応する方向が互いに近接する距離値群を少なくとも一つ抽出してよい。距離値の差が所定値以下とは、例えば、距離値群の最大値及び最小値の差分が所定値以下であること、または互いに隣接する２方向に対応する２つの距離値の間の差分が所定値以下であることを意味してよい。更に、コントローラ２１は、抽出した距離値群に対応する方向群毎に、当該方向群に、撮像画像において対応する領域を少なくとも含む領域を、被写体像の存在する可能性の高い領域として特定してよい。
　コントローラ２１は、方向群の抽出において、任意の方向に対して最も近接する方向との間の角度が外縁閾値未満である方向を、当該最も近接する方向の属する方向群に含めてよい。外縁閾値は、２つの反射点の間に、単一の被写体像の外縁があるか否かを判別するための当該反射点に対応する方向間の角度を比較する閾値である。外縁閾値は、測距センサ１８から路面又は床面までの距離が長くなるにつれて低下するように定められてよい。
　コントローラ２１は、被写体像の存在する可能性の高い領域において、撮像画像の輝度ゲイン拡大及び被写体像の検出に用いる閾値の緩和の少なくとも一方を行ってよい。閾値は、例えば、パターンマッチングにおいて記憶済みのパターンとの相違度又は類似度と比較する閾値である。また、閾値は、例えば、深層学習に基づく被写体の推定の信頼度と比較する閾値である。コントローラ２１は、輝度ゲイン拡大及び閾値の緩和の少なくとも一方を行った状態で、撮像画像からの被写体像の検出を行ってよい。
　コントローラ２１は、撮像画像において検出した被写体像別に、被写体像を囲繞する物体個別領域枠を作成してよい。図３に示すように、物体個別領域枠ｓｆは、撮像画像ｉｍにおける被写体像ｓｉの第１の方向の両端に接する第２の方向に平行な２直線と、当該被写体像ｓｉの第２の方向の両端に接する第１の方向に平行な２直線を囲う矩形の枠である。第１の方向は、実空間において水平方向に平行且つ光軸方向に垂直な方向である幅方向に、撮像画像において対応する方向である。第２の方向は、実空間において鉛直下方に、撮像画像において対応する方向であって第１の方向に垂直な方向である。
　なお、被写体が車両等である場合に、例えば、夜間等の周囲が暗い状況下及び雨天等の悪天候の状況下等で被写体像ｓｉの鉛直下方側の端が不鮮明になり得るため、物体個別領域枠ｓｆの第２の方向側の直線には誤差が生じ得る。
　コントローラ２１は、検出した被写体像ｓｉに対応する被写体までの距離を、撮像画像ｉｍ及び距離分布の少なくとも一方に基づいて算出してよい。
　コントローラ２１は、撮像画像ｉｍのみに基づいて距離を算出可能であってよい。具体的には、コントローラ２１は、撮像画像ｉｍにおける物体個別領域枠ｓｆの第２の方向側の線を対応する被写体が実空間で路面上に存在する位置として、当該線の座標をワールド座標系の座標に変換することにより距離を算出可能であってよい。
　または、コントローラ２１は、距離分布に基づいて、前述の抽出された方向群における距離値を抽出することにより、被写体の距離を算出可能であってよい。なお、コントローラ２１は、方向群に対応する距離値群を平均化することにより距離を算出可能であってよい。または、コントローラ２１は、当該距離値群の中で、最小値側から１０％等の所定の割合の距離値を平均化することにより、距離を算出可能であってよい。
　コントローラ２１は、距離分布に基づく距離算出において、撮像画像ｉｍを用いてよい。具体的には、コントローラ２１は、物体個別領域枠ｓｆ内の領域に対応する方向群に対応する距離値群を距離分布から抽出してよい。更に、コントローラ２１は、抽出した距離値群を用いて、被写体までの距離を算出してよい。例えば、コントローラ２１は、抽出した複数の距離値群を平均化することにより距離を算出してよい。または、コントローラ２１は、抽出した複数の距離値群の中で、最小値側から所定の割合の距離を平均化することにより、距離を算出してよい。
　コントローラ２１は、物体個別領域枠ｓｆのみに基づいて算出された距離と、距離分布に基づいて算出された距離とを用いて、被写体の距離を最終的に算出してよい。例えば、コントローラ２１は、最終的な算出に、物体個別領域枠ｓｆのみに基づいて算出された距離と、距離分布に基づいて算出された距離との重付け平均を適用してよい。
　コントローラ２１は、距離分布を優先して用いて、被写体までの距離を算出してよい。例えば、コントローラ２１は、距離分布の優先使用として、距離分布に基づいて算出された距離に対する重付けを増加させてよい。コントローラ２１は、撮像画像ｉｍの輝度に応じて、被写体までの距離の算出に用いる距離分布の優先度、言換えると重付けを変更してよい。
　コントローラ２１は、検出した被写体像ｓｉに対応する被写体の幅方向における位置を撮像画像ｉｍ及び距離分布に基づいて算出する。具体的には、コントローラ２１は、物体個別領域枠ｓｆ及び被写体の距離に基づいて、被写体の幅方向の位置を算出してよい。更に具体的な幅方向の位置の算出方法を、以下に説明する。
　コントローラ２１は、距離分布に基づいて算出した被写体の距離、及び当該距離に対応する方向に基づいて、当該方向に対応する被写体の路面上のワールド座標系における位置を算出してよい。コントローラ２１は、被写体の路面上のワールド座標系における位置に対応する、撮像画像ｉｍにおける第２の方向の位置を算出してよい。図４に示すように、コントローラ２１は、算出した第２の方向の位置で第１の方向に延びる仮想直線ｖｌと、物体個別領域枠ｓｆの第２の方向に延びる２直線それぞれの延長線との２つの交点ｉｐの位置座標を算出してよい。コントローラ２１は、２つの交点ｉｐの中心点ｍｐの位置座標を算出してよい。コントローラ２１は、中心点ｍｐの位置座標に対応するワールド座標系における位置座標を算出してよい。コントローラ２１は、ワールド座標系における位置座標を算出することにより、被写体の幅方向における位置を算出してよい。
　次に、本実施形態においてコントローラ２１が実行する、位置算出処理について、図５のフローチャートを用いて説明する。位置算出処理は、それぞれ最新の撮像画像ｉｍ及び距離分布を取得するとき開始する。
　ステップＳ１００において、コントローラ２１は、取得した距離分布から、路面又は床面までの距離値と異なる距離値を、対応する方向とともに抽出する。抽出後、プロセスはステップＳ１０１に進む。
　ステップＳ１０１では、コントローラ２１は、取得した距離分布を構成する複数の方向別の距離値の中から、同一の被写体に属する方向群を抽出する。具体的には、コントローラ２１は、当該複数の方向別の距離値の中から距離値の差が所定値以下であり且つ互いに方向が近接する距離値群に対応する方向群を、同一の被写体に属する方向群として抽出する。抽出後、プロセスはステップＳ１０２に進む。
　ステップＳ１０２では、コントローラ２１は、ステップＳ１０１において抽出した方向群に、撮像画像ｉｍにおいて対応する領域を、被写体像ｓｉの存在する可能性の高い領域として特定する。特定後、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、コントローラ２１は、特定した領域において、撮像画像ｉｍの輝度ゲイン拡大及び被写体像ｓｉの検出に用いる閾値を緩和する。輝度ゲイン拡大及び閾値緩和後、プロセスはステップＳ１０４に進む。
　ステップＳ１０４では、コントローラ２１は、取得した撮像画像ｉｍから、被写体像ｓｉを検出する。検出後、プロセスはステップＳ１０５に進む。
　ステップＳ１０５では、コントローラ２１は、ステップＳ１０４において検出した被写体像ｓｉを別々に囲繞する物体個別領域枠ｓｆを作成する。作成後、プロセスはステップＳ１０６に進む。
　ステップＳ１０６では、コントローラ２１は、物体個別領域枠ｓｆ内の領域に対応する方向の距離値を、取得した距離分布から抽出する。抽出後、プロセスはステップＳ１０７に進む。
　ステップＳ１０７では、コントローラ２１は、ステップＳ１０６において抽出した距離値に基づいて、被写体の距離を算出する。算出後、プロセスはステップＳ１０８に進む。
　ステップＳ１０８では、ステップＳ１０５において作成した物体個別領域枠ｓｆ、及びステップＳ１０７において算出した被写体の距離に基づいて、被写体の幅方向の位置を算出する。算出後、位置算出処理は終了する。
　以上のような構成の本実施形態の情報処理装置１０は、撮像画像ｉｍから対象である被写体像ｓｉを検出し、当該被写体像ｓｉに対応する被写体の水平方向に平行且つ撮像部１７の光軸方向に垂直な幅方向における位置を撮像画像ｉｍ及び距離分布に基づいて算出する。このような構成により、情報処理装置１０は、距離分布に基づく検出精度の高い距離を用いるので、撮像画像ｉｍに基づく被写体の幅方向の位置の検出精度を向上し得る。したがって、情報処理装置１０は、位置検出の検出精度を向上し得る。
　また、本実施形態の情報処理装置１０は、距離分布を優先して用いて、被写体までの距離を算出する。このような構成により、情報処理装置１０は、検出精度が撮像画像ｉｍより高い距離分布が優先されて、被写体までの距離が算出されるので、撮像画像ｉｍのみを用いた距離検出よりも、距離の検出精度を向上し得る。
　また、本実施形態の情報処理装置１０は、撮像画像ｉｍの輝度に応じて被写体までの距離の算出に用いる距離分布の優先度を変更する。撮像画像ｉｍのみを用いた距離検出では、撮像画像ｉｍの輝度が検出精度に影響を与える。このような事象に対して上述の構成を有する情報処理装置１０は、撮像画像ｉｍのみを用いて距離検出の検出精度が悪化する状況において距離分布の優先度を変更するので、距離の検出精度をより向上し得る。
　また、本実施形態の情報処理装置１０は、撮像画像ｉｍにおける被写体像ｓｉの存在する可能性の高い領域を距離分布に基づいて特定し、当該領域において撮像画像ｉｍの輝度ゲイン拡大及び被写体像ｓｉの検出に用いる閾値緩和の少なくとも一方を実行した状態で撮像画像ｉｍからの被写体像ｓｉの検出を行う。撮像画像ｉｍにおける被写体像ｓｉの検出では、被写体像ｓｉと周囲の像との画素値の比較が行われることが一般的である。したがって、被写体像ｓｉと周囲の像との画素値の差分が低くなると、被写体像ｓｉの検出能が低下する。撮像画像ｉｍの輝度ゲインの拡大又は閾値の緩和により、被写体像ｓｉの検出能が向上するものの、誤検出が増加する。このような事象に対して上述の構成を有する情報処理装置１０は、距離分布に基づいて被写体が存在する可能性の高い領域のみにおいて輝度ゲインの拡大及び閾値の緩和の少なくとも一方を実行するので、被写体像ｓｉの誤検出を抑制しながら、被写体像ｓｉの検出能を向上させ得る。したがって、情報処理装置１０は、被写体像ｓｉの検出能が低下する夜間等の周囲が暗い状況下及び雨天等の悪天候の状況下等においても、被写体像ｓｉの誤検出を抑制しながら、被写体像ｓｉの検出能を向上させ得る。
　また、本実施形態の情報処理装置１０は、撮像画像ｉｍに対する被写体像検出により被写体像ｓｉを囲繞する物体個別領域枠ｓｆを作成し、当該物体個別領域枠ｓｆに距離分布において対応する方向に基づいて、被写体の距離を算出する。測距センサ１８による距離検出では、距離値に対応付けられる角度の精度は、比較的低いことが一般的である。それゆえ、例えば、距離値の差が所定値以下であり且つ対応する方向が互いに近接する距離値群に対応する方向群に単一の被写体が存在すると仮定して被写体の距離を算出する構成においては、被写体に向く複数の方向の一部が誤差によりずれが生じると当該一部の方向を間に挟む他の方向に対応する距離値の、距離値群からの漏れが生じ得る。このような事象に対して上述の構成を有する情報処理装置１０は、このような漏れの影響を低減するので、距離の算出精度を向上させ得る。
　また、本実施形態の情報処理装置１０は、物体個別領域枠ｓｆと、当該物体個別領域枠ｓｆに距離分布において対応する方向に基づいて算出される被写体の距離とに基づいて、幅方向の位置を算出する。当該構成の効果を説明するために、物体個別領域枠ｓｆによる被写体の距離算出について以下に説明する。物体個別領域枠ｓｆの第２の方向に平行な２直線は、実空間において鉛直方向に相当し点として表される。撮像画像ｉｍにおける当該２直線は、実空間において直線状の点の軌跡として表され、図６に示すように、測距センサ１８から延び、測距センサ１８から見た被写体ｓｂの幅方向における両端それぞれに接する直線状の２接線ｔｌに相当する。それゆえ、実空間において奥行き方向において被写体ｓｂを通る幅方向に平行な直線と２接線ｔｌとの交点を結ぶ線分状の任意の点、例えば中心点の位置を、被写体ｓｂの幅方向における位置として算出可能である。奥行き方向とは、実空間において鉛直方向に垂直な平面において幅方向に垂直な方向である。このような幅方向における位置の算出方法においては、２接線ｔｌの少なくとも一方は奥行き方向に対して傾斜するため、実空間における被写体ｓｂの奥行方向における位置に誤差があると、幅方向の位置にも誤差が生じる。例えば、実空間における分割線ｐｌと幅方向に平行な直線との交点を被写体ｓｂの幅方向の位置として算出する構成において、幅方向に平行な直線の位置が被写体ｓｂから外れた場合に算出される誤差位置ｅｐと、幅方向に平行な直線の位置が被写体ｓｂに重なる場合に算出される真位置ｔｐとの間には誤差Δが生じる。分割線ｐｌは、図４に示すように撮像画像ｉｍにおける物体個別領域枠ｓｆの第１の方向の両端の直線それぞれと第１の方向に延びる直線との交点の中心点を通る中心線ｃｌに、実空間において相当する直線である。特に、撮像画像ｉｍにおける位置認識では、撮像画像ｉｍにおける第１の方向及び第２の方向に同じ長さでのずれは、実空間において幅方向よりも奥行き方向において大きなずれを発生させる。それゆえ、上述のように被写体像ｓｉの検出精度が低下する状況において、物体個別領域枠ｓｆの第２の方向側の直線の位置に誤差が生じると、被写体ｓｂの幅方向の位置にも大きな誤差Δが生じ得る。このような事象に対して上述の構成を有する情報処理装置１０は、検出精度の高い距離分布に基づく被写体ｓｂの距離を用いるので、物体個別領域枠ｓｆによる被写体ｓｂの幅方向の位置の算出精度を向上させる。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
　例えば、本実施形態において、情報処理装置１０は路側機１１に適用される構成であるが、このような構成に限定されない。例えば、情報処理装置１０は、車両等に搭載されてもよい。
　本開示において「第１」、「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の方向は、第２の方向と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、たとえば、汎用コンピュータ、ＰＣ(パーソナルコンピュータ)、専用コンピュータ、ワークステーション、ＰＣＳ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　Ｓｙｓｔｅｍ、パーソナル移動通信システム）、移動（セルラー）電話機、データ処理機能を備えた移動電話機、ＲＦＩＤ受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作は、プログラム命令（ソフトウェア）で実装された専用回路（たとえば、特定機能を実行するために相互接続された個別の論理ゲート）や、一以上のプロセッサにより実行される論理ブロックやプログラムモジュール等により実行されることに留意されたい。論理ブロックやプログラムモジュール等を実行する一以上のプロセッサには、たとえば、一以上のマイクロプロセッサ、ＣＰＵ（中央演算処理ユニット）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置及び／またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、たとえば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信及び/または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。
　なお、ここでは、特定の機能を実行する種々のモジュール及び／またはユニットを有するものとしてのシステムを開示しており、これらのモジュール及びユニットは、その機能性を簡略に説明するために模式的に示されたものであって、必ずしも、特定のハードウェア及び／またはソフトウェアを示すものではないことに留意されたい。その意味において、これらのモジュール、ユニット、その他の構成要素は、ここで説明された特定の機能を実質的に実行するように実装されたハードウェア及び／またはソフトウェアであればよい。異なる構成要素の種々の機能は、ハードウェア及び／もしくはソフトウェアのいかなる組合せまたは分離したものであってもよく、それぞれ別々に、またはいずれかの組合せにより用いることができる。また、キーボード、ディスプレイ、タッチスクリーン、ポインティングデバイス等を含むがこれらに限られない入力／出力もしくはＩ／Ｏデバイスまたはユーザインターフェースは、システムに直接にまたは介在するＩ／Ｏコントローラを介して接続することができる。このように、本開示内容の種々の側面は、多くの異なる態様で実施することができ、それらの態様はすべて本開示内容の範囲に含まれる。
　１０　情報処理装置
　１１　路側機
　１２　検出装置
　１３　メモリ
　１４　通信部
　１５　コントローラ
　１６　検出部
　１７　撮像部
　１８　測距センサ
　１９　画像インターフェース
　２０　センサインターフェース
　２１　コントローラ
　２２　メモリ
　ｃｌ　中心線
　ｅｌ　延長線
　ｉｍ　撮像画像
　ｉｐ　交点
　ｍｐ　中心点
　ｐｌ　分割線
　ｓｂ　被写体
　ｓｆ　物体個別領域枠
　ｓｉ　被写体像
　ｔｌ　接線
　ｖｌ　仮想直線

Claims (11)

  1. 　撮像部から撮像画像を取得する画像インターフェースと、
    　前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値を含む距離分布を計測する測距センサから、該距離分布を取得するセンサインターフェースと、
    　前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える
    　情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記コントローラは、前記距離分布を優先して用いて、前記被写体までの距離を算出する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置において、
    　前記コントローラは、前記撮像画像の輝度に応じて、前記被写体までの距離の算出に用いる前記距離分布の優先度を変更する
    　情報処理装置。
  4. 　請求項１から３のいずれか１項に記載の情報処理装置において、
    　前記撮像画像は、可視光画像、近赤外画像、及び遠赤外画像の少なくとも一つを含み、前記距離分布は、レーダ、ソナー、及びＬｉＤＡＲの少なくとも一つの検出結果を含む
    　情報処理装置。
  5. 　請求項１から４のいずれか１項に記載の情報処理装置において、
    　前記コントローラは、
    　前記撮像画像における前記被写体像の存在する可能性の高い領域を、前記距離分布に基づいて特定し、
    　該領域において前記撮像画像の輝度ゲイン拡大及び被写体像の検出に用いる閾値緩和の少なくとも一方を実行した状態で、前記撮像画像からの前記被写体像の検出を行う
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置において、
    　前記コントローラは、前記距離分布を構成する複数の方向別の距離値の中において距離値の差が所定値以下であり且つ方向が互いに近接する距離値群に対応する方向群に、前記撮像画像において対応する領域を、前記被写体像の存在する可能性の高い領域として特定する
    　情報処理装置。
  7. 　請求項１から６のいずれか１項に記載の情報処理装置において、
    　前記コントローラは、前記撮像画像に対する被写体像検出により前記被写体像を囲繞する物体個別領域枠を作成し、該物体個別領域枠に前記距離分布において対応する方向に基づいて、前記被写体の距離を算出する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置において、
    　前記コントローラは、前記物体個別領域枠及び前記被写体の距離に基づいて、前記幅方向の位置を算出する
    　情報処理装置。
  9. 　撮像画像を生成する撮像部と、
    　前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
    　前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える
    　車両。
  10. 　撮像画像を生成する撮像部と、
    　前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
    　前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える
    　路側機。
  11. 　撮像画像を生成し、
    　前記撮像画像の範囲の少なくとも一部と重複する検出範囲に対して、投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成し、
    　前記撮像画像から対象である被写体像を検出し、
    　該被写体像に対応する被写体の、水平方向に平行且つ前記撮像画像を生成する撮像部の光軸方向に垂直な幅方向における位置を、前記撮像画像及び前記距離分布に基づいて算出する
    　情報処理方法。
    　
PCT/JP2022/012917 2021-03-29 2022-03-18 情報処理装置、車両、路側機、および情報処理方法 WO2022210062A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280024950.0A CN117063218A (zh) 2021-03-29 2022-03-18 信息处理装置、车辆、路侧机以及信息处理方法
EP22780277.4A EP4318435A1 (en) 2021-03-29 2022-03-18 Information processing device, vehicle, roadside unit, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-055764 2021-03-29
JP2021055764A JP2022152835A (ja) 2021-03-29 2021-03-29 情報処理装置、車両、路側機、および情報処理方法

Publications (1)

Publication Number Publication Date
WO2022210062A1 true WO2022210062A1 (ja) 2022-10-06

Family

ID=83455238

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012917 WO2022210062A1 (ja) 2021-03-29 2022-03-18 情報処理装置、車両、路側機、および情報処理方法

Country Status (4)

Country Link
EP (1) EP4318435A1 (ja)
JP (1) JP2022152835A (ja)
CN (1) CN117063218A (ja)
WO (1) WO2022210062A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329393A (ja) * 1995-05-29 1996-12-13 Daihatsu Motor Co Ltd 先行車検出装置
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2009098025A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置
JP2016206773A (ja) 2015-04-17 2016-12-08 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329393A (ja) * 1995-05-29 1996-12-13 Daihatsu Motor Co Ltd 先行車検出装置
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2009098025A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置
JP2016206773A (ja) 2015-04-17 2016-12-08 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法

Also Published As

Publication number Publication date
JP2022152835A (ja) 2022-10-12
EP4318435A1 (en) 2024-02-07
CN117063218A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
US20210124013A1 (en) Signal processing apparatus, signal processing method, and program
CN111324115B (zh) 障碍物位置检测融合方法、装置、电子设备和存储介质
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
WO2019179417A1 (zh) 数据融合方法以及相关设备
US9443143B2 (en) Methods, devices and systems for detecting objects in a video
US20200042803A1 (en) Information processing method, information processing apparatus, and recording medium
US20200234580A1 (en) Moving object and driving support system for moving object
CN110264495B (zh) 一种目标跟踪方法及装置
CN111045000A (zh) 监测系统和方法
CN111563450B (zh) 数据处理方法、装置、设备及存储介质
JP6736931B2 (ja) 立体物検出方法及び立体物検出装置
EP3324359B1 (en) Image processing device and image processing method
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
KR102277503B1 (ko) 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법
JP2016085602A (ja) センサ情報統合方法、及びその装置
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
CN111578839A (zh) 障碍物坐标处理方法、装置、电子设备及可读存储介质
KR102163774B1 (ko) 영상 인식 장치 및 그 방법
JPH11257931A (ja) 物体認識装置
CN113076824B (zh) 车位获取方法、装置、车载终端及存储介质
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
WO2022210062A1 (ja) 情報処理装置、車両、路側機、および情報処理方法
JP2021135149A (ja) 動的物標検出システム、動的物標検出方法、及びコンピュータが実行可能なプログラム
CN116692690A (zh) 一种吊车防撞预警方法、装置、设备及介质
EP3373199A2 (en) Object detector, object detection method, carrier means, and equipment control system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22780277

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18552156

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280024950.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022780277

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022780277

Country of ref document: EP

Effective date: 20231030