WO2020224375A1 - 定位方法、装置、设备和计算机可读存储介质 - Google Patents

定位方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
WO2020224375A1
WO2020224375A1 PCT/CN2020/084148 CN2020084148W WO2020224375A1 WO 2020224375 A1 WO2020224375 A1 WO 2020224375A1 CN 2020084148 W CN2020084148 W CN 2020084148W WO 2020224375 A1 WO2020224375 A1 WO 2020224375A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference points
orientation
coordinates
physical reference
Prior art date
Application number
PCT/CN2020/084148
Other languages
English (en)
French (fr)
Inventor
王涛
俞一帆
张云飞
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to EP20802454.7A priority Critical patent/EP3967972A4/en
Publication of WO2020224375A1 publication Critical patent/WO2020224375A1/zh
Priority to US17/379,829 priority patent/US20210350572A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Definitions

  • the embodiments of this application relate to the field of computer vision technology, and in particular to a positioning method, device, equipment, and computer-readable storage medium.
  • assisted driving technology when driving a vehicle needs information about objects around the road, automatic driving integrates visual perception in the car, and realizes the recognition, tracking, and positioning of surrounding targets through the visual sensors on the car. In this way, the vehicle's own driving route and control method are determined.
  • Autonomous driving generally uses multi-source fusion positioning technology.
  • the main positioning fusion sources generally include: RTK (Real-Time Kinematic, real-time dynamic differential technology) positioning, IMU (Inertial Measurement Unit) positioning, lidar camera point cloud Positioning, high-precision maps, etc.
  • RTK Real-Time Kinematic, real-time dynamic differential technology
  • IMU Inertial Measurement Unit
  • lidar camera point cloud Positioning high-precision maps, etc.
  • the sensors used for vehicle positioning are all installed on the vehicle, the position is low, and the field of view is also extremely easy to be blocked by surrounding objects (such as large trucks), and there are many blind spots.
  • the embodiments of the present application provide a positioning method, device, equipment, and computer-readable storage medium, which can position objects in the image according to the captured image.
  • a positioning method is disclosed.
  • the method is applied to a server, and the method includes:
  • the position coordinates of the target object in the physical world are determined.
  • a method for determining a coordinate relationship is disclosed.
  • the coordinate relationship represents the relationship between pixel coordinates in an image and position coordinates in the physical world.
  • the method is applied to a server, The method includes:
  • the pixel coordinates in the first image and the first image are determined The conversion relationship between pixel coordinates in two images.
  • the method further includes:
  • the relationship between the pixel coordinates in the image captured by the image capture device from the second orientation and the position coordinates in the physical world is determined.
  • a positioning device is disclosed, the device is set in a server, and the device includes:
  • An acquiring unit configured to acquire an image taken by an image capture device and a shooting orientation of the image, the image capture device being set on the side of the road;
  • a pixel coordinate determining unit configured to determine the pixel coordinates of the target object in the image in the image
  • a corresponding relationship determining unit configured to determine the relationship between the pixel coordinates corresponding to the shooting orientation and the position coordinates in the physical world
  • the position determining unit is configured to determine the position coordinates of the target object in the physical world according to the relationship and the pixel coordinates.
  • a device for determining a coordinate relationship is disclosed.
  • the coordinate relationship represents the relationship between pixel coordinates in an image and position coordinates in the physical world.
  • the device is set in a server, The device includes:
  • the first determining unit is configured to determine the position coordinates in the physical world of multiple physical reference points located within a predetermined shooting range of the image capturing device;
  • a first acquisition unit configured to acquire a first image including the multiple physical reference points captured by the image capture device from a first orientation
  • the second determining unit is configured to determine the position coordinates of each of the multiple physical reference points in the physical world and the pixel coordinates in the first image The correspondence between pixel coordinates and position coordinates in the physical world;
  • a second acquisition unit configured to acquire a second image including the plurality of physical reference points captured by the image capturing device from a second orientation, where the second orientation is different from the first orientation
  • the third determining unit is configured to determine the pixel coordinates in the first image and the pixel coordinates in the second image of each of the multiple physical reference points in the first image The conversion relationship between the pixel coordinates of and the pixel coordinates of the second image.
  • a system for acquiring motion information of an object includes:
  • An image capturing device which is set to photograph a predetermined site and a target object in the predetermined site in a top-down orientation
  • the edge-side server is configured to determine the position coordinates of the target object in the physical world according to the image captured by the image capture device according to the positioning method described in the first aspect.
  • a computer device which includes a processor and a memory.
  • the memory stores a computer program.
  • the processor is configured to execute the computer program on the memory. Implement either of the method embodiments as in the first or second aspect.
  • a computer-readable storage medium on which a computer program is stored, and the computer program, when executed by a processor, implements the method embodiment as in the first or second aspect Any of them.
  • the pixel coordinates in the first image and the actual physical reference point are obtained according to the first image of the multiple physical reference points taken by the image capture device from a specific first orientation (predetermined orientation).
  • first orientation predetermined orientation
  • the pixel coordinates are obtained.
  • the conversion relationship between the two images allows the server to determine the position coordinates of the target object in the physical world according to the pixel coordinates of the target object in the second image.
  • Fig. 1 shows a schematic diagram of the composition of a system for acquiring motion information of an object according to an exemplary embodiment of the present application.
  • Fig. 2 shows a schematic flowchart of a positioning method according to an exemplary embodiment of the present application.
  • Fig. 3 shows a schematic flowchart of an exemplary specific implementation of step S230 in Fig. 2 according to an exemplary embodiment of the present application.
  • Fig. 4 shows a schematic flowchart of an exemplary specific implementation of step S240 in Fig. 2 according to an exemplary embodiment of the present application.
  • Fig. 5 shows a schematic flowchart of a method for determining a coordinate relationship according to an exemplary embodiment of the present application.
  • Fig. 6 shows a schematic flowchart of an exemplary specific implementation of step S520 in Fig. 5 according to an exemplary embodiment of the present application.
  • Fig. 7 shows a schematic block diagram of a device for determining a coordinate relationship according to an exemplary embodiment of the present application.
  • Fig. 8 shows a schematic block diagram of a positioning device according to an exemplary embodiment of the present application.
  • Fig. 9 shows a schematic block diagram of a computing device according to an exemplary embodiment of the present application.
  • Fig. 1 shows a schematic diagram of the composition of a system 100 for acquiring motion information of an object according to an exemplary embodiment of the present application.
  • the system 100 includes an image capturing device 110 and an edge server 120.
  • one image capturing device 110 and one edge-side server 120 are shown as an example.
  • the system 100 may include one or more image capturing devices 110 and one or more edge-side servers 120, and each edge-side server 120 may provide one or more image capturing devices 110. service.
  • the image capturing device 110 is arranged on the side of the road 140, and is used to photograph the road 140 and one or more objects 141-144 on the road from a top-view angle.
  • the image capturing device 110 may be arranged at a predetermined height on a pole located on the road side, and aligned with the road 140 at an angle from above.
  • the image capturing device 110 may be fixed, that is, the shooting orientation (shooting angle and distance to the road) is fixed, or it may be movable, that is, the shooting orientation is adjustable (for example, the image capturing device 110 can be rotated).
  • the shooting angle and/or the distance to the road are adjustable).
  • the image capturing device 110 may be any device capable of imaging an object, such as a camera, a video camera, a lidar, or the like.
  • the objects 141-144 may be moving objects or stationary objects, such as vehicles running or stationary on the road, pedestrians, and guardrails.
  • the edge server 120 may communicate with the image capture device 110 through a wired or wireless communication link, so that the image captured by the image capture device 110 is transmitted to the edge server 120.
  • the edge-side server 120 has an image recognition function, which can recognize objects (such as vehicles, pedestrians, guardrails, etc.) in the image, and uses the positioning method provided in the embodiments of the present application to identify the objects according to the image captured by the image capture device 110. Position the object out, and obtain the position coordinates of the object in the real physical world.
  • the edge-side server 120 may also be based on a plurality of corresponding position coordinates of the object determined according to a plurality of images including the object captured by the image capture device 110 , To determine at least one of the speed, direction of movement, and acceleration of the object.
  • the physical world position coordinates of the object A determined by the pixel coordinates in the image i are i(i1, i2)
  • the physical world position coordinates determined by the pixel coordinates of the object A in the image j are j(j1, j2 ), where the image i is taken at time t1, and the image j is taken at time t2 after t1
  • the movement speed V of the object A can be determined as: the distance between the coordinate i and the coordinate j divided by the time difference between the two images taken.
  • the movement direction and acceleration of the object A can also be calculated, which will not be described in detail here.
  • the edge-side server 120 may also communicate with the devices of vehicles on the road through the communication link of the network 130 to transmit the determined movement information such as the position, speed, movement direction, acceleration of the object to these equipment.
  • a sufficient number of image capturing devices 110 and corresponding edge-side servers 120 may be arranged on the road side, so that the sum of the shooting ranges of all the image capturing devices 110 can cover any place on the road.
  • Vehicles on the road communicate with the corresponding edge-side server 120 when driving, thereby obtaining movement information of surrounding objects on the road, so as to realize assisted driving/automatic driving based on the information.
  • the network 130 is a mobile communication network.
  • the edge server 120 may be an edge computing device or a component of a mobile communication network, or it can communicate with an edge computing device to transfer the motion information of an object to the mobile communication network via the edge computing device, and then via The mobile communication network transmits to devices such as vehicles.
  • the image capturing device 110 is set to photograph the road and objects on the road. It should be understood that the image capturing device 110 can be set to take pictures of any predetermined site (it can be outdoor or indoor) and the objects in it in a top-view orientation.
  • the road is only an exemplary implementation of the predetermined site. example.
  • edge server 120 described above may be any computer device with the functions described above, it may be an independent device or a component of an independent device, or it may be physically dispersed but A general term for multiple devices or components that are combined to achieve the functions described above.
  • the system for obtaining movement information of an object may be a roadside sensing system based on vehicle-road collaboration.
  • the system uses visual positioning technology to use images taken by an image capture device installed on the roadside to locate objects in the image, and obtain information such as the position and speed of the object, without the need to install various equipment on vehicles and other equipment that need this information.
  • This kind of sensor can reduce the cost of sensing equipment and the cost of automatic driving/assisted driving, and provide high-precision road condition sensing information at a lower cost.
  • the system, its positioning method, and motion information acquisition method provided by the embodiments of the present application can effectively identify and locate various types of vehicles, pedestrians, and other targets, and provide road condition information for devices such as assisted driving vehicles. Because the roadside visual perception positioning system of the image capture device is often deployed at a position above a certain height on the roadside, it is not susceptible to the occlusion of high obstacles such as large trucks, which greatly reduces the perception of autonomous driving/assisted driving vehicles Blind spot.
  • Fig. 2 shows a schematic flowchart of a positioning method according to an exemplary embodiment of the present application.
  • This example method can be executed by any computer device (for example, the edge server 120 shown in FIG. 1).
  • the example method includes:
  • S210 Acquire an image taken by an image capture device and a shooting orientation of the image, and the image capture device is set on the side of the road.
  • the image capturing device may be the image capturing device 110 as described above.
  • the computer device performing the example method shown in FIG. 2 may communicate with the image capture device to obtain the image taken by it.
  • the image capture device takes images in a certain orientation when shooting images, and the images obtained in different shooting orientations (shooting angle and shooting distance) are different.
  • the image capturing device saves the captured image, it can save the corresponding shooting orientation at the same time.
  • the computer equipment can also acquire the corresponding shooting orientation when acquiring the image.
  • S220 Determine the pixel coordinates of the target object in the image in the image.
  • Computer equipment can also use related image recognition technology to identify objects from images. For example, identify vehicles, pedestrians, etc. in the image.
  • the computer device can determine its pixel coordinates in the image according to the pixel corresponding to the target object in the image.
  • S230 Determine the relationship between the pixel coordinates corresponding to the shooting orientation and the position coordinates in the physical world.
  • the calibration process of the image capture device refers to the process of determining the relationship between the pixel coordinates in the image captured by the image capture device and the position coordinates in the physical world. This relationship is related to the internal parameters and distortion of the image capture device, and is also related to the shooting orientation and position coordinates of the image capture device.
  • the pixel coordinates in all the images captured by the same image capture device in a certain orientation have the same correspondence with the physical world position coordinates, that is, the pixel coordinates in the images captured by the same image capture device in the same shooting orientation and the physical world position coordinates They have the same corresponding relationship.
  • the corresponding relationship of the shooting orientation can be solved and saved for all possible shooting orientations.
  • the image and shooting orientation information After the image and shooting orientation information are acquired, the image can be identified from the image The corresponding relationship is applied to the target object.
  • the corresponding relationship is applied to the target object.
  • how to determine the correspondence between the pixel coordinates and the physical world position in an image taken in a certain orientation refer to the description of the embodiment shown in FIG. 5.
  • S240 Determine the position coordinates of the target object in the physical world according to the relationship and the pixel coordinates.
  • the pixel coordinates of the target object in the image are obtained (S220), and the corresponding relationship between the pixel coordinates in the image and the physical world position (S230) corresponding to the shooting direction of the image is obtained (S230), it can be determined The physical world position coordinates corresponding to the pixel coordinates, that is, the actual position of the target object, so as to realize the positioning of the target object.
  • the computer device may also calculate at least one of the following parameters according to the position coordinates corresponding to the multiple images of the object taken at different times: the moving speed, the moving direction, and the acceleration of the object.
  • the computer device also uses at least one of the object's position, movement speed, movement direction, and acceleration as the movement information of the object, and transmits it to other devices that need this information, such as related vehicles traveling on the road.
  • the position coordinates of the target object in the physical world described in the foregoing embodiments may be GPS (Global Positioning System, Global Positioning System) coordinates or planar position coordinates in a two-dimensional plane, and the two can be transformed into each other as needed.
  • GPS coordinates can be converted into plane position coordinates through Mercator projection or other conversion methods, and vice versa, the plane position coordinates can also be converted into GPS coordinates.
  • the positioning method provided by the embodiments of the present application can be applied to the scene of vehicle-road collaborative roadside visual perception.
  • the roadside visual perception system (such as the system 100 shown in FIG. 1) provides vehicles on the road with other vehicles and pedestrians on the road. , Obstacles, accidents, signs, etc., and further calculate the speed and movement direction of traffic participants on the road. Traffic participants on the road (vehicles, pedestrians, etc.) can determine which vehicles pose a potential threat to their own safe driving based on this information, so as to avoid the danger without affecting the safe driving of other vehicles.
  • the positioning method provided in the embodiments of the present application can also be applied to indoor positioning, which can locate indoor targets, obtain location information of indoor targets, and provide information for indoor advertising, route navigation, and the like.
  • the positioning method provided by the embodiments of the present application determines the position coordinates of the pixels in the image and the actual physical world corresponding to the shooting orientation of the image by determining the pixel coordinates in the image
  • the corresponding relationship between the two can determine the position coordinates of the object in the image in the real world, and realize the positioning of the object.
  • the image capture device needs to be calibrated, that is, the relationship between the pixel coordinates in the image captured by the image capture device and the position coordinates of the physical world is determined.
  • the method of calibrating the internal parameters and distortion coefficient of the camera can be Zhang's calibration method, but the relationship between the pixel coordinates in the calibration image and the position coordinates of the physical world needs to associate the physical reference point position and the reference point pixel, which is often difficult to implement.
  • a dual camera calibration method can be used to calibrate the image capture device. For example, in some scenarios, when two cameras have a large overlapping coverage area, you can use dual-camera automatic calibration. In the overlapping coverage area of the two cameras, the two cameras simultaneously recognize the same target. And the target is one-to-one on the two cameras; then based on the internal parameters of the two cameras, the camera distance and other parameters to solve the position information of the target; when multiple targets are identified, enough camera calibration is obtained The correspondence between the pixels of the physical reference point and the actual physical position.
  • the first orientation there is an approximate linear transformation relationship between the pixel coordinates in the image captured by the image capture device and the position coordinates in the actual physical world.
  • the linear transformation relationship can be solved by multiple physical reference points between the pixel coordinates in the image and the position coordinates in the actual physical world, where the image is an image with a known shooting orientation (hereinafter referred to as the first image), and multiple physical references Points (such as four or more) are on the same plane.
  • the shooting orientation may be a vertical shooting orientation, that is, the image capturing device is perpendicular to the common plane where the selected multiple physical reference points are located for shooting.
  • the position coordinates in the actual physical world mentioned here refer to the coordinates in the plane coordinate system, and the GPS coordinates can be transformed into each other through Mercator projection or other transformation methods.
  • the second image for the image (hereinafter referred to as the second image) captured by the image capture device in other shooting orientations (hereinafter referred to as the second orientation), multiple physical reference points may be selected in the first image
  • the corresponding pixel coordinates in the second image determine the conversion relationship between the pixel coordinates in the first image and the pixel coordinates in the second image, that is, the homography conversion relationship.
  • the homography transformation relationship can be represented by a homography transformation matrix. From the determined corresponding relationship between the pixel coordinates in the first image and the position coordinates in the physical world, and the conversion relationship between the pixel coordinates of the first image and the second image, the pixel coordinates in the second image can be determined The relationship between pixel coordinates and position coordinates in the physical world.
  • the relationship between the pixel coordinates in the image captured by the image capture device in the second orientation and the position coordinates in the physical world includes the following two relationships: 1.
  • S310 Determine a conversion relationship between pixel coordinates in an image captured by the image capturing device from another shooting orientation and pixel coordinates in an image captured from the shooting orientation.
  • the other shooting orientation here may refer to the first orientation described above, for example, the vertical shooting orientation.
  • the shooting orientation here refers to the second orientation.
  • S320 Determine the correspondence between the pixel coordinates in the image taken from another shooting direction and the position coordinates in the physical world.
  • the pixel coordinates in the image in the second orientation and the actual physical world can be determined first.
  • the relationship between the position coordinates, and then enter S240, or directly perform positioning calculation in S240 according to the above corresponding relationship and the above conversion relationship, that is, S240 may include the following steps as shown in FIG. 4:
  • S410 According to the conversion relationship and the pixel coordinates of the target object in the image taken from the shooting direction, determine the pixel coordinates of the target object in the image taken from another shooting direction.
  • S420 Determine the position coordinates of the target object in the physical world according to the correspondence and the pixel coordinates that the target object should have in the image taken from another shooting direction.
  • the position coordinates in the physical world that is, the coordinates in the plane coordinate system
  • the coordinates of the plane coordinate system can be converted into GPS coordinates.
  • FIG. 5 shows a flowchart of a method for determining a coordinate relationship provided by an exemplary embodiment of the present application.
  • This coordinate relationship represents the relationship between the pixel coordinates in the image and the position coordinates in the physical world, and the relationship is determined in the above-mentioned manner in the example of FIG. 5.
  • FIG. 5 can be executed by any computer device (for example, the edge server 120 described in FIG. 1).
  • This example method includes:
  • S510 Determine position coordinates in the physical world of multiple physical reference points located within a predetermined shooting range of the image capture device.
  • the predetermined shooting range refers to the shooting range of the image capture device in the use scene.
  • the shooting range here refers to the range that can be captured when the image capturing device is fixed (that is, the shooting orientation remains unchanged), that is, one shooting orientation corresponds to one shooting range.
  • the position and angle of the image capturing device are adjustable. In this way, the image capturing device has multiple shooting ranges/shooting orientations, and it needs to be calibrated separately for each shooting range/shooting orientation.
  • Multiple physical reference points should be understood as more than two physical reference points, and generally four or more physical reference points are used.
  • These multiple physical reference points are basically located in the same plane, and can be captured by the image capturing device at the same time, that is, located in a certain shooting range of a certain shooting orientation corresponding to the image capturing device. Multiple physical reference points can be used to calibrate the corresponding shooting orientation/shooting range.
  • the position coordinates of multiple physical reference points in the physical world here refer to the plane coordinates of each physical reference point on their common plane (hereinafter referred to as the first plane). If the GPS coordinates of the physical reference point are known, the GPS coordinates can be converted into plane coordinates by Mercator projection or other conversion methods. Conversely, if the plane coordinates of the physical reference point are known, GPS coordinates can be obtained.
  • the position coordinates of each physical reference point in the actual physical world can be determined by high-precision positioning technology such as GPS positioning, radar positioning, and the like.
  • the GPS coordinates of each physical reference point can be determined first, and then converted into plane position coordinates in the first plane.
  • the plane position coordinates in the first plane can also be directly obtained through high-precision positioning technology.
  • S520 Acquire a first image including multiple physical reference points captured by the image capturing device from a first orientation.
  • the first orientation here may be the vertical shooting orientation. In this orientation, the correspondence between the pixel coordinates in the image and the position coordinates in the physical world can be easily determined.
  • an identifiable object can be set at the physical reference point, and then an image capturing device can be used for shooting.
  • the first image is not necessarily a certain image, but may be a first image set including at least one image. Each image in the set may include an identifiable object corresponding to at least one of the multiple physical reference points, and all the images in the first image set together include all the identifiable objects corresponding to the multiple physical reference points.
  • the first image can include the following four images: image 1 containing the corresponding identifiable object of physical reference point A; The image 2 of the identified object; the image 3 of the corresponding identifiable object containing the physical reference point C; the image 4 of the corresponding identifiable object containing the physical reference point D.
  • the first image may also be an image of corresponding identifiable objects containing all physical reference points. It should be understood that the above examples are only exemplary, and the first image may also be an image set including other images.
  • the first image may include multiple images, it should be noted that the shooting orientation of the multiple images should all be the first orientation.
  • the first image containing the physical reference point may be an image taken with respect to the physical reference point in the actual physical world.
  • the first image may be an image of a relative position map of a plurality of physical reference points captured by the image capturing device from a first position, wherein the relative position map of the plurality of physical reference points is based on each physical reference
  • the position coordinates of the points in the first plane are drawn in equal proportions, where the first plane is a common plane determined by multiple physical reference points.
  • Fig. 6 shows a schematic flowchart of acquiring the first image in this case.
  • S520 may include:
  • S610 Drawing a relative position map containing multiple physical reference points in an equal scale according to the position coordinates of each physical reference point in the first plane.
  • Drawing in equal proportions means that in the relative position map drawn, the distance between each physical reference point is in the same proportion to the corresponding real distance in the physical world.
  • the relative position map is an equal-scale reduced image (or an equal-scale enlarged image) of the relative positions of multiple physical reference points, which is more convenient to use the image capturing device to shoot in the first orientation.
  • S530 Determine the correspondence between the pixel coordinates in the first image and the position coordinates in the physical world according to the position coordinates of each of the multiple physical reference points in the physical world and the pixel coordinates in the first image relationship.
  • each physical reference point in the first image can be identified, and its pixel coordinates in the first image can be determined.
  • the correspondence between the pixel coordinates in the first image and the position coordinates in the physical world can be obtained.
  • the correspondence relationship may be applicable to all images captured by the same image capture device in the same first orientation, that is, the correspondence relationship is between the pixel coordinates in the image captured by the image capture device from the first orientation and the position coordinates in the physical world. The corresponding relationship.
  • S540 Acquire a second image including multiple physical reference points captured by the image capturing device from a second orientation, where the second orientation is different from the first orientation.
  • the second orientation refers to the shooting orientation to be calibrated, that is, the shooting orientation or one of the shooting orientations of the image capture device in the use scene, which is generally different from the first orientation.
  • the image capture device 110 is fixedly installed on a pillar on the side of the road to photograph the road, and the second orientation means that the image capture device 110 is fixed to the pillar and photographs the road. position. If the image capturing device 110 can have multiple shooting orientations, it can be calibrated one by one for each orientation.
  • an identifiable object can be set at the physical reference point, and then the image capturing device is used to shoot from the second direction.
  • the second image is not necessarily a certain image, but may be a second image set including one or more images. Each image in the set may include one or more identifiable objects corresponding to the multiple physical reference points, and all the images in the second image set include all the identifiable objects corresponding to the multiple physical reference points.
  • S550 Determine the difference between the pixel coordinates in the first image and the pixel coordinates in the second image according to the pixel coordinates of each of the multiple physical reference points in the first image and the pixel coordinates in the second image. The conversion relationship between.
  • multiple physical reference points can also be identified and their pixel coordinates in the second image can be determined.
  • the homography conversion matrix is suitable for conversion between pixel coordinates in an arbitrary image captured by the image capturing device from a first orientation and pixel coordinates in an arbitrary image captured from a second orientation. Therefore, the homography conversion matrix can be used as a conversion relationship between the pixel coordinates in the image captured by the image capturing device from the first orientation and the pixel coordinates in the image captured from the second orientation.
  • the difference between the pixel coordinates in the image captured by the image capturing device from the second orientation and the position coordinates in the actual physical world can also be determined based on these two relationships. Correspondence in order to be directly applied in the positioning method.
  • steps S510-S550 are shown in order in FIG. 5, it should be understood that the calibration method according to the embodiment of the present application is not limited to this order. S510-S550 may be executed in a different order from that in FIG. 5, for example, one or more steps in S510-S550 may be executed in a reverse order, or may be executed simultaneously in parallel.
  • determining the position coordinates of each physical reference point in the physical world (S510) and acquiring a second image (S540) containing multiple physical reference points captured by the image capture device from the second orientation can be as follows: Implementation mode to achieve. This example implementation may be executed by any computer device (for example, the edge server 120 described in FIG. 1), and includes the steps:
  • an image containing the identifiable object captured by the image capturing device from the second position is acquired as an image in the second image set.
  • the identifiable object is an object traveling through the physical reference point
  • the position sensing point of the position sensing device is set at the physical reference point
  • the position sensing device is arranged as: Determine the position coordinates of the position sensing point in the physical world, and trigger the image capturing device to shoot from the second orientation when an object is detected at the position sensing point.
  • a radar synchronized with the image capture device is installed, and when an object such as a vehicle passes the radar irradiation point, the camera is synchronized immediately. If after image recognition, only one object passes by at this time, the object corresponds to a physical reference point. In this way, the position information of the object in the physical world can be obtained through radar, and the pixel position (pixel coordinates) of the object in the image (ie, the second image) can be obtained through image recognition. By adjusting the radar azimuth to multiple different azimuths, the physical world position coordinates of multiple physical reference points and the corresponding pixel coordinates in the second image can be obtained as described above.
  • a mark for easy image recognition can be set on an object (for example, a special vehicle), and a special high-precision positioning device can be equipped.
  • the object After the image capturing device is set to the orientation to be calibrated, the object is driven to a plurality of positions (physical reference points) within a predetermined shooting range corresponding to the orientation to be calibrated by the image capturing device, and the image capturing device shoots each The image (second image) of the object at the position, and the physical world position coordinates of each position (physical reference point) are respectively recorded on the object side.
  • certain landmarks with fixed positions on the actual road can be used as the corresponding marks of the physical reference points.
  • the physical world position coordinates of these landmarks can be determined, and an image including these landmarks can be taken as the second image.
  • a device for determining a coordinate relationship which is used to perform the above calibration method embodiments.
  • the coordinate relationship represents the relationship between the pixel coordinates in the image and the position coordinates in the physical world. Relationship.
  • Fig. 7 shows a schematic composition block diagram of such a device 700 according to an exemplary embodiment of the present application.
  • the device 700 includes:
  • the first determining unit 710 is configured to determine the position coordinates in the physical world of multiple physical reference points located within a predetermined shooting range of the image capturing device;
  • the first acquiring unit 720 is configured to acquire a first image including the multiple physical reference points captured by the image capturing device from a first orientation, where the first orientation is a vertical shooting orientation;
  • the second determining unit 730 is configured to determine the pixel coordinates in the first image and the pixel coordinates in the physical world according to the position coordinates of each of the multiple physical reference points in the physical world and the pixel coordinates in the first image. Correspondence between location coordinates;
  • a second acquiring unit 740 configured to acquire a second image including the multiple physical reference points captured by the image capturing device from a second orientation, the second orientation being different from the first orientation;
  • the third determining unit 750 is configured to determine the pixel coordinates in the first image and the second image according to the pixel coordinates of each of the multiple physical reference points in the first image and the pixel coordinates in the second image The conversion relationship between pixel coordinates in.
  • the shooting orientation includes a second orientation, and the second orientation is different from the first orientation
  • the second acquiring unit 740 is configured to acquire a second image including multiple physical reference points captured by the image capturing device from a second orientation;
  • the third determining unit 750 is configured to determine the pixel coordinates in the first image and the second image according to the pixel coordinates of each of the multiple physical reference points in the first image and the pixel coordinates in the second image The conversion relationship between pixel coordinates in
  • the third determining unit 750 is configured to determine the difference between the pixel coordinates in the second image and the position coordinates in the physical world according to the correspondence and transformation between the pixel coordinates in the first image and the position coordinates in the physical world. Correspondence.
  • the apparatus 700 may further include:
  • the fourth determining unit is configured to determine the relationship between the pixel coordinates in the second image and the position coordinates in the physical world according to the conversion relationship and the corresponding relationship.
  • the position coordinates in the physical world are position coordinates in a first plane, and the first plane is a common plane determined by multiple physical reference points.
  • the first image is a map of the relative positions of a plurality of physical reference points taken by the image capturing device from a first orientation, and the map of the relative positions of the plurality of physical reference points is based on each physical reference point in the first position.
  • the position coordinates in the plane are drawn in equal proportions, and the first plane is a common plane determined by multiple physical reference points.
  • the first plane includes the multiple physical reference points
  • the first determining unit 710 is configured to determine the global positioning system coordinates of each of the multiple physical reference points; determine the position coordinates of the physical reference points in the first plane according to the global positioning system coordinates of each physical reference point.
  • the first image is a first image set including at least one image
  • the second image is a first image set including at least one image.
  • the second image set of images each image in the first image set includes at least one identifiable object corresponding to at least one of the multiple physical reference points, and all the images in the first image set include all the images corresponding to the multiple physical reference points.
  • Recognizable objects each image in the second image set includes an identifiable object corresponding to at least one of the multiple physical reference points, and all images in the second image set together include all identifiable objects corresponding to the multiple physical reference points .
  • the first obtaining unit 720 is configured to obtain position coordinates of the identifiable object in the physical world determined by the position sensing device when the identifiable object is located at the physical reference point for each physical reference point , As the position coordinates of the physical reference point in the physical world;
  • the second acquisition unit 740 is configured to acquire an image containing the identifiable object captured by the image capturing device from the second orientation when the identifiable object is located at the physical reference point, as an image in the second image set.
  • FIG. 8 shows a schematic composition block diagram of a positioning device 800 according to an exemplary embodiment of the present application.
  • the device 800 includes:
  • the acquiring unit 810 is used to acquire the image taken by the image capturing device and the shooting orientation of the image.
  • the image capturing device is set on the side of the road.
  • the shooting orientation includes at least one of a first orientation and a second orientation, and the first orientation is a vertical orientation , The second position is different from the first position;
  • the pixel coordinate determining unit 820 is used to determine the pixel coordinates of the target object in the image in the image;
  • the corresponding relationship determining unit 830 is configured to determine the relationship between the pixel coordinates corresponding to the shooting orientation and the position coordinates in the physical world;
  • the position determining unit 840 is configured to determine the position coordinates of the target object in the physical world according to the relationship and the pixel coordinates.
  • correspondence determination unit 830 may be specifically implemented as any embodiment of the apparatus 700 described above.
  • the pixel coordinate determination unit 820 is configured to determine the corresponding position coordinates of the target object in the physical world according to multiple images containing the target object; determine the movement information of the target object according to the position coordinates, and move The information includes at least one of the following information:
  • Each device embodiment in the above embodiments can be implemented by hardware, software, firmware, or a combination thereof, and it can be implemented as a single device, or as various constituent units/modules scattered in one or A logic integrated system that performs corresponding functions in multiple computing devices.
  • the units/modules constituting each device in the above embodiments are divided according to logical functions, and they can be re-divided according to logical functions.
  • the device can be realized by more or fewer units/modules.
  • These constituent units/modules can be implemented by hardware, software, firmware, or a combination thereof. They can be separate independent components or integrated units/modules that combine multiple components to perform corresponding logical functions.
  • the hardware, software, firmware, or a combination thereof may include: separate hardware components, functional modules implemented by programming, functional modules implemented by programmable logic devices, etc., or a combination of the above methods.
  • each of the foregoing apparatus embodiments may be implemented as a computing device including a memory and a processor, and a computer program is stored in the memory, and the computer program is When the processor is executed, the computing device is caused to execute any one of the above-mentioned positioning method or calibration method embodiments, or, when the computer program is executed by the processor, the computing device realizes the above The functions implemented by the constituent units/modules of the described device embodiments.
  • the processor described in the above embodiments may refer to a single processing unit, such as a central processing unit (CPU, Central Processing Unit), or may be a distributed processor system including multiple dispersed processing units/processors.
  • CPU central processing unit
  • CPU Central Processing Unit
  • the memory described in the above embodiments may include one or more memories, which may be internal memories of the computing device, such as transient or non-transitory memories, or may be connected to the external of the computing device through a memory interface Storage device.
  • FIG. 9 shows a schematic composition block diagram of an exemplary embodiment of such a computing device 901.
  • the computing device may include, but is not limited to: at least one processing unit 910, at least one storage unit 920, and a bus 930 connecting different system components (including the storage unit 920 and the processing unit 910).
  • the storage unit stores program code, and the program code can be executed by the processing unit 910, so that the processing unit 910 executes the various exemplary embodiments described in the description section of the above-mentioned exemplary method of this specification.
  • the processing unit 910 may execute various steps shown in the drawings.
  • the storage unit 920 may include a readable medium in the form of a volatile storage unit, such as a random access memory unit (RAM, Random Access Memory) 921 and/or a cache storage unit 922, and may further include a read-only memory unit (ROM, Read Only Memory) 923.
  • RAM random access memory
  • ROM Read Only Memory
  • the storage unit 920 may also include a program/utility tool 924 having a set of (at least one) program module 925.
  • program module 925 includes but is not limited to: an operating system, one or more application programs, other program modules, and program data, Each of these examples or some combination may include the implementation of a network environment.
  • the bus 930 may represent one or more of several types of bus structures, including a storage unit bus or a storage unit controller, a peripheral bus, a graphics acceleration port, a processing unit, or a local area using any bus structure among multiple bus structures. bus.
  • the computing device can also communicate with one or more external devices 970 (such as keyboards, pointing devices, Bluetooth devices, etc.), and can also communicate with one or more devices that enable users to interact with the computing device, and/or communicate with
  • the computing device can communicate with any device (such as a router, modem, etc.) that communicates with one or more other computing devices. This communication can be performed through an input/output (I/O) interface 950.
  • the computing device may also communicate with one or more networks (such as a local area network (LAN), a wide area network (WAN), and/or a public network, such as the Internet) through the network adapter 960. As shown in the figure, the network adapter 960 communicates with other modules of the computing device through the bus 930.
  • LAN local area network
  • WAN wide area network
  • public network such as the Internet
  • the computing device can be implemented using other hardware and/or software modules, including but not limited to: microcode, device drivers, redundant processing units, external disk drive arrays, disk arrays ( Redundant Arrays of Independent Drives, RAID) systems, tape drives, and data backup storage systems.
  • the exemplary embodiments described herein can be implemented by software, or can be implemented by combining software with necessary hardware. Therefore, the technical solution according to the embodiment of the present application can be embodied in the form of a software product, and the software product can be stored in a non-volatile storage medium (which can be a portable compact disc read-only memory (CD-ROM, Compact Disc Read- Only Memory), U disk, mobile hard disk, etc.) or on the network, includes several instructions to make a computing device (which can be a personal computer, server, terminal device, or network device, etc.) execute the method according to the embodiment of the present application.
  • a computing device which can be a personal computer, server, terminal device, or network device, etc.
  • a computer-readable storage medium on which a computer program is stored.
  • the computer program is executed by the processor of the computer, the computer is caused to execute the method described in the above embodiments. ⁇ each method embodiment.
  • a program product for implementing the method in the above method embodiment which can adopt a CD-ROM and include program code, and can run on a terminal device, such as a personal computer.
  • the program product of the embodiment of the present application is not limited thereto.
  • the readable storage medium can be any tangible medium that contains or stores a program, and the program can be used by or in combination with an instruction execution system, device, or device.
  • the program product can use any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or a combination of any of the above. More specific examples (non-exhaustive list) of readable storage media include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Erasable Programmable Read-Only Memory (EPROM) or flash memory, optical fiber, CD-ROM, optical storage device, magnetic storage device, or any suitable combination of the foregoing.
  • the computer-readable signal medium may include a data signal propagated in baseband or as a part of a carrier wave, in which a readable computer program is carried. This propagated data signal can take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the readable signal medium may also be any readable medium other than a readable storage medium, and the readable medium may send, propagate, or transmit a program for use by or in combination with the instruction execution system, apparatus, or device.
  • the computer program contained on the readable medium can be transmitted by any suitable medium, including but not limited to wireless, wired, optical cable, radio frequency (RF), etc., or any suitable combination of the foregoing.
  • any suitable medium including but not limited to wireless, wired, optical cable, radio frequency (RF), etc., or any suitable combination of the foregoing.
  • the program code used to perform the operations of the embodiments of the present application can be written in any combination of one or more programming languages.
  • the programming languages include object-oriented programming languages—such as Java, C++, etc., as well as conventional Procedural programming language-such as C or similar programming language.
  • the program code can be executed entirely on the user's computing device, partly on the user's device, executed as an independent software package, partly on the user's computing device and partly executed on the remote computing device, or entirely on the remote computing device or server Executed on.
  • the remote computing device can be connected to a user computing device through any kind of network, including a local area network (LAN) or a wide area network (WAN), or can be connected to an external computing device (for example, using Internet service providers) Business to connect via the Internet).
  • LAN local area network
  • WAN wide area network
  • Internet service providers Internet service providers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种定位方法、装置、设备和计算机可读存储介质，定位方法包括：获取图像捕获装置拍摄的图像以及图像的拍摄方位，图像捕获装置被设置在道路侧（S210）；确定图像中的目标物体在图像中的像素坐标（S220）；确定与拍摄方位相应的像素坐标与物理世界中的位置坐标之间的关系（S230）；根据关系以及目标物体在图像中的像素坐标，确定目标物体在物理世界中的位置坐标（S240）。根据图像中的像素坐标和物理世界中位置坐标之间的对应关系，以及不同拍摄方位下像素坐标之间的转换关系，能够准确地确定物体的位置信息，避免产生因视野盲区而无法对目标物体进行定位的问题。

Description

定位方法、装置、设备和计算机可读存储介质
本申请要求于2019年05月05日提交的申请号为201910367798.6、发明名称为“定位方法、装置、设备和计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及计算机视觉技术领域，特别涉及一种定位方法、装置、设备和计算机可读存储介质。
背景技术
在辅助驾驶技术中，当驾驶车辆需要道路周边的物体的信息时，自动驾驶将视觉感知都集成在车上，通过车上的视觉类传感器来实现对于周边目标的识别、跟踪、定位，并以此来确定车辆自身的行驶路线、控制方式等。
自动驾驶一般都采用多源融合定位技术，主要的定位融合源一般包括：RTK(Real-Time Kinematic，实时动态差分技术)定位、IMU(Inertial Measurement Unit，惯性测量单元)定位、激光雷达摄像头点云定位、高精地图等。通过这一系列的感知定位源与融合技术来获得自动驾驶车辆本身与周边目标的位置定位。
由于用于车辆定位的传感器都装在车上，位置较低，视野也极容易受到周边物体(例如大货车等)的遮挡，存在很多的盲区。
发明内容
本申请的实施例提供一种定位方法、装置、设备和计算机可读存储介质，能够根据所拍摄的图像对图像中的物体进行定位。
根据本申请实施例的第一方面，公开了一种定位方法，所述方法应用于服务器中，所述方法包括：
获取图像捕获装置拍摄的图像以及所述图像的拍摄方位，所述图像捕获装置被设置在道路侧；
确定所述图像中的目标物体在所述图像中的像素坐标；
确定与所述拍摄方位相应的所述像素坐标与物理世界中的位置坐标之间的关系；
根据所述关系以及所述像素坐标，确定所述目标物体在所述物理世界中的位置坐标。
根据本申请实施例的第二方面，公开了一种坐标关系的确定方法，所述坐标关系表征图像中的像素坐标与物理世界中的位置坐标之间的关系，所述方法应用于服务器中，所述方法包括：
确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在所述物理世界中的位置坐标；
获取所述图像捕获装置从第一方位拍摄的包含所述多个物理参考点的第一图像；
根据所述多个物理参考点中的各个物理参考点在所述物理世界中的位置坐标和在所述第一图像中的像素坐标，确定所述第一图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系；
获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像，所述第二方位不同于所述第一方位；
根据所述多个物理参考点中的各个物理参考点在所述第一图像中的像素坐标和在所述第二图像中的像素坐标，确定所述第一图像中的像素坐标与所述第二图像中的像素坐标之间的转换关系。
根据一示例性实施例，所述方法还包括：
根据所述转换关系和所述对应关系，确定所述图像捕获装置从所述第二方位拍摄的图像中的像素坐标与所述物理世界中的位置坐标之间的关系。
根据本申请实施例的第三方面，公开了一种定位装置，所述装置设置在服务器中，所述装置包括：
获取单元，用于获取图像捕获装置拍摄的图像以及所述图像的拍摄方位，所述图像捕获装置被设置在道路侧；
像素坐标确定单元，用于确定所述图像中的目标物体在所述图像中的像素坐标；
对应关系确定单元，用于确定与所述拍摄方位相应的所述像素坐标与物理世界中的位置坐标之间的关系；
位置确定单元，用于根据所述关系以及所述像素坐标，确定所述目标物体 在所述物理世界中的位置坐标。
根据本申请实施例的第四方面，公开了一种坐标关系的确定装置，所述坐标关系表征图像中的像素坐标与物理世界中的位置坐标之间的关系，所述装置设置在服务器中，所述装置包括：
第一确定单元，用于确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标；
第一获取单元，用于获取所述图像捕获装置从第一方位拍摄的包含所述多个物理参考点的第一图像；
第二确定单元，用于根据所述多个物理参考点中的各个物理参考点在所述物理世界中的位置坐标和在所述第一图像中的像素坐标，确定所述第一图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系；
第二获取单元，用于获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像，所述第二方位不同于所述第一方位；
第三确定单元，用于根据所述多个物理参考点中的各个物理参考点在所述第一图像中的像素坐标和在所述第二图像中的像素坐标，确定所述第一图像中的像素坐标与所述第二图像中的像素坐标之间的转换关系。
根据本申请实施例的第五方面，公开了一种获取物体的运动信息的系统，所述系统包括：
图像捕获装置，其被设置为以俯视的方位拍摄预定场地以及预定场地中的目标物体；
边缘侧服务器，用于根据所述图像捕获装置拍摄的图像，按照所述第一方面中所述的定位方法确定所述目标物体在所述物理世界中的位置坐标。
根据本申请实施例的第六方面，公开了一种计算机设备，其包括处理器以及存储器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时被配置为实现如在第一或第二方面的方法实施例中的任一个。
根据本申请实施例的第七方面，公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如在第一或第二方面的方法实施例中的任一个。
本申请的实施例提供的技术方案可以具有以下有益效果：
在本申请各实施例的一个或多个中，根据图像捕获装置从特定的第一方位(预定方位)拍摄的多个物理参考点的第一图像获取第一图像中的像素坐标与 实际的物理世界中的位置坐标之间的对应关系，并根据多个物理参考点在该图像捕获装置从另一方位拍摄的第二图像中的像素坐标以及在第一图像中的像素坐标，得到像素坐标在两个图像间的转换关系，从而使得服务器根据目标物体在第二图像中的像素坐标确定出该目标物体在物理世界中的位置坐标。
附图说明
通过参照附图详细描述其示例实施例，本申请实施例的上述和其它目标、特征及优点将变得更加显而易见。此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。
图1示出根据本申请一示例性实施例的用于获取物体的运动信息的系统的组成示意图。
图2示出根据本申请一示例性实施例的定位方法的示意流程图。
图3示出根据本申请一示例性实施例的图2中步骤S230的示例具体实施方式的示意流程图。
图4示出根据本申请一示例性实施例的图2中步骤S240的示例具体实施方式的示意流程图。
图5示出了根据本申请一示例性实施例的坐标关系的确定方法的示意流程图。
图6示出根据本申请一示例性实施例的图5中步骤S520的示例具体实施方式的示意流程图。
图7示出根据本申请一示例性实施例的坐标关系的确定装置的示意组成框图。
图8示出根据本申请一示例性实施例的定位装置的示意组成框图。
图9示出根据本申请一示例性实施例的计算设备的示意组成框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的实施例仅用以解释本申请，并不用于限定本申请。
图1示出了根据本申请一示例性实施例的用于获取物体的运动信息的系统 100的组成示意图。如图1中所示，系统100包括图像捕获装置110以及边缘侧服务器120。在图1中，示出了一个图像捕获装置110和一个边缘侧服务器120作为示例。可以理解的是，在替代实施例中，系统100可以包括一个或多个图像捕获装置110和一个或多个边缘侧服务器120，每个边缘侧服务器120可以为一个或多个图像捕获装置110提供服务。
图像捕获装置110被设置在道路140侧，用于以俯视的角度拍摄道路140以及道路上的一个或多个物体141-144。例如，图像捕获装置110可以被设置在位于路侧的立杆上预定高度处，并以俯视的角度对准道路140。图像捕获装置110可以是固定不动的，即，拍摄方位(拍摄角度及到路面的距离)固定不变，也可以是活动的，即拍摄方位是可调节的(例如，图像捕获装置110可转动拍摄角度和/或到路面的距离可调)。在一个示例中，图像捕获装置110可以是任何能够对物体进行成像的装置，例如照相机、摄像机、激光雷达等。物体141-144可以是运动的物体，也可以是静止的物体，例如路上行驶或静止的车辆、行人、护栏等。
边缘侧服务器120可以通过有线或无线通信链路与图像捕获装置110进行通信，以便图像捕获装置110所拍摄的图像被传送至边缘侧服务器120。边缘侧服务器120具有图像识别功能，可以识别图像中的物体(例如车辆、行人、护栏等等)，并使用本申请实施例的提供的定位方法，根据图像捕获装置110所拍摄的图像对所识别出的物体进行定位，获得物体在真实物理世界中的位置坐标。
在一些实施例中，边缘侧服务器120除了能够对图像中的物体进行定位，还可以基于根据图像捕获装置110所拍摄的包含该物体的多个图像而确定的该物体的相应的多个位置坐标，确定该物体的速度、运动方向、加速度中的至少一个。例如，由物体A在图像i中的像素坐标确定出的其物理世界位置坐标为i(i1，i2)，由其在图像j中像素坐标确定出的其物理世界位置坐标为j(j1，j2)，其中图像i为t1时刻拍摄，图像j为t1之后的t2时刻拍摄，则可以确定物体A的运动速度V为：坐标i与坐标j之间的距离除以两幅图像拍摄的时间差。另外，还可以计算物体A的运动方向和加速度，在此不再详述。
在一些实施例中，边缘侧服务器120还可以通过网络130的通信链路与道路上的车辆的设备进行通信，以将所确定的物体的位置、速度、运动方向、加速度等运动信息传送给这些设备。在一个示例中，可以在道路侧布置足够数量的图像捕获装置110以及相应的边缘侧服务器120，使得所有图像捕获装置110 的拍摄范围总和可以覆盖道路的任意地方。道路上的车辆在行驶时与相应的边缘侧服务器120进行通信，由此可以获得道路上其周边物体的运动信息，从而基于这些信息实现辅助驾驶/自动驾驶。
在一个示例中，网络130为移动通信网络。在一个示例中，边缘侧服务器120可以是移动通信网络的边缘计算设备或其组件，或者是能够与边缘计算设备进行通信，以把物体的运动信息经由边缘计算设备传递到移动通信网络，再经由移动通信网络传送到诸如车辆的设备。
在上面的描述中，将图像捕获装置110设置为拍摄道路及道路上的物体。应当理解的是，可以将图像捕获装置110设置为以俯视的方位拍摄任意的预定场地(其可以是室外的，也可以是室内的)及其中的物体，道路仅是预定场地的一示例性实施例。
可以理解的是，如上所述的边缘侧服务器120可以是具有如上所述的功能的任意计算机设备，其可以是一个独立的设备或一个独立设备的组成部分，也可以是在物理上分散、但结合起来实现如上所述的功能的多个设备或部件的总称。
本申请实施例提供的用于获取物体的运动信息的系统可以是基于车路协同的路侧感知系统。通过该系统的各实施例，可以弥补V2X技术渗透率低的情况下，无法有效工作的问题，快速推动车路协同技术落地。该系统通过视觉定位技术，使用设置在路侧的图像捕获装置拍摄的图像，对图像中的物体进行定位，获得物体的位置、速度等信息，而无需在车辆等需要这些信息的设备上安装各种传感器，从而可以降低用于感知设备的成本和自动驾驶/辅助驾驶的成本，以较低的成本给出较高精度的路况感知信息。通过本申请实施例提供的系统及其定位方法、运动信息获取方法可以有效地识别和定位各种类型的车辆、行人等目标，为诸如辅助驾驶车辆的设备提供道路路况信息。由于图像捕获装置的路侧视觉感知定位系统往往会部署在路边一定高度以上的位置，所以就不易受到大货车等较高的障碍物的遮挡影响，大大减少了自动驾驶/辅助驾驶车辆的感知盲区。
如上所述的实施例只是对根据本申请实施例的示例路侧感知系统的描述，应当理解的是，该实施例存在各种变形和改变。
图2示出了根据本申请一示例性实施例的定位方法的示意流程图。该示例方法可以由任意计算机设备(例如图1中所示的边缘侧服务器120)来执行。该 示例方法包括：
S210，获取图像捕获装置所拍摄的图像以及图像的拍摄方位，图像捕获装置被设置在道路侧。
图像捕获装置可以是如上所述的图像捕获装置110。执行图2所示的示例方法的计算机设备可以与图像捕获装置进行通信，以获取其拍摄的图像。
图像捕获装置在拍摄图像时是以一定的方位进行拍摄的，在不同的拍摄方位(拍摄角度和拍摄距离)拍摄得到的图像不同。图像捕获装置在保存拍摄的图像时，可以同时保存相对应的拍摄方位。计算机设备在获取图像时可以一并获取相应的拍摄方位。
S220，确定图像中的目标物体在图像中的像素坐标。
计算机设备还可以使用相关的图像识别技术从图像中识别出物体。例如，识别出图像中的车辆、行人等。
对于从图像中识别出的目标物体，计算机设备可以根据图像中与该目标物体相对应的像素确定其在图像中的像素坐标。
S230，确定与拍摄方位相对应的像素坐标与物理世界中的位置坐标之间的关系。
图像捕获装置的标定过程是指确定图像捕获装置拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系的过程。该关系与图像捕获装置的内参、畸变等相关，也与图像捕获装置的拍摄方位及所处的位置坐标相关。同一图像捕获装置在一定方位拍摄的所有图像中的像素坐标与物理世界位置坐标之间具有同一对应关系，即，相同图像捕获装置在相同拍摄方位拍摄的图像中的像素坐标与物理世界位置坐标之间具有相同的对应关系。在一个实施例中，对于目标图像捕获装置，可以针对其所有可能的拍摄方位求解并保存拍摄方位相应的对应关系，在获取了图像及其拍摄方位信息后，可以对从该图像中识别出的目标物体应用该对应关系。关于如何确定在某个方位拍摄的图像中的像素坐标与物理世界位置之间的对应关系，参考图5所示的实施例的描述。
S240，根据关系以及像素坐标，确定目标物体在物理世界中的位置坐标。
如果获得了目标物体在图像中的像素坐标(S220)，并获得了与该图像的拍摄方位相对应的、图像中的像素坐标与物理世界位置之间的对应关系(S230)，则可以确定出与像素坐标相对应的物理世界位置坐标，即目标物体的实际位置，从而实现对目标物体的定位。
在一个示例中，计算机设备还可以根据在不同时间拍摄的物体的多个图像对应的位置坐标计算如下参数中的至少一种：该物体的运动速度、运动方向和加速度。在一个示例中，计算机设备还把物体的位置、运动速度、运动方向和加速度中的至少一个作为该物体的运动信息，传送给需要这些信息的其他设备，例如道路行驶的相关车辆。
上述实施例中所述的目标物体在物理世界中的位置坐标可以是GPS(Global Positioning System，全球定位系统)坐标，也可以是二维平面中的平面位置坐标，二者可以根据需要相互转化。例如，通过墨卡托投影或者其他的转化方式将GPS坐标转化成平面位置坐标，反之，也可以由平面位置坐标转化成GPS坐标。
本申请实施例提供的定位方法可以应用于车路协同路边视觉感知场景中，通过路边视觉感知系统(例如图1中所示的系统100)为道路上的车辆提供道路上其他车辆、行人、障碍物、事故、标识牌等的位置，并进一步计算道路上的交通参与者的速度、运动方向等信息。道路上的交通参与者(车辆、行人等)基于这些信息可以判断哪些车辆对自身的安全行驶造成潜在的威胁，从而规避危险，又不影响到其他车辆的安全行驶。另外，本申请实施例提供的定位方法还可以应用于室内定位中，可对室内目标进行定位，获得室内目标的位置信息，为室内的广告投放、路线导航等提供信息。
本申请实施例提供的定位方法(也可以被命名为视觉定位方法)，通过确定图像中的像素坐标并确定与所述图像的拍摄方位相应的、图像中的像素与实际物理世界中的位置坐标之间的对应关系，可以确定出图像中的物体在真实世界中的位置坐标，实现对物体的定位。
如上所述，为了根据图像对图像中的物体进行定位，需要对图像捕获装置进行标定，即确定图像捕获装置拍摄的图像中的像素坐标与物理世界的位置坐标之间的关系。
标定摄像头内参和畸变系数的方法可以是张氏标定法，但是标定图像中的像素坐标与物理世界的位置坐标之间的关系需要关联物理参考点位置与参考点像素，实施起来往往比较困难。
在一实施例中，可以使用双摄像头标定法来对图像捕获装置进行标定。例如，在一些场景下，当两个摄像头具有较大的交叠覆盖区时，可以使用双摄像头自动标定的方式，在两个摄像头的交叠覆盖区中，两个摄像头同时识别同一 个目标，并且该目标在两个摄像头上一一对应起来；然后基于这两个摄像头的内参、摄像头距离等参数求解这个目标的位置信息；当识别了多个目标之后，即获得摄像头标定所需的足够多的物理参考点的像素与实际物理位置之间的对应关系。
在一些实施例中，在某些拍摄方位(以下称为第一方位)下，图像捕获装置所拍摄的图像中的像素坐标与实际物理世界中的位置坐标之间具有近似的线性变换关系，该线性变换关系可以通过图像中的像素坐标与实际物理世界中的位置坐标的多个物理参考点来求解，其中，图像是已知拍摄方位的图像(以下称为第一图像)，多个物理参考点(如四个或更多)在同一平面。拍摄方位可以是垂直拍摄方位，即图像捕获装置垂直于所选取的多个物理参考点所在的共同平面进行拍摄。这里所述的实际物理世界中的位置坐标是指平面坐标系中的坐标，其与GPS坐标可以通过墨卡托投影或者其他的转化方式进行相互转化。
在一些实施例中，对于该图像捕获装置在其他拍摄方位(以下称为第二方位)下所拍摄的图像(以下称为第二图像)，可以通过选取的多个物理参考点在第一图像和第二图像中的相应的像素坐标，确定第一图像中的像素坐标与第二图像中的像素坐标之间的转换关系，即单应性转换关系。该单应性变换关系可以用单应性变换矩阵来表示。由所确定出的第一图像中的像素坐标与物理世界中的位置坐标之间的对应关系以及第一图像与第二图像的像素坐标之间的转换关系，即可确定出第二图像中的像素坐标与物理世界中的位置坐标之间的关系。因此，图像捕获装置在第二方位下拍摄的图像中的像素坐标与物理世界中的位置坐标之间的关系包含如下两种关系：1、第一方位下的图像中的像素坐标与物理世界中的位置坐标之间的对应关系；2、第一方位下的图像与第二方位下的图像的像素坐标之间的转换关系。因此，如上所述的步骤S230可以包括如图3所示的如下两个步骤：
S310，确定图像捕获装置从另一拍摄方位拍摄的图像中的像素坐标与从拍摄方位拍摄的图像中的像素坐标之间的转换关系。
这里的另一拍摄方位可以指上面所述的第一方位，例如垂直拍摄方位。这里的拍摄方位是指第二方位。
S320，确定从另一拍摄方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
基于上述对应关系(第一方位下的图像中的像素坐标与物理世界中的位置 坐标之间的对应关系)以及上述转换关系，可以先确定出第二方位下的图像中的像素坐标与实际物理位置坐标之间的关系，然后进入S240，也可以根据上述对应关系以及上述转换关系直接在S240进行定位计算，即S240可以包括如图4中所示的如下步骤：
S410，根据转换关系以及目标物体在从拍摄方位拍摄的图像中的像素坐标，确定目标物体在从另一拍摄方位拍摄的图像中应具有的像素坐标。
在S410中，如果目标物体在以第一方位拍摄的图像中，则确定目标物体对应的像素坐标，即确定像素坐标在第一方位拍摄的图像与第二方位拍摄的图像之间的转换。
S420，根据对应关系以及目标物体在从另一拍摄方位拍摄的图像中应具有的像素坐标，确定目标物体在物理世界中的位置坐标。
在S420中，根据转换后的像素坐标，求解物理世界中的位置坐标，即在平面坐标系中的坐标。如果所需的是GPS坐标，可以将该平面坐标系的坐标转换成GPS坐标。
图5示出了本申请一示例性实施例提供的坐标关系的确定方法的流程图。该坐标关系表征图像中的像素坐标与物理世界中的位置坐标之间的关系，在图5的示例中以上面提到的方式确定该关系。图5可以由任意计算机设备(例如图1中所述的边缘侧服务器120)来执行。该示例方法包括：
S510，确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标。
预定拍摄范围，是指图像捕获装置在使用场景下所拍摄的范围。这里的拍摄范围是指在图像捕获装置固定不动(即拍摄方位不变)的情况下所能拍摄到的范围，即一个拍摄方位对应于一个拍摄范围。在有些情况下，图像捕获装置的位置和角度是可调的，这样，该图像捕获装置就具有多个拍摄范围/拍摄方位，需要针对每个拍摄范围/拍摄方位分别进行标定。如上所述，为了进行标定，需要使用多个物理参考点来求解。多个物理参考点应当理解为两个以上物理参考点，一般地使用四个或更多物理参考点。这多个物理参考点基本位于同一平面内，并且可被图像捕获装置同时捕获到，即位于图像捕获装置对应的某拍摄方位的某一拍摄范围内。可以使用多个物理参考点对相应的拍摄方位/拍摄范围进行标定。
这里的多个物理参考点在物理世界中的位置坐标，是指每个物理参考点在 它们的共同平面(以下称为第一平面)上的平面坐标。如果已知物理参考点的GPS坐标，可以通过墨卡托投影或者其他的转化方式将GPS坐标转化为平面坐标。反之，如果已知物理参考点的平面坐标，可以得到GPS坐标。
在一个实施例中，可以通过诸如GPS定位、雷达定位等的高精度定位技术来确定每个物理参考点在实际物理世界中的位置坐标。例如，可以先确定每个物理参考点的GPS坐标，然后将其转换成在第一平面内的平面位置坐标。再例如，通过高精度定位技术也可直接得出第一平面内的平面位置坐标。
S520，获取图像捕获装置从第一方位拍摄的包含多个物理参考点的第一图像。
这里的第一方位可以是垂直拍摄方位，在这种方位下，能够容易地确定出图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
为了从图像中识别出物理参考点，可以在物理参考点处设置可识别对象，然后使用图像捕获装置进行拍摄。第一图像并不一定是某一个图像，其可以是包括至少一个图像的第一图像集合。集合中的每个图像可以包括多个物理参考点中的至少一个相对应的可识别对象，并且第一图像集合的所有图像一起包括所有多个物理参考点相对应的可识别对象。例如，假设选取的物理参考点为A、B、C和D，那么第一图像可以包括如下4张图像：包含物理参考点A的相应可识别对象的图像1；包含物理参考点B的相应可识别对象的图像2；包含物理参考点C的相应可识别对象的图像3；包含物理参考点D的相应可识别对象的图像4。或者，第一图像也可以是包含所有物理参考点的相应可识别对象的一个图像。应当理解，以上示例仅是示例性的，第一图像也可以是包括其他图像个数的图像集合。
虽然第一图像可以包括多个图像，但应当注意的是，这多个图像的拍摄方位应当都是第一方位。
在一个实施例中，包含物理参考点的第一图像可以是针对实际物理世界中的物理参考点所拍摄的图像。在另一实施例中，第一图像可以是由图像捕获装置从第一方位拍摄的多个物理参考点的相对位置图的图像，其中多个物理参考点的相对位置图是根据每个物理参考点在第一平面内的位置坐标等比例绘制的，其中第一平面为多个物理参考点确定的共同平面。图6示出了在这种情况下获取第一图像的示意流程图。在这种情况下，S520可以包括：
S610，根据各个物理参考点在第一平面内的位置坐标，以等比例绘制包含 多个物理参考点的相对位置图。
以等比例绘制，是指所绘制的相对位置图中，各物理参考点之间的距离与物理世界中的相应真实距离均成相同的比例。
S620，通过图像捕获装置以第一方位拍摄相对位置图，作为第一图像。
相对位置图是多个物理参考点的相对位置的等比例缩小图像(也可以是等比例放大图像)，更便于使用图像捕获装置以第一方位进行拍摄。
S530，根据多个物理参考点中的各个物理参考点在物理世界中的位置坐标和在第一图像中的像素坐标，确定第一图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
获得第一图像后，可以识别第一图像中的每个物理参考点，并确定其在第一图像中的像素坐标。根据每个物理参考点在第一图像中的像素坐标以及其在物理世界中的位置坐标，可以得到第一图像中的像素坐标与物理世界中的位置坐标之间的对应关系。该对应关系可以适用于由同一图像捕获装置以相同的第一方位拍摄的所有图像，即该对应关系是图像捕获装置从第一方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
S540，获取图像捕获装置从第二方位拍摄的包含多个物理参考点的第二图像，其中第二方位不同于第一方位。
第二方位是指待标定的拍摄方位，即图像捕获装置在使用场景下的拍摄方位或拍摄方位之一，其一般不同于第一方位。例如，在路边视觉感知系统中，图像捕获装置110被固定设置在道路侧的立柱上，对道路进行拍摄，则第二方位是指该图像捕获装置110被固定到立柱后对道路进行拍摄的方位。如果图像捕获装置110可以具有多个拍摄方位，则可以针对每个方位逐一进行标定。
为了从图像中识别出物理参考点，可以在物理参考点处设置可识别对象，然后使用图像捕获装置从第二方位进行拍摄。第二图像并不一定是某一个图像，其可以是包括一个或多个图像的第二图像集合。集合中的每个图像可以包括多个物理参考点中的一个或多个相对应的可识别对象，并且第二图像集合的所有图像一起包括所有多个物理参考点相对应的可识别对象。
S550，根据多个物理参考点中的各个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标，确定第一图像中的像素坐标与从第二图像中的像素坐标之间的转换关系。
从所获取的第二图像中，同样可以识别出多个物理参考点并确定其在第二 图像中的像素坐标。在同一图像捕获装置从不同方位拍摄的图像中的像素坐标之间具有单应性转换关系，以单应性转换矩阵表示。通过每个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标，可以确定出第一图像和第二图像的像素坐标之间的单应性转换矩阵。该单应性转换矩阵适用于图像捕获装置从第一方位拍摄的任意图像中的像素坐标与从第二方位拍摄的任意图像中的像素坐标之间的转换。因此，该单应性转换矩阵可以作为图像捕获装置从第一方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系。
通过上述步骤S510-S550，可以获得图像捕获装置从第二方位(待标定方位)拍摄的图像中的像素坐标与实际物理世界中的位置坐标之间的关系所包含的两种关系：所述图像捕获装置以第一方位拍摄的图像中的像素坐标与物理世界中的位置坐标之间的对应关系；以及所述图像捕获装置从所述第一方位拍摄的图像中的像素坐标与从第二方位拍摄的图像中的像素坐标之间的转换关系。即，完成了对所述图像捕获装置的第二方位的标定。在一个实施例中，在获得上述两种关系后，还可以根据这两种关系确定出所述图像捕获装置从第二方位拍摄的图像中的像素坐标与实际物理世界中的位置坐标之间的对应关系，以便直接应用在定位方法中。
虽然在附图5中以顺序的方式示出了步骤S510-S550，但应当理解的是，根据本申请实施例的标定方法并不限于该顺序。S510-S550可以以与图5中的顺序不同的次序被执行，例如S510-S550中的一个或多个步骤以相反的顺序执行，或者可以并行同时执行。
在一个实施例中，确定每个物理参考点在物理世界中的位置坐标(S510)以及获取图像捕获装置从第二方位拍摄的包含多个物理参考点的第二图像(S540)可以以如下示例实施方式来实现。该示例实施方式可以由任意计算机设备(例如图1中所述的边缘侧服务器120)来执行，包括步骤：
对于各个物理参考点，可识别对象位于该物理参考点处时，获取位置感测装置所确定的该可识别对象在物理世界中的位置坐标，作为该物理参考点在物理世界中的位置坐标；
在该可识别对象位于该物理参考点处时，获取图像捕获装置从第二方位拍摄的包含该可识别对象的图像，作为第二图像集合中的图像。
在上述实施方式的一个实施例中，可识别对象为行驶经过该物理参考点的 物体，其中，位置感测装置的位置感测点设置在该物理参考点处，位置感测装置被布置为：确定位置感测点在物理世界中的位置坐标，并在检测到位置感测点处经过物体时触发图像捕获装置从第二方位的拍摄。
在一个示例中，在将图像捕获装置设置为待标定方位后，安装与图像捕获装置同步的雷达，当有诸如车辆的物体经过雷达照射点后，立即同步拍照。如果经过图像识别，此时只有一个物体经过，则该物体对应一个物理参考点。这样，既可通过雷达获得该物体在物理世界的位置信息，又可以通过图像识别获得该物体在图像(即第二图像)中的像素位置(像素坐标)。通过调整雷达方位角至多个不同方位，即可如上述方式获得多个物理参考点的物理世界位置坐标和在第二图像中的相应像素坐标。
在另一示例中，可以在物体(例如专用车辆)上设置容易图像识别的标记，并配备专用高精度定位装置。在图像捕获装置被设置到待标定方位后，使该物体依次行驶到图像捕获装置与待标定方位相对应的预定拍摄范围内的多个位置(物理参考点)处，图像捕获装置分别拍摄每个位置处的该物体的图像(第二图像)，并且在物体侧分别记录每个位置(物理参考点)的物理世界位置坐标。
在又一示例中，可以使用实际道路上的位置固定的某些标志物(如路边具有特征的树木、交通灯)作为物理参考点的相应标记。可以确定这些标志物的物理世界位置坐标，并拍摄包括这些标志物的图像作为第二图像。
根据本申请实施例的另一方面，还提供一种坐标关系的确定装置，用于执行如上所述的各标定方法实施例，坐标关系表征图像中的像素坐标与物理世界中的位置坐标之间的关系。图7示出了根据本申请一示例性实施例的这样的装置700的示意组成框图，该装置700包括：
第一确定单元710，用于确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在物理世界中的位置坐标；
第一获取单元720，用于获取图像捕获装置从第一方位拍摄的包含所述多个物理参考点的第一图像，第一方位为垂直拍摄方位；
第二确定单元730，用于根据多个物理参考点中的各个物理参考点在物理世界中的位置坐标和在第一图像中的像素坐标，确定第一图像中的像素坐标与物理世界中的位置坐标之间的对应关系；
第二获取单元740，用于获取图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像，第二方位不同于第一方位；
第三确定单元750，用于根据多个物理参考点中的各个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标，确定第一图像中的像素坐标与第二图像中的像素坐标之间的转换关系。
在一示例性实施例中，拍摄方位包括第二方位，第二方位不同于第一方位；
第二获取单元740，用于获取图像捕获装置从第二方位拍摄的包含多个物理参考点的第二图像；
第三确定单元750，用于根据多个物理参考点中的各个物理参考点在第一图像中的像素坐标和在第二图像中的像素坐标，确定第一图像中的像素坐标与第二图像中的像素坐标之间的转换关系；
第三确定单元750，用于根据第一图像中的像素坐标与物理世界中的位置坐标之间的对应关系和转关系，确定第二图像中的像素坐标与物理世界中的位置坐标之间的对应关系。
在一示例性实施例中，该装置700还可以包括：
第四确定单元，用于根据转换关系和对应关系，确定第二图像中的像素坐标与物理世界中的位置坐标之间的关系。
在一示例性实施例中，物理世界中的位置坐标为第一平面内的位置坐标，第一平面为多个物理参考点确定的共同平面。
在一示例性实施例中，第一图像是由图像捕获装置从第一方位拍摄的多个物理参考点的相对位置图，多个物理参考点的相对位置图是根据各个物理参考点在第一平面内的位置坐标等比例绘制的，第一平面为多个物理参考点确定的共同平面。
在一示例性实施例中，第一平面包括所述多个物理参考点；
第一确定单元710，用于确定多个物理参考点中的各个物理参考点的全球定位系统坐标；根据各个物理参考点的全球定位系统坐标确定物理参考点在第一平面内的位置坐标。
在一示例性实施例中，在第一图像和第二图像中，多个物理参考点处具有可识别对象，第一图像为包括至少一个图像的第一图像集合，第二图像为包括至少一个图像的第二图像集合，第一图像集合中的各个图像包括多个物理参考点中的至少一个相对应的可识别对象，第一图像集合的所有图像一起包括所有多个物理参考点相对应的可识别对象，第二图像集合中的各个图像包括多个物理参考点中的至少一个相对应的可识别对象，第二图像集合的所有图像一起包 括所有多个物理参考点相对应的可识别对象。
在一示例性实施例中，第一获取单元720，用于对于各个物理参考点，可识别对象位于物理参考点处时，获取位置感测装置所确定的可识别对象在物理世界中的位置坐标，作为物理参考点在物理世界中的位置坐标；
第二获取单元740，用于在可识别对象位于物理参考点处时，获取图像捕获装置从第二方位拍摄的包含可识别对象的图像，作为第二图像集合中的图像。
根据本申请实施例的又一方面，还提供一种定位装置，用于执行如前所述的各定位方法实施例。图8示出了根据本申请一示例性实施例的定位装置800的示意组成框图，该装置800包括：
获取单元810，用于获取图像捕获装置拍摄的图像以及图像的拍摄方位，图像捕获装置被设置在道路侧，拍摄方位包括第一方位和第二方位中的至少一种，第一方位为垂直方位，第二方位不同于第一方位；
像素坐标确定单元820，用于确定图像中的目标物体在图像中的像素坐标；
对应关系确定单元830，用于确定与拍摄方位相应的像素坐标与物理世界中的位置坐标之间的关系；
位置确定单元840，用于根据关系以及像素坐标，确定目标物体在物理世界中的位置坐标。
可以理解的是，对应关系确定单元830可以具体实现为如前所述的装置700的任一实施例。
在一示例性实施例中，所述像素坐标确定单元820，用于根据包含目标物体的多个图像确定目标物体在物理世界中相应的位置坐标；根据位置坐标，确定目标物体的运动信息，运动信息包括如下信息中的至少一种：
速度；
运动方向；
加速度。
上述各装置中各个单元/模块的功能和作用的实现过程以及相关细节具体详见上述方法实施例中对应步骤的实现过程，在此不再赘述。
以上各实施例中的各装置实施例可以通过硬件、软件、固件或其组合的方式来实现，并且其可以被实现为一个单独的装置，也可以被实现为各组成单元/模块分散在一个或多个计算设备中并分别执行相应功能的逻辑集成系统。以上各实施例中组成各装置的各单元/模块是根据逻辑功能而划分的，它们可以根据 逻辑功能被重新划分，例如可以通过更多或更少的单元/模块来实现该装置。这些组成单元/模块分别可以通过硬件、软件、固件或其组合的方式来实现，它们可以是分别的独立部件，也可以是多个组件组合起来执行相应的逻辑功能的集成单元/模块。所述硬件、软件、固件或其组合的方式可以包括：分离的硬件组件，通过编程方式实现的功能模块、通过可编程逻辑器件实现的功能模块，等等，或者以上方式的组合。
根据一个示例性实施例，上述各装置实施例中的每个可被实现为一种计算设备，该计算设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序在被所述处理器执行时，使得所述计算设备执行如上所述的定位方法或标定方法的各实施例中的任一个，或者，所述计算机程序在被所述处理器执行时使得该计算设备实现如上所述的各装置实施例的组成单元/模块所实现的功能。
上面的实施例中所述的处理器可以指单个的处理单元，如中央处理单元(CPU，Central Processing Unit)，也可以是包括多个分散的处理单元/处理器的分布式处理器系统。
上面的实施例中所述的存储器可以包括一个或多个存储器，其可以是计算设备的内部存储器，例如暂态或非暂态的各种存储器，也可以是通过存储器接口连接到计算设备的外部存储装置。
图9示出了这样的计算设备901的一个示例性实施例的示意组成框图。如图9所示，该计算设备可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。
所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述示例性方法的描述部分中描述的根据本申请各种示例性实施方式的步骤。例如，所述处理单元910可以执行附图中所示的各个步骤。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM，Random Access Memory)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(ROM，Read Only Memory)923。
存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括 网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
该计算设备也可以与一个或多个外部设备970(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算设备交互的设备通信，和/或与使得该计算设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。在一个实施例中，该计算设备还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与该计算设备的其它模块通信。应当明白，尽管图中未示出，但该计算设备可以使用其它硬件和/或软件模块来实现，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Drives，RAID)系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是便携式紧凑盘只读存储器(CD-ROM，Compact Disc Read-Only Memory)，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的各方法实施例。
根据本申请的一个实施例，还提供了一种用于实现上述方法实施例中的方法的程序产品，其可以采用CD-ROM并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请实施例的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是 可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)或闪存、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例的操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
以上实施例的各个技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (23)

  1. 一种定位方法，其特征在于，所述方法应用于服务器中，所述方法包括：
    获取图像捕获装置拍摄的图像以及所述图像的拍摄方位，所述图像捕获装置被设置在道路侧；
    确定所述图像中的目标物体在所述图像中的像素坐标；
    确定与所述拍摄方位相应的所述像素坐标与物理世界中的位置坐标之间的关系；
    根据所述关系以及所述像素坐标，确定所述目标物体在所述物理世界中的位置坐标。
  2. 根据权利要求1所述的方法，其特征在于，所述拍摄方位包括第一方位，所述第一方位为垂直拍摄方位；
    所述确定与所述拍摄方位相应的所述像素坐标与物理世界中的位置坐标之间的关系，包括：
    确定位于所述图像捕获装置的预定拍摄范围内的多个物理参考点在所述物理世界中的位置坐标；
    获取所述图像捕获装置从所述第一方位拍摄的包含所述多个物理参考点的第一图像；
    根据所述多个物理参考点中的各个物理参考点在所述物理世界中的位置坐标和在所述第一图像中的像素坐标，确定所述第一图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系。
  3. 根据权利要求2所述的方法，其特征在于，所述拍摄方位包括第二方位，所述第二方位不同于所述第一方位；
    所述确定与所述拍摄方位相应的所述像素坐标与物理世界中的位置坐标之间的关系，还包括：
    获取所述图像捕获装置从所述第二方位拍摄的包含所述多个物理参考点的第二图像；
    根据所述多个物理参考点中的各个物理参考点在所述第一图像中的像素坐标和在所述第二图像中的像素坐标，确定所述第一图像中的像素坐标与所述第 二图像中的像素坐标之间的转换关系；
    根据所述第一图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系和所述转换关系，确定所述第二图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系。
  4. 根据权利要求2所述的方法，其特征在于，所述物理世界中的位置坐标为第一平面内的位置坐标，所述第一平面为所述多个物理参考点确定的共同平面。
  5. 根据权利要求2所述的方法，其特征在于，所述第一图像是由所述图像捕获装置从所述第一方位拍摄的所述多个物理参考点的相对位置图，所述多个物理参考点的所述相对位置图是根据所述各个物理参考点在第一平面内的位置坐标等比例绘制的，所述第一平面为所述多个物理参考点确定的共同平面。
  6. 根据权利要求4所述的方法，其特征在于，所述第一平面包括所述多个物理参考点；
    所述确定位于所述图像捕获装置的预定拍摄范围内的多个物理参考点在所述物理世界中的位置坐标，包括：
    确定所述多个物理参考点中的各个物理参考点的全球定位系统坐标；
    根据所述各个物理参考点的全球定位系统坐标确定所述物理参考点在所述第一平面内的位置坐标。
  7. 根据权利要求2-6中任一项所述的方法，其特征在于，在所述第一图像和所述第二图像中，所述多个物理参考点处具有可识别对象，所述第一图像为包括至少一个图像的第一图像集合，所述第二图像为包括至少一个图像的第二图像集合，所述第一图像集合中的各个图像包括所述多个物理参考点中的至少一个相对应的所述可识别对象，所述第一图像集合的所有图像一起包括所有所述多个物理参考点相对应的所述可识别对象，所述第二图像集合中的各个图像包括所述多个物理参考点中的至少一个相对应的所述可识别对象，所述第二图像集合的所有图像一起包括所有所述多个物理参考点相对应的所述可识别对 象。
  8. 根据权利要求7所述方法，其特征在于，所述确定位于所述图像捕获装置的预定拍摄范围内的多个物理参考点在所述物理世界中的位置坐标，包括：
    对于各个物理参考点，所述可识别对象位于所述物理参考点处时，获取位置感测装置所确定的所述可识别对象在所述物理世界中的位置坐标，作为所述物理参考点在所述物理世界中的位置坐标；
    所述获取所述图像捕获装置从所述第二方位拍摄的包含所述多个物理参考点的第二图像，包括：
    在所述可识别对象位于所述物理参考点处时，获取所述图像捕获装置从所述第二方位拍摄的包含所述可识别对象的图像，作为所述第二图像集合中的图像。
  9. 根据权利要求1所述方法，其特征在于，所述方法还包括：
    根据包含所述目标物体的多个图像确定所述目标物体在所述物理世界中相应的位置坐标；
    根据所述位置坐标，确定所述目标物体的运动信息，所述运动信息包括如下信息中的至少一种：
    速度；
    运动方向；
    加速度。
  10. 一种坐标关系的确定方法，其特征在于，所述坐标关系表征图像中的像素坐标与物理世界中的位置坐标之间的关系，所述方法应用于服务器中，所述方法包括：
    确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在所述物理世界中的位置坐标；
    获取所述图像捕获装置从第一方位拍摄的包含所述多个物理参考点的第一图像；
    根据所述多个物理参考点中的各个物理参考点在所述物理世界中的位置坐 标和在所述第一图像中的像素坐标，确定所述第一图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系；
    获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像，所述第二方位不同于所述第一方位；
    根据所述多个物理参考点中的各个物理参考点在所述第一图像中的像素坐标和在所述第二图像中的像素坐标，确定所述第一图像中的像素坐标与所述第二图像中的像素坐标之间的转换关系。
  11. 一种定位装置，其特征在于，所述装置设置在服务器中，所述装置包括：
    获取单元，用于获取图像捕获装置拍摄的图像以及所述图像的拍摄方位，所述图像捕获装置被设置在道路侧；
    像素坐标确定单元，用于确定所述图像中的目标物体在所述图像中的像素坐标；
    对应关系确定单元，用于确定与所述拍摄方位相应的所述像素坐标与物理世界中的位置坐标之间的关系；
    位置确定单元，用于根据所述关系以及所述像素坐标，确定所述目标物体在所述物理世界中的位置坐标。
  12. 根据权利要求11所述的装置，其特征在于，所述拍摄方位包括第一方位，所述第一方位为垂直拍摄方位；
    所述对应关系确定单元包括：
    第一确定单元，用于确定位于所述图像捕获装置的预定拍摄范围内的多个物理参考点在所述物理世界中的位置坐标；
    第一获取单元，用于获取所述图像捕获装置从所述第一方位拍摄的包含所述多个物理参考点的第一图像；
    第二确定单元，用于根据所述多个物理参考点中的各个物理参考点在所述物理世界中的位置坐标和在所述第一图像中的像素坐标，确定所述第一图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系。
  13. 根据权利要求12所述的装置，其特征在于，所述拍摄方位包括第二方位，所述第二方位不同于所述第一方位；
    第二获取单元，用于获取所述图像捕获装置从所述第二方位拍摄的包含所述多个物理参考点的第二图像；
    第三确定单元，用于根据所述多个物理参考点中的各个物理参考点在所述第一图像中的像素坐标和在所述第二图像中的像素坐标，确定所述第一图像中的像素坐标与所述第二图像中的像素坐标之间的转换关系；
    所述第三确定单元，用于根据所述第一图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系和所述转关系，确定所述第二图像中的像素坐标与所述物理世界中的位置坐标之间的对应关系。
  14. 根据权利要求12所述的装置，其特征在于，所述物理世界中的位置坐标为第一平面内的位置坐标，所述第一平面为所述多个物理参考点确定的共同平面。
  15. 根据权利要求12所述的装置，其特征在于，所述第一图像是由所述图像捕获装置从所述第一方位拍摄的所述多个物理参考点的相对位置图，所述多个物理参考点的所述相对位置图是根据所述各个物理参考点在第一平面内的位置坐标等比例绘制的，所述第一平面为所述多个物理参考点确定的共同平面。
  16. 根据权利要求14所述的装置，其特征在于，所述第一平面包括所述多个物理参考点；
    所述第一确定单元，用于确定所述多个物理参考点中的各个物理参考点的全球定位系统坐标；根据所述各个物理参考点的全球定位系统坐标确定所述物理参考点在所述第一平面内的位置坐标。
  17. 根据权利要求12-16中任一项所述的装置，其特征在于，在所述第一图像和所述第二图像中，所述多个物理参考点处具有可识别对象，所述第一图像为包括至少一个图像的第一图像集合，所述第二图像为包括至少一个图像的第二图像集合，所述第一图像集合中的各个图像包括所述多个物理参考点中的至 少一个相对应的所述可识别对象，所述第一图像集合的所有图像一起包括所有所述多个物理参考点相对应的所述可识别对象，所述第二图像集合中的各个图像包括所述多个物理参考点中的至少一个相对应的所述可识别对象，所述第二图像集合的所有图像一起包括所有所述多个物理参考点相对应的所述可识别对象。
  18. 根据权利要求17所述的装置，其特征在于，所述第一获取单元，用于对于各个物理参考点，所述可识别对象位于所述物理参考点处时，获取位置感测装置所确定的所述可识别对象在所述物理世界中的位置坐标，作为所述物理参考点在所述物理世界中的位置坐标；
    所述第二获取单元，用于在所述可识别对象位于所述物理参考点处时，获取所述图像捕获装置从所述第二方位拍摄的包含所述可识别对象的图像，作为所述第二图像集合中的图像。
  19. 根据权利要求11所述的装置，其特征在于，所述像素坐标确定单元，用于根据包含所述目标物体的多个图像确定所述目标物体在所述物理世界中相应的位置坐标；根据所述位置坐标，确定所述目标物体的运动信息，所述运动信息包括如下信息中的至少一种：
    速度；
    运动方向；
    加速度。
  20. 一种坐标关系的确定装置，其特征在于，所述坐标关系表征图像中的像素坐标与物理世界中的位置坐标之间的关系，所述装置包括：
    第一确定单元，用于确定位于图像捕获装置的预定拍摄范围内的多个物理参考点在所述物理世界中的位置坐标；
    第一获取单元，用于获取所述图像捕获装置从第一方位拍摄的包含所述多个物理参考点的第一图像；
    第二确定单元，用于根据所述多个物理参考点中的各个物理参考点在所述物理世界中的位置坐标和在所述第一图像中的像素坐标，确定所述第一图像中 的像素坐标与所述物理世界中的位置坐标之间的对应关系；
    第二获取单元，用于获取所述图像捕获装置从第二方位拍摄的包含所述多个物理参考点的第二图像，所述第二方位不同于所述第一方位；
    第三确定单元，用于根据所述多个物理参考点中的各个物理参考点在所述第一图像中的像素坐标和在所述第二图像中的像素坐标，确定所述第一图像中的像素坐标与所述第二图像中的像素坐标之间的转换关系。
  21. 一种获取物体的运动信息的系统，其特征在于，所述系统包括：
    图像捕获装置，其被设置为以俯视的方位拍摄预定场地及预定场地中的目标物体；
    边缘侧服务器，用于根据所述图像捕获装置拍摄的图像，执行如权利要求1-9中任一项所述的定位方法和如权利要求10所述的坐标关系的确定方法。
  22. 一种计算机设备，包括处理器以及存储器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时被配置为实现如权利要求1-9中任一项所述的定位方法和如权利要求10所述的坐标关系的确定方法。
  23. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1-9中任一项所述的定位方法和如权利要求10所述的坐标关系的确定方法。
PCT/CN2020/084148 2019-05-05 2020-04-10 定位方法、装置、设备和计算机可读存储介质 WO2020224375A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20802454.7A EP3967972A4 (en) 2019-05-05 2020-04-10 Positioning method, apparatus, and device, and computer-readable storage medium
US17/379,829 US20210350572A1 (en) 2019-05-05 2021-07-19 Positioning method, apparatus, device, and computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910367798.6A CN110174093B (zh) 2019-05-05 2019-05-05 定位方法、装置、设备和计算机可读存储介质
CN201910367798.6 2019-05-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/379,829 Continuation US20210350572A1 (en) 2019-05-05 2021-07-19 Positioning method, apparatus, device, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2020224375A1 true WO2020224375A1 (zh) 2020-11-12

Family

ID=67690521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/084148 WO2020224375A1 (zh) 2019-05-05 2020-04-10 定位方法、装置、设备和计算机可读存储介质

Country Status (4)

Country Link
US (1) US20210350572A1 (zh)
EP (1) EP3967972A4 (zh)
CN (1) CN110174093B (zh)
WO (1) WO2020224375A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174093B (zh) * 2019-05-05 2022-10-28 腾讯科技（深圳）有限公司 定位方法、装置、设备和计算机可读存储介质
CN110926453A (zh) * 2019-11-05 2020-03-27 杭州博信智联科技有限公司 一种障碍物定位方法及系统
CN111046762A (zh) * 2019-11-29 2020-04-21 腾讯科技（深圳）有限公司 一种对象定位方法、装置电子设备及存储介质
CN111105461B (zh) * 2019-12-27 2023-05-09 万翼科技有限公司 定位装置、基于空间模型的定位方法和可读存储介质
CN112955711A (zh) * 2020-02-28 2021-06-11 深圳市大疆创新科技有限公司 位置信息确定方法、设备及存储介质
CN111337962A (zh) * 2020-03-26 2020-06-26 湖南科技大学 雷场探测中的rtk定位系统
CN111397582B (zh) * 2020-04-03 2021-12-10 小狗电器互联网科技（北京）股份有限公司 一种目标物的定位方法、装置、可读介质及电子设备
CN111741214A (zh) * 2020-05-13 2020-10-02 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN113515981A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 识别方法、装置、设备和存储介质
CN113804195A (zh) * 2020-06-15 2021-12-17 阿里巴巴集团控股有限公司 信息处理方法及设备和室内地图定位方法及设备
CN111862211B (zh) * 2020-07-22 2023-10-27 杭州海康威视数字技术股份有限公司 定位方法、装置、系统、存储介质和计算机设备
CN112446898A (zh) * 2020-10-30 2021-03-05 北京软通智慧城市科技有限公司 基于车路协同的定位方法、装置、设备、系统及存储介质
CN112419739A (zh) * 2020-11-18 2021-02-26 联通智网科技有限公司 车辆定位方法、装置和电子设备
CN114650366A (zh) * 2020-12-18 2022-06-21 深圳市卫飞科技有限公司 飞鸟防御方法、主控模块、飞鸟防御系统及存储介质
CN113489945A (zh) * 2020-12-18 2021-10-08 深圳市卫飞科技有限公司 一种目标定位方法、装置、系统及计算机可读存储介质
CN112866579B (zh) * 2021-02-08 2022-07-01 上海巡智科技有限公司 数据采集方法、装置及可读存储介质
CN113268063A (zh) * 2021-06-03 2021-08-17 北京京东乾石科技有限公司 机器人的控制方法、装置和非易失性计算机可读存储介质
CN113223087B (zh) * 2021-07-08 2021-09-21 武大吉奥信息技术有限公司 一种基于视频监控的目标物体地理坐标定位方法和装置
CN113436279B (zh) * 2021-07-23 2023-02-28 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
US11423576B1 (en) * 2021-07-23 2022-08-23 Ford Global Technologies, Llc Infrastructure node localization with respect to alternative frame of reference
TWI811954B (zh) * 2022-01-13 2023-08-11 緯創資通股份有限公司 定位系統及物件位置的校正方法
US11908185B2 (en) * 2022-06-30 2024-02-20 Metrostudy, Inc. Roads and grading detection using satellite or aerial imagery
CN115297315A (zh) * 2022-07-18 2022-11-04 北京城市网邻信息技术有限公司 用于环拍时拍摄中心点的矫正方法、装置及电子设备
CN115565134B (zh) * 2022-10-13 2024-03-15 广州国交润万交通信息有限公司 球机监控盲区诊断方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4776329B2 (ja) * 2005-10-17 2011-09-21 アルパイン株式会社 ナビゲーション装置
CN102306382A (zh) * 2011-06-28 2012-01-04 吉林大学 基于道路环境固有特征的事故现场图像校正方法
CN102496160A (zh) * 2011-12-09 2012-06-13 河海大学常州校区 集控式足球机器人视觉系统标定方法
CN107798897A (zh) * 2016-09-06 2018-03-13 财团法人工业技术研究院 路侧侦测系统、路侧装置及其路侧通信方法
CN110174093A (zh) * 2019-05-05 2019-08-27 腾讯科技（深圳）有限公司 定位方法、装置、设备和计算机可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050107A (ja) * 2001-08-07 2003-02-21 Matsushita Electric Ind Co Ltd カメラ校正装置
CN101661617B (zh) * 2008-08-30 2011-11-02 华为终端有限公司 摄像机标定的方法及装置
CN102141398B (zh) * 2010-12-28 2013-01-30 北京航空航天大学 基于单目视觉的多机器人位置与姿态测量方法
DE102014008578B4 (de) * 2014-06-12 2016-02-18 Audi Ag Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
US9928594B2 (en) * 2014-07-11 2018-03-27 Agt International Gmbh Automatic spatial calibration of camera network
CN104933718B (zh) * 2015-06-23 2019-02-15 广东省智能制造研究所 一种基于双目视觉的物理坐标定位方法
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
CN109003226A (zh) * 2017-06-06 2018-12-14 中林信达（北京）科技信息有限责任公司 一种全景图像实时拼接方法及装置
US11749111B2 (en) * 2018-03-19 2023-09-05 Derq Inc. Early warning and collision avoidance
CN108416812B (zh) * 2018-03-20 2020-03-10 中国电子科技集团公司第五十四研究所 一种单摄像机镜像双目视觉系统的标定方法
CN108364304A (zh) * 2018-04-11 2018-08-03 湖南城市学院 一种用于单目机载目标检测的系统和方法
CN108759834B (zh) * 2018-04-28 2023-03-21 温州大学激光与光电智能制造研究院 一种基于全局视觉的定位方法
CN108830907B (zh) * 2018-06-15 2021-02-19 深圳市易尚展示股份有限公司 基于单目系统的投影标定方法及系统
CN108980539B (zh) * 2018-06-19 2019-09-10 华南农业大学 多自由度运动拍摄平台装置及空间点坐标测量方法
CN109118545B (zh) * 2018-07-26 2021-04-16 深圳市易尚展示股份有限公司 基于旋转轴和双目摄像头的三维成像系统标定方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4776329B2 (ja) * 2005-10-17 2011-09-21 アルパイン株式会社 ナビゲーション装置
CN102306382A (zh) * 2011-06-28 2012-01-04 吉林大学 基于道路环境固有特征的事故现场图像校正方法
CN102496160A (zh) * 2011-12-09 2012-06-13 河海大学常州校区 集控式足球机器人视觉系统标定方法
CN107798897A (zh) * 2016-09-06 2018-03-13 财团法人工业技术研究院 路侧侦测系统、路侧装置及其路侧通信方法
CN110174093A (zh) * 2019-05-05 2019-08-27 腾讯科技（深圳）有限公司 定位方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
EP3967972A1 (en) 2022-03-16
CN110174093A (zh) 2019-08-27
CN110174093B (zh) 2022-10-28
EP3967972A4 (en) 2022-06-29
US20210350572A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
WO2020224375A1 (zh) 定位方法、装置、设备和计算机可读存储介质
US11482008B2 (en) Directing board repositioning during sensor calibration for autonomous vehicles
US11959771B2 (en) Creation and use of enhanced maps
US11386672B2 (en) Need-sensitive image and location capture system and method
US10281911B1 (en) System and method for controlling a remote aerial device for up-close inspection
EP2920954B1 (en) Automatic image capture
CN102951089B (zh) 基于移动设备摄像头的车载导航及主动安全系统
CN109949439B (zh) 行车实景信息标注方法、装置、电子设备和介质
US20200074196A1 (en) Method and apparatus for recognizing object, device, vehicle and medium
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
JPWO2020039937A1 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
US20210073539A1 (en) Port area monitoring method and system and central control system
KR20190076815A (ko) 전자 장치의 이동체 포즈 추정 방법
KR102221981B1 (ko) 위치 검출들을 그래픽 표시로 맵핑하기 위한 방법, 디바이스, 및 시스템
WO2022099482A1 (zh) 曝光控制方法、装置、可移动平台及计算机可读存储介质
KR102660024B1 (ko) 도로 이벤트 탐지 방법 및 그 장치
US20230194301A1 (en) High fidelity anchor points for real-time mapping with mobile devices
CN111950420A (zh) 一种避障方法、装置、设备和存储介质
JP2017182200A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20802454

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020802454

Country of ref document: EP

Effective date: 20211206