WO2017082774A1 - Способ и система распознавания городских объектов - Google Patents

Способ и система распознавания городских объектов Download PDF

Info

Publication number
WO2017082774A1
WO2017082774A1 PCT/RU2016/050052 RU2016050052W WO2017082774A1 WO 2017082774 A1 WO2017082774 A1 WO 2017082774A1 RU 2016050052 W RU2016050052 W RU 2016050052W WO 2017082774 A1 WO2017082774 A1 WO 2017082774A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
data
points
urban
planes
Prior art date
Application number
PCT/RU2016/050052
Other languages
English (en)
French (fr)
Inventor
Олег Анатольевич ИЛЬИЧЕВ
Сергей Юрьевич ГЕВОРКОВ
Дмитрий Леонидович ИВАНЧЕНКО
Алексей Васильевич ПАВЛЮЧЕНКОВ
Original Assignee
Общество с ограниченной ответственностью "ХЕЛЬГИ ЛАБ"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "ХЕЛЬГИ ЛАБ" filed Critical Общество с ограниченной ответственностью "ХЕЛЬГИ ЛАБ"
Priority to EP16864660.2A priority Critical patent/EP3376160A4/en
Publication of WO2017082774A1 publication Critical patent/WO2017082774A1/ru

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Definitions

  • the claimed solution relates to the field of information processing methods, in particular to a method and system for processing data obtained from various sources (ground-based laser shooting and photo-panning, aerial and space surveying, cartographic data, semantic information), for subsequent recognition of individual types of urban objects, determining their coordinates and characteristics, highlighting the texture of objects and then exporting the received information to various TIS and CAD systems for further selection eniya urban facilities in the form of three-dimensional city models.
  • sources ground-based laser shooting and photo-panning, aerial and space surveying, cartographic data, semantic information
  • This method is also used for the semantic separation of three-dimensional urban models, to determine similar objects, based on a trained algorithm that allows you to recognize and mark similar objects, in particular, building facades.
  • the known method is limited by the type of recognizable objects, and also does not have sufficient accuracy.
  • the objective of the claimed solution is to create a method and a system for recognizing it of various types of urban objects presented on various types of data, in particular photo images and laser scanning data.
  • the technical result is to increase the accuracy of determining urban objects when building models of urban panoramas based on laser scanning data and photographic data.
  • a computer-implemented method for recognizing urban objects which consists in processing primary data containing at least photographic data and laser scanning data containing information about urban objects, comprising stages in which:
  • the construction of the terrain and individual objects is carried out using photogrammetric algorithms based on photographs taken from different points of space; - perform sequential recognition of static urban objects from a set of cleared laser scanning data and photographic data, in which urban objects are determined;
  • the primary data further comprises spatial geodata and / or semantic data and / or panoramic photographs.
  • the photographic data is data obtained using ground and / or air and / or space photography.
  • spatial geodata are vector layers containing the coordinates of the boundaries of urban features.
  • the semantic data contains metadata of urban entities.
  • the source data is checked for the quality of the presentation of information.
  • processing of laser scanning data is performed, at which points corresponding to points formed due to interference in the laser process are removed from the cloud
  • ground and aerial panoramas are tested for a high-quality image of recognizable objects.
  • the nearest neighboring points are determined for each cloud point.
  • planes are constructed using the RANSAC method.
  • the normal to the point selects the normal vector of the plane that passes through the largest number of neighbors.
  • the points of the cloud are divided along a planar grid, in each cell of which for each point and its corresponding normal the neighboring points belonging to the plane described by this pair are searched.
  • the point with the maximum number of adjacent points on the plane is taken as the basis for the plane, and all the said neighboring points are removed from further processing.
  • all found planes in one cell are checked for compatibility with the planes of neighboring cells, and if the test is successful, then said planes of neighboring points are combined.
  • the check consists in checking the distance L between the planes and if the planes are located at a distance not exceeding L, then they are combined.
  • the sequence of searching for types of objects is established by the search algorithm policy.
  • the determination of urban objects is carried out on the basis of characteristic features established for each type of object.
  • the definition of urban objects is carried out on the basis of a comparison of the identified objects from the processed data with the reference objects from the database
  • the reliefs of individual objects are additionally constructed.
  • a city object recognition system comprising one or more processors and at least one memory storing computer-readable instructions that, when executed by at least one processor, process primary data containing at least least photographic data and laser data scanning, the aforementioned method of recognition of urban objects.
  • FIG. 1 is a flowchart of steps for implementing the claimed method.
  • FIG. 2-3 presents the principle of constructing normals based on laser scanning data.
  • FIG. 4-5 show an example of building recognition.
  • FIG. 6 shows an example of column recognition in panoramic images.
  • FIG. 7 shows an example of recognition of billboards.
  • FIG. 8 shows a general diagram of the claimed system.
  • FIG. 1 shows a general diagram of the stages of the claimed method for recognizing urban objects 100.
  • Urban objects in this description are the characteristic homogeneous human-created objects that are most often found in the urban landscape: buildings and structures, fences, poles, traffic signs and traffic lights, public transport stops, advertising media, etc.
  • primary data is obtained, which are at least photographic data and laser scanning data.
  • Ground-based surveying of urban areas is carried out by a special software and hardware system installed on the vehicle and including high-resolution panoramic cameras, laser scanners (rangefinders), precise positioning devices of the machine and a control computer with a special
  • the primary data are point clouds in las format (WGS84 coordinate system), panoramic photos jpg, panoramic coordinates and data from the GNSS base station. Also for terrestrial shooting can be used "stereo pair", two panoramic cameras mounted at a small distance from each other and shooting at the same time.
  • GeoTIFF GeoTIFF
  • the spatial data (geodata) for recognition are represented by vector layers in Shapefile format containing coordinates (WGS84 coordinate system Web Mercator projection): the boundaries of buildings, roads, and other objects.
  • Various semantic related information can also be used - metadata, which can be storeys, floor plans of buildings, etc.
  • the obtained primary data is cleaned and verified, during which the vector and raster data are loaded into the geodatabase (GDB) and checked for data validity (correct formats, lack of conflicting data, completeness of information, etc.).
  • GDB geodatabase
  • data validity correct formats, lack of conflicting data, completeness of information, etc.
  • Processing a cloud of points in particular the removal of “garbage” points caused by interference when shooting, the removal of moving objects that are absent on different driveways.
  • Ground and aerial panoramas are tested for the possibility of processing and the quality of the information provided, for example, the lack of cloudiness that impedes the restoration of terrain and roofs, and the localization of sites for detecting objects and determining the processing order in which areas for processing that can be determined be set manually or calculated automatically based on the availability of data.
  • pre-processing of the processed and cleaned laser scan data is performed.
  • steps 1031-1033 are performed.
  • FIG. 2-3 shows an example of the method when building normals to the points of the cloud of laser scanning.
  • the normals 110 are determined and constructed for each of the points of the cloud 130 (Fig. 3), the points are combined in the plane, and the terrain is built based on an aerial survey.
  • the laser points are grouped by location and time of the survey.
  • the nearest neighbors are taken and planes are constructed using the RANSAC method. The normal vector of the plane that passes through the largest number of neighbors is considered the normal to this point.
  • sub-step 1032 the construction of planes for the sets of points of the cloud 130 is performed.
  • the points of the cloud 130 are divided along a planar grid. In each cell of this grid, for each point and the normal corresponding to it, the neighboring points belonging to the plane described by this pair are searched. A point 130 with a maximum number of neighboring points 130 in a plane is accepted as the basis for the plane, and all of the mentioned neighboring points are removed from further processing, after which the process is repeated.
  • neighbors in the plane are meant points of a cloud 130 that lie in a plane containing the current point 130 and perpendicular to its normal 110. After all the planes are found, an attempt is made to combine these planes with planes from neighboring cells. Planes are combined only if the distance L between them is not greater than a given values, for example, 30 centimeters. This principle allows you to divide among themselves houses, standing on the same line.
  • the construction of the terrain is performed using photogrammetric algorithms based on images obtained during aerial photography. Additionally, at the aforementioned sub-step 1033, the construction of reliefs of individual objects, for example, part of the building (roof, facade, etc.), can be performed.
  • step 104 sequential recognition of static city objects from the set of cleared laser scanning data and photographic data is performed, in which city objects are determined.
  • Objects of different types are searched sequentially in the processed source data, while those sets of points in the clouds or portions of images that have been correlated with any object are marked and do not participate in further processing.
  • scripts for detecting objects in the following sequence are automatically executed: buildings and structures, fences, poles, billboards, signs and traffic lights, bus stops, and other objects.
  • the sequence can be changed manually or automatically for best recognition results. Separate parts of the process can also be removed or isolated, for example, you can configure the script to skip a specific type of object (poles, billboards, fences, etc.).
  • Each recognition script has default settings, according to which the platform performs automatic recognition. There is also the possibility of creating a settings template for each search algorithm, which can then be used by default.
  • FIG. 4-5 for building recognition based on cartographic and semantic data, the contour of the building and, possibly, its approximate height are determined. An array belonging to the desired object is selected from the point cloud, and the necessary textures are extracted from the aerial survey. To eliminate discrepancies in the positioning of an object on maps, in a cloud of points, and panoramas, an intelligent alignment system is used that allows you to “attract” the necessary data sections even when shifting several meters.
  • the highlighted information is checked for a number of key features that identify the object as a building.
  • Such signs are: the presence of extended vertical flat surfaces along the boundaries of the object, the presence of window cavities in the clouds of points, the height of the object above the surrounding relief, the presence of a characteristic roof when taking off from the air and some others.
  • the fence is defined as an extended plane adjacent to the ground, with a height of no more than a given limit.
  • a number of additional features can be used as data preventing the erroneous detection of third-party objects as fences: the absence in the space region of the contours of houses, as well as other adjacent objects, the absence of an additional relief on the plane, a uniform average texture color, etc.
  • FIG. 5 shows an example of column recognition.
  • the principle consists of three stages.
  • the points are divided by a grid of square meters. For the points of each square and its neighbors, three neighboring points are randomly selected several times and a cylinder is constructed through these points. If in the grid element the centers of such cylinders lie in the same plane coordinate, this place is marked as a vertically oriented cylinder. For each such place, signs are constructed for the learning algorithm, namely:
  • the adaptive boosting algorithm (ADABOOST) is provided with features of objects and classification.
  • the algorithm builds a recognition cascade. In our case, two separate cascades are built - the first rough, sifting out 95% of the objects. The second is more accurate, it eliminates another 99%. This approach is used for further error correction - if with the help of this algorithm a missing object is found, it is most likely to be in the objects after the first stage. This reduces the number of viewed objects in general, without compromising the accuracy of object detection.
  • Traffic sign recognition occurs in the optical range.
  • auxiliary source data a specially prepared database with a lot of real images of signs on the ground is used.
  • the algorithm consists of constructing the characteristic features of the image and training the adaptive boosting cascade using examples from the existing character base. In point clouds, to eliminate errors of the second kind, secondary signs are controlled: linear dimensions, distance from the roadway, installation height, etc.
  • Traffic light recognition simultaneously takes place in a point cloud and ground photo panorama.
  • a column of certain parameters with a characteristic traffic light box is detected in the cloud.
  • circles are searched with the specified colors.
  • cartographic data about the roadway and intersections are used.
  • a billboard is defined as a plane located at a certain height with certain linear dimensions.
  • objects-applicants are also checked for the absence of other objects located nearby, especially fences and buildings.
  • Secondary signs are also checked, for example, the presence of a pillar as a support, the presence of an advertising texture with sharp drops of medium color (Fig. 7).
  • a public transport stop is detected by the presence of perpendicular planes of a certain size, visible from above the horizontal plane of the characteristic texture, as well as the presence of additional signs: the presence of an object “sign” of a certain type and a broken yellow band in the optical image. Also controlled are the distance from the roadway and a number of other factors.
  • the method 100 it is possible to recognize other objects that were not originally incorporated into the recognition process.
  • the method 100 has the ability to learn by analyzing a library of real images, as well as by setting several geometric parameters characterizing the size and position of objects.
  • the training module is built according to an iterative scheme and it is possible to retrain the algorithms, indicating to it the errors of the first and second kinds after checking the recognition results of the next stage.
  • At step 105 at least the geographic coordinates in WGS84 (longitude, latitude, and height) and linear dimensions are determined for each identified object. Additionally, can be defined:
  • polygonal models of the found objects are constructed, containing textures in a graphic format, for example, jpg, obtained from photographs.
  • the obtained spatial data can be exported to geographic files of vector formats SHAPEFILE, KML or GeoJSON for presentation in various GIS, in three-dimensional models in 3DS or OBJ formats for use in CAD systems and in other ways.
  • FIG. 8 is a perspective view of a system 200 implementing the steps of the aforementioned method for recognizing urban objects 100.
  • System 200 is based on a computer, for example, 1MB PC, and contains at least such means as: processor 210, memory 220, interfaces input / output 230 and input / output devices 240, combined by a common data bus 250.
  • the processor 210 may be either a single computing device or a combination of two or more processors.
  • Memory 220 includes RAM, ROM, data storage facilities (HDD, SSD, optical disks, flash memory, etc.).
  • I / O 230 interfaces can be, but are not limited to, for example, serial ports, parallel ports, universal serial bus (USB), IEEE-1394 (i.Link or FireWare), LAN, or any other type of interface that uses a particular private an embodiment of system 200.
  • USB universal serial bus
  • IEEE-1394 i.Link or FireWare
  • LAN or any other type of interface that uses a particular private an embodiment of system 200.
  • I / O devices 240 may include, but are not limited to, for example, a mouse, keyboard, network controller, display, touchpad, light pen, laser stylus, joystick, trackpad, and the like.
  • the system 200 in the preferred embodiment is a server platform that provides the necessary calculations when implementing the aforementioned method 100.
  • the system 200 can be implemented on the basis of mobile devices, for example, a laptop, smartphone or tablet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к области обработки данных. Технический результат - повышение точности определения городских объектов при построении моделей городских панорам. Способ распознавания городских объектов заключается в обработке первичных данных, содержащих фотографические данные и данные лазерного сканирования, и содержит этапы, на которых: выполняют очистку и проверку полученных первичных данных; выполняют предварительную обработку очищенных данных лазерного сканирования, при которой осуществляется: построение нормалей к каждой из точек облака; построение плоскостей для совокупностей точек облака; построение рельефа местности; выполняют последовательное распознавание статичных городских объектов из набора очищенных данных лазерного сканирования и фотографических данных; для обнаруженных городских объектов определяют географические координаты и линейные размеры; и осуществляют построение полигональной модели обнаруженных объектов.

Description

СПОСОБ И СИСТЕМА РАСПОЗНАВАНИЯ ГОРОДСКИХ ОБЪЕКТОВ
ОБЛАСТЬ ТЕХНИКИ
Заявленное решение относится к области способов обработки информации, в частности к способу и системе для обработки данных, получаемых из разных источников (наземная лазерная съемка и фото- панорамирование, воздушная и космическая съемки, картографические данные, семантическая информация), для последующего распознавания на них отдельных видов городских объектов, определения их координат и характеристик, выделения текстуры объектов и последующее экспортирование полученной информации в различные ТИС и CAD-системы для дальнейшего отображения городских объектов в виде трехмерной городской модели.
УРОВЕНЬ ТЕХНИКИ
На сегодняшний день известны различные решения, направленные на распознавание различных объектов по фотографической информации, а также данным, полученным в ходе лазерного сканирования.
Известна технология распознавания и построения трехмерных моделей фасадов зданий на основе информации, получаемой из облаков точек лазерного сканирования с последующей обработкой промежуточной модели и наложению на трехмерный каркас фотографического изображения (3D АН The Way: Semantic Segmentation of Urban Scenes From Start to End in 3D // Andelo Martinovic et al.). Данный способ используется также для семантического разделения трехмерных городских моделей, для определения схожих объектов, на основе обучаемого алгоритма, позволяющего распознавать и отмечать схожие объекты, в частности, фасады зданий. Известный способ ограничен типом распознаваемых объектов, а также не обладает достаточной точностью определения.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Задачей заявленного решения является создание способа и реализующего его системы распознавания различного типа городских объектов, представленных на различного вида данных, в частности фотоизображениях и данных лазерного сканирования.
Техническим результатом является повышение точности определения городских объектов при построении моделей городских панорам на основе данных лазерного сканирования и фотографических данных.
В одном из предпочтительных вариантов осуществления заявленного изобретения заявлен компьютерно-реализуемый способ распознавания городских объектов, заключающийся в обработке первичных данных, содержащих, по меньшей мере, фотографические данные и данные лазерного сканирования, содержащие информацию о городских объектах, содержащий этапы, на которых:
- выполняют очистку и проверку полученных первичных данных, содержащих городские объекты; выполняют предварительную обработку очищенных данных лазерного сканирования, при которой
- осуществляется построение нормалей к каждой из точек облака;
- осуществляется построение плоскостей для совокупностей точек облака;
- осуществляется построение рельефа местности и отдельных объектов (например, фасадов зданий) с помощью фотограмметрических алгоритмов на основе фотоснимков, сделанных из разных точек пространства; - выполняют последовательное распознавание статичных городских объектов из набора очищенных данных лазерного сканирования и фотографических данных, при котором определяют городские объекты;
- для каждого обнаруженного городского объекта определяют, по меньшей мере, географические координаты и линейные размеры;
- осуществляют построение полигональной модели каждого из обнаруженных упомянутых объектов.
В частном варианте осуществления изобретения первичные данные содержат дополнительно пространственные геоданные и/или семантические данные и/или панорамные фотоизображения.
В другом частном варианте осуществления изобретения фотографические данные представляют собой данные полученные с помощью наземной и/или воздушной и/или космической фотосъемки.
В другом частном варианте осуществления изобретения пространственные геоданные представляют собой векторные слои, содержащие координаты границ городских объектов.
В другом частном варианте осуществления изобретения семантические данные содержат метаданные городских объектов.
В другом частном варианте осуществления изобретения на этапе проверки исходные данные проверяются на качество представления информации.
В другом частном варианте осуществления изобретения на этапе очистки первичных данных выполняется обработка данных лазерного сканирования, при которой из облака удаляются точки, соответствующие точкам, образованным вследствие возникновения помех в процессе лазерного
з сканирования, нестационарным объектам, или точкам, отсутствующим на двух и более лазерсканах одной области.
В другом частном варианте осуществления изобретения выполняют тестирование наземных и воздушных панорам на предмет качественного изображения распознаваемых объектов.
В другом частном варианте осуществления изобретения на этапе предварительной обработки выполняется локализация участков аэро- космо- и наземных фотоснимков, а также облаков точек для обнаружения объектов и определение порядка их обработки.
В другом частном варианте осуществления изобретения на этапе построения нормалей точек облака, для каждой точки облака определяются ближайшие соседние точки.
В другом частном варианте осуществления изобретения для каждой точки, для которой определены соседние точки, строятся плоскости методом RANSAC.
В другом частном варианте осуществления изобретения нормалью к точке выбирается вектор нормали плоскости, которая проходит через наибольшее количество соседей.
В другом частном варианте осуществления изобретения при построении плоскостей точки облака разбиваются по планарной сетке, в каждой ячейке которой для каждой точки и соответствующей ей нормали ищутся соседние точки, принадлежащие плоскости, описываемой этой парой.
В другом частном варианте осуществления изобретения точка с максимальным количеством соседствующих точек по плоскости, принимается основой для плоскости, причем все упомянутые соседствующие точки изымаются из дальнейшей обработки. В другом частном варианте осуществления изобретения все найденные плоскости в одной ячейке проверяются на совместимость с плоскостями соседних ячеек и если проверка проходит успешно, то упомянутые плоскости соседствующих точек объединяются.
В другом частном варианте осуществления изобретения проверка заключается в проверке расстояния L между плоскостями и если плоскости располагаются на расстоянии, не превышающим L, то они объединяются.
В другом частном варианте осуществления изобретения на этапе последовательного распознавания статичных городских объектов очередность поиска типов объектов устанавливается политикой поискового алгоритма.
В другом частном варианте осуществления изобретения определение городских объектов осуществляют на основании установленных для каждого типа объекта характерных признаков.
В другом частном варианте осуществления изобретения определение городских объектов осуществляют на основании сравнения выявленных объектов из обработанных данных с эталонными объектами из базы данных
В другом частном варианте осуществления изобретения на этапе построения рельефа местности дополнительно осуществляется построение рельефов отдельных объектов.
В другом предпочтительном варианте осуществления изобретения заявлена система распознавания городских объектов, содержащая один или более процессоров и, по меньшей мере, одну память, хранящую машиночитаемые команды, которые при их исполнении, по меньшей мере, одним процессором выполняют обработку первичных данных, содержащих, по меньшей мере, фотографические данные и данные лазерного сканирования, вышеупомянутым способом распознавания городских объектов.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На Фиг. 1 представлена блок-схема этапов осуществления заявленного способа.
На Фиг. 2-3 представлен принцип построения нормалей на основании данных лазерного сканирования.
На Фиг. 4-5 показан пример распознавания зданий.
На Фиг. 6 показан пример распознавания столбов на панорамных изображениях.
На Фиг. 7 представлен пример распознавания бил бордов.
На Фиг. 8 изображена общая схемы заявленной системы.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
На Фиг. 1 изображена общая схема выполнения этапов заявленного способа распознавания городских объектов 100. Под городскими объектами в данном описании понимаются характерные однотипные созданные человеком объекты, наиболее часто встречающиеся в городском ландшафте: здания и сооружения, ограждения, столбы, дорожные знаки и светофоры, остановки общественного транспорта, рекламные носители и др. На этапе 101 осуществляется получение первичных данных, представляющих собой, по меньшей мере, фотографические данные и данные лазерного сканирования. Наземная съемка городских территорий производится специальным программно-аппаратным комплексом, установленным на автомобиль и включающим панорамные фотокамеры высокого разрешения, лазерные сканеры (дальномеры), устройства точного позиционирования машины и управляющий компьютер со специальным
б программным обеспечением. Первичными данными являются облака точек в формате las (система координат WGS84), панорамные фотографии jpg, координаты панорам и данные базовой станции ГНСС. Также для наземной съемки могут использоваться «стереопары», две панорамные фотокамеры, закрепленные на небольшом удалении друг от друга и снимающие одновременно.
В дополнении к первоначальным данным, для анализа территорий с воздуха, могут использоваться совмещенные геопривязанные мозаики аэро- или космо-снимков в форматах jpg/tiff с указанием координат отдельных тайлов, так же возможно использование снимков в формате GeoTIFF. Пространственные данные (геоданные) для распознавания представлены векторными слоями в формате Shapefile, содержащими координаты (система координат WGS84 проекция Web Mercator): границ зданий, дорог, и пр. объектов. Также может быть использована различная семантическая связанная информация - метаданные, которыми может выступать этажность, поэтажные планы зданий и т.п.
На этапе 102 выполняется очистка и проверка полученных первичных данных, при которой осуществляется загрузка векторных и растровых данных в базу геоданных (БГД) и проверка на валидность данных (корректность форматов, отсутствие противоречивых данных, полнота информации и т.п.). Обработка облака точек, в частности удаление «мусорных» точек, вызванными помехами при съемке, удаление перемещающихся объектов, которые отсутствуют на разных проездах. Выполняется тестирование наземных и воздушных панорам на предмет возможности обработки и качества представленной информации, например, отсутствия облачности, мешающей восстановлению рельефа и крыш, и локализация участков для обнаружения объектов и определение порядка их обработки, при которой определяются участки для обработки, которые могут быть заданы вручную или вычисляются автоматически исходя из наличия данных.
Далее на этапе 103 осуществляется предварительная обработка (препроцессинг) обработанных и очищенных данных лазерного сканирования. При выполнении этапа 103 выполняются несколько подэтапов 1031-1033.
На Фиг. 2-3 представлен пример работы способа при построении нормалей к точкам облака лазерного сканирования. На подэтапе 1031 подготовки данных осуществляется определение и построение нормалей 110 к каждой из точек облака 130 (Фиг. 3), объединение точек в плоскости и построение рельефа на базе воздушной съемки. Для определения нормалей 110 и плоскостей точки лазера группируются по расположению и времени съемки. Далее, для каждой точки 130 берутся ближайшие соседи и строятся плоскости методом RANSAC. Вектор нормали плоскости, которая проходит через наибольшее количество соседей, считается нормалью к данной точке.
На подэтапе 1032 осуществляется построение плоскостей для совокупностей точек облака 130. Для построения плоскостей, точки облака 130 разбиваются по планарной сетке. В каждой ячейке этой сетки, для каждой точки и соответствующей ей нормали ищутся соседствующие точки, принадлежащие плоскости, описываемой этой парой. Точка 130 с максимальным количеством соседствующих точек 130 по плоскости, принимается основой для плоскости, причем все упомянутые соседствующие точки изымаются из дальнейшей обработки, после чего процесс повторяется. Под «соседями по плоскости» понимаются точки облака 130, которые лежат в плоскости, содержащей текущую точку 130 и перпендикулярной ее нормали 110. После того как все плоскости найдены, идет попытка объединить эти плоскости с плоскостями из соседних ячеек. Плоскости объединяются только если расстояние L между ними не больше заданной величины, например, 30 сантиметров. Данный принцип позволяет разделить между собой дома, стоящие на одной линии.
На подэтапе 1033 осуществляется построение рельефа местности с помощью фотограмметричеких алгоритмов на базе снимков, полученных в ходе аэросъемки. Дополнительно на упомянутом подэтапе 1033 может выполняться построение рельефов отдельных объектов, например, части здания (крыша, фасад и т.п.).
После обработки данных на этапе 103 выполняется последовательное распознавание статичных городских объектов из набора очищенных данных лазерного сканирования и фотографических данных, при котором определяют городские объекты (этап 104). Объекты разных типов ищутся в обработанных исходных данных последовательно, при этом те множества точек в облаках или участки изображений, которые были соотнесены с каким-либо объектом, помечаются и в дальнейшей обработке не участвуют. При реализации способа автоматически выполняются скрипты обнаружения объектов в такой последовательности: здания и сооружения, ограждения, столбы, билборды, знаки и светофоры, автобусные остановки, иные объекты. Последовательность может меняться вручную или автоматически для достижения наилучших результатов распознавания. Также могут удаляться или обособляться отдельные части процесса, например, можно настроить скрипт на пропуск конкретного типа объектов (столбы, билборды, ограды и т.п.).
Каждый скрипт распознавания имеет настройки по умолчанию, в соответствии с которыми платформа осуществляет автоматическое распознавание. Существует так же возможность создания шаблона настроек для каждого алгоритма поиска, которые могут потом использоваться по умолчанию. Как представлено на Фиг. 4-5, для распознавания здания на основании картографических и семантических данных определяется контур здания и, возможно, его ориентировочная высота. Из облака точек выделяется массив, принадлежащий искомому объекту, а из воздушной съемки - необходимые текстуры. Для устранения расхождений в позиционировании объекта на картах, в облаке точек, и панорамах применяется интеллектуальная система совмещения, которая позволяет «притягивать» необходимые участки данных даже при сдвиге в несколько метров.
Выделенная информация проверяется на ряд ключевых признаков, идентифицирующих объект как здание. Такими признаками выступают: наличие протяженных вертикальных плоских поверхностей по границам объекта, наличие оконных впадин в облаках точек, высота объекта над окружающим рельефом, наличие характерной крыши на съеме с воздуха и некоторых других.
Ограждение определяется как протяженная плоскость, примыкающая к земле, высотой не более заданного ограничения. В качестве данных, препятствующих ошибочному детектированию сторонних объектов как ограждений, может использоваться ряд дополнительных признаков: отсутствие в области пространства контуров домов, а также других примыкающих объектов, отсутствие дополнительного рельефа на плоскости, равномерный средний цвет текстуры и т.п.
На Фиг. 5 представлен пример распознавания столбов. В общем случае принцип состоит из трех этапов.
1. Выделение цилиндрических вертикально ориентированных объектов
2. Обучение алгоритма адаптивного бустинга 3. Классификация найденных объектов с помощью построенного алгоритма
На первом этапе, точки разбиваются по сетке квадратных метров. Для точек каждого квадрата и его соседей несколько раз случайным образом выбираются три соседние точки и через эти точки строится цилиндр. В случае если в элементе сетки центры таких цилиндров лежат в одной и той же плоскостной координате, это место помечается как вертикально ориентированный цилиндр. Для каждого такого места строятся признаки для алгоритма обучения, а именно:
A) радиус и кривизна поверхности;
Б) распределение точек по удалению от центра цилиндра;
B) распределение точек в плоскости XY; Г) распределение точек по вертикали; Д) расстояния до трека автомобиля;
Е) средний цвет точек, зафиксированный на трех ближайших панорамах;
Ж) средний коэффициент отражения.
На втором этапе, алгоритму адаптивного бустинга (ADABOOST) предоставляются признаки объектов и классификация. Алгоритм строит каскад распознавания. В нашем случае строятся два отдельных каскада - первый грубый, отсеивающий 95% объектов. Второй более точный, он отсеивает еще порядка 99%. Такой подход применяется для дальнейшей коррекции ошибок - если с помощью данного алгоритма находится пропущенный объект, он с большой вероятностью есть в объектах после первого каскада. Это уменьшает количество просматриваемых объектов в целом, не снижая точности обнаружения объектов. Распознавание дорожных знаков происходит в оптическом диапазоне. В качестве вспомогательных исходных данных используется специально подготовленная база с множеством реальных изображений знаков на местности. Алгоритм состоит из построения характерных черт изображения и обучения каскада адаптивного бустинга на примерах из существующей базы знаков. В облаках точек для исключения ошибок второго рода контролируются вторичные признаки: линейные размеры, удаленность от проезжей части, высота установки и т.п.
Распознавание светофора одновременно проходит в облаке точек и наземной фотопанораме. В облаке детектируется столб определенных параметров с характерной «коробкой» светофора. В оптической фотографии происходит поиск окружностей с заданными цветами. Для отсечения ошибочных объектов используются картографические данные о проезжей части и перекрестках.
Билборд определяется как плоскость, расположенная на определенной высоте с определенными линейными размерами. Для исключения ошибок второго рода объекты- претенденты также проверяются на отсутствие рядом расположенных других объектов, прежде всего ограждений и зданий. Также проверяются второстепенные признаки, например, наличие столба в качестве опоры, наличие рекламной текстуры с резкими перепадами среднего цвета (Фиг. 7).
Остановка общественного транспорта детектируется по наличию перпендикулярных плоскостей определенного размера, видимой сверху горизонтальной плоскости характерной текстуры, а также наличию дополнительных признаков: присутствия объекта «знак» определенного типа и ломанной желтой полосы в оптическом изображении. Также контролируются удаленность от проезжей части и ряд других факторов. С помощью заявленного способа 100 реализуется возможность распознавания иных объектов, не заложенных изначально в процесс распознавания. Для этого способ 100 имеет возможность обучения с помощью анализа библиотеки реальных изображений, а также с помощью задания нескольких геометрических параметров, характеризующих размеры и положение объектов. Модуль обучения построен по итерационной схеме и позволяется дообучать алгоритмы, указывая ей на ошибки первого и второго родов после проверки результатов распознавания очередного этапа.
На этапе 105 для каждого выявленного объекта определяются, по меньшей мере, географические координаты в WGS84 (долгота, широта и высота) и линейные размеры. Дополнительно могут быть определены:
- Площадь плоскостей объекта (для полигональных объектов);
- Тип объекта (с подтипами для некоторых классов объектов, например дорожные знаки).
На этапе 106 выполняется построение полигональных моделей найденных объектов, содержащая текстуры в графическом формате, например jpg, полученные с фотоснимков.
Полученные пространственные данные могут быть экспортированы в географические файлы векторных форматов SHAPEFILE, KML или GeoJSON для представления в различных ГИС, в трехмерные модели в форматах 3DS или OBJ для использования в CAD-системах и другим образом.
На Фиг. 8 представлен общий вид системы 200, реализующей этапы вышеупомянутого способа 100 распознавания городских объектов. Система 200 выполняется на базе ЭВМ, например, 1MB PC и содержит, по меньшей мере, такие средства, как: процессор 210, память 220, интерфейсы ввода/вывода 230 и устройства ввода/вывода 240, объединенные общей шиной передачи данных 250.
Процессор 210 может быть как единственным вычислительным устройством, так и представлять собой совокупность двух и более процессоров. Память 220, как правило, включает в себя ОЗУ, ПЗУ, средства хранения данных (HDD, SSD, оптические диски, флэш-память и т.п.).
Интерфейсы В/В 230 могут представлять собой, но не ограничиваться, например, последовательные порты, параллельные порты, универсальную последовательную шину (USB), IEEE-1394 (i.Link или FireWare), LAN или любой иной тип интерфейса, использующего при конкретном частном варианте реализации системы 200.
Устройства В/В 240 могут представлять собой, но не ограничиваться, например, манипулятор мышь, клавиатуру, сетевой контроллер, дисплей, тачпад, световое перо, лазерный стилус, джойстик, трекпад и т.п.
Система 200 в предпочтительном варианте представляет собой серверную платформу, обеспечивающую необходимые вычисления при реализации вышеупомянутого способа 100. При частных вариантах исполнения система 200 может быть реализована на базе мобильных устройств, например, ноутбук, смартфон или планшет.
Изложенные в настоящих материалах заявки сведения об осуществлении заявленного изобретения не должны трактоваться как сведения, ограничивающие иные, частные варианты осуществления заявленного изобретения, не выходящие за пределы раскрытия информации в представленных материалах, и которые должны являться очевидными для специалиста в данной области техники, имеющим обычную квалификацию, на которых рассчитано заявленное техническое решение.

Claims

Формула
1. Компьютерно-реализуемый способ распознавания городских объектов, заключающийся в обработке первичных данных, содержащих, по меньшей мере, фотографические данные и данные лазерного сканирования, содержащие информацию о городских объектах, содержащий этапы, на которых:
- выполняют очистку и проверку полученных первичных данных, содержащих городские объекты; выполняют предварительную обработку очищенных данных лазерного сканирования, при которой
- осуществляется построение нормалей к каждой из точек облака;
- осуществляется построение плоскостей для совокупностей точек облака; осуществляется построение рельефа местности с помощью фотограмметрических алгоритмов на основе фотоснимков, сделанных из разных точек пространства;
- выполняют последовательное распознавание статичных городских объектов из набора очищенных данных лазерного сканирования и фотографических данных, при котором определяют городские объекты;
- для каждого обнаруженного городского объекта определяют, по меньшей мере, географические координаты и линейные размеры;
- осуществляют построение полигональной модели каждого из обнаруженных упомянутых объектов.
2. Способ по п.1, отличающийся тем, что первичные данные содержат дополнительно пространственные геоданные и/или семантические данные и/или панорамные фотоизображения.
3. Способ по п.2, отличающийся тем, что фотографические данные представляют собой данные полученные с помощью наземной и/или воздушной и/или космической фотосъемки.
4. Способ по п.2, отличающийся тем, что пространственные геоданные представляют собой векторные слои, содержащие координаты границ городских объектов.
5. Способ по п.2, отличающийся тем, что семантические данные содержат метаданные городских объектов.
6. Способ по п.4, отличающийся тем, что на этапе проверки исходные данные проверяются на качество представления информации (например, фотографии и облака точек проверяются на наличие слепых зон от перемещающихся объектов).
7. Способ по п.1, отличающийся тем, что на этапе очистки первичных данных выполняется обработка данных лазерного сканирования, при которой из облака удаляются точки, соответствующие точкам, образованным вследствие возникновения помех в процессе лазерного сканирования, нестационарным объектам, или точкам, отсутствующим на двух и более лазерсканах одной области.
8. Способ по п.З, отличающийся тем, что выполняют тестирование наземных и воздушных панорам на предмет качественного изображения распознаваемых объектов.
9. Способ по п.1, отличающийся тем, что на этапе предварительной обработки выполняется локализация участков аэро- космо- и наземных фотоснимков, а также облаков точек для обнаружения объектов и определение порядка их обработки.
10. Способ по п.1, отличающийся тем, что на этапе построения нормалей точек облака, для каждой точки облака определяются ближайшие соседние точки.
11. Способ по п.10, отличающийся тем, что для каждой точки, для которой определены соседние точки, строятся плоскости методом RANSAC.
12. Способ по п.11 , отличающийся тем, что нормалью к точке выбирается вектор нормали плоскости, которая проходит через наибольшее количество соседей.
13. Способ по п.12, отличающийся тем, что при построении плоскостей точки облака разбиваются по планарной сетке, в каждой ячейке которой для каждой точки и соответствующей ей нормали ищутся соседние точки, принадлежащие плоскости, описываемой этой парой.
14. Способ по п.13, отличающийся тем, что точка с максимальным количеством соседствующих точек по плоскости, принимается основой для плоскости, причем все упомянутые соседствующие точки изымаются из дальнейшей обработки.
15. Способ по п.14, отличающийся тем, что все найденные плоскости в одной ячейке проверяются на совместимость с плоскостями соседних ячеек и если проверка проходит успешно, то упомянутые плоскости соседствующих точек объединяются.
16. Способ по п.15, отличающийся тем, что проверка заключается в проверке расстояния L между плоскостями и если плоскости располагаются на расстоянии, не превышающим L, то они объединяются.
17. Способ по п.1, отличающийся тем, что на этапе последовательного распознавания статичных городских объектов очередность поиска типов объектов устанавливается политикой поискового алгоритма.
18. Способ по п.1, отличающийся тем, что определение городских объектов осуществляют на основании установленных для каждого типа объекта характерных признаков.
19. Способ по п.1, отличающийся тем, что определение городских объектов осуществляют на основании сравнения выявленных объектов из обработанных данных с эталонными объектами из базы данных.
20. Способ по п.1, отличающийся тем, что на этапе построения рельефа местности дополнительно осуществляется построение рельефов отдельных объектов.
21. Система распознавания городских объектов, содержащая один или более процессоров и, по меньшей мере, одну память, хранящую машиночитаемые команды, которые при их исполнении, по меньшей мере, одним процессором выполняют обработку первичных данных, содержащих, по меньшей мере, фотографические данные и данные лазерного сканирования, способом, по любому из п.п. 1-20.
PCT/RU2016/050052 2015-11-13 2016-10-19 Способ и система распознавания городских объектов WO2017082774A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP16864660.2A EP3376160A4 (en) 2015-11-13 2016-10-19 METHOD AND SYSTEM FOR IDENTIFYING URBAN OBJECTS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2015148840A RU2612571C1 (ru) 2015-11-13 2015-11-13 Способ и система распознавания городских объектов
RU2015148840 2015-11-13

Publications (1)

Publication Number Publication Date
WO2017082774A1 true WO2017082774A1 (ru) 2017-05-18

Family

ID=58459429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2016/050052 WO2017082774A1 (ru) 2015-11-13 2016-10-19 Способ и система распознавания городских объектов

Country Status (3)

Country Link
EP (1) EP3376160A4 (ru)
RU (1) RU2612571C1 (ru)
WO (1) WO2017082774A1 (ru)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2743895C2 (ru) 2018-09-17 2021-03-01 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия объектов
CN110888143B (zh) * 2019-10-30 2022-09-13 中铁四局集团第五工程有限公司 一种基于无人机机载激光雷达的桥梁贯通测量方法
CN112766717B (zh) * 2021-01-15 2022-03-08 上海复见网络科技有限公司 一种城市建设用地时间维度扩增方法
LU102861B1 (de) * 2021-10-04 2023-04-04 Syte Gmbh Lidar- und photogrammetriegestützte Strukturerfassung zur Optimierung von Volumen- und Flächennutzungen und CO2-Emissionsreduktionen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080111815A1 (en) * 2003-12-08 2008-05-15 Gmj Citymodels Ltd Modeling System
US20130321393A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Smoothing and robust normal estimation for 3d point clouds
US20150199839A1 (en) * 2012-08-02 2015-07-16 Earthmine, Inc. Three-Dimentional Plane Panorama Creation Through Hough-Based Line Detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU24003U1 (ru) * 2002-03-28 2002-07-20 Попов Константин Николаевич Система для формирования цифровой модели рельефа и/или ортофотоплана
US7728833B2 (en) * 2004-08-18 2010-06-01 Sarnoff Corporation Method for generating a three-dimensional model of a roof structure
US8818076B2 (en) * 2005-09-01 2014-08-26 Victor Shenkar System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments
US7995055B1 (en) * 2007-05-25 2011-08-09 Google Inc. Classifying objects in a scene
CN101976467A (zh) * 2010-09-13 2011-02-16 天津市星际空间地理信息工程有限公司 一种集成机载lidar和车载移动激光扫描技术的高精细三维城市场景构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080111815A1 (en) * 2003-12-08 2008-05-15 Gmj Citymodels Ltd Modeling System
US20130321393A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Smoothing and robust normal estimation for 3d point clouds
US20150199839A1 (en) * 2012-08-02 2015-07-16 Earthmine, Inc. Three-Dimentional Plane Panorama Creation Through Hough-Based Line Detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3376160A4 *

Also Published As

Publication number Publication date
EP3376160A1 (en) 2018-09-19
RU2612571C1 (ru) 2017-03-09
EP3376160A4 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
Koeva et al. Using UAVs for map creation and updating. A case study in Rwanda
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
US8811748B2 (en) Collaborative feature extraction system for three dimensional datasets
CN110796714B (zh) 一种地图构建方法、装置、终端以及计算机可读存储介质
Kwak et al. Automatic representation and reconstruction of DBM from LiDAR data using Recursive Minimum Bounding Rectangle
CN109598794B (zh) 三维gis动态模型的构建方法
JP5430627B2 (ja) 道路付属物検出装置、道路付属物検出方法、及びプログラム
CN111325788B (zh) 一种基于街景图片的建筑物高度确定方法
US11232582B2 (en) Visual localization using a three-dimensional model and image segmentation
MX2010014049A (es) Registro de imagenes de nivel de calle para modelos de construccion tridimensional (3d).
RU2612571C1 (ru) Способ и система распознавания городских объектов
JP5797419B2 (ja) 地図情報処理装置、ナビゲーション装置、地図情報処理方法、およびプログラム
US20230351742A1 (en) Georeferencing a generated floorplan and generating structural models
Yan et al. Estimation of building height using a single street view image via deep neural networks
RU2638638C1 (ru) Способ и система автоматического построения трехмерных моделей городов
Habib et al. Model-based automatic 3d building model generation by integrating lidar and aerial images
Xu et al. Building height calculation for an urban area based on street view images and deep learning
Kukko et al. Mobile mapping system and computing methods for modelling of road environment
Ogawa et al. Deep learning approach for classifying the built year and structure of individual buildings by automatically linking street view images and GIS building data
Han et al. Scan2drawing: use of deep learning for as-built model landscape architecture
Li et al. 3D map system for tree monitoring in hong kong using google street view imagery and deep learning
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
Zhu A pipeline of 3D scene reconstruction from point clouds
WuDunn et al. Aerial 3d building reconstruction from rgb drone imagery
JP7204087B2 (ja) 対象物認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16864660

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE