RU2779522C1

RU2779522C1 - Object recognition method and object recognition device

Info

Publication number: RU2779522C1
Application number: RU2022105602A
Authority: RU
Inventors: Томоко КУРОТОБИ; Куниаки НОДА; Харуо МАЦУО
Original assignee: Ниссан Мотор Ко., Лтд.
Filing date: 2019-08-28
Publication date: 2022-09-08

Abstract

FIELD: object recognition devices.

SUBSTANCE: invention relates to a method and device for object recognition. The method performs object recognition using a sensor configured to obtain the position of an object existing in the surrounding space as point clouds including a plurality of detection points in a plan view, the method comprising grouping the point clouds according to proximity; determining, when performing a polygon fit on the clustered point clouds, whether or not at least a portion of the detection points constituting the clustered point clouds are located in a blind area of the polygon fit obtained by the polygon fit on the point clouds with respect to the sensor; recognizing the grouped point clouds as point clouds corresponding to a plurality of objects when it is determined that the detection points are located in a blind area relative to the sensor; and recognizing the grouped point clouds as point clouds corresponding to a single object of the approximation polygon when it is determined that the detection points are not located in a blind area with respect to the sensor.

EFFECT: improving the accuracy of recognition of one object from a variety of objects.

9 cl, 12 dwg

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕFIELD OF TECHNOLOGY TO WHICH THE INVENTION RELATES

[0001] Настоящее изобретение относится к способу распознавания объектов и устройству распознавания объектов.[0001] The present invention relates to an object recognition method and an object recognition device.

УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE INVENTION

[0002] В предшествующем уровне техники известно устройство слежения за объектом, которое измеряет положение обнаруживаемого целевого транспортного средства, движущегося возле задействуемого транспортного средства, посредством использования датчика передачи/приема с использованием лазера (см. JP 2016-148514 A).[0002] In the prior art, an object tracking device is known that measures the position of a detectable target vehicle moving near an actuated vehicle by using a transmit/receive sensor using a laser (see JP 2016-148514 A).

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

[0003] Согласно вышеупомянутому устройству, раскрытому в JP 2016-148514 A, опорная точка положения объекта вычисляется посредством группирования точек, близких друг к другу, в группу точек, полученную посредством датчика передачи/приема и аппроксимации в качестве прямоугольника. Однако простое группирование точек рядом друг с другом может ошибочно распознать облака точек, принадлежащие множеству близких объектов, как облако точек, принадлежащее одному и тому же объекту. Например, когда L-образная полость образована боковыми поверхностями двух объектов, облака точек, принадлежащие боковым поверхностям двух объектов, могут быть ошибочно распознаны как облако точек одного и того же объекта. В этом случае, если выполняется аппроксимация прямоугольником на основе облаков точек, то можно распознать, что прямоугольный объект (выпуклый объект) существует в полости, в которой такой объект не существует, что является проблемой.[0003] According to the above apparatus disclosed in JP 2016-148514 A, an object position reference point is calculated by grouping points close to each other into a point group obtained by a transmit/receive sensor and approximate as a rectangle. However, simply grouping points next to each other can erroneously recognize point clouds belonging to many nearby objects as point clouds belonging to the same object. For example, when the L-shaped cavity is formed by the side surfaces of two objects, the point clouds belonging to the side surfaces of the two objects may be mistakenly recognized as a point cloud of the same object. In this case, if point cloud-based rectangle approximation is performed, it can be recognized that a rectangular object (convex object) exists in a cavity in which such an object does not exist, which is a problem.

[0004] Целью настоящего изобретения является предоставление технологии, которая может правильно распознавать положение объекта, существующего в окружающем пространстве, посредством определения того, являются ли или нет облака точек, полученные посредством датчика, облаками точек, соответствующими множеству объектов (множественным объектам).[0004] An object of the present invention is to provide a technology that can correctly recognize the position of an object existing in the environment by determining whether or not the point clouds obtained by the sensor are point clouds corresponding to a plurality of objects (multiple objects).

[0005] Способ распознавания объектов является одним из аспектов настоящего изобретения и представляет собой способ распознавания объектов с использованием датчика, выполненного с возможностью получения положения объекта, существующего в окружающем пространстве, в качестве облаков точек, включающих в себя множество точек обнаружения на виде сверху. Данный способ включает в себя: группирование облаков точек согласно близости; определение при выполнении аппроксимации многоугольником в отношении сгруппированных облаков точек, расположена ли или нет по меньшей мере часть точек обнаружения, составляющих сгруппированные облака точек, в непросматриваемой зоне аппроксимационного многоугольника, полученного посредством аппроксимации многоугольником в отношении облаков точек относительно датчика; распознавание сгруппированного облака точек в качестве облаков точек, соответствующих множеству объектов, когда определено, что точки обнаружения расположены в непросматриваемой зоне относительно датчика; и распознавание сгруппированных облаков точек в качестве облаков точек, соответствующих одиночному объекту аппроксимационного многоугольника, когда определено, что точки обнаружения не расположены в непросматриваемой зоне относительно датчика.[0005] An object recognition method is one aspect of the present invention, and is an object recognition method using a sensor capable of obtaining the position of an object existing in the surrounding space as point clouds including a plurality of detection points in a plan view. This method includes: grouping point clouds according to proximity; determining, when performing a polygon fit on the clustered point clouds, whether or not at least a portion of the detection points constituting the clustered point clouds are located in a blind area of the polygon fit obtained by the polygon fit on the point clouds with respect to the sensor; recognizing the grouped point cloud as point clouds corresponding to a plurality of objects, when it is determined that the detection points are located in a blind area relative to the sensor; and recognizing the grouped point clouds as point clouds corresponding to a single object of the approximation polygon when it is determined that the detection points are not located in a blind area with respect to the sensor.

[0006] Варианты осуществления настоящего изобретения будут подробно описаны ниже со ссылкой на прилагаемые чертежи.[0006] Embodiments of the present invention will be described in detail below with reference to the accompanying drawings.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

[0007] На Фиг.1 показана блок-схема, иллюстрирующая пример конфигурации устройства распознавания объектов согласно первому варианту осуществления.[0007] FIG. 1 is a block diagram illustrating a configuration example of an object recognizer according to the first embodiment.

На Фиг.2 показана схема, иллюстрирующая пример облаков точек, полученных устройством распознавания объектов.2 is a diagram illustrating an example of point clouds obtained by an object recognizer.

На Фиг.3 показана блок-схема последовательности операций, иллюстрирующая способ распознавания объектов устройством распознавания объектов согласно первому варианту осуществления.Fig. 3 is a flowchart illustrating an object recognition method of the object recognition apparatus according to the first embodiment.

На Фиг.4 показана схема, иллюстрирующая способ определения непросматриваемых сторон, составляющих аппроксимационный многоугольник.Fig. 4 is a diagram illustrating a method for determining blind sides constituting an approximation polygon.

На Фиг.5 показана схема, иллюстрирующая пример способа определения принадлежности точек отражения аппроксимационному многоугольнику. Figure 5 shows a diagram illustrating an example of a method for determining whether reflection points belong to an approximation polygon.

На Фиг.6 показана блок-схема, иллюстрирующая пример конфигурации устройства распознавания объектов согласно второму варианту осуществления.Fig. 6 is a block diagram illustrating a configuration example of an object recognizer according to the second embodiment.

На Фиг.7 показана блок-схема последовательности операций, иллюстрирующая способ распознавания объектов устройством распознавания объектов согласно второму варианту осуществления.Fig. 7 is a flowchart illustrating an object recognition method of the object recognition apparatus according to the second embodiment.

На Фиг.8 показана блок-схема последовательности операций, иллюстрирующая способ распознавания объектов устройством распознавания объектов согласно второму варианту осуществления.FIG. 8 is a flowchart illustrating an object recognition method of the object recognition apparatus according to the second embodiment.

На Фиг.9 показана блок-схема, иллюстрирующая пример конфигурации устройства распознавания объектов согласно третьему варианту осуществления.Fig. 9 is a block diagram illustrating a configuration example of an object recognizer according to the third embodiment.

На Фиг.10 показана схема, иллюстрирующая информацию об объекте, существующем в окружающем пространстве, полученную устройством распознавания объектов, включающего в себя датчик и камеру.Fig. 10 is a diagram illustrating information about an object existing in the environment obtained by an object recognition device including a sensor and a camera.

На Фиг.11 показана блок-схема последовательности операций, иллюстрирующая способ распознавания объектов устройством распознавания объектов согласно третьему варианту осуществления.Fig. 11 is a flowchart illustrating an object recognition method of the object recognition apparatus according to the third embodiment.

На Фиг.12 показана схема, иллюстрирующая способ определения, совпадает ли или нет информация об объекте, полученная датчиком, с информацией об объекте, полученной камерой.Fig. 12 is a diagram illustrating a method for determining whether or not the object information received by the sensor matches the object information received by the camera.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯDESCRIPTION OF EMBODIMENTS

[0008] <Первый вариант осуществления>[0008] <First Embodiment>

На Фиг.1 показана блок-схема, иллюстрирующая пример конфигурации устройства 100 распознавания объектов согласно первому варианту осуществления настоящего изобретения. Устройство 100 распознавания объектов в этом варианте осуществления применяется, например, к автомобилю.Fig. 1 is a block diagram illustrating a configuration example of an object recognition apparatus 100 according to the first embodiment of the present invention. The object recognition device 100 in this embodiment is applied to a car, for example.

[0009] Устройство 100 распознавания объектов в этом варианте осуществления включает в себя датчик 1 и контроллер 10, который обрабатывает информацию, полученную датчиком 1. Контроллер 10 включает в себя блок 11 группирования облаков точек, блок 12 аппроксимации многоугольником и блок 13 определения принадлежности облаков точек аппроксимационному многоугольнику.[0009] The object recognition apparatus 100 in this embodiment includes a sensor 1 and a controller 10 that processes information received by the sensor 1. The controller 10 includes a point cloud grouping unit 11, a polygon approximation unit 12, and a point cloud membership determination unit 13 approximation polygon.

[0010] Датчик 1 действует как блок получения трехмерных облаков точек, который получает данные трехмерных облаков точек окружающего пространства датчика 1, то есть объекта, существующего в окружающем пространстве транспортного средства, на котором установлено устройство 100 распознавания объектов согласно данному варианту осуществления. Предполагается, что датчик 1 является, например, датчиком обнаружения света и дальности (лидаром (LiDAR)), радаром или стереокамерой, и лидар принят в качестве датчика 1 в этом варианте осуществления. Полученные данные трехмерных облаков точек (в дальнейшем именуемые просто «облака точек») вводятся в контроллер 10. Пример полученных облаков точек будет описан позже со ссылкой на Фиг.2.[0010] The sensor 1 acts as a 3D point cloud acquisition unit that acquires 3D point cloud data of the environment of the sensor 1, that is, an object existing in the environment of the vehicle on which the object recognition apparatus 100 according to this embodiment is installed. It is assumed that the sensor 1 is, for example, a light detection and range sensor (lidar (LiDAR)), a radar or a stereo camera, and the lidar is adopted as the sensor 1 in this embodiment. The acquired 3D point cloud data (hereinafter simply referred to as “point clouds”) is input to the controller 10. An example of the acquired point clouds will be described later with reference to FIG.

[0011] Контроллер 10 включает в себя, например, центральный блок обработки (CPU), постоянное запоминающее устройство (ROM), запоминающее устройство произвольного доступа (RAM) и интерфейс ввода/вывода (I/O interface). ROM, включенное в контроллер 10, хранит программу для исполнения каждой функции каждого функционального блока, описанного ниже. Другими словами, контроллер 10 реализует функции блока 11 группирования облаков точек, блока 12 аппроксимации многоугольником и блока 13 определения принадлежности облаков точек аппроксимационному многоугольнику, описанных ниже, посредством исполнения различных программ, хранящихся в ROM.[0011] The controller 10 includes, for example, a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), and an I/O interface. The ROM included in the controller 10 stores a program for executing each function of each function block described below. In other words, the controller 10 realizes the functions of the point cloud grouping unit 11, the polygon approximation unit 12, and the polygon approximation point cloud determination unit 13 described below by executing various programs stored in the ROM.

[0012] Блок 11 группирования облаков точек проецирует облака точек, полученные датчиком 1, на двумерную плоскость, параллельную земле, и группирует облака точек согласно близости облаков точек. В качестве такого способа группирования в этом варианте осуществления используется способ, называемый евклидовой кластеризацией, но способ не ограничивается этим способом, и может использоваться другой способ группирования согласно близости облаков точек.[0012] The point cloud grouping unit 11 projects the point clouds obtained by the sensor 1 onto a two-dimensional plane parallel to the earth, and groups the point clouds according to the proximity of the point clouds. As such a grouping method, in this embodiment, a method called Euclidean clustering is used, but the method is not limited to this method, and another grouping method according to the proximity of point clouds may be used.

[0013] Блок 12 аппроксимации многоугольником выполняет так называемую аппроксимацию многоугольником, в которой облака точек, сгруппированные блоком 11 группирования облаков точек, аппроксимируются до предварительно определенного многоугольника.[0013] The polygon fitting unit 12 performs the so-called polygon fitting, in which the point clouds grouped by the point cloud grouping unit 11 are approximated to a predetermined polygon.

[0014] Блок 13 определения принадлежности облаков точек аппроксимационному многоугольнику определяет на основе позиционного отношения между датчиком 1 и аппроксимационным многоугольником, аппроксимированным блоком 12 аппроксимации многоугольником, являются ли или нет стороны, соответствующие сгруппированным облакам точек, среди сторон, составляющих аппроксимационный многоугольник, непросматриваемыми ("слепыми") зонами при просмотре с датчика 1. Когда блок 13 определения принадлежности облаков точек аппроксимационному многоугольнику определил, что стороны, соответствующие сгруппированным облакам точек, являются непросматриваемыми зонами при просмотре с датчика 1, затем определяет, что облака точек, соответствующие сторонам, принадлежат множеству объектов (множественными объектами) и распознает, что облака точек указывают положения множества объектов. Между тем, когда блок 13 определения принадлежности облаков точек аппроксимационному многоугольнику определил, что стороны, соответствующие сгруппированным облакам точек, не являются непросматриваемой зоной при просмотре с датчика 1, затем определяет, что облака точек, составляющие стороны, принадлежат одному объекту (одиночному объекту), и распознает, что облака точек указывают положение одиночного объекта, соответствующего аппроксимационному многоугольнику, сгенерированному посредством аппроксимации многоугольником.[0014] The block 13 for determining whether the point clouds belong to the approximation polygon determines, based on the positional relationship between the sensor 1 and the approximation polygon approximated by the polygon approximation block 12, whether or not the sides corresponding to the grouped point clouds among the sides constituting the approximation polygon are not visible (" blind") areas when viewed from the sensor 1. When the block 13 for determining whether the point clouds belong to the approximation polygon has determined that the sides corresponding to the grouped point clouds are blind areas when viewed from the sensor 1, then determines that the point clouds corresponding to the sides belong to the set objects (multi-objects) and recognizes that point clouds indicate the positions of multiple objects. Meanwhile, when the approximation polygon point cloud affiliation determining unit 13 has determined that the sides corresponding to the grouped point clouds are not blind area when viewed from the sensor 1, then determines that the point clouds constituting the sides belong to the same object (single object), and recognizes that the point clouds indicate the position of the single object corresponding to the approximation polygon generated by the polygon approximation.

[0015] С такой конфигурацией устройство 100 распознавания объектов может определять, указывает ли объект, указанный полученными облаками точек, одиночный объект или множество объектов.[0015] With such a configuration, the object recognizer 100 can determine whether the object indicated by the obtained point clouds indicates a single object or a plurality of objects.

[0016] Далее подробности способа определения того, указывают ли полученные облака точек одиночный объект или множество объектов, будут описаны со ссылкой на Фиг.2 и 3.[0016] Next, details of the method for determining whether the obtained point clouds indicate a single object or a plurality of objects will be described with reference to FIGS. 2 and 3.

[0017] На Фиг.2 показана схема, иллюстрирующая пример облаков точек, полученных устройством 100 распознавания объектов. В примере, показанном на Фиг.2, показана ситуация, в которой транспортное средство 20 припарковано рядом с насаждением 30 на обочине дороги (около границы между дорогой и тротуаром) перед транспортным средством, на котором установлен датчик 1. Веерообразная линия, идущая от датчика 1, указывает угол обзора датчика 1, а направление, в котором угол обзора расширяется при просмотре с датчика 1, является передней частью транспортного средства.[0017] FIG. 2 is a diagram illustrating an example of point clouds obtained by the object recognition apparatus 100. In the example shown in FIG. 2, a situation is shown in which the vehicle 20 is parked next to the planting 30 on the side of the road (near the border between the road and the sidewalk) in front of the vehicle on which the sensor 1 is installed. A fan-shaped line extending from the sensor 1 , indicates the viewing angle of sensor 1, and the direction in which the viewing angle widens when viewed from sensor 1 is the front of the vehicle.

[0018] Здесь датчик 1, принятый в качестве блока получения трехмерных облаков точек в этом варианте осуществления, представляет собой лидар или датчик, который выводит лазерные лучи (волны излучения) во множество направлений в пределах угла обзора и обнаруживает лазерные лучи (отраженные волны), которые ударяются и отражаются на множестве точек отражения на поверхности объекта, существующего в угле обзора, а затем получает относительные положения относительно датчика 1 множества точек 2 отражения (в дальнейшем называемых просто точками 2 отражения), соответствующие положениям боковой поверхности объекта на стороне датчика 1. Устройство 100 распознавания объектов распознает положение объекта, существующего в окружающем пространстве устройства 100 распознавания объектов, на основе облаков точек, включающих в себя множество точек обнаружения, которые получены как множественные точки 2 отражения с использованием датчика 1.[0018] Here, the sensor 1 adopted as the 3D point cloud acquisition unit in this embodiment is a lidar or sensor that outputs laser beams (radiation waves) to a plurality of directions within a viewing angle and detects laser beams (reflected waves) which hit and reflect on a plurality of reflection points on the surface of an object existing in the viewing angle, and then obtains relative positions with respect to the sensor 1 of the plurality of reflection points 2 (hereinafter referred to simply as reflection points 2) corresponding to the positions of the side surface of the object on the sensor 1 side. The object recognition 100 recognizes the position of an object existing in the surrounding space of the object recognition device 100 based on point clouds including a plurality of detection points, which are obtained as multiple reflection points 2 using the sensor 1.

[0019] Датчик 1 может быть любым датчиком при условии, что он может получать положение поверхности объекта в виде облака точек в пределах угла обзора, и не ограничивается радаром или лидаром. Датчик 1 может быть, например, стереокамерой. То есть устройство 100 распознавания объектов может вычислять положение поверхности объекта для каждого пикселя, соответствующего объекту, существующему в пределах предварительно определенного угла обзора (обзорного угла), изображаемого, например, стереокамерой, и распознавать положение объекта, существующего в окружающем пространстве устройства 100 распознавания объектов, на основе облаков точек, имеющих положения, соответствующие каждому пикселю в качестве точек обнаружения.[0019] The sensor 1 may be any sensor, as long as it can obtain the position of the surface of an object in the form of a point cloud within the viewing angle, and is not limited to radar or lidar. The sensor 1 may be, for example, a stereo camera. That is, the object recognition apparatus 100 can calculate the position of the surface of an object for each pixel corresponding to an object existing within a predetermined viewing angle (viewing angle) displayed by, for example, a stereo camera, and recognize the position of an object existing in the surrounding space of the object recognition apparatus 100, based on point clouds having positions corresponding to each pixel as detection points.

[0020] В нижеследующем описании предполагается, что датчик 1, принятый в качестве блока обнаружения трехмерной группы точек, является лидаром или радаром.[0020] In the following description, it is assumed that the sensor 1 adopted as the 3D point group detection unit is a lidar or a radar.

[0021] Здесь, в сцене, показанной на Фиг.2, в результате группирования облаков точек, полученных датчиком 1, согласно близости облаков точек, облака точек на боковой поверхности насаждения 30 на стороне датчика 1 и облака точек на задней части припаркованного транспортного средства 20 могут быть сгруппированы вместе. То есть, в действительности, облака точек, соответствующие множеству объектов, включающие в себя насаждение 30 и припаркованное транспортное средство 20, могут быть сгруппированы вместе в качестве облаков точек, соответствующих одному объекту (одиночному объекту). Таким образом, в предшествующем уровне техники аппроксимация прямоугольником как аппроксимация многоугольником выполняется на основе облаков точек, сгруппированных как одиночный объект, в результате генерируется точечный прямоугольный аппроксимационный многоугольник (аппроксимационный прямоугольник), показанный на Фиг.2. Когда такой аппроксимационный прямоугольник сгенерирован, то распознается, что одиночный объект, соответствующий аппроксимационному прямоугольнику, существует в том положении, где сгенерирован аппроксимационный прямоугольник. Однако положение, в котором формируется аппроксимационный прямоугольник, в действительности является полостью, образованной посредством размещения множества объектов насаждения 30 и припаркованного транспортного средства 20 в L-образной форме, и, таким образом, существует проблема, заключающаяся в том, что положение объекта, распознанного посредством аппроксимационного прямоугольника, полученного посредством аппроксимации многоугольником, и положения реальных объектов отличаются друг от друга.[0021] Here, in the scene shown in Fig. 2, as a result of grouping the point clouds obtained by the sensor 1 according to the proximity of the point clouds, the point clouds on the side surface of the plantation 30 on the side of the sensor 1 and the point clouds on the back of the parked vehicle 20 can be grouped together. That is, in fact, point clouds corresponding to a plurality of objects, including a planting 30 and a parked vehicle 20, can be grouped together as point clouds corresponding to a single object (single object). Thus, in the prior art, rectangle approximation as polygon approximation is performed based on point clouds grouped as a single object, resulting in the generation of a point rectangle approximation polygon (rectangular approximation rectangle) shown in FIG. When such an approximation rectangle is generated, it is recognized that a single object corresponding to the approximation rectangle exists at the position where the approximation rectangle is generated. However, the position at which the approximation rectangle is formed is actually a cavity formed by arranging the plurality of planting objects 30 and the parked vehicle 20 in an L-shape, and thus there is a problem that the position of the object recognized by the approximation rectangle obtained by polygon approximation and the positions of real objects differ from each other.

[0022] В этом варианте осуществления, чтобы не вызывать такого различия, определяется, являются ли или нет облака точек, полученные посредством датчика 1, облаками точек, соответствующими множеству объектов. Если можно определить, что облака точек соответствуют множеству объектов, даже если аппроксимационный многоугольник однажды сгенерирован посредством аппроксимации многоугольником, можно правильно распознать, что положение, в котором сгенерирован аппроксимационный многоугольник, представляет собой полость, образованную множеством объектов, и в этом положении нет объекта. Далее будут описаны подробности способа определения того, соответствуют ли или нет облака точек, полученные с использованием датчика 1, множеству объектов.[0022] In this embodiment, in order not to cause such a difference, it is determined whether or not the point clouds obtained by the sensor 1 are point clouds corresponding to a plurality of objects. If it can be determined that the point clouds correspond to the plurality of objects, even if the approximation polygon is once generated by polygon approximation, it can be correctly recognized that the position at which the approximation polygon is generated is a cavity formed by the plurality of objects, and there is no object at that position. Next, the details of the method for determining whether or not the point clouds obtained using the sensor 1 correspond to the plurality of objects will be described.

[0023] Фиг.3 является блок-схемой последовательности операций, иллюстрирующей способ распознавания объектов устройством 100 распознавания объектов согласно данному варианту осуществления. Процессы, проиллюстрированные на блок-схеме последовательности операций, запрограммированы в контроллере 10 таким образом, чтобы они исполнялись постоянно с регулярными интервалами, пока устройство 100 распознавания объектов активировано.[0023] FIG. 3 is a flowchart illustrating an object recognition method of the object recognition apparatus 100 according to this embodiment. The processes illustrated in the flowchart are programmed in the controller 10 to be executed continuously at regular intervals while the object recognizer 100 is activated.

[0024] На этапе S101 контроллер 10 получает облака точек, включающие в себя множество точек 2 отражения, посредством датчика 1. Когда облака точек получены, выполняется процесс на следующем этапе S102.[0024] In step S101, the controller 10 acquires the point clouds including the plurality of reflection points 2 via the sensor 1. When the point clouds are obtained, the process of the next step S102 is executed.

[0025] На этапе S102 контроллер 10 проецирует облака точек, полученные на этапе S101, на двумерную плоскость, параллельную земле, и группирует облака точек согласно близости облаков точек.[0025] In step S102, the controller 10 projects the point clouds obtained in step S101 onto a two-dimensional plane parallel to the ground, and groups the point clouds according to the proximity of the point clouds.

[0026] На этапе S103 контроллер 10 выполняет аппроксимацию многоугольником (подгонку многоугольника) на основе облаков точек, сгруппированных на этапе S102. Многоугольник, аппроксимируемый в этом варианте осуществления, представляет собой четырехугольник (прямоугольник), но может быть треугольником или другим многоугольником. Аппроксимационный многоугольник подбирается так, чтобы ошибка между положениями сторон, составляющих аппроксимационный многоугольник, и положениями облаков точек была наименьшей.[0026] In step S103, the controller 10 performs polygon fitting (polygon fitting) based on the point clouds grouped in step S102. The polygon approximated in this embodiment is a quadrilateral (rectangle), but may be a triangle or other polygon. The approximation polygon is selected so that the error between the positions of the sides that make up the approximation polygon and the positions of the point clouds is the smallest.

[0027] На этапе S104 контроллер 10 выполняет определение непросматриваемых сторон относительно аппроксимационного многоугольника. При определении непросматриваемых сторон контроллер 10 идентифицирует сторону, которая расположена в непросматриваемой зоне аппроксимационного многоугольника (сторону, которая включает в себя точки 2 отражения, расположенные в непросматриваемой зоне, также называемой ниже непросматриваемой стороной) при просмотре с датчика 1 среди сторон, составляющих аппроксимационный многоугольник, аппроксимированный на этапе S103. Другими словами, идентифицируется сторона аппроксимационного многоугольника, которая не соответствует датчику 1. Подробности способа идентификации стороны, расположенной в непросматриваемой зоне, будут описаны со ссылкой на Фиг.4.[0027] In step S104, the controller 10 performs blind side determination with respect to the approximation polygon. When determining the blind sides, the controller 10 identifies a side that is located in the blind area of the approximation polygon (the side that includes reflection points 2 located in the blind area, also referred to as the blind side below) when viewed from the sensor 1 among the sides constituting the approximation polygon, approximated in step S103. In other words, the side of the approximation polygon that does not correspond to the sensor 1 is identified.

[0028] На Фиг.4 показана схема, иллюстрирующая способ определения непросматриваемых сторон по отношению к аппроксимационному многоугольнику согласно данному варианту осуществления. Прямоугольники, четыре угла которых обозначены на схеме буквами от A до D, представляют собой прямоугольники (аппроксимационные прямоугольники), аппроксимированные на основе облаков точек, полученных на этапе S101.[0028] FIG. 4 is a diagram illustrating a method for determining blind sides with respect to an approximation polygon according to this embodiment. The rectangles whose four corners are labeled A to D in the diagram are the rectangles (approximation rectangles) approximated based on the point clouds obtained in step S101.

[0029] На Фиг.4(а) показана схема, иллюстрирующая пример способа определения непросматриваемых сторон по отношению к аппроксимационному многоугольнику. В данном примере сторона, которую может наблюдать датчик 1 (сторона, которая не расположена в непросматриваемой зоне при просмотре с датчика 1 и обращена к датчику 1), сначала идентифицируется на основе соотношения между сторонами, составляющими аппроксимационный прямоугольник, сгенерированный при аппроксимации многоугольником, и датчиком 1, а затем другие стороны идентифицируются как непросматриваемых стороны.[0029] FIG. 4(a) is a diagram illustrating an example of a method for determining blind sides with respect to an approximation polygon. In this example, the side that can be observed by sensor 1 (the side that is not located in the blind area when viewed from sensor 1 and faces sensor 1) is first identified based on the relationship between the sides that make up the approximation box generated by the polygon fit and the sensor 1, and then other parties are identified as non-viewable parties.

[0030] В частности, сначала идентифицируются точка, ближайшая к датчику 1, и точки по обе стороны от точки, среди точек от A до D четырех углов аппроксимационного прямоугольника, и, следовательно, идентифицируются всего три точки. Затем выбираются две из трех идентифицированных точек и исследуется сочетание двух точек, которое максимизирует угол, образованный линией, соединяющей каждую из выбранных двух точек и датчик 1.[0030] In particular, the point closest to the sensor 1 and the points on both sides of the point are identified first among the points A to D of the four corners of the approximation rectangle, and therefore a total of three points are identified. Two of the three identified points are then selected and the combination of the two points that maximizes the angle formed by the line connecting each of the selected two points and sensor 1 is examined.

[0031] Со ссылкой на схему на левой стороне на Фиг.4(a), точка, ближайшая к датчику 1, является точкой C, а точки по обе стороны от точки C являются точками A и D. Как показано на схеме, сочетание двух точек, которое максимизирует угол, образованный линией, соединяющей две точки среди трех точек A, C и D и датчик 1, это точки A и D.[0031] With reference to the diagram on the left side of FIG. 4(a), the point closest to sensor 1 is point C, and the points on either side of point C are points A and D. As shown in the diagram, the combination of the two points that maximizes the angle formed by a line connecting two points among the three points A, C and D and sensor 1, these are points A and D.

[0032] Со ссылкой на схему на правой стороне на Фиг.4(a), ближайшая к датчику 1 точка - это точка C, а точки по обе стороны от точки C - это точки A и D. Как показано на схеме, сочетание двух точек, которое максимизирует угол, образованный линией, соединяющей две точки среди трех точек A, C и D и датчик 1, является точками C и D. Если соответствующие расстояния между точками C и D до датчика 1 одинаковы, и они являются ближайшими точками, то может быть выбрана точка C или точка D.[0032] With reference to the diagram on the right side of FIG. 4(a), the point closest to sensor 1 is point C, and the points on either side of point C are points A and D. As shown in the diagram, the combination of the two point that maximizes the angle formed by a line connecting two points among the three points A, C and D and sensor 1 are points C and D. If the respective distances between points C and D to sensor 1 are the same and they are the nearest points, then point C or point D can be selected.

[0033] Среди сторон, составляющих аппроксимационный прямоугольник, все линейные участки, которые соединяют две точки, выбранные как сочетание двух точек, которое максимизирует угол, и точку, ближайшую к датчику 1, идентифицируются как стороны, которые могут просматриваться датчиком 1, а другие стороны идентифицируются как непросматриваемые стороны. Как показано на схеме слева на Фиг.4(a) просматриваемые стороны обозначены как сторона AC и сторона CD, которые представляют собой стороны, окруженные толстыми сплошными линиями на схеме, а непросматриваемых стороны обозначены как сторона AB и сторона BD, которые являются сторонами, отличными от просматриваемых сторон. Как показано на схеме справа на Фиг.4(a), просматриваемая сторона обозначена как сторона CD, которая представляет собой сторону, окруженную жирными сплошными линиями на схеме, а непросматриваемые стороны идентифицированы как сторона AB, сторона AC и сторона BD, которые являются сторонами, отличными от просматриваемой стороны.[0033] Among the sides constituting the approximation rectangle, all linear portions that connect two points selected as the combination of two points that maximizes the angle and the point closest to sensor 1 are identified as sides that can be viewed by sensor 1, and other sides are identified as unseen sides. As shown in the diagram on the left of FIG. 4(a), the viewed sides are designated AC side and CD side, which are the sides surrounded by thick solid lines in the diagram, and the non-viewable sides are designated AB side and BD side, which are sides other than from the viewed parties. As shown in the diagram on the right in Fig. 4(a), the viewed side is designated as the CD side, which is the side surrounded by thick solid lines in the diagram, and the non-viewable sides are identified as the AB side, the AC side, and the BD side, which are the sides different from the side being viewed.

[0034] На Фиг.4(b) показана схема, иллюстрирующая другой пример способа определения непросматриваемых сторон по отношению к аппроксимационному многоугольнику. В данном примере непросматриваемая сторона идентифицируется напрямую без идентификации просматриваемой стороны.[0034] FIG. 4(b) is a diagram illustrating another example of a method for determining blind sides with respect to an approximation polygon. In this example, the non-viewed side is identified directly without identifying the viewed side.

[0035] В частности, выбирается одна из четырех точек от A до D аппроксимационного прямоугольника, когда прямая линия, соединяющая выбранную точку и датчик 1, пересекает стороны, отличные от сторон, соединенных с выбранной точкой, то стороны, соединенные с выбранной точкой, идентифицируются как непросматриваемые стороны. Изучив все точки от A до D, можно идентифицировать непросматриваемые стороны со всех сторон, составляющих аппроксимационный прямоугольник.[0035] In particular, one of the four points A to D of the approximation rectangle is selected, when a straight line connecting the selected point and sensor 1 intersects sides other than the sides connected to the selected point, then the sides connected to the selected point are identified as invisible sides. By examining all points from A to D, it is possible to identify blind sides on all sides that make up the approximation rectangle.

[0036] Со ссылкой на схему слева на Фиг.4(b) прямая линия, соединяющая точку B и датчик 1, пересекает сторону CD, которая является стороной, отличной от стороны AB и стороны BD, соединенными с точкой B, и, таким образом, сторона AB и сторона BD, которые являются сторонами, соединенными с точкой B и окруженными жирными сплошными линиями на схеме, обозначаются как стороны непросматриваемой зоны.[0036] With reference to the diagram on the left of Fig. 4(b), a straight line connecting point B and sensor 1 crosses side CD, which is a side other than side AB and side BD connected to point B, and thus , side AB, and side BD, which are the sides connected to point B and surrounded by thick solid lines in the diagram, are designated as blind area sides.

[0037] Со ссылкой на схему с правой стороны на Фиг.4(b) прямая линия, соединяющая точку A и датчик 1, пересекает сторону CD, которая является стороной, отличной от стороны AB и стороны AC, соединенных с точкой A, и, таким образом, сторона AB и сторона AC, которые являются сторонами, соединенными с точкой A и окруженными жирными сплошными линиями на схеме, идентифицируются как непросматриваемые стороны. Кроме того, прямая линия, соединяющая точку B и датчик 1, пересекает сторону CD, которая является стороной, отличной от стороны AB и стороны BD, соединенных с точкой B, и, таким образом, сторона AB и сторона BD, соединенные с точкой B, также идентифицируются как непросматриваемые стороны. Следует отметить, что способ, описанный со ссылкой на Фиг.4(b), может применяться не только к прямоугольному аппроксимационному прямоугольнику, но также и ко всем другим многоугольным формам.[0037] With reference to the diagram on the right side of FIG. 4(b), a straight line connecting point A and sensor 1 intersects side CD, which is a side other than side AB and side AC connected to point A, and, thus side AB and side AC, which are the sides connected to point A and surrounded by thick solid lines in the diagram, are identified as blind sides. In addition, a straight line connecting point B and sensor 1 crosses side CD, which is a different side from side AB and side BD connected to point B, and thus side AB and side BD connected to point B, are also identified as blind sides. It should be noted that the method described with reference to FIG. 4(b) can be applied not only to a rectangular approximation rectangle, but also to all other polygonal shapes.

[0038] Таким образом, когда идентифицируются стороны, которые расположены в непросматриваемых зонах при просмотре с датчика 1 среди сторон, составляющих аппроксимационный прямоугольник, выполняется процесс на следующем этапе S105 (см. Фиг.3).[0038] Thus, when the sides that are located in blind areas when viewed from the sensor 1 among the sides constituting the approximation rectangle are identified, the process of the next step S105 (see Fig. 3) is performed.

[0039] На этапе S105 контроллер 10 выполняет определение принадлежности точек отражения аппроксимационному многоугольнику. При определении принадлежности точек отражения аппроксимационному многоугольнику контроллер 10 определяет, какой стороне из сторон, составляющих аппроксимационный прямоугольник, соответствуют (принадлежат) множественные точки 2 отражения, составляющие облака точек, которые являются основаниями аппроксимационного прямоугольника, сгенерированного посредством аппроксимации многоугольником. Более конкретно, контроллер 10 определяет, принадлежат ли или нет множественные точки 2 отражения, составляющие облака точек, полученные на этапе S101, стороне, которая не является непросматриваемой стороной (стороной, которую может просматриваться датчиком 1), указанной на этапе S104. Способ определения стороны, которой принадлежат точки 2 отражения, будет описан со ссылкой на Фиг.5.[0039] In step S105, the controller 10 determines whether the reflection points belong to the approximation polygon. When determining whether the reflection points belong to the approximation polygon, the controller 10 determines which side of the sides constituting the approximation rectangle correspond (belong) to the multiple reflection points 2 constituting the point clouds that are the bases of the approximation rectangle generated by polygon approximation. More specifically, the controller 10 determines whether or not the multiple reflection points 2 constituting the point clouds obtained in step S101 belong to a side that is not the blind side (the side that can be viewed by the sensor 1) indicated in step S104. The method for determining the side to which the reflection points 2 belong will be described with reference to FIG.

[0040] На Фиг.5 показана схема, иллюстрирующая пример способа определения принадлежности точек отражения аппроксимационному многоугольнику согласно данному варианту осуществления. Прямоугольник, представленный четырьмя угловыми точками от A до D, указывает аппроксимационный прямоугольник, аппроксимированный на этапе S103. Точки 2a, 2b и 2c отражения указывают часть множества точек 2 отражения, составляющих группы точек, полученные на этапе S101. При определении принадлежности точек отражения аппроксимационному многоугольнику на основе части множества точек 2 отражения, составляющих полученные группы точек, определяется, какой стороне из сторон, составляющих аппроксимационный прямоугольник, принадлежат облака точек, образованные точками 2 отражения.[0040] FIG. 5 is a diagram illustrating an example of a method for determining whether reflection points belong to an approximation polygon according to this embodiment. The rectangle represented by the four corner points A to D indicates the approximation rectangle approximated in step S103. The reflection points 2a, 2b and 2c indicate a portion of the plurality of reflection points 2 constituting the dot groups obtained in step S101. When determining whether the reflection points belong to the approximation polygon based on part of the set of reflection points 2 that make up the obtained groups of points, it is determined which side of the sides that make up the approximation rectangle belongs to the point clouds formed by the reflection points 2.

[0041] В настоящем примере сначала проводятся перпендикулярные линии от точек 2 отражения к сторонам, составляющим аппроксимационный прямоугольник. В этом случае, когда невозможно провести перпендикулярные линии от точек 2 отражения к сторонам, составляющим аппроксимационный прямоугольник, определяется, что нет стороны, которой принадлежат точки 2 отражения. Между тем, когда есть пересечения между перпендикулярными линиями, проведенными из точек 2 отражения, и сторонами аппроксимационного прямоугольника, определяется, что точки 2 отражения принадлежат стороне, чье расстояние от точек 2 отражения до пересечений является наименьшим среди сторон, где существуют пересечения.[0041] In the present example, perpendicular lines are first drawn from the reflection points 2 to the sides constituting the approximation rectangle. In this case, when it is not possible to draw perpendicular lines from the reflection points 2 to the sides constituting the approximation rectangle, it is determined that there is no side to which the reflection points 2 belong. Meanwhile, when there are intersections between the perpendicular lines drawn from the reflection points 2 and the sides of the approximation rectangle, it is determined that the reflection points 2 belong to the side whose distance from the reflection points 2 to the intersections is the shortest among the sides where the intersections exist.

[0042] Со ссылкой на Фиг.5, например, в точке 2а отражения можно провести перпендикулярные линии к стороне AB и стороне CD. На двух перпендикулярных линиях, проведенных из точки 2а отражения, сторона, на которой существует пересечение с перпендикулярной линией, имеющей минимальную длину, является стороной AB. Таким образом, определяется, что точка 2a отражения принадлежит стороне AB.[0042] Referring to Fig. 5, for example, at the reflection point 2a, lines can be drawn perpendicular to the AB side and the CD side. On the two perpendicular lines drawn from the reflection point 2a, the side on which there is an intersection with the perpendicular line having the minimum length is the side AB. Thus, it is determined that the reflection point 2a belongs to side AB.

[0043] Поскольку точка 2b отражения не может иметь перпендикулярную линию, проведенную к какой-либо стороне, то определяется, что сторона, которой принадлежит точка отражения, не существует.[0043] Since the reflection point 2b cannot have a perpendicular line drawn to any side, it is determined that the side to which the reflection point belongs does not exist.

[0044] От точки 2c отражения можно провести перпендикулярные линии ко всем сторонам, но среди этих перпендикулярных линий существует пересечение с перпендикулярной линией, имеющей наименьшую длину, к стороне AC. Следовательно, точка отражения 2c определяется как принадлежащая стороне AC.[0044] From the reflection point 2c, perpendicular lines can be drawn to all sides, but among these perpendicular lines, there is an intersection with a perpendicular line having the shortest length to side AC. Therefore, the reflection point 2c is defined as belonging to side AC.

[0045] Таким образом, можно определить, какой стороне из сторон, составляющих аппроксимационный прямоугольник, принадлежат точки 2 отражения, составляющие облака точек, полученные на этапе S101. Когда определяется сторона, которой принадлежат точки 2 отражения, выполняется процесс на следующем этапе S106.[0045] In this way, it can be determined which side of the sides constituting the approximation rectangle belongs to the reflection points 2 constituting the point clouds obtained in step S101. When the side to which the reflection points 2 belong is determined, the process of the next step S106 is performed.

[0046] На этапе S106 контроллер 10 определяет, принадлежат ли или нет точки 2 отражения, составляющие облака точек, полученные на этапе S101, стороне, которая не расположена в непросматриваемой зоне при просмотре с датчика 1, среди сторон, составляющих аппроксимационный прямоугольник. То есть контроллер 10 определяет, является ли или нет сторона, определенная на этапе S105, которой принадлежат точки 2 отражения, стороной (просматриваемой стороной), отличной от непросматриваемых сторон. Когда определено, что точки 2 отражения, принадлежащие стороне, отличной от непросматриваемых сторон, существуют среди множества точек 2 отражения, составляющих облака точек, полученные на этапе S101, определяется, что точки 2 отражения не расположены в непросматриваемых зонах аппроксимационного прямоугольника относительно датчика 1, а затем выполняется процесс на этапе S107. Между тем, когда определено, что нет точек 2 отражения, принадлежащих стороне, отличной от непросматриваемых сторон, то есть когда определено, что точки 2 отражения принадлежат непросматриваемых сторонам, определяется, что точки 2 отражения расположены в непросматриваемых зонах аппроксимационного прямоугольника относительно датчика 1, и затем выполняется процесс на этапе S108.[0046] In step S106, the controller 10 determines whether or not the reflection points 2 constituting the point clouds obtained in step S101 belong to the side that is not located in the blind area when viewed from the sensor 1 among the sides constituting the approximation rectangle. That is, the controller 10 determines whether or not the side determined in step S105 to which the reflection points 2 belong is a side (viewed side) other than the non-viewed sides. When it is determined that the reflection points 2 belonging to a side other than the blind sides exist among the plurality of reflection points 2 constituting the point clouds obtained in step S101, it is determined that the reflection points 2 are not located in the blind areas of the approximation rectangle with respect to the sensor 1, but then, the process in step S107 is executed. Meanwhile, when it is determined that there are no reflection points 2 belonging to a side other than the blind sides, that is, when it is determined that the reflection points 2 belong to the blind sides, it is determined that the reflection points 2 are located in the blind areas of the approximation rectangle with respect to the sensor 1, and then, the process in step S108 is executed.

[0047] На этапе S107 определяется, что точки 2 отражения, составляющие полученные облака точек, принадлежат стороне, которая не расположена в непросматриваемой зоне, и, таким образом, контроллер 10 определяет, что точки 2 отражения не расположены в непросматриваемых зонах аппроксимационного прямоугольника относительно датчика 1, и определяет, что объект, указанный облаками точек, полученными на этапе S101, является одиночным объектом. В результате устройство 100 распознавания объектов распознает, что объект, имеющий внешнюю форму, соответствующую аппроксимационному прямоугольнику, фактически существует на виде сверху в положении аппроксимационного прямоугольника, сгенерированного посредством аппроксимации многоугольником, на основе облаков точек, полученных на этапе S101.[0047] In step S107, it is determined that the reflection points 2 constituting the obtained point clouds belong to a side that is not located in the blind area, and thus the controller 10 determines that the reflection points 2 are not located in the blind areas of the approximation rectangle with respect to the sensor 1 and determines that the object indicated by the point clouds obtained in step S101 is a single object. As a result, the object recognition apparatus 100 recognizes that an object having an outer shape corresponding to the approximation rectangle actually exists in plan view at the position of the approximation rectangle generated by the polygon approximation based on the point clouds obtained in step S101.

[0048] Между тем, на этапе S108 определяется, что точки 2 отражения, составляющие полученные облака точек, принадлежат непросматриваемым сторонам, и, таким образом, контроллер 10 определяет, что точки 2 отражения расположены в непросматриваемой зоне аппроксимационного прямоугольника относительно датчика 1, и определяет, что объект, указанный облаками точек, полученными на этапе S101, является множеством объектов. В результате устройство 100 распознавания объектов распознает, что фактическое местоположение, соответствующее положению, в котором аппроксимационный прямоугольник генерируется посредством аппроксимации многоугольником на основе облаков точек, полученных на этапе S101, является полостью, образованной множеством объектов (например, в примере, показанном на фиг.2, насаждение 30 и припаркованное транспортное средство 20), и объект, соответствующий аппроксимационному прямоугольнику, в действительности не существует.[0048] Meanwhile, in step S108, it is determined that the reflection points 2 constituting the obtained point clouds belong to blind sides, and thus the controller 10 determines that the reflection points 2 are located in the blind area of the approximation rectangle with respect to the sensor 1, and determines that the object indicated by the point clouds obtained in step S101 is a plurality of objects. As a result, the object recognition apparatus 100 recognizes that the actual location corresponding to the position at which the approximation rectangle is generated by polygon approximation based on the point clouds obtained in step S101 is a cavity formed by a plurality of objects (for example, in the example shown in FIG. 2 , planting 30 and parked vehicle 20), and the object corresponding to the approximation rectangle does not actually exist.

[0049] Когда посредством вышеупомянутых процессов определяется, сконфигурирован ли объект, указанный облаками точек, с помощью точек 2 отражения одиночного объекта или точек отражения 2 множества объектов, контроллер 10 завершает последовательность процессов, связанных с распознаванием объектов.[0049] When it is determined by the above processes whether the object indicated by the point clouds is configured with single object reflection points 2 or multiple object reflection points 2, the controller 10 ends the object recognition process.

[0050] Кроме того, следует отметить, что не всегда необходимо выполнять процесс для определения, какой стороне аппроксимационного многоугольника принадлежат точки 2 отражения, составляющие полученные облака точек (процессы после этапа S104), после выполнения аппроксимации многоугольником. Например, когда объект, указанный облаками точек, представляет собой удлиненный объект, может быть трудно определить сторону, которой принадлежат облака точек. Например, удлиненный объект, существующий на обочине дороги, может не иметь большого влияния на движение транспортного средства и им можно пренебречь. Следовательно, процессы после этапа S104 могут выполняться только тогда, когда длина самой короткой стороны среди сторон, составляющих аппроксимационный многоугольник, равна или больше предварительно определенного значения. В результате процессы после этапа S104 выполняются только для объектов, отличных от удлиненного объекта, сторону которого, которой принадлежат точки 2 отражения, трудно определить, или для удлиненного объекта, который настолько удлинен, что его не нужно распознавать, и таким образом, можно уменьшить вычислительную нагрузку.[0050] In addition, it should be noted that it is not always necessary to perform a process for determining which side of the approximation polygon the reflection points 2 constituting the obtained point clouds belong to (processes after step S104) after polygon approximation is performed. For example, when the object indicated by the point clouds is an elongated object, it may be difficult to determine the side to which the point clouds belong. For example, an elongated object that exists on the side of the road may not have much effect on the movement of the vehicle and can be neglected. Therefore, the processes after step S104 can only be performed when the length of the shortest side among the sides constituting the approximation polygon is equal to or greater than a predetermined value. As a result, the processes after step S104 are only performed for objects other than the elongated object, the side of which the reflection points 2 belong to is difficult to determine, or for the elongated object, which is so elongated that it does not need to be recognized, and thus it is possible to reduce the computational load.

[0051] Посредством отслеживания полученные облака точек во временном ряду можно идентифицировать атрибут объекта, указанного облаками точек, на основе характера движения облаков точек. Более конкретно, например, посредством измерения положения объекта, существующего в окружающем пространстве, во временном ряду с использованием так называемой техники отслеживания временных рядов, можно добавить атрибут к объекту, указанному облаками точек на основе размера и характера движения облаков точек. В этом случае, когда объект может быть четко идентифицирован как одиночный объект на основе атрибута объекта, указанного облаками точек, процессы после этапа S104 могут быть опущены. В результате процессы после этапа S104 выполняются только тогда, когда объект, указанный облаками точек, не может быть четко определен как одиночный объект, и, таким образом, вычислительная нагрузка может быть уменьшена.[0051] By tracking the received point clouds in the time series, an attribute of the object indicated by the point clouds can be identified based on the nature of the movement of the point clouds. More specifically, for example, by measuring the position of an object existing in the surrounding space in a time series using the so-called time series tracking technique, it is possible to add an attribute to an object indicated by point clouds based on the size and motion patterns of the point clouds. In this case, when the object can be clearly identified as a single object based on the attribute of the object indicated by the point clouds, the processes after step S104 can be omitted. As a result, the processes after step S104 are executed only when the object indicated by the point clouds cannot be clearly defined as a single object, and thus the computational load can be reduced.

[0052] Как описано выше, посредством выполнения процессов, описанных со ссылкой на Фиг.3, устройство 100 распознавания объектов в этом варианте осуществления может надлежащим образом определить, правильно ли аппроксимационный многоугольник, сгенерированный посредством аппроксимации многоугольником в отношении сгруппированных облаках точек, указывает положение фактического объекта, или аппроксимационный многоугольник не указывает фактический объект, и действительно ли имеется полость, образованная множеством объектов, и тогда аппроксимационный многоугольник не правильно указывает положение фактического объекта. В результате, когда выполняется аппроксимация многоугольником на основе облаков точек, полученных посредством распознавания положения объекта, существующего в окружающем пространстве, можно надежно определить, является ли или нет сгенерированный аппроксимационный многоугольник результатом, который указывает положение фактического объекта правильно.[0052] As described above, by performing the processes described with reference to FIG. 3, the object recognizer 100 in this embodiment can properly determine whether the approximation polygon generated by the polygon approximation with respect to the clustered point clouds correctly indicates the position of the actual object, or the approximation polygon does not indicate the actual object, and whether there is indeed a cavity formed by a plurality of objects, and then the approximation polygon does not correctly indicate the position of the actual object. As a result, when polygon approximation is performed based on point clouds obtained by recognizing the position of an object existing in the environment, it can be reliably determined whether or not the generated approximation polygon is a result that indicates the position of the actual object correctly.

[0053] Между тем, когда определяется, является ли объект, указанный облаками точек, полученными посредством датчика 1, одиночным объектом или множеством объектов, не всегда необходимо выполнять аппроксимацию многоугольником на основе облаков точек. Например, когда расстояния между множеством соответствующих точек 2 отражения, составляющих облака точек, и датчиком 1 могут быть обнаружены с высокой точностью, устройство 100 распознавания объектов может определить без выполнения аппроксимации многоугольником, что множество точек 2 отражения, которые составляют облака точек при выполнении аппроксимации многоугольником находятся в непросматриваемых зонах аппроксимационного многоугольника. В результате он может определить, включает ли в сея или нет объект, указанный облаками точек, множество объектов. Более конкретно, когда есть точки 2 отражения ближе к датчику 1 по обе стороны от точек 2 отражения, наиболее удаленных от датчика 1 среди множества точек 2 отражения, составляющих полученные облака точек, устройство 100 распознавания объектов определяет без выполнения аппроксимации многоугольником, что точки 2 отражения расположены в непросматриваемых зонах аппроксимационного многоугольника, если аппроксимация многоугольником выполняется в отношении облаков точек, а затем определяется, что множество объектов указаны облаками точек. Кроме того, когда есть точки 2 отражения дальше от датчика 1 по обе стороны от точек 2 отражения, ближайших к датчику 1, устройство 100 распознавания объектов может быть выполнено с возможностью определения без выполнения аппроксимации многоугольником, что точки 2 отражения не расположены в непросматриваемых зонах аппроксимационного многоугольника, если аппроксимация многоугольником выполняется в отношении облаков точек, и затем может определить, что объект, указанный облаками точек, является одиночным объектом. Однако обычно ошибка измерения возникает в расстояниях между множеством соответствующих точек 2 отражения и датчиком 1, и, таким образом, исходя из результата, полученного посредством аппроксимации многоугольником в отношении облаков точек, как описано выше, предпочтительно определить, является ли объект, указанный облаками точек, одиночным объектом или множеством объектов в ответ на определение того, расположены ли или нет точки 2 отражения в непросматриваемой зоне аппроксимационного многоугольника.[0053] Meanwhile, when it is determined whether the object indicated by the point clouds obtained by the sensor 1 is a single object or a plurality of objects, it is not always necessary to perform point cloud-based polygon approximation. For example, when the distances between the plurality of corresponding reflection points 2 constituting the point clouds and the sensor 1 can be detected with high accuracy, the object recognition apparatus 100 can determine without performing polygon approximation that the plurality of reflection points 2 constituting the point clouds when polygon approximation is performed are located in the blind areas of the approximation polygon. As a result, it can determine whether or not the object indicated by the point clouds includes a plurality of objects in the sei. More specifically, when there are reflection points 2 closer to the sensor 1 on both sides of the reflection points 2 furthest from the sensor 1 among the plurality of reflection points 2 constituting the obtained point clouds, the object recognition apparatus 100 determines without performing polygon approximation that the reflection points 2 are located in blind areas of the approximation polygon if the polygon approximation is performed on point clouds, and then it is determined that the plurality of objects are indicated by the point clouds. In addition, when there are reflection points 2 further away from the sensor 1 on either side of the reflection points 2 closest to the sensor 1, the object recognizer 100 can be configured to determine without performing a polygon approximation that the reflection points 2 are not located in blind areas of the approximation polygon if the polygon fit is performed on point clouds, and then can determine that the object indicated by the point clouds is a single object. However, generally, a measurement error occurs in the distances between the plurality of corresponding reflection points 2 and the sensor 1, and thus, based on the result obtained by the polygon approximation with respect to the point clouds as described above, it is preferable to determine whether the object indicated by the point clouds, a single object or a plurality of objects in response to determining whether or not the reflection points 2 are located in the blind area of the approximation polygon.

[0054] Как описано выше, устройство 100 распознавания объектов в первом варианте осуществления выполняет способ распознавания объектов, используя датчик 1, который получает положение объекта, существующего в окружающем пространстве, в качестве облаков точек, включающих в себя множество точек 2 отражения (точек обнаружения) на виде сверху. Способ включает в себя группирование облаков точек согласно близости; и определение при выполнении аппроксимации многоугольником в отношении сгруппированных облаков точек, расположена ли или нет, по меньшей мере, часть точек обнаружения, составляющих сгруппированные облака точек, в непросматриваемой зоне аппроксимационного многоугольника, полученного посредством аппроксимации многоугольником в отношении облаков точек относительно датчика; распознавание сгруппированных облаков точек в качестве облаков точек, соответствующих множеству объектов, когда определено, что точки обнаружения расположены в непросматриваемой зоне относительно датчика; и распознавание сгруппированных облаков точек в качестве облаков точек, соответствующих одиночному объекту аппроксимационного многоугольника, когда определено, что точки обнаружения не расположены в непросматриваемой зоне относительно датчика. Следовательно, можно определить, существует ли или нет в действительности объект, который указан аппроксимационным многоугольником, полученным посредством аппроксимации многоугольником в отношении сгруппированных облаков точек. Поскольку можно определить, что объект, указанный сгруппированными облаками точек, является множеством объектов, можно правильно распознать, что сгруппированные облака точек являются облаками точек, соответствующими полости, образованной множеством объектов, и что объект отсутствует в рассматриваемом положении.[0054] As described above, the object recognition apparatus 100 in the first embodiment executes an object recognition method using a sensor 1 that acquires the position of an object existing in the surrounding space as point clouds including a plurality of reflection points (detection points) 2 in top view. The method includes grouping point clouds according to proximity; and determining, when performing a polygon fit on the clustered point clouds, whether or not at least a portion of the detection points constituting the clustered point clouds are located in a blind area of the polygon fit obtained by the polygon fit on the clustered point clouds with respect to the sensor; recognizing the grouped point clouds as point clouds corresponding to a plurality of objects, when it is determined that the detection points are located in a blind area relative to the sensor; and recognizing the grouped point clouds as point clouds corresponding to a single object of the approximation polygon when it is determined that the detection points are not located in a blind area with respect to the sensor. Therefore, it can be determined whether or not the object that is indicated by the polygon approximation obtained by the polygon approximation with respect to the clustered point clouds actually exists or not. Since it can be determined that the object indicated by the grouped point clouds is a plurality of objects, it can be correctly recognized that the grouped point clouds are point clouds corresponding to a cavity formed by the plurality of objects, and that the object is absent from the considered position.

[0055] Когда длина самой короткой стороны из сторон, составляющих аппроксимационный многоугольник, больше, чем предварительно определенное значение, устройство 100 распознавания объектов в первом варианте осуществления определяет, соответствует ли или нет, по меньшей мере, часть точек 2 отражения, составляющих облака точек, стороне, которая расположена в непросматриваемой зоне относительно датчика 1, среди сторон, составляющих аппроксимационный многоугольник. Таким образом, можно определить, расположены ли или нет точки 2 отражения (точки обнаружения) в непросматриваемой зоне только для объектов, отличающихся от удлиненного объекта, сторону которого, которой принадлежат облака точек, трудно определить, или удлиненного объекта, который настолько вытянут, что его не нужно распознавать, и, таким образом, вычислительная нагрузка может быть уменьшена.[0055] When the length of the shortest side of the sides constituting the approximation polygon is larger than a predetermined value, the object recognition apparatus 100 in the first embodiment determines whether or not at least a portion of the reflection points 2 constituting the point clouds, the side that is located in the blind area relative to the sensor 1, among the sides that make up the approximation polygon. Thus, it can be determined whether or not the reflection points 2 (detection points) are located in the blind area only for objects other than an elongated object whose side to which the point clouds belong is difficult to determine, or an elongated object that is so elongated that it does not need to be recognized, and thus the computational load can be reduced.

[0056] Устройство 100 распознавания объектов в первом варианте осуществления измеряет положение объекта, существующего в окружающем пространстве, во временном ряду, идентифицирует атрибут объекта, измеренный во временном ряду, и когда сгруппированные облака точек соответствуют объекту, атрибут которого не идентифицирован, определяет, расположена ли или нет, по меньшей мере, часть точек 2 обнаружения, составляющих облака точек, в непросматриваемой зоне аппроксимационного многоугольника относительно датчика 1. В результате можно определить, расположены ли или нет точки 2 отражения в непросматриваемой зоне аппроксимационного многоугольника, только когда объект, указанный облаками точек, не может быть четко идентифицирован как одиночный объект, и, таким образом, вычислительная нагрузка можно быть уменьшена.[0056] The object recognition device 100 in the first embodiment measures the position of an object existing in the surrounding space in the time series, identifies an attribute of the object measured in the time series, and when the grouped point clouds correspond to an object whose attribute is not identified, determines whether or not at least a portion of the detection points 2 constituting the point clouds in the blind area of the approximation polygon with respect to the sensor 1. As a result, it can be determined whether or not the reflection points 2 are located in the blind area of the approximation polygon only when the object indicated by the point clouds , cannot be clearly identified as a single entity, and thus the computational load can be reduced.

[0057] <Второй вариант осуществления>[0057] <Second Embodiment>

Далее будет описано устройство 200 распознавания объектов согласно второму варианту осуществления настоящего изобретения.Next, the object recognition apparatus 200 according to the second embodiment of the present invention will be described.

[0058] На Фиг.6 показана блок-схема, иллюстрирующая пример конфигурации устройства 200 распознавания объектов согласно данному варианту осуществления. Устройство 200 распознавания объектов отличается от устройства 100 распознавания объектов в первом варианте осуществления тем, что дополнительно предусмотрены блок 21 сокращения облаков точек и блок 22 отделения.[0058] FIG. 6 is a block diagram illustrating a configuration example of the object recognition apparatus 200 according to this embodiment. The object recognition apparatus 200 differs from the object recognition apparatus 100 in the first embodiment in that a point cloud reduction unit 21 and a separation unit 22 are further provided.

[0059] Блок 21 сокращения облаков точек сокращает количество облаков точек (количество точек 2 отражения), получаемых датчиком 1.[0059] The point cloud reduction unit 21 reduces the number of point clouds (the number of reflection points 2) received by the sensor 1.

[0060] Когда определено, что объект, указанный полученными облаками точек, включает в себя множество объектов, блок 22 отделения распознает множество сторон, составляющих аппроксимационный многоугольник, аппроксимированный на основе облаков точек, как множество объектов, соответственно. Процессы, выполняемые блоком 21 сокращения облаков точек и блоком 22 отделения, будут описаны со ссылкой на Фиг.7.[0060] When it is determined that the object indicated by the acquired point clouds includes a plurality of objects, the separating unit 22 recognizes the plurality of sides constituting the approximation polygon approximated based on the point clouds as a plurality of objects, respectively. The processes performed by the point cloud reduction unit 21 and the separation unit 22 will be described with reference to FIG.

[0061] Фиг.7 является блок-схемой последовательности операций, иллюстрирующей способ распознавания объектов устройством 200 распознавания объектов согласно данному варианту осуществления. Процессы, проиллюстрированные на блок-схеме последовательности операций, запрограммированы в контроллере 10 таким образом, чтобы они исполнялись постоянно с регулярными интервалами, пока устройство 200 распознавания объектов активировано. Он отличается от способа распознавания объектов в первом варианте осуществления, описанном выше со ссылкой на Фиг.3, на котором добавляются этап S201 и этап S202. В дальнейшем в этом документе в основном будет описано отличие от первого варианта осуществления, а описания тех же этапов, что и в первом варианте осуществления, будут опущены.[0061] FIG. 7 is a flowchart illustrating the object recognition method of the object recognition apparatus 200 according to this embodiment. The processes illustrated in the flowchart are programmed in the controller 10 to be executed continuously at regular intervals while the object recognizer 200 is activated. It differs from the object recognition method in the first embodiment described above with reference to FIG. 3, in which step S201 and step S202 are added. Hereinafter, this document will mainly describe the difference from the first embodiment, and descriptions of the same steps as in the first embodiment will be omitted.

[0062] На этапе S201 контроллер 10 сокращает облака точек, полученные на этапе S101. Способ сокращения конкретно не ограничивается, и, например, может использоваться воксельный фильтр. Посредством сокращения облаков точек на данном этапе можно уменьшить вычислительную нагрузку последующих процессов, выполняемых на основе облаков точек. Если нет необходимости уменьшать вычислительную нагрузку, нет необходимости выполнять этот процесс на этапе S101, который не является необходимым процессом.[0062] In step S201, the controller 10 reduces the point clouds obtained in step S101. The reduction method is not particularly limited, and, for example, a voxel filter may be used. By pruning point clouds at this stage, you can reduce the computational load of subsequent processes based on point clouds. If there is no need to reduce the computing load, it is not necessary to carry out this process in step S101, which is not a necessary process.

[0063] Этап S202 - это процесс, выполняемый, когда определено, что объект, указанный полученными облаками точек, включает в себя множество объектов. Контроллер 10 отделяет каждую сторону, которой принадлежат точки 2 отражения, то есть каждую сторону непросматриваемой зоны, от сторон, составляющих аппроксимационный прямоугольник. Контроллер 10 выполняет процесс вырезания и распознавания (отделения и распознавания) каждой непросматриваемой стороны. То есть контроллер 10 распознает, что точки 2 отражения, соответствующие каждой непросматриваемой стороне, являются точками 2 отражения, соответствующими одиночному объекту. Подробности способа вырезания и распознавания объектов на основе сторон непросматриваемой зоны (способ отделения объектов) будут описаны со ссылкой на Фиг.8. Для простоты в нижеследующем описании вопрос о том, что точки 2 отражения распознаются как точки 2 отражения, соответствующие одиночному объекту для каждой непросматриваемой стороны, выражается как «вырезание» или «отделение объекта».[0063] Step S202 is a process performed when it is determined that the object indicated by the acquired point clouds includes a plurality of objects. The controller 10 separates each side to which the reflection points 2 belong, that is, each side of the blind area, from the sides constituting the approximation rectangle. The controller 10 performs a cutting and recognition process (separation and recognition) of each non-viewable side. That is, the controller 10 recognizes that the reflection points 2 corresponding to each blind side are reflection points 2 corresponding to a single object. Details of the method for cutting out and recognizing objects based on blind area sides (object separation method) will be described with reference to FIG. For simplicity, in the following description, the issue that the reflection points 2 are recognized as the reflection points 2 corresponding to a single object for each blind side is expressed as "cutting out" or "object separation".

[0064] На Фиг.8 показана схема, иллюстрирующая способ отделения объектов, выполняемый устройством 200 распознавания объектов, согласно варианту осуществления. Прямоугольники, четыре угла которых обозначены на схеме буквами от A до D, являются прямоугольниками (аппроксимационными четырехугольниками), которые аппроксимируются в прямоугольники на основе облаков точек, полученных на этапе S101.[0064] FIG. 8 is a diagram illustrating an object separation method performed by the object recognition apparatus 200, according to an embodiment. The rectangles whose four corners are labeled A to D in the diagram are rectangles (approximation quadrilaterals) that are approximated into rectangles based on the point clouds obtained in step S101.

[0065] На Фиг.8(a) показана схема, иллюстрирующая способ отделения объектов, выполняемый, когда определено, что объект, указанный облаками точек, включает в себя множество объектов. Как описано со ссылкой на Фиг.4, в первом варианте осуществления, на этапе S106 идентифицируется, что точки 2 отражения, составляющие облака точек, принадлежат непросматриваемым сторонам, а затем определяется, что объект, указанный облаками точек, включает в себя множество объектов.[0065] FIG. 8(a) is a diagram illustrating an object separation method performed when it is determined that an object indicated by point clouds includes a plurality of objects. As described with reference to FIG. 4, in the first embodiment, in step S106, it is identified that the reflection points 2 constituting the point clouds belong to blind sides, and then it is determined that the object indicated by the point clouds includes a plurality of objects.

[0066] Согласно отделению объектов в этом варианте осуществления, точки 2 отражения, соответствующие непросматриваемым сторонам, распознаются как точки 2 отражения, соответствующие одиночному объекту для каждой непросматриваемой стороны, которой принадлежат точки 2 отражения. Например, на схеме слева на Фиг.8(a), посредством отделения объектов, для каждой непросматриваемой стороны (стороны AB и стороны BD), которой принадлежат точки 2 отражения, точки 2 отражения, соответствующие каждой непросматриваемой стороне, вырезаются как два прямоугольных одиночных объекта (каждый объект имеет форму, показанную толстой рамкой на схеме) в соответствии с распределением облаков точек. В качестве другого примера на схеме справа на Фиг.8(b), посредством отделения объектов для каждой непросматриваемой стороны (стороны AB, стороны AC и стороны BD), которой принадлежат точки 2 отражения, точки 2 отражения, соответствующие каждой непросматриваемой стороне, вырезаются в виде трех прямоугольных одиночных объектов (каждый объект имеет форму, показанную на схеме толстой рамкой) в соответствии с распределением облаков точек. Эти вырезанные четырехугольные одиночные объекты (в дальнейшем просто прямоугольные объекты) соответствуют положению фактического объекта, существующего в окружающем пространстве, и, таким образом, устройство 200 распознавания объектов может более правильно распознавать положение объекта, существующего в окружающем пространстве, на основе прямоугольных объектов. Например, когда схема слева на Фиг.8(а) является результатом обнаружения окружающего пространства, показанной на Фиг.2, прямоугольный объект, относящийся к стороне AB, соответствует насаждению 30, а прямоугольный объект, относящийся к стороне BD, соответствует задней части припаркованного транспортного средства 20.[0066] According to the object separation in this embodiment, the reflection points 2 corresponding to blind sides are recognized as reflection points 2 corresponding to a single object for each blind side to which the reflection points 2 belong. For example, in the left diagram of FIG. 8(a), by separating objects, for each blind side (AB side and BD side) to which the reflection points 2 belong, the reflection points 2 corresponding to each blind side are cut as two rectangular single objects. (each object has the shape shown by the thick box in the diagram) according to the distribution of the point clouds. As another example, in the diagram on the right in FIG. 8(b), by separating objects for each blind side (AB side, AC side, and BD side) to which the reflection points 2 belong, the reflection points 2 corresponding to each blind side are cut in in the form of three rectangular single objects (each object has the shape shown in the diagram by a thick frame) in accordance with the distribution of point clouds. These cut out quadrangular single objects (hereinafter, simply rectangular objects) correspond to the position of the actual object existing in the environment, and thus the object recognition apparatus 200 can more correctly recognize the position of the object existing in the environment based on the rectangular objects. For example, when the diagram on the left in FIG. 8(a) is the result of the ambient detection shown in FIG. 2, the rectangular object associated with the AB side corresponds to the planting 30, and the rectangular object associated with the BD side corresponds to the rear of the parked vehicle. funds 20.

[0067] Как показано на Фиг.8(а), не всегда необходимо вырезать все непросматриваемые стороны, которым принадлежат точки 2 отражения, и часть по меньшей мере одной или более непросматриваемых сторон может быть вырезана в качестве заданных сторон. В этом случае, например, сторона, имеющая большое количество точек 2 отражения, принадлежащих непросматриваемой стороне, или сторона, имеющая большой коэффициент количества точек 2 отражения в соответствии с длиной непросматриваемой стороны, может быть предпочтительно вырезана в качестве заданной стороны.[0067] As shown in FIG. 8(a), it is not always necessary to cut out all blind sides to which the reflection points 2 belong, and a portion of at least one or more blind sides may be cut out as predetermined sides. In this case, for example, a side having a large number of reflection points 2 belonging to the blind side, or a side having a large number of reflection points 2 according to the length of the blind side, can be preferably cut as a predetermined side.

[0068] Когда определено, что объект существует в окружающем пространстве устройства 200 распознавания объектов, можно использовать не только датчик 1, но также по меньшей мере один или более других датчиков, отличных от датчика 1, и объект, существующий в окружающем пространстве, может быть одновременно обнаружен посредством множества датчиков. В этом случае, только когда объект, обнаруженный датчиком 1, совпадает с объектом, обнаруженным другими датчиками, отличными от датчика 1, то совпадающий объект может быть распознан как объект, который действительно существует в окружающем пространстве. В результате положение объекта, существующего в окружающем пространстве, может быть обнаружено с более высокой точностью, чем при использовании только датчика 1.[0068] When it is determined that an object exists in the environment of the object recognition device 200, not only the sensor 1 but also at least one or more other sensors other than the sensor 1 can be used, and the object existing in the environment can be simultaneously detected by a plurality of sensors. In this case, only when an object detected by sensor 1 matches an object detected by other sensors other than sensor 1, then the matched object can be recognized as an object that actually exists in the environment. As a result, the position of an object existing in the surrounding space can be detected with higher accuracy than when using only sensor 1.

[0069] Когда устройство 200 распознавания объектов выполнено таким образом, то множество прямоугольных объектов, соответствующих множеству объектов, обнаруженных датчиком 1, генерируется посредством выполнения вышеупомянутого отделения объектов, и, таким образом, можно более легко определять совпадение между объектом, обнаруженным датчиком 1, и объектом, обнаруженным другими датчиками, отличными от датчика 1. Пример способа определения совпадения объектов, обнаруженных множеством датчиков, будет описан позже в описании третьего варианта осуществления.[0069] When the object discriminator 200 is configured in this way, a plurality of rectangular objects corresponding to the plurality of objects detected by the sensor 1 is generated by performing the above object separation, and thus it is possible to more easily determine the match between the object detected by the sensor 1 and an object detected by sensors other than sensor 1. An example of a method for determining a match of objects detected by a plurality of sensors will be described later in the description of the third embodiment.

[0070] На Фиг.8(b) показана схема, иллюстрирующая случай, когда определено, что объект, указанный облаками точек, не является множеством объектов. Как показано на схеме, когда точки 2 отражения принадлежат стороне (просматриваемой стороне), которая не является непросматриваемой стороной, объект, указанный облаками точек, определяется как одиночный объект (этап S107), и, таким образом, отделение объектов не выполняется.[0070] FIG. 8(b) is a diagram illustrating a case where it is determined that an object indicated by point clouds is not an object set. As shown in the diagram, when the reflection points 2 belong to a side (view side) that is not a non-view side, the object indicated by the point clouds is determined to be a single object (step S107), and thus object separation is not performed.

[0071] Как описано выше, согласно устройству 200 распознавания объектов во втором варианте осуществления, когда объект распознается как множество объектов, каждая сторона, соответствующая точкам 2 отражения, среди сторон, составляющих аппроксимационный многоугольник, распознается как одиночный объект. Таким образом, можно правильно распознать положение объекта, существующего в окружающем пространстве.[0071] As described above, according to the object recognition apparatus 200 in the second embodiment, when the object is recognized as a plurality of objects, each side corresponding to the reflection points 2 among the sides constituting the approximation polygon is recognized as a single object. Thus, the position of an object existing in the surrounding space can be correctly recognized.

[0072] Согласно устройству 200 распознавания объектов во втором варианте осуществления, сторона, распознаваемая как одиночный объект, определяется согласно количеству соответствующих точек 2 отражения. Следовательно, например, объект, который находится близко к датчику 1 и отражает большее количество лазерных лучей, выходящих из датчика 1, может предпочтительно распознаваться как одиночный объект.[0072] According to the object recognition apparatus 200 in the second embodiment, the side recognized as a single object is determined according to the number of corresponding reflection points 2 . Therefore, for example, an object that is close to the sensor 1 and reflects more of the laser beams coming out of the sensor 1 can preferably be recognized as a single object.

[0073] <Третий вариант осуществления>[0073] <Third Embodiment>

Далее будет описано устройство 300 распознавания объектов согласно третьему варианту осуществления настоящего изобретения.Next, the object recognition apparatus 300 according to the third embodiment of the present invention will be described.

[0074] На Фиг.9 показана блок-схема, иллюстрирующая пример конфигурации устройства 300 распознавания объектов согласно данному варианту осуществления. Устройство 300 распознавания объектов отличается от устройства 200 распознавания объектов во втором варианте осуществления тем, что дополнительно предусмотрены камера 3, блок 32 определения атрибутов и блок 33 объединения информации. Далее в основном будет описано отличие от второго варианта осуществления.[0074] FIG. 9 is a block diagram illustrating a configuration example of an object recognition apparatus 300 according to this embodiment. The object recognition apparatus 300 differs from the object recognition apparatus 200 in the second embodiment in that a camera 3, an attribute determination unit 32, and an information combining unit 33 are further provided. Next, the difference from the second embodiment will be mainly described.

[0075] Камера 3 действует как блок получения источника идентификации атрибутов, который получает информацию для определения атрибута объекта, существующего в окружающем пространстве, в блоке 32 определения атрибутов, описанном ниже. Атрибут здесь - это информация, представляющая характеристику объекта, которая в основном определяется по форме объекта, например, человек (пешеход), автомобиль, ограждение или насаждение. Камера 3 захватывает изображение окружающего пространства и предоставляет захваченные видеоданные (изображения камеры) в блок 32 определения атрибутов в качестве источника идентификации атрибутов. Следует отметить, что конфигурация, принятая в качестве блока получения источника идентификации атрибутов, не ограничивается камерой 3. Блок получения источника идентификации атрибутов может быть другим датчиком, способным получать информацию, которая может идентифицировать атрибут посредством последующих процессов.[0075] The camera 3 acts as an attribute identification source obtaining unit that obtains information for determining an attribute of an object existing in the environment in an attribute determination unit 32, described below. An attribute here is information representing a characteristic of an object, which is mainly determined by the shape of the object, such as a person (pedestrian), car, fence or planting. The camera 3 captures an image of the environment and provides the captured video data (camera images) to the attribute determiner 32 as an attribute identification source. It should be noted that the configuration received as the attribute identification source obtaining unit is not limited to the camera 3. The attribute identification source obtaining unit may be another sensor capable of obtaining information that can identify an attribute through subsequent processes.

[0076] Блок 32 определения атрибутов идентифицирует атрибут каждого объекта, существующего в окружающем пространстве (окружающий объект), на основе изображения камеры, полученного камерой 3, и добавляет идентифицированный атрибут к окружающему объекту.[0076] The attribute determination unit 32 identifies an attribute of each object existing in the surrounding space (surrounding object) based on the camera image acquired by the camera 3, and adds the identified attribute to the surrounding object.

[0077] Блок 33 объединения информации объединяет окружающий объект, к которому атрибут добавлен блоком 32 определения атрибутов, и информацию об объекте, обнаруженном посредством датчика 1. Подробности процессов, выполняемых соответствующими функциональными блоками, будут описаны со ссылкой на Фиг.10 и 11.[0077] The information combining block 33 combines the surrounding object to which the attribute is added by the attribute determination block 32 and information about the object detected by the sensor 1. Details of the processes performed by the respective functional blocks will be described with reference to FIGS. 10 and 11.

[0078] Сначала сцена, в которой объединяется информация об объекте, полученная датчиком 1 и камерой 3, будет описана со ссылкой на Фиг.10. На Фиг.10 показана схема, иллюстрирующая способ предписания датчику 1 и камере 3 согласно третьему варианту осуществления получать информацию об объекте, существующем в окружающем пространстве.[0078] First, a scene in which object information acquired by the sensor 1 and the camera 3 is combined will be described with reference to FIG. Fig. 10 is a diagram illustrating a method for instructing the sensor 1 and the camera 3 according to the third embodiment to obtain information about an object existing in the environment.

[0079] Сначала способ предписания датчику 1 получить информацию об объекте, существующем в окружающем пространстве, аналогичен способу, описанному со ссылкой на Фиг.2 в первом варианте осуществления. То есть датчик 1 получает облака точек, соответствующие положению боковой поверхности на стороне датчика 1 объекта, имеющегося в веерообразном угле обзора датчика, проходящем от датчика 1. Облака точек, полученные датчиком 1, идентифицируются как одиночный объект или множество прямоугольных объектов, вырезанных посредством отделения объектов через аппроксимацию многоугольником.[0079] First, the method of instructing the sensor 1 to obtain information about an object existing in the environment is similar to the method described with reference to FIG. 2 in the first embodiment. That is, sensor 1 acquires point clouds corresponding to the position of a side surface on the side of sensor 1 of an object present in the fan-shaped sensor field of view extending from sensor 1. The point clouds received by sensor 1 are identified as a single object or a plurality of rectangular objects cut out by object separation through polygonal approximation.

[0080] Как показано на схеме, камера 3 получает изображение окружающего пространства в том же направлении, что и датчик 1. То есть согласно сцене, показанной на Фиг.10, камера 3 получает объект, аналогичный объекту, указанному облаками точек, полученным датчиком 1, то есть изображение камеры, включающее в себя боковую поверхность насаждения 30 и заднюю часть припаркованного транспортного средства 20, в качестве информации об объекте, существующем в окружающем пространстве.[0080] As shown in the diagram, the camera 3 acquires an image of the surrounding space in the same direction as the sensor 1. That is, according to the scene shown in Fig. 10, the camera 3 acquires an object similar to the object indicated by the point clouds obtained by the sensor 1 , that is, a camera image including the side surface of the planting 30 and the rear of the parked vehicle 20 as information about an object existing in the surrounding space.

[0081] На Фиг.11 является блок-схемой, иллюстрирующей способ распознавания объектов устройством 300 распознавания объектов согласно данному варианту осуществления. Процессы, проиллюстрированные на блок-схеме, запрограммированы в контроллере 10 таким образом, чтобы они исполнялись постоянно с регулярными интервалами, пока устройство 300 распознавания объектов активировано. Он отличается от способа распознавания объектов во втором варианте осуществления, описанном выше со ссылкой на Фиг.7 тем, что добавлены этапы с S301 по этап S303. В дальнейшем будет в основном описано отличие от второго варианта осуществления, а описания тех же этапов, что и во втором варианте осуществления, будут опущены.[0081] FIG. 11 is a flowchart illustrating an object recognition method of the object recognition apparatus 300 according to this embodiment. The processes illustrated in the flowchart are programmed in the controller 10 to be executed continuously at regular intervals while the object recognizer 300 is activated. It differs from the object recognition method in the second embodiment described above with reference to FIG. 7 in that steps S301 to step S303 are added. In the following, the difference from the second embodiment will be mainly described, and descriptions of the same steps as in the second embodiment will be omitted.

[0082] На этапе S301 контроллер 10 идентифицирует атрибут окружающего объекта на основе изображения, полученного камерой 3.[0082] In step S301, the controller 10 identifies an attribute of the surrounding object based on the image captured by the camera 3.

[0083] На этапе S302 контроллер 10 определяет, совпадает ли или нет информация об объекте, полученная датчиком 1, с информацией об объекте, полученной камерой 3. В этом варианте осуществления совпадение информации определяется на основе степени совпадения информации об объекте.[0083] In step S302, the controller 10 determines whether or not the object information received by the sensor 1 matches the object information received by the camera 3. In this embodiment, the information match is determined based on the degree of match of the object information.

[0084] Степень совпадения может быть вычислена на основе, например, позиционного отношения между объектом, обнаруженным датчиком 1, и объектом, обнаруженным камерой 3. В частности, например, обнаруживается расстояние от датчика 1 до объекта, существующего в окружающем пространстве, и расстояние от камеры 3 до окружающего объекта, и степень совпадения может быть вычислена на основе разности между расстояниями между соответствующими объектами от датчика 1 и камеры 3. Можно определить, что чем ближе расстояния, тем выше степень совпадения между объектами, обнаруженными датчиком 1 и камерой 3. Когда вычисленная степень совпадения превышает предварительно определенное пороговое значение, определяется, что информация о соответствующих объектах совпадает. В дополнение к такому способу вычисления или вместо него может быть принят другой способ вычисления . Другой способ вычисления степени совпадения будет описан со ссылкой на Фиг.12.[0084] The degree of match can be calculated based on, for example, a positional relationship between an object detected by the sensor 1 and an object detected by the camera 3. In particular, for example, the distance from the sensor 1 to an object existing in the surrounding space is detected, and the distance from camera 3 to the surrounding object, and the match rate can be calculated based on the difference between the distances between the respective objects from sensor 1 and camera 3. It can be determined that the closer the distances, the higher the match rate between the objects detected by sensor 1 and camera 3. When the calculated degree of matching exceeds a predetermined threshold value, it is determined that the information of the respective objects matches. In addition to or instead of such a calculation method, another calculation method may be adopted. Another method for calculating the degree of match will be described with reference to Fig.12.

[0085] Фиг.12 является схемой, иллюстрирующей способ определения, совпадает ли или нет информация об объекте, полученная датчиком 1, с информацией об объекте, полученной камерой 3.[0085] Fig. 12 is a diagram illustrating a method for determining whether or not the object information obtained by the sensor 1 matches the object information obtained by the camera 3.

[0086] Сначала в изображении камеры, полученном камерой 3, извлекается занятый кадр объекта в изображении камеры (кадр, окружающий внешнюю форму объекта на изображении). Например, когда припаркованное транспортное средство 20, показанное на Фиг.10, показано на изображении, полученном камерой 3, фигура B, которая по существу совпадает с внешней формой задней торцевой поверхности припаркованного транспортного средства 20, выделяется как занятый кадр припаркованного транспортного средства 20, который появляется, когда припаркованное транспортное средство 20 захватывается сзади. Затем атрибут «автомобиль», идентифицированный на этапе S302, присваивается фигуре B.[0086] First, in the camera image obtained by the camera 3, the occupied frame of the object in the camera image (the frame surrounding the external shape of the object in the image) is extracted. For example, when the parked vehicle 20 shown in FIG. 10 is shown in the image acquired by the camera 3, figure B, which substantially matches the outer shape of the rear end surface of the parked vehicle 20, is highlighted as the occupied frame of the parked vehicle 20, which appears when the parked vehicle 20 is grabbed from behind. Then, the "car" attribute identified in step S302 is assigned to the figure B.

[0087] Между тем, из информации об объекте, сгенерированном на основе облаков точек, полученных датчиком 1, фигура A извлекается как прямоугольная проекционная рамка, показывающая внешнюю форму объекта при просмотре с горизонтального направления. В частности, когда объект, обозначенный облаками точек, полученными датчиком 1, является одиночным объектом, на этапе S103 аппроксимационный прямоугольник, полученный посредством аппроксимации многоугольником, проецируется на изображение камеры, чтобы сделать аппроксимационный прямоугольник двумерным, тем самым генерируя рисунок A как проекционную рамку. Когда объект, указанный облаками точек, полученными датчиком 1, включает в себя множество объектов, прямоугольный объект, вырезанный посредством отделения объектов, проецируется на изображение камеры и делает его двумерным, тем самым генерируя фигуру A. В изображении камеры, фигура A проецируется в положение и размер, которые по существу совпадают с положением и размером облаков точек, полученных датчиком 1. Однако, поскольку аппроксимационный многоугольник, который является основой фигуры A, является информацией, сгенерированной посредством проецирования аппроксимационного многоугольника на двумерную плоскость, информация о высоте фигуры A не включается. Следовательно, соответствующее постоянное значение устанавливается по отношению к размеру фигуры А в направлении высоты как объект, существующий на дороге. Таким образом, фигура A, сгенерированная на основе облаков точек, полученных датчиком 1, проецируется на изображение камеры, из которого извлекается фигура B.[0087] Meanwhile, from the object information generated based on the point clouds obtained by the sensor 1, figure A is extracted as a rectangular projection frame showing the outer shape of the object when viewed from a horizontal direction. Specifically, when the object indicated by the point clouds acquired by the sensor 1 is a single object, in step S103, the approximation rectangle obtained by polygon approximation is projected onto the camera image to make the approximation rectangle two-dimensional, thereby generating pattern A as a projection frame. When the object indicated by the point clouds acquired by the sensor 1 includes a plurality of objects, a rectangular object cut out by object separation is projected onto the camera image and makes it two-dimensional, thereby generating figure A. In the camera image, figure A is projected to the position and a size that substantially matches the position and size of the point clouds obtained by the sensor 1. However, since the approximation polygon that is the base of figure A is information generated by projecting the approximation polygon onto a two-dimensional plane, information about the height of figure A is not included. Therefore, an appropriate constant value is set with respect to the size of figure A in the height direction as an object existing on the road. Thus figure A, generated from the point clouds obtained by sensor 1, is projected onto the camera image, from which figure B is extracted.

[0088] На изображении камеры вычисляется совместно используемый диапазон (диапазон совпадения) между фигурой B как занятым кадром изображаемого окружающего объекта и фигурой A как кадром проекции аппроксимационного многоугольника, сгенерированного на основе облаков точек или вырезанного прямоугольного объекта. Когда вычисленный совместно используемый диапазон равен или превышает пороговое значение, то есть когда удовлетворяется следующая формула (1), каждый объект, полученный отдельно датчиком 1 и камерой 3, определяется как совпадающий (тот же самый объект). Пороговое значение соответствующим образом устанавливается с учетом характеристик и т.д. датчика 1 и камеры 3, которое должно приниматься в качестве надежного значения для сопоставления каждого объекта.[0088] On the camera image, the shared range (coincidence range) is calculated between figure B as an occupied frame of the displayed surrounding object and figure A as a projection frame of an approximation polygon generated from point clouds or a cutout rectangular object. When the calculated shared range is equal to or exceeds the threshold value, that is, when the following formula (1) is satisfied, each object acquired separately by the sensor 1 and the camera 3 is determined to match (same object). The threshold value is appropriately set in consideration of characteristics, etc. sensor 1 and camera 3, which should be taken as a reliable value for matching each object.

[0089] [Формула 1][0089] [Formula 1]

(A˄B)/(A˅B) > пороговое значение… (1)(A˄B)/(A˅B) > threshold value… (1)

[0090] На этапе S301, когда определено, что информация об объекте, полученная датчиком 1, совпадает с информацией об объекте, полученной камерой 3, и определено, что эти объекты являются одним и тем же объектом, выполняется процесс на следующем этапе S302. Когда приведенная выше формула (1) не удовлетворяется и информация об объекте, полученная датчиком 1, не совпадает с информацией об объекте, полученной камерой 3, заканчивая один цикл потока, то процессы с этапа S101 выполняются повторно.[0090] In step S301, when it is determined that the object information obtained by the sensor 1 matches the object information obtained by the camera 3, and it is determined that these objects are the same object, the process of the next step S302 is executed. When the above formula (1) is not satisfied and the object information obtained by the sensor 1 does not match the object information obtained by the camera 3 by ending one flow cycle, the processes from step S101 are repeated.

[0091] На этапе S302 контроллер 10 объединяет информацию об объекте, полученную датчиком 1, и информацию об объекте в изображении камеры, определенную как совпадающую с объектом. Следовательно, атрибут, идентифицированный на основе информации, полученной камерой 3, добавляется к объекту, полученному датчиком 1. В результате количество, точность и надежность информации об объекте, полученной датчиком 1, могут быть улучшены.[0091] In step S302, the controller 10 combines the object information obtained by the sensor 1 and the object information in the camera image determined to match the object. Therefore, the attribute identified based on the information acquired by the camera 3 is added to the object acquired by the sensor 1. As a result, the amount, accuracy, and reliability of the object information acquired by the sensor 1 can be improved.

[0092] Как описано выше, согласно устройству 300 распознавания объектов в третьем варианте осуществления, блок распознавания (камера 3), отличный от датчика 1, используется для распознавания объекта, существующего в окружающем пространстве, и идентификации атрибута объекта, затем определяется, совпадает ли или нет множество объектов или одиночный объект, распознанные посредством датчика 1, с объектом, распознанным посредством камеры 3. Затем, когда определено, что множество объектов или одиночный объект совпадают с объектом, распознанным посредством блока распознавания, к множеству объектов или одиночному объекту применяется атрибут. В результате к объекту может быть добавлен атрибут, атрибут которого неизвестен только по информации об объекте, полученной датчиком 1. Поскольку атрибут добавляется в ответ на распознавание нескольких объектов одного и того же объекта и определение совпадения объектов, надежность информации об объекте, полученной датчиком 1, может быть повышена.[0092] As described above, according to the object recognition apparatus 300 in the third embodiment, a recognition unit (camera 3) other than the sensor 1 is used to recognize an object existing in the environment and identify an attribute of the object, then it is determined whether or not there is no plurality of objects or a single object recognized by the sensor 1 with an object recognized by the camera 3. Then, when it is determined that the plurality of objects or the single object matches the object recognized by the recognition unit, an attribute is applied to the plurality of objects or the single object. As a result, an attribute can be added to an object whose attribute is unknown only from the object information obtained by sensor 1. Since the attribute is added in response to recognizing multiple objects of the same object and determining the object match, the reliability of the object information obtained by sensor 1 is may be raised.

[0093] Согласно устройству 300 распознавания объектов в третьем варианте осуществления обнаруживается расстояние от датчика 1 до объекта, существующего в окружающем пространстве, обнаруживается расстояние от камеры 3 до объекта, существующего в окружающем пространстве, и определяется, являются ли или нет множество объектов или одиночный объект, распознанные посредством датчика 1, и объект, распознанный посредством камеры 3, одним и тем же объектом на основе расстояния от датчика 1 до объекта и расстояния от камеры 3 до объекта. В результате можно определить, совпадают ли или нет соответствующие объекты, на основе позиционного отношения между объектом, обнаруженным датчиком 1, и объектом, обнаруженным камерой 3.[0093] According to the object recognition apparatus 300, in the third embodiment, the distance from the sensor 1 to an object existing in the surrounding space is detected, the distance from the camera 3 to the object existing in the surrounding space is detected, and it is determined whether or not a plurality of objects or a single object recognized by the sensor 1 and the object recognized by the camera 3 by the same object based on the distance from the sensor 1 to the object and the distance from the camera 3 to the object. As a result, it can be determined whether or not the respective objects match based on the positional relationship between the object detected by the sensor 1 and the object detected by the camera 3.

[0094] Согласно устройству 300 распознавания объектов в третьем варианте осуществления камера 3 получает изображение, включающее в себя объект, существующий в окружающем пространстве, множество объектов или одиночный объект, распознанные датчиком 1, проецируются на изображение, вычисляется совместно используемый диапазон между объектом, включенным в изображение, и множеством объектов или одиночным объектом, спроецированными на изображение, и на основе вычисленного совместно используемого диапазона определяется, совпадают ли или нет множество объектов или одиночный объект, распознанные посредством датчика 1, с объектом, распознанным посредством камеры 3. Следовательно, можно определить, совпадают ли или нет соответствующие объекты, на основе совместно используемого диапазона на поверхности или в пространстве объекта, обнаруженного датчиком 1, и объекта, обнаруженного камерой 3. В результате информация может быть объединена только для объектов, которые могут быть одним и тем же объектом.[0094] According to the object recognition apparatus 300 in the third embodiment, the camera 3 acquires an image including an object existing in the surrounding space, a plurality of objects or a single object recognized by the sensor 1 are projected onto the image, the shared range between the object included in the image, and a plurality of objects or a single object projected onto the image, and based on the calculated shared range, it is determined whether or not the plurality of objects or a single object recognized by the sensor 1 matches the object recognized by the camera 3. Therefore, it can be determined, whether or not the corresponding objects match, based on the shared range on the surface or in space of the object detected by the sensor 1 and the object detected by the camera 3. As a result, information can only be combined for objects that can be the same object.

[0095] Несмотря на то, что выше описаны варианты осуществления настоящего изобретения, вышеупомянутые варианты осуществления просто показывают некоторые из примеров применения настоящего изобретения и не предназначены для ограничения технического объема настоящего изобретения конкретными конфигурациями вышеупомянутых вариантов осуществления. Вышеупомянутые варианты осуществления можно соответствующим образом объединять, если нет противоречия.[0095] Although the embodiments of the present invention have been described above, the above embodiments merely show some of the application examples of the present invention and are not intended to limit the technical scope of the present invention to the specific configurations of the above embodiments. The above embodiments can be appropriately combined if there is no conflict.

Claims

1. A method for recognizing objects using a sensor configured to obtain the position of an object existing in the surrounding space as point clouds, including a plurality of detection points in a top view, the method comprising the steps of:

group point clouds according to proximity;

determining, when performing a polygon fit on the clustered point clouds, whether or not at least a portion of the detection points constituting the clustered point clouds are located in a blind area of the polygon fit obtained by the polygon fit on the point clouds with respect to the sensor;

recognizing the grouped point clouds as point clouds corresponding to a plurality of objects when it is determined that the detection points are located in a blind area relative to the sensor; and

recognizing the grouped point clouds as point clouds corresponding to a single object of the approximation polygon when it is determined that the detection points are not located in a blind area relative to the sensor.

2. The object recognition method according to claim 1, further comprising recognizing, when the object is recognized as a plurality of objects, detection points that correspond to a particular side, which is at least one side of the sides constituting the approximation polygon, as detection points corresponding to a single object.

3. The object recognition method according to claim 2, further comprising determining a specific side according to the number of corresponding detection points.

4. The object recognition method according to any one of claims 1 to 3, further comprising the step of determining when the length of the shortest side of the sides constituting the approximation polygon is greater than a predetermined length, whether or not at least a part of detection points that make up point clouds in the blind area of the approximation polygon relative to the sensor.

5. An object recognition method according to any one of claims 1 to 4, further comprising the steps of:

measuring the position of an object existing in the surrounding space in a time series;

identifying an attribute of the object measured in the time series; and

it is determined when the grouped point clouds correspond to an object whose attribute is not identified, whether or not at least a part of the detection points constituting the point clouds are located in the blind zone of the approximation polygon relative to the sensor.

6. The object recognition method according to any one of claims 1 to 5, further comprising the steps of:

recognizing an object existing in the surrounding space, and identifying an attribute of the object by using a recognition unit other than the sensor;

determining whether or not a plurality of objects or a single object recognized by the sensor matches the object recognized by the recognition unit; and

adding an attribute to the plurality of objects or the single object recognized by the sensor when it is determined that the plurality of objects or the single object matches the object recognized by the recognition unit.

7. The object recognition method according to claim 6, further comprising the steps of:

detecting a distance from the sensor to an object existing in the surrounding space;

detecting the distance from the recognition unit to an object existing in the surrounding space; and

determining whether or not a plurality of objects or a single object recognized by the sensor and an object recognized by the recognition unit are the same object based on the distance from the sensor to the object and the distance from the recognition unit to the object.

8. The object recognition method according to claim 6 or 7, further comprising the steps of:

obtaining an image including an object existing in the surrounding space, by means of the recognition unit;

projecting a plurality of objects or a single object recognized by the sensor onto the image;

calculating a matching range between an occupied area, which is an area occupied by an object in the image, and a projected area, which is an area occupied by a plurality of objects or a single object projected onto the image; and

determining whether or not the plurality of objects or a single object recognized by the sensor and the object recognized by the recognition unit are the same object based on the calculated matching range.

9. An object recognition device, comprising: a sensor configured to obtain the position of an object existing in the surrounding space, as point clouds, including a plurality of detection points in a top view; and a controller configured to process the point clouds received by the sensor, wherein

the controller is additionally configured to:

group point clouds according to proximity of point clouds;

recognize grouped point clouds as point clouds corresponding to a plurality of objects when it is determined that the detection points are located in a blind area relative to the sensor, and

recognize the grouped point clouds as point clouds corresponding to a single object of the approximation polygon when it is determined that the detection points are not located in a blind area relative to the sensor.