KR20200142315A

KR20200142315A - Method and apparatus of updating road network

Info

Publication number: KR20200142315A
Application number: KR1020190069413A
Authority: KR
Inventors: 김윤경; 박영욱
Original assignee: 주식회사 카카오
Priority date: 2019-06-12
Filing date: 2019-06-12
Publication date: 2020-12-22
Also published as: KR102316818B1

Abstract

According to one embodiment, provided are a method and a device for updating a road network. At least one object included in the road network is detected from an input image, the type of the object is identified, a correction method corresponding to the object is determined in accordance with the type of the object, and the road network is updated based on information of the corrected object in accordance with the correction method.

Description

Method and apparatus for updating road network {METHOD AND APPARATUS OF UPDATING ROAD NETWORK}

아래의 실시예들은 도로 네트워크를 갱신하는 방법 및 장치에 관한 것이다.The following embodiments relate to a method and apparatus for updating a road network.

도로 네트워크를 구축 및 관리하기 위해서는 도로에 표시된 도로 표지 이외에도 다양한 도로 시설물들에 대한 정보를 획득하는 것이 필요하다. 이를 위해 거리 또는 도로를 직접 방문하여 영상을 촬영함으로써 해당 정보를 획득하거나, 또는 미리 촬영된 영상으로부터 해당 정보를 획득할 수 있다. 다만, 이러한 정보의 획득 과정은 많은 수작업을 수반하므로 획득된 정보가 휴먼 에러(human error)를 포함할 수 있고, 이로 인해 획득된 정보를 처리 또는 가공한 결과에서 오류가 발생할 가능성이 매우 높다.In order to establish and manage a road network, it is necessary to acquire information on various road facilities in addition to road signs displayed on the road. To this end, corresponding information may be obtained by directly visiting a street or road and photographing an image, or corresponding information may be obtained from a pre-captured image. However, since the process of acquiring such information involves a lot of manual work, the acquired information may include a human error, and there is a high possibility that an error may occur in the result of processing or processing the acquired information.

일 측에 따르면, 도로 네트워크를 갱신하는 방법은 입력 영상으로부터 도로 네트워크에 포함되는 적어도 하나의 객체를 검출하는 단계; 상기 객체의 유형(type)을 식별하는 단계; 상기 객체의 유형에 따라 상기 객체에 대응하는 보정 방법을 결정하는 단계; 상기 보정 방법에 따라 상기 객체의 정보를 보정하는 단계; 및 상기 보정된 객체의 정보에 기초하여 상기 도로 네트워크를 갱신하는 단계를 포함한다. According to one side, a method of updating a road network includes: detecting at least one object included in the road network from an input image; Identifying the type of the object; Determining a correction method corresponding to the object according to the type of the object; Correcting the information of the object according to the correction method; And updating the road network based on the corrected object information.

상기 객체의 정보는 상기 입력 영상 내의 상기 객체 에 대응하는 영역 정보; 및 상기 입력 영상에 대응하는 3차원 공간 내의 상기 객체 에 대응하는 위치 정보 중 적어도 하나를 포함할 수 있다. The object information includes region information corresponding to the object in the input image; And at least one of location information corresponding to the object in the 3D space corresponding to the input image.

상기 객체의 유형은 상기 도로 네트워크에 포함된 도로의 차선 및 차로 경계선을 포함하는 도로 노면 표시(road surface marking)에 해당하는 제1 유형; 및 상기 도로 네트워크에 포함된 도로 교통 표지판을 포함하는 도로 시설물(street furniture)에 해당하는 제2 유형 중 적어도 하나를 포함할 수 있다. The type of the object is a first type corresponding to a road surface marking including a lane and a lane boundary line of a road included in the road network; And at least one of the second types corresponding to street furniture including road traffic signs included in the road network.

상기 객체의 유형이 제1 유형인 경우, 상기 보정 방법을 결정하는 단계는 상기 객체의 그룹핑(grouping) 시에 상기 입력 영상 내에서 인식의 대상이 되는 제1 객체들을 그룹핑하기 위하여, 상기 인식의 대상에서 제외되는 제2 객체에 기초하여 상기 제1 객체에 대응하는 영역 정보를 보정하는 제1 보정 방법을 상기 보정 방법으로 결정하는 단계를 포함할 수 있다. When the type of the object is the first type, the determining of the correction method includes the object of recognition in order to group first objects to be recognized in the input image when the objects are grouped. It may include determining a first correction method for correcting region information corresponding to the first object based on the second object excluded from, as the correction method.

상기 입력 영상은 투시도(perspective view) 영상을 포함하고, 상기 객체의 정보를 보정하는 단계는 상기 투시도 영상에서 상기 제1 객체에 대응하는 제1 영역들을 획득하는 단계; 상기 투시도 영상을 조감도(bird’s-eye view) 영상으로 변환하는 단계; 상기 조감도 영상에서 상기 제2 객체에 대응하는 제2 영역들을 획득하는 단계; 상기 투시도 영상과 상기 조감도 영상 사이의 변환 관계에 기초하여, 상기 투시도 영상에서 상기 제2 영역들에 대응하는 제3 영역들을 산출하는 단계; 및 상기 투시도 영상에서 상기 제1 영역들로부터 상기 제3 영역들을 제외함으로써, 상기 제1 영역들을 보정하는 단계를 포함할 수 있다. The input image includes a perspective view image, and the correcting of the object information may include obtaining first areas corresponding to the first object in the perspective view image; Converting the perspective view image into a bird's-eye view image; Acquiring second regions corresponding to the second object in the bird's eye view image; Calculating third areas corresponding to the second areas in the perspective view image based on a conversion relationship between the perspective view image and the bird's eye view image; And correcting the first regions by excluding the third regions from the first regions in the perspective view image.

상기 도로 네트워크를 갱신하는 단계는 상기 투시도 영상에서 상기 보정된 제1 영역들을 기초로, 후보 선분들(line segments) 및 후보 선분들의 연장선들을 생성하는 단계; 서로 교차하는 연장선들에 기초하여, 해당하는 후보 선분들을 그룹핑하는 단계; 상기 그룹핑한 후보 선분들을 이용하여 적어도 하나의 차선을 인식하는 단계; 및 상기 인식된 적어도 하나의 차선에 기초하여, 상기 도로 네트워크를 갱신하는 단계를 포함할 수 있다. The updating of the road network may include generating candidate line segments and extension lines of candidate line segments based on the corrected first regions in the perspective view image; Grouping corresponding candidate line segments based on extension lines intersecting each other; Recognizing at least one lane using the grouped candidate line segments; And updating the road network based on the recognized at least one lane.

상기 객체의 유형이 제2 유형인 경우, 상기 보정 방법을 결정하는 단계는 상기 객체가 도로 시설물의 설치 규정을 만족하도록 상기 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 상기 보정 방법으로 결정하는 단계를 포함할 수 있다. When the type of the object is the second type, the determining of the correction method includes determining, as the correction method, a second correction method for correcting the location information corresponding to the object so that the object satisfies the installation regulations for road facilities. It may include the step of.

상기 객체의 유형이 제2 유형인 경우, 상기 보정 방법을 결정하는 단계는 상기 객체가 도로 경계선(boundary line of road)을 기준으로 일정 거리 내에 포함되도록 상기 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 상기 보정 방법으로 결정하는 단계를 포함할 수 있다.When the type of the object is the second type, the determining of the correction method includes a second correction of location information corresponding to the object so that the object is included within a predetermined distance based on a boundary line of road. It may include determining a correction method as the correction method.

상기 도로 네트워크를 갱신하는 방법은 상기 입력 영상에 포함된 복수의 프레임들로부터, 상기 객체의 3차원 방향 벡터들을 산출하는 단계; 상기 객체의 3차원 방향 벡터들을 2차원 지도 상에 맵핑하는 단계; 및 상기 맵핑된 방향 벡터들이 상기 2차원 지도 상에서 교차하는 지점의 좌표에 기초하여, 상기 객체의 위치 좌표를 산출하는 단계를 더 포함할 수 있다. The method of updating the road network includes: calculating 3D direction vectors of the object from a plurality of frames included in the input image; Mapping the three-dimensional direction vectors of the object onto a two-dimensional map; And calculating the location coordinates of the object based on coordinates of points where the mapped direction vectors intersect on the 2D map.

상기 객체의 정보를 보정하는 단계는 상기 도로 시설물의 설치 규정에 따라 상기 객체의 위치 좌표를 보정하는 단계를 포함할 수 있다. Correcting the information of the object may include correcting the position coordinates of the object according to the installation regulation of the road facility.

상기 객체의 3차원 방향 벡터들을 산출하는 단계는 프레임 단위로 상기 객체를 촬영한 카메라의 위치 및 자세에 기초하여, 프레임 별 3차원 방향 벡터를 산출하는 단계를 포함할 수 있다. Calculating the 3D direction vectors of the object may include calculating a 3D direction vector for each frame based on a position and posture of a camera photographing the object in a frame unit.

상기 프레임들 각각은 360도 영상을 포함하고, 상기 프레임 별 3차원 방향 벡터를 산출하는 단계는 해당 프레임의 가로축에 대응하는 각도, 상기 해당 프레임의 세로축에 대응하는 각도, 및 상기 해당 프레임 내 상기 객체에 해당하는 픽셀의 위치에 기초하여, 각도 좌표를 획득하는 단계; 및 상기 객체를 촬영한 카메라의 위치 및 자세를 기준으로, 상기 각도 좌표로부터 상기 해당 프레임의 3차원 방향 벡터를 산출하는 단계를 포함할 수 있다. Each of the frames includes a 360-degree image, and calculating a three-dimensional direction vector for each frame includes an angle corresponding to a horizontal axis of a corresponding frame, an angle corresponding to a vertical axis of the corresponding frame, and the object within the corresponding frame. Obtaining angular coordinates based on the position of the pixel corresponding to the s. And calculating a three-dimensional direction vector of the corresponding frame from the angular coordinate based on the position and posture of the camera photographing the object.

상기 도로 네트워크를 갱신하는 단계는 상기 객체와 관련하여 상기 도로 네트워크에 구간 별로 저장된 정보 및 상기 보정된 객체의 정보를 비교함으로써, 상기 도로 네트워크의 갱신 여부를 결정하는 단계를 포함할 수 있다. The updating of the road network may include determining whether to update the road network by comparing information stored in the road network for each section in relation to the object and information of the corrected object.

도 1은 일 실시예에 따른 도로 네트워크를 갱신하는 방법을 나타낸 흐름도.
도 2는 일 실시예에 따른 입력 영상의 예시를 도시한 도면.
도 3은 일 실시예에 따른 객체의 유형이 제1 유형인 경우에 객체의 정보를 보정하는 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 객체의 유형이 제1 유형인 경우에 도로 네트워크를 갱신하는 방법을 설명하기 위한 도면.
도 5는 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 객체의 3차원 방향 벡터를 산출하는 방법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 객체의 정보를 보정하는 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 도로 네트워크를 갱신하는 방법을 설명하기 위한 도면.
도 8은 일 실시예에 따른 도로 네트워크를 갱신하는 장치의 기능 블록도.1 is a flowchart illustrating a method of updating a road network according to an embodiment.
2 is a diagram illustrating an example of an input image according to an embodiment.
3 is a diagram for describing a method of correcting information on an object when the type of the object is a first type, according to an exemplary embodiment.
FIG. 4 is a diagram for describing a method of updating a road network when an object type is a first type, according to an exemplary embodiment.
5 is a diagram for describing a method of calculating a 3D direction vector of an object when the type of the object is a second type, according to an exemplary embodiment.
6 is a diagram for describing a method of correcting information on an object when the type of the object is a second type, according to an exemplary embodiment.
FIG. 7 is a diagram for describing a method of updating a road network when an object type is a second type, according to an exemplary embodiment.
Fig. 8 is a functional block diagram of an apparatus for updating a road network according to an embodiment.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. The same reference numerals in each drawing indicate the same members. Various changes may be made to the embodiments described below. The embodiments described below are not intended to be limited to the embodiments, and should be understood to include all changes, equivalents, and substitutes thereto.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 입력, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 입력, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used only to describe specific embodiments, and are not intended to limit the embodiments. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, inputs, components, parts, or a combination of one or more other features described in the specification. It is to be understood that the presence or addition of elements or numbers, steps, inputs, components, parts, or combinations thereof does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.

도 1은 일 실시예에 따른 도로 네트워크를 갱신하는 방법을 나타낸 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 도로 네트워크를 갱신하는 장치(이하, '갱신 장치')는 입력 영상으로부터 도로 네트워크에 포함되는 적어도 하나의 객체를 검출한다(110). 입력 영상은 예를 들어, 주행 영상, 로드뷰(road view) 영상 또는 스트리트뷰(street view) 영상일 수 있으며, 반드시 이에 한정되는 것은 아니다. 입력 영상은 예를 들어, 촬영 장치를 구비한 차량을 이용하여 촬영한 영상들을 360도의 파노라마 형태로 연결한 거리 곳곳의 실사 영상일 수 있다. 촬영 장치는 예를 들어, 차량의 전면(font view), 양 측면(side view) 또는 후면(rear view) 등에 설치되어 거리 곳곳을 촬영할 수 있다. 입력 영상은 예를 들어, 360도 파노라마 영상일 수도 있고, 아래의 도 2에 도시된 것과 같이 360도 파노라마 영상을 스피어 맵핑(sphere mapping) 또는 큐브 맵핑(cube mapping)한 영상일 수도 있다. 스피어 맵핑 및 큐브 맵핑에 대하여는 아래의 도 2를 참조하여 구체적으로 설명한다. 1 is a flowchart illustrating a method of updating a road network according to an embodiment. Referring to FIG. 1, an apparatus for updating a road network (hereinafter, “update apparatus”) according to an exemplary embodiment detects at least one object included in the road network from an input image (110). The input image may be, for example, a driving image, a road view image, or a street view image, but is not limited thereto. The input image may be, for example, real-life images of various streets in which images photographed using a vehicle equipped with a photographing device are connected in a 360 degree panorama form. The photographing device may be installed, for example, in a font view, side view, or rear view of a vehicle to take pictures of various places in the street. The input image may be, for example, a 360 degree panoramic image, or an image obtained by performing sphere mapping or cube mapping of a 360 degree panoramic image as shown in FIG. 2 below. Sphere mapping and cube mapping will be described in detail with reference to FIG. 2 below.

입력 영상은 하나의 프레임을 포함할 수도 있고, 또는 복수의 프레임들을 포함할 수도 있다. 입력 영상은 해당 입력 영상을 촬영한 촬영 장치의 위치 및 자세를 포함하는 촬영 정보를 포함할 수 있다. 입력 영상이 복수의 프레임들을 포함하는 경우, 입력 영상은 각 프레임에 대응하는 촬영 정보를 포함할 수 있다. The input image may include one frame or may include a plurality of frames. The input image may include photographing information including the position and posture of the photographing device that photographed the input image. When the input image includes a plurality of frames, the input image may include photographing information corresponding to each frame.

'도로 네트워크'는 예를 들어, GPS 좌표와 같은 절대 좌표 상의 위치 정보를 갖는 다수의 노드(node)와 2개의 노드 사이를 연결하는 에지(edge)로 구성될 수 있다. 노드는 예를 들어, 교차로 상에 위치하는 신호등 또는 교차로 인근에 위치하는 횡단 보도에 해당할 수 있다. 에지는 도로의 형상을 따라 배치될 수 있다. 도로 네트워크는 예를 들어, 도로의 차선 및 차로 경계선 등과 같은 도로 노면 표시뿐만 아니라 도로 교통 표지판, 중앙 분리대, 연석, 건물 등과 같이 도로 시설물 또한 포함할 수 있다. The'road network' may include, for example, a plurality of nodes having location information on absolute coordinates such as GPS coordinates and an edge connecting the two nodes. The node may correspond to, for example, a traffic light located on an intersection or a crosswalk located near the intersection. The edges can be arranged along the shape of the road. The road network may include not only road markings such as road lanes and lane boundaries, but also road facilities such as road traffic signs, center dividers, curbs, and buildings.

'적어도 하나의 객체'는 예를 들어, 도로의 차선 및 차로 경계선 등과 같은 도로 노면 표시(road surface marking)일 수도 있고, 또는 도로 교통 표지판 등과 같은 도로 시설물(street furniture)일 수도 있다. The'at least one object' may be road surface marking, such as lanes and lane boundaries of a road, or street furniture such as road traffic signs.

단계(110)에서, 갱신 장치는 예를 들어, 미리 학습된 심층 신경망(Deep Neural Network; DNN), 컨볼루션 신경망(Convolution Neural Network; CNN), 리커런트 신경망(Recurrent Neural Network; RNN) 등과 같은 다양한 형태의 신경망을 이용하여 도로 네트워크에 포함된 적어도 하나의 객체를 검출할 수 있다. 신경망은 입력 영상으로부터 적어도 하나의 객체를 인식 및 검출하도록 학습 데이터에 의해 미리 학습된 것일 수 있다. 이때, 갱신 장치에 의해 검출된 적어도 하나의 객체는 예를 들어, 차선을 포함하는 도로 노면 표시, 및 도로 시설물 이외에도, 도로, 차량, 건물, 나무, 하늘, 보행자, 자전거, 등과 같은 다양한 클래스 별로 구분될 수도 있다. In step 110, the update device includes various pre-trained deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), and the like. At least one object included in the road network may be detected using a neural network of the form. The neural network may be pre-trained by training data to recognize and detect at least one object from an input image. At this time, the at least one object detected by the update device is classified by various classes such as roads, vehicles, buildings, trees, sky, pedestrians, bicycles, etc., in addition to road markings including lanes and road facilities. It could be.

갱신 장치는 예를 들어, 시맨틱 세그먼테이션(semantic segmentation) 또는 인스턴스 세그먼테이션(instance segmentation)을 기초로, 도로 네트워크에 포함된 적어도 하나의 객체를 클래스(class) 별로 검출할 수 있다. '시맨틱 세그먼테이션'은 주어진 영상 안에 어느 특정한 클래스에 해당하는 객체가 있다면, 해당 객체를 픽셀 단위로 구분하여 검출할 수 있다. 시맨틱 세그먼테이션은 주어진 영상 내 각 위치 상의 픽셀들을 하나씩 조사하면서, 현재 조사 대상인 픽셀이 어느 특정한 클래스에 해당하는 객체의 일부인 경우, 해당 픽셀의 위치에 그 클래스를 나타내는 '값'을 표기하는 방식으로 적어도 하나의 객체를 검출할 수 있다. '인스턴스 세그먼테이션'은 하나의 영상 내에 등장하는 다양한 객체들을 고유의 객체 감지 기능에 의해 검출할 수 있다. The update device may detect at least one object included in the road network for each class, based on, for example, semantic segmentation or instance segmentation. In the'semantic segmentation', if there is an object corresponding to a specific class in a given image, the object can be detected by classifying the object in pixel units. Semantic segmentation is a method of examining pixels on each location in a given image one by one, and marking a'value' representing the class at the location of the pixel when the pixel currently being investigated is a part of an object corresponding to a specific class. Can detect objects of. 'Instance segmentation' can detect various objects appearing in a single image by using a unique object detection function.

또는 갱신 장치는 예를 들어, 도로 네트워크에 포함된 적어도 하나의 객체를 객체 별 바운딩 박스(bounding box)를 이용하여 검출할 수도 있다. 이때, 바운딩 박스는 예를 들어, 전체 입력 영상에서 바운딩 박스가 차지하는 위치, 다시 말해 바운딩 박스의 좌측 상단의 좌표 (x₁, y₁)와 우측 하단의 좌표 (x₂, y₂)에 의해 정의될 수 있다. Alternatively, the update device may detect at least one object included in the road network, for example, using a bounding box for each object. In this case, the bounding box is defined by, for example, a position occupied by the bounding box in the entire input image, that is, the coordinates of the upper left corner (x ₁ , y ₁ ) and the coordinates of the lower right (x ₂ , y ₂ ) Can be.

단계(110)에서 검출된 객체의 정보는 예를 들어, 입력 영상 내 객체에 대응하는 영역 정보, 및 입력 영상에 대응하는 3차원 공간 내의 객체에 대응하는 위치 정보 중 적어도 하나를 포함할 수 있다. 여기서, 객체에 대응하는 영역 정보는 예를 들어, 객체에 대응하는 픽셀들의 영역 정보 또는 바운딩 박스로 구분되는 객체의 영역 정보를 포함할 수 있다. 또한, 객체에 대응하는 위치 정보는 예를 들어, 객체의 위치 좌표 또는 객체를 구분하는 바운딩 박스의 위치 좌표를 포함할 수 있다. The information on the object detected in step 110 may include, for example, at least one of region information corresponding to an object in the input image and location information corresponding to an object in a 3D space corresponding to the input image. Here, the region information corresponding to the object may include, for example, region information of pixels corresponding to the object or region information of an object divided by a bounding box. Also, the location information corresponding to the object may include, for example, the location coordinates of the object or the location coordinates of a bounding box that identifies the objects.

갱신 장치는 객체의 유형(type)을 식별한다(120). 객체의 유형은 예를 들어, 도로 표지(road signal)의 종류에 따라 구분될 수 있다. '도로 표지'는 안전하고 원활한 도로 교통을 확보하고 도로 구조의 보전을 도모하기 위한 것으로서, 도로의 차로 측에 해당하는 도로 노면 혹은 노측(路側)에 표시된 도로 표시 및 차도(車道)의 위쪽에 설치되는 도로 교통 표지판을 포함할 수 있다. The update device identifies the type of the object (120). The type of object can be classified according to the type of road signal, for example. 'Road signs' are intended to ensure safe and smooth road traffic and to preserve the road structure, and are installed on the road surface corresponding to the lane side of the road or on the road side marked on the road and above the roadway. May include road traffic signs.

도로 표지는 예를 들어, 노선 표지, 경계 표지, 이정 표지, 방향 표지, 및/또는 이들의 내용을 보충하는 보조 표지로 구성될 수 있다. 노선 표지는 주행하는 노선을 안내하는 표지일 수 있다. 경계 표지는 교차점이나 공사 구간, 도로의 굴곡, 차선폭의 감소, 노면 상태 등에 대해 경고하는 표지일 수 있다. 이정 표지는 예를 들어, '부산 30km/h' 등과 같이 목적지의 거리를 안내하는 표지일 수 있다. 방향 표지는 교차로 상의 방향을 안내하는 표지일 수 있다.. The road sign may be composed of, for example, a route sign, a boundary sign, a signpost, a direction sign, and/or an auxiliary sign supplementing the contents thereof. The route sign may be a sign guiding the route to be driven. The boundary sign may be a sign that warns about an intersection or a construction section, a curvature of a road, a decrease in lane width, and a road surface condition. The signpost may be a sign guiding the distance of the destination, such as'Busan 30km/h'. The direction sign may be a sign guiding a direction on an intersection.

도로 표지 중 도로 표시는 도로 노면 부분에 차선과 도로 교통에 관한 규제와 지시를 표시한 것으로서, '도로 노면 표시(road surface marking)'라고도 부를 수도 있다. 도로 표지 중 도로 교통 표지판의 형태와 색상은 도로의 종류와 노선 별로 달라질 수 있다. Among road signs, road markings indicate regulations and instructions for lanes and road traffic on the road surface, and may also be referred to as'road surface marking'. Among road signs, the shape and color of road traffic signs may vary depending on the type of road and route.

일 실시예에 따른 객체의 유형은 예를 들어, 도로 네트워크에 포함된 도로의 차선 및 차로 경계선을 포함하는 도로 노면 표시에 해당하는 제1 유형, 및 도로 네트워크에 포함된 도로 상에 설치된 도로 교통 표지판을 포함하는 도로 시설물에 해당하는 제2 유형 등을 포함할 수 있다. The type of the object according to the embodiment is, for example, a first type corresponding to a road marking including a lane of a road and a lane boundary line included in the road network, and a road traffic sign installed on a road included in the road network It may include a second type, etc. corresponding to the road facility including.

갱신 장치는 단계(110)에서 검출된 객체의 유형이 제1 유형인지 또는 제2 유형인지를 식별할 수 있다. 갱신 장치는 전술한 것과 같이 미리 학습된 신경망을 이용하여 객체의 유형이 제1 유형인지 또는 제2 유형인지를 식별할 수 있다. The update device may identify whether the type of the object detected in step 110 is a first type or a second type. As described above, the update device may identify whether the type of the object is the first type or the second type by using the neural network learned in advance.

갱신 장치는 단계(120)에서 식별된 객체의 유형에 따라 객체에 대응하는 보정 방법을 결정한다(130). 예를 들어, 단계(120)에서 식별된 객체의 유형이 제1 유형인 경우, 갱신 장치는 인식의 대상에서 제외되는 제2 객체에 기초하여 제1 객체에 대응하는 영역 정보를 보정하는 제1 보정 방법을 보정 방법으로 결정할 수 있다. 이는 객체의 그룹핑 시에 입력 영상 내에서 인식의 대상이 되는 제1 객체들만을 그룹핑하기 위한 것이다. 이때, 제1 객체는 예를 들어, 도로 도면 표시 중 차선, 및 차로 경계선 등과 같이 차량의 주행에 직접적인 영향을 주는 객체일 수 있다. 제2 객체는 예를 들어, 도로 노면 표시 중 제1 객체를 제외한 나머지의 경계 표지, 이정 표지, 또는 방향 표지 등을 포함할 수 있다. 제2 객체는 예를 들어, 도로 노면에 기재된 화살표, 경로 안내 문자일 수 있다. The update device determines a correction method corresponding to the object according to the type of the object identified in step 120 (130). For example, when the type of the object identified in step 120 is the first type, the updating device corrects the area information corresponding to the first object based on the second object excluded from the recognition object. The method can be determined as a correction method. This is for grouping only the first objects to be recognized in the input image when the objects are grouped. In this case, the first object may be an object that directly affects the driving of the vehicle, such as a lane and a lane boundary line during road drawing display. The second object may include, for example, a boundary sign, a signpost, or a direction sign other than the first object among road markings. The second object may be, for example, an arrow written on a road surface or a route guide text.

또는, 단계(120)에서 식별된 객체의 유형이 제2 유형인 경우, 갱신 장치는 객체가 도로 시설물의 설치 규정을 만족하도록 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 보정 방법으로 결정할 수 있다. 이때, 도로 시설물의 설치 규정은 도로 시설물의 설치 높이, 도로 시설물의 규정된 설치 위치 등에 대한 규정을 포함할 수 있다. 도로 시설물의 설치 규정은 예를 들어, 도로 시설물을 버스 정류장으로부터 10 M 이상 떨어진 위치에 설치하도록 하는 규정, 주의를 위한 도로 교통 표지판을 노면으로부터 100~210 cm 거리 내에 설치하도록 하는 규정, 지시를 위한 도로 교통 표지판을 노면으로부터 100 cm 이상의 떨어진 위치에 설치하도록 하는 규정 등을 포함할 수 있다. Alternatively, if the type of the object identified in step 120 is the second type, the update device determines a second correction method for correcting the location information corresponding to the object so that the object satisfies the installation regulations for road facilities. I can. In this case, the regulations for installation of road facilities may include regulations regarding the installation height of the road facilities and a prescribed installation location of the road facilities. Road facilities installation regulations include, for example, regulations requiring road facilities to be installed at a distance of 10 m or more from a bus stop, regulations requiring road traffic signs for caution to be installed within a distance of 100 to 210 cm from the road surface, for instructions. It may include regulations to install road traffic signs at a distance of 100 cm or more from the road surface.

또는 실시예에 따라서, 단계(120)에서 식별된 객체의 유형이 제2 유형인 경우, 갱신 장치는 객체가 도로 경계선(boundary line of road)을 기준으로 일정 거리 내에 포함되도록 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 보정 방법으로 결정할 수 있다. 여기서, '도로 경계선'은 도로와 도로가 아닌 일반 대지 구역의 경계를 구분하는 선에 해당할 수 있다. Alternatively, according to an embodiment, when the type of the object identified in step 120 is the second type, the update device provides location information corresponding to the object so that the object is included within a certain distance based on the boundary line of road. A second correction method for correcting may be determined as the correction method. Here, the'road boundary line' may correspond to a line that divides the boundary between a road and a general site area other than a road.

갱신 장치는 단계(130)에서 결정된 보정 방법에 따라 객체의 정보를 보정한다(140). 갱신 장치가 제1 보정 방법에 따라 객체의 정보를 보정하는 방법은 아래의 도 3을 참조하여 구체적으로 설명한다. 또한, 갱신 장치가 제2 보정 방법에 따라 객체의 정보를 보정하는 방법은 아래의 도 5 내지 6을 참조하여 구체적으로 설명한다. The update device corrects the object information according to the correction method determined in step 130 (140). A method of correcting the information of an object by the update device according to the first correction method will be described in detail with reference to FIG. 3 below. In addition, a method of correcting information of an object by the update device according to the second correction method will be described in detail with reference to FIGS. 5 to 6 below.

갱신 장치는 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신한다(150). 갱신 장치는 예를 들어, 객체와 관련하여 도로 네트워크에 구간 별로 저장된 정보 및 객체의 보정된 정보를 비교함으로써, 도로 네트워크의 갱신 여부를 결정할 수 있다. 갱신 장치가 제1 보정 방법에 따라 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신하는 방법은 아래의 도 4를 참조하여 구체적으로 설명한다. 또한, 갱신 장치가 제2 보정 방법에 따라 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신하는 방법은 아래의 도 7을 참조하여 구체적으로 설명한다. The update device updates the road network based on the corrected object information (150). The update device may determine whether to update the road network by comparing, for example, information stored in the road network for each section in relation to the object and corrected information of the object. A method of updating the road network based on the information on the object corrected by the update device according to the first correction method will be described in detail with reference to FIG. 4 below. In addition, a method of updating the road network based on the information on the object corrected by the update device according to the second correction method will be described in detail with reference to FIG. 7 below.

일 실시예에 따르면, 이미 획득된 거리 영상 또는 도로 영상을 이용하여 객체를 탐지하고, 객체의 위치를 자동으로 배치함으로써 사용자가 직접 현장으로 나가지 않더라도 객체의 정보를 획득할 수 있을 뿐만 아니라 객체의 정보 획득 시에 수작업으로 인해 발생하는 휴먼 오류의 위험성을 최대한 배제할 수 있다. According to an embodiment, by detecting an object using an already acquired distance image or a road image, and automatically arranging the position of the object, not only the object information can be obtained even if the user does not go directly to the site, but also the object information The risk of human error caused by manual operation during acquisition can be eliminated as much as possible.

이 밖에도, 일 실시예에 따르면, 갱신 장치는 데이터베이스의 존재하는 기존 시설물들의 위치 및 클래스 정보를 이용함으로써 객체의 변경된 정보를 쉽게 취득할 수 있다. 갱신 장치는 이러한 과정을 통해 변경된 정보에 대한 최소한의 작업 및 검수를 통해 빠르게 객체의 탐지 및 관리를 수행할 수 있다.In addition, according to an embodiment, the update device can easily obtain changed information of an object by using the location and class information of existing facilities in the database. The update device can quickly detect and manage objects through minimal work and inspection on information changed through this process.

도 2는 일 실시예에 따른 입력 영상의 예시를 도시한 도면이다. 도 2를 참조하면, 일 실시예에 따른 360도 파노라마 영상을 스피어 맵핑(sphere mapping)한 영상(210) 및 360도 파노라마 영상을 큐브 맵핑(cube mapping)한 영상들(전면 영상(220), 후면 영상(230))이 도시된다. 2 is a diagram illustrating an example of an input image according to an exemplary embodiment. Referring to FIG. 2, an image 210 obtained by sphere mapping a 360 degree panoramic image and images obtained by cube mapping a 360 degree panoramic image (a front image 220, a rear surface) according to an embodiment An image 230 is shown.

예를 들어, 차량과 같은 이동 장치는 촬영 장치를 탑재하고, 일정 간격으로 주변을 촬영하여 거리 영상을 획득할 수 있다. 촬영 장치는 적어도 하나의 카메라, 카메라의 위치 정보를 수신하는 GPS(Global Positioning System) 장치, 카메라의 자세 정보를 측정하는 적어도 하나의 센서 등을 포함할 수 있다. 적어도 하나의 센서는 카메라의 자세를 측정하는 센서로서, 방위각 정보를 측정할 수 있다. 예를 들면, 센서는 각속도 센서, 자이로 센서, 가속도 센서 등을 포함할 수 있다. 방위각 정보를 기초로 카메라가 어느 방향을 바라보고, 어느 기울기로 영상을 촬영한 것인지가 파악될 수 있다. 또한, 촬영 장치는 GPS 장치 등과 같은 위치 측정 장치를 이용하여, 촬영 지점의 3차원 위치를 측정할 수 있다.For example, a mobile device such as a vehicle may be equipped with a photographing device and photograph the surroundings at regular intervals to obtain a distance image. The photographing device may include at least one camera, a Global Positioning System (GPS) device that receives location information of the camera, and at least one sensor that measures attitude information of the camera. At least one sensor is a sensor that measures the attitude of the camera and may measure azimuth information. For example, the sensor may include an angular velocity sensor, a gyro sensor, an acceleration sensor, and the like. Based on the azimuth information, it can be determined in which direction the camera is looking and at which tilt the image is captured. In addition, the photographing device may measure a three-dimensional position of a photographing point using a location measuring device such as a GPS device.

예를 들어, 촬영 장치가 어느 지점을 촬영하여 영상을 획득했다고 하자. 이 경우, 해당 영상은 촬영 장치의 위치 및 자세(또는 방위각)와 같은 촬영 정보와 함께 저장될 수 있다. 일 실시예에서는 입력 영상이 촬영 정보를 포함하는 360도 파노라마 영상인 경우를 일 예로 들어 설명하지만, 입력 영상이 반드시 이에 한정되는 것은 아니며, 이외의 다양한 영상들이 이용될 수 있다.For example, suppose that the photographing device captures a certain point and acquires an image. In this case, the image may be stored together with photographing information such as the position and posture (or azimuth) of the photographing device. In one embodiment, a case where the input image is a 360 degree panoramic image including photographing information is described as an example, but the input image is not necessarily limited thereto, and various other images may be used.

360도 파노라마 영상은 2차원 영상 내에서 360도를 표현하기 위해 영상(210)와 같이 스피어 맵핑되거나, 또는 전면 영상(220), 및 후면 영상(230)과 같이 큐브 맵핑될 수 있다. The 360-degree panoramic image may be sphere-mapped like the image 210 or cube-mapped like the front image 220 and the rear image 230 in order to represent 360 degrees in the 2D image.

'스피어 맵핑'은 객체를 포함하는 환경을 무한히 먼 구형 벽으로 생각하여 반사 표면을 근사하는 반사 맵핑의 한 유형이다. '스피어 맵핑'은 '구형 환경 맵핑' 이라고도 불릴 수 있다. 여기서, 환경은 정투영(orthographic projection) 기법을 사용하여 반사된 구가 환경에 배치된 경우에 그 모습을 나타내는 텍스쳐로 저장될 수 있다. 이 텍스쳐는 구의 바로 뒤에 있는 부분을 제외한, 전체 환경의 반사 데이터(reflective data)를 포함할 수 있다. 'Sphere mapping' is a type of reflection mapping that approximates a reflective surface by thinking of an environment containing an object as an infinitely distant spherical wall. 'Sphere mapping' may also be called'old environment mapping'. Here, the environment may be stored as a texture representing the appearance of a sphere reflected using an orthographic projection technique when it is placed in the environment. This texture may contain reflective data of the entire environment, excluding the part immediately behind the sphere.

'큐브 맵핑'은 큐브의 여섯 면을 지도 모양으로 사용하는 환경 맵핑(environment mapping) 방법이다. 여기서, 객체를 포함하는 환경은 큐브의 측면에 투영되고 여섯 개의 정사각형 텍스처로 저장되거나 단일 텍스처의 여섯 개의 영역으로 펼쳐질 수 있다. 큐브 맵은 먼저 각 큐브 면을 나타내는 90도 뷰 프러스텀(view frustum)으로 정의된 뷰(views)에 의해 장면을 시점(viewpoint)에서 6 번 렌더링함으로써 생성될 수 있다. 'Cube mapping' is an environment mapping method that uses six sides of a cube as a map shape. Here, the environment including the object is projected on the side of the cube and saved as six square textures, or can be spread out into six areas of a single texture. The cube map can be created by first rendering the scene six times at a viewpoint by views defined as a 90 degree view frustum representing each cube surface.

360도 파노라마 영상은 차량의 앞, 뒤, 좌, 우 영상을 모두 포함하지만, 도로 네트워크의 구축을 위해서는 차량의 전면 및 후면 부분만 필요하기 때문에 일 실시예에서는 360도 파노라마 영상에서 전면 부분과 후면 부분을 큐브 맵핑한 전면 영상(220) 및/또는 후면 영상(230)을 입력 영상으로 사용할 수 있다. The 360-degree panoramic image includes all of the front, rear, left, and right images of the vehicle. However, since only the front and rear portions of the vehicle are required to establish a road network, in one embodiment, the front and rear portions of the 360-degree panoramic image The front image 220 and/or the back image 230 obtained by cube-mapping may be used as an input image.

실시예에 따라서, 360도 파노라마 영상이 아니어도 도로 위를 연속적으로 촬영한 영상 혹은 일반적인 블랙박스 영상 또한 입력 영상으로 사용될 수 있다. Depending on the embodiment, an image continuously photographed on a road or a general black box image may also be used as an input image even if it is not a 360 degree panoramic image.

도 3은 일 실시예에 따른 객체의 유형이 제1 유형인 경우에 객체의 정보를 보정하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면 투시도(perspective view) 영상(310), 및 투시도 영상(310)에 대응하는 조감도(bird's-eye view) 영상(330)이 도시된다. 3 is a diagram for describing a method of correcting information on an object when the type of the object is a first type, according to an exemplary embodiment. Referring to FIG. 3, a perspective view image 310 and a bird's-eye view image 330 corresponding to the perspective view image 310 are shown.

투시도 영상(310)은 입력 영상으로서, 전술한 스피어 맵핑을 통해 획득한 전면 영상 또는 후면 영상일 수 있다. 일 실시예에서 인식의 대상이 되는 제1 객체는 투시도 영상(310)으로부터 획득할 수 있다. 하지만, 도로 내에 표시된 제1 객체를 제외한 나머지 도로 노면 표시인 제2 객체는 투시도 영상(310)에서 정확하게 검출되기 어렵다. 다시 말해, 제1 객체와 잘못 검출된 제2 객체를 함께 그룹핑하는 경우, 제2 객체의 영향으로 제1 객체가 잘못 그룹핑될 수 있다. The perspective view image 310 is an input image, and may be a front image or a rear image obtained through the above-described sphere mapping. In an embodiment, the first object to be recognized may be acquired from the perspective image 310. However, it is difficult to accurately detect the second object that is the road surface display other than the first object displayed in the road in the perspective view image 310. In other words, when the first object and the erroneously detected second object are grouped together, the first object may be erroneously grouped due to the influence of the second object.

따라서, 일 실시예에서는 투시도 영상(310)을 바라보는 시점을 변경하여 재가공한 조감도 영상(330)으로부터 인식의 대상에서 제외되는 제2 객체를 검출하고, 제2 객체를 조감도 영상(330)에서 제거 함으로써 제1 객체의 그룹핑 시에 오류가 발생하는 것을 차단할 수 있다. Accordingly, in one embodiment, the second object excluded from the recognition object is detected from the reprocessed bird's eye view image 330 by changing the viewpoint of viewing the perspective image 310, and the second object is removed from the bird's eye view image 330 By doing so, it is possible to prevent an error from occurring when grouping the first objects.

보다 구체적으로, 갱신 장치는 투시도 영상(310)에서 제1 객체에 대응하는 제1 영역들을 획득할 수 있다. 갱신 장치는 투시도 영상(310)을 조감도 영상(330)으로 변환할 수 있다. 이때, 갱신 장치는 예를 들어, 역원근 변환(Inverse Perspective Mapping; IPM)을 적용하여 투시도 영상(310)을 조감도 영상(330)으로 변환할 수 있다. 갱신 장치는 소실점으로 모이는 도로 영상에 역원근 변환을 적용하여 하늘에서 내려다 본 형태의 조감도 영상으로 변환함으로써 도로 노면 표시가 더 균일하고 명료하게 파악되도록 할 수 있다. 역원근 변환(IPM)은 원근 효과를 가진 입력 영상에서 원근 효과를 제거하고 영상 평면의 위치 정보를 세계 좌표계의 위치 정보로 변환시키는 것이다. More specifically, the update device may acquire first regions corresponding to the first object from the perspective image 310. The update device may convert the perspective view image 310 into a bird's eye view image 330. In this case, the update device may convert the perspective view image 310 into a bird's eye view image 330 by applying, for example, Inverse Perspective Mapping (IPM). The update device may apply the inverse perspective transformation to the road image gathered at the vanishing point and convert it into a bird's eye view image looking down from the sky so that the road surface display can be more uniformly and clearly grasped. Inverse perspective transformation (IPM) removes the perspective effect from the input image having the perspective effect and converts the location information of the image plane into the location information of the world coordinate system.

갱신 장치는 조감도 영상(330)에서 제2 객체에 대응하는 제2 영역들을 획득할 수 있다. 갱신 장치는 투시도 영상(310)과 조감도 영상(330) 사이의 변환 관계에 기초하여, 투시도 영상(310)에서 제2 영역들에 대응하는 제3 영역들을 산출할 수 있다. 갱신 장치는 투시도 영상(310)에서 획득한 제1 영역들로부터 제3 영역들을 제외함으로써, 제1 영역들을 보정할 수 있다. The update device may acquire second regions corresponding to the second object from the bird's eye view image 330. The update device may calculate third regions corresponding to the second regions in the perspective image 310 based on a conversion relationship between the perspective image 310 and the bird's eye view image 330. The update device may correct the first regions by excluding the third regions from the first regions acquired in the perspective image 310.

도 4는 일 실시예에 따른 객체의 유형이 제1 유형인 경우에 도로 네트워크를 갱신하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 후보 선분들 간의 법선 벡터 거리를 계산하는 방법(a) 및 연장선들의 내각을 계산하는 방법(b)이 도시된다. FIG. 4 is a diagram illustrating a method of updating a road network when an object type is a first type, according to an exemplary embodiment. Referring to FIG. 4, a method (a) of calculating a normal vector distance between candidate line segments and a method (b) of calculating an inner angle of extension lines according to an exemplary embodiment are illustrated.

전술한 과정을 통해 제1 객체(예를 들어, 차선, 차로 경계선)와 제2 객체(예를 들어, 차선 및 차로 경계선을 제외한 나머지의 도로 노면 표시)는 객체 별로 분리되고, 동일 차선 또한 여러 개의 부분 차선들로 분리될 수 있다. 갱신 장치는 동일 차선에 해당하는 부분 차선들을 하나로 그룹핑할 수 있다. Through the above-described process, the first object (for example, lane, lane boundary) and the second object (for example, road markings other than lanes and lane boundaries) are separated for each object, and the same lane is also divided into several Can be separated into partial lanes. The update device may group partial lanes corresponding to the same lane into one.

보다 구체적으로, 갱신 장치는 도 3을 통해 기술한 투시도 영상에서 보정된 제1 영역들을 기초로, 동일 차선 별로 각 차선의 후보 선분들(line segments)(410, 430) 및 후보 선분들(410, 430)의 연장선들(415, 435)을 생성할 수 있다. 갱신 장치는 후보 선분들 간의 차이를 이용하여 동일 차선을 구성하는 후보 선분들을 차선의 후보 영역으로 그룹핑할수 있다. More specifically, the update device includes candidate line segments 410 and 430 and candidate line segments 410 of each lane for each lane based on the corrected first regions in the perspective image described with reference to FIG. 3. Extension lines 415 and 435 of 430 may be generated. The update apparatus may group candidate line segments constituting the same lane into a candidate region of the lane using the difference between the candidate line segments.

갱신 장치는 도 4에 도시된 것과 같이 서로 교차하는 연장선들(415, 435)에 기초하여, 해당하는 후보 선분들을 차선 후보 영역으로 그룹핑(grouping)할 수 있다. 갱신 장치는 도 4의 (a)에 도시된 것과 같이 연장선들(415, 435) 간의 법선 벡터 거리가 일정 값(예를 들어, 2.5cm) 이내인 경우에 해당 연장선들(415,435)에 대응하는 후보 선분들(410, 430)을 그룹핑할 수 있다. 또한, 갱신 장치는 도 4의 (b)에 도시된 것과 같이 연장선들(415,435) 간의 내각이 일정 각도(예를 들어, 7.5도) 이내인 경우에 해당 연장선들(415,435)에 대응하는 후보 선분들(410, 430)을 그룹핑할 수 있다.As illustrated in FIG. 4, based on the extension lines 415 and 435 intersecting each other, the update apparatus may group corresponding candidate line segments into a lane candidate region. When the normal vector distance between the extension lines 415 and 435 is within a certain value (for example, 2.5 cm), as shown in FIG. 4A, the update device is a candidate corresponding to the extension lines 415 and 435. The line segments 410 and 430 may be grouped. In addition, when the inner angle between the extension lines 415 and 435 is within a certain angle (for example, 7.5 degrees), as shown in FIG. 4B, the update device includes candidate line segments corresponding to the extension lines 415 and 435. (410, 430) can be grouped.

실시예에 따라서, 갱신 장치는 연장선들(415, 435) 간의 법선 벡터 거리가 일정 값 이내이고, 연장선들(415,435) 간의 내각이 일정 각도 이내인 경우에 해당 연장선들(415,435)에 대응하는 후보 선분들(410, 430)을 그룹핑할 수 있다.According to an embodiment, when the normal vector distance between the extension lines 415 and 435 is within a predetermined value, and the inner angle between the extension lines 415 and 435 is within a predetermined angle, the update device is a candidate line segment corresponding to the extension lines 415 and 435 They can be grouped (410, 430).

갱신 장치는 그룹핑한 후보 선분들(410, 430)을 이용하여 적어도 하나의 차선을 인식할 수 있다. 갱신 장치는 인식된 적어도 하나의 차선에 기초하여, 도로 네트워크를 갱신할 수 있다. The update device may recognize at least one lane by using the grouped candidate line segments 410 and 430. The update device may update the road network based on the recognized at least one lane.

도 5는 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 객체의 3차원 방향 벡터를 산출하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 도 1을 통해 전술한 과정에서 식별된 객체의 유형이 제2 유형인 경우에 갱신 장치는 360도 영상에서 검출된 객체의 각도 좌표를 기초로 3차원 공간 상에서 해당 객체를 향하는 3차원 방향 벡터를 산출할 수 있다. FIG. 5 is a diagram for describing a method of calculating a 3D direction vector of an object when the type of the object is a second type, according to an exemplary embodiment. Referring to FIG. 5, when the type of the object identified in the process described above through FIG. 1 is the second type, the update device is directed toward the object in a 3D space based on the angular coordinates of the object detected in the 360-degree image. A three-dimensional direction vector can be calculated.

입력 영상은 시간의 흐름(혹은 차량의 움직임)에 따라 동일한 객체를 촬영한 복수의 프레임들을 포함할 수 있다. 이 경우, 프레임들 각각은 360도 영상을 포함할 수 있다. 갱신 장치는 프레임 단위로 해당 객체의 3차원 방향 벡터를 산출할 수 있다.The input image may include a plurality of frames photographing the same object according to the passage of time (or the movement of the vehicle). In this case, each of the frames may include a 360 degree image. The update device may calculate a 3D direction vector of a corresponding object on a frame basis.

보다 구체적으로, 갱신 장치는 프레임(510)의 가로축에 대응하는 각도 범위, 프레임(510)의 세로축에 대응하는 각도 범위, 및 프레임(510) 내 객체(515)에 해당하는 픽셀의 위치에 기초하여, 객체(515)의 각도 좌표를 획득할 수 있다. 예를 들어, 프레임(510)의 가로축은 0 ~ 360도로 지정되고, 세로축은 -90 ~ 90도로 지정될 수 있다. 갱신 장치는 프레임(510)의 사이즈 대비 객체(515)에 해당하는 픽셀의 위치를 각도로 환산함으로써, 객체(515)의 각도 좌표를 획득할 수 있다. 객체(515)의 각도 좌표는 카메라 좌표계에 해당하는 공간 상에서 객체(515)를 향하는 벡터(530)일 수 있다.More specifically, the update device is based on the angular range corresponding to the horizontal axis of the frame 510, the angular range corresponding to the vertical axis of the frame 510, and the position of the pixel corresponding to the object 515 in the frame 510 , It is possible to obtain the angular coordinates of the object 515. For example, the horizontal axis of the frame 510 may be designated as 0 to 360 degrees, and the vertical axis may be designated as -90 to 90 degrees. The update device may obtain angular coordinates of the object 515 by converting the position of a pixel corresponding to the object 515 to an angle relative to the size of the frame 510. The angular coordinate of the object 515 may be a vector 530 facing the object 515 in a space corresponding to the camera coordinate system.

갱신 장치는 객체를 촬영한 카메라의 위치 및 자세를 이용하여, 카메라 좌표계의 각도 좌표를 월드 좌표계에 해당하는 공간 상에서 객체(515)를 향하는 3차원 방향 벡터로 변환할 수 있다. 이후, 갱신 장치는 3차원 방향 벡터를 2차원 지도 상에 맵핑할 수 있다.The update device may convert the angular coordinate of the camera coordinate system into a three-dimensional direction vector facing the object 515 in a space corresponding to the world coordinate system using the position and posture of the camera photographing the object. Thereafter, the update device may map the 3D direction vector onto the 2D map.

도 6은 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 객체의 정보를 보정하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 2차원 지도(600) 및 2차원 지도 상에서 맵핑된 객체의 3차원 방향 벡터들(610, 620)이 도시된다. 6 is a diagram for describing a method of correcting information on an object when an object type is a second type, according to an exemplary embodiment. Referring to FIG. 6, a 2D map 600 and 3D direction vectors 610 and 620 of an object mapped on the 2D map are shown.

갱신 장치는 입력 영상에 포함된 복수의 프레임들로부터 산출된 객체(예를 들어, 도로 교통 표지판)의 3차원 방향 벡터들(610, 620)을 2차원 지도(600) 상에 맵핑할 수 있다. 갱신 장치는 맵핑된 3차원 방향 벡터들(610, 620)이 2차원 지도(600) 상에서 교차하는 지점(630)의 좌표에 기초하여, 객체의 위치 좌표를 산출할 수 있다.The update device may map 3D direction vectors 610 and 620 of an object (eg, a road traffic sign) calculated from a plurality of frames included in the input image on the 2D map 600. The update device may calculate the location coordinates of the object based on the coordinates of the point 630 where the mapped 3D direction vectors 610 and 620 intersect on the 2D map 600.

이때, 입력 영상에서의 객체의 검출 정확도, 음영 지역, 장애물 등의 영향으로 인해 객체의 위치 좌표가 도 6에 도시된 것과 같이 2차원 지도(600) 상에서 건물 내에 존재하거나, 또는 인도를 크게 벗어나 도로 위에 존재하는 것으로 오맵핑되는 경우가 발생할 수 있다. At this time, due to the influence of the detection accuracy of the object in the input image, the shadow area, the obstacle, etc., the position coordinate of the object exists in the building on the 2D map 600 as shown in FIG. It may be mismapped to exist above.

일 실시예에서는 도로 교통 표지판과 같은 도로 시설물은 도로 시설물의 설치 규정에 따라 설치된다는 점을 고려하여 도로 시설물의 설치 규정에 따라 객체의 위치 정보, 보다 구체적으로는 객체의 위치 좌표를 보정할 수 있다.In one embodiment, in consideration of the fact that road facilities such as road traffic signs are installed according to the installation regulations of road facilities, the location information of the object, more specifically, the position coordinates of the object may be corrected according to the installation regulations of the road facilities. .

일 실시예에서는 도로 시설물 중 인도 혹은 도로의 인접한 위치에 설치되어야 하는 도로 교통 표지판을 고려하여, 2차원 지도(600) 상에서 도로 교통 표지판이 도로 경계선(boundary line of road)을 기준으로 일정 거리 내의 포함되도록 교통 표지판의 위치 좌표를 지점(630)에서 지점(640)으로 보정할 수 있다. In one embodiment, road traffic signs are included within a certain distance based on a boundary line of road on the two-dimensional map 600 in consideration of road traffic signs to be installed at a sidewalk or adjacent to a road among road facilities. The position coordinates of the traffic sign may be corrected from the point 630 to the point 640.

도 7은 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 도로 네트워크를 갱신하는 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 2차원 지도(700) 상에 표시된 기존 도로 시설물(710) 및 신규 도로 시설물(720)이 도시된다. 7 is a diagram for explaining a method of updating a road network when an object type is a second type, according to an exemplary embodiment. Referring to FIG. 7, an existing road facility 710 and a new road facility 720 displayed on a 2D map 700 are shown.

갱신 장치는 예를 들어, 네트워크 데이터베이스(도 8의 833 참조) 혹은 외부 클라우드 서버 등에 기존 도로 시설물(710)에 대한 정보를 저장할 수 있다. 이때, 기존 도로 시설물(710)에 대한 정보는 도로 네트워크의 구간 별로 저장될 수 있으며, 각 구간은 예를 들어, 신호등, 정지선, 혹은 횡단 보도를 기준으로 구분될 수 있다. 각 구간은 예를 들어, 해당 구간 내에 포함된 대표 차선의 개수, 해당 구간에서의 분기 차선의 포함 여부, 해당 구간에서의 버스 전용 차선의 유무, 및 차선 및 차로 경계선을 제외한 도로 노면 표시의 위치 및 종류 등에 대한 정보를 포함할 수 있다. The update device may store information on the existing road facility 710, for example, in a network database (see 833 in FIG. 8) or an external cloud server. In this case, information on the existing road facility 710 may be stored for each section of the road network, and each section may be classified based on, for example, a traffic light, a stop line, or a crosswalk. Each section includes, for example, the number of representative lanes included in the section, whether a branch lane is included in the section, the presence or absence of a dedicated bus lane in the section, and the location of road markings excluding lanes and lane boundaries, and It can include information about the type, etc.

예를 들어, 전술한 과정을 통해 보정된 도로 시설물의 위치 정보가 2차원 지도(700) 상에서 신규 도로 시설물(720)의 위치로 표시되었다고 하자.For example, suppose that the location information of the road facility corrected through the above-described process is displayed as the location of the new road facility 720 on the 2D map 700.

갱신 장치는 도로 시설물과 관련하여 도로 네트워크에 구간 별로 저장된 기존 도로 시설물(710)에 대한 정보 및 신규 도로 시설물(720)의 정보를 비교함으로써, 도로 네트워크의 갱신 여부를 결정할 수 있다. 갱신 장치는 기존 도로 시설물(710)의 위치 및 신규 도로 시설물(720)의 위치를 비교할 수 있다. 이때, 기존 도로 시설물(710)을 촬영한 카메라의 위치 및 자세 오차, 및/또는 기존 도로 시설물(710)에 대한 검출 정확도 등의 영향으로 인해 기존 도로 시설물(710)의 위치와 신규 도로 시설물(720)의 위치 간에 차이가 발생할 수 있다. The update device may determine whether to update the road network by comparing information on the existing road facility 710 stored for each section in the road network in relation to the road facility and information on the new road facility 720. The update device may compare the location of the existing road facility 710 and the location of the new road facility 720. At this time, due to the influence of the position and posture error of the camera photographing the existing road facility 710, and/or the detection accuracy of the existing road facility 710, the location of the existing road facility 710 and the new road facility 720 Differences may occur between the positions of ).

갱신 장치는 신규 도로 시설물(720)의 위치로부터 일정 반경 내에 동일한 시설물이 존재하는지 여부를 판단함으로써 신규 도로 시설물(720)이 기존 도로 시설물(710)과 동일한 도로 시설물인지 혹은 새로 생긴 도로 시설물인지를 확인할 수 있다. 예를 들어, 신규 도로 시설물(720)의 위치로부터 일정 반경(예를 들어, 5 미터) 내에 기존 도로 시설물(710)이 존재하는 경우, 갱신 장치는 신규 도로 시설물(720)과 기존 도로 시설물(710)을 동일한 것으로 판단하여 도로 네트워크를 갱신하지 않을 수 있다. 이때, 일정 반경은 예를 들어, 도로 시설물에 대한 설치 규정, 또는 동종의 도로 시설물 간의 설치 간격 등에 의해 결정될 수 있다. The update device determines whether the new road facility 720 is the same road facility as the existing road facility 710 or a newly created road facility by determining whether the same facility exists within a certain radius from the location of the new road facility 720 I can. For example, when the existing road facility 710 exists within a certain radius (eg, 5 meters) from the location of the new road facility 720, the update device is the new road facility 720 and the existing road facility 710 ) May be determined to be the same and the road network may not be updated. In this case, the predetermined radius may be determined by, for example, an installation regulation for road facilities or an installation interval between road facilities of the same type.

이와 달리, 예를 들어, 신규 도로 시설물(720)의 위치로부터 일정 반경 내에 기존 도로 시설물(710)이 존재하지 않는 경우, 갱신 장치는 신규 도로 시설물(720)을 새로 생긴 도로 시설물로 판단하여 도로 네트워크를 갱신할 수 있다. In contrast, for example, if the existing road facility 710 does not exist within a certain radius from the location of the new road facility 720, the update device determines the new road facility 720 as a newly created road facility, and Can be updated.

실시예에 따라서, 갱신 장치는 일정 반경을 세분화하여 도로 네트워크의 갱신 여부를 결정할 수도 있다. 갱신 장치는 신규 도로 시설물(720)의 위치로부터 제1 반경(예를 들어, 0 ~ 2 미터) 내에 기존 도로 시설물(710)이 존재하는 경우, 신규 도로 시설물(720)과 기존 도로 시설물(710)을 동일한 것으로 판단하여 도로 네트워크를 갱신하지 않을 수 있다. 또한, 갱신 장치는 신규 도로 시설물(720)의 위치로부터 제2 반경(예를 들어, 2 미터 ~ 5 미터) 내에 기존 도로 시설물(710)이 존재하는 경우, 기존 도로 시설물(710)의 위치가 이동한 것으로 판단하여 도로 네트워크를 갱신할 수도 있다. Depending on the embodiment, the update device may determine whether to update the road network by subdividing a certain radius. When the existing road facility 710 exists within a first radius (eg, 0 to 2 meters) from the location of the new road facility 720, the update device is the new road facility 720 and the existing road facility 710 The road network may not be updated by determining that is the same. In addition, when the existing road facility 710 exists within a second radius (for example, 2 meters to 5 meters) from the location of the new road facility 720, the location of the existing road facility 710 is moved. It is also possible to update the road network by determining that it has been done.

또는 실시예에 따라서, 갱신 장치는 기존 도로 시설물(710)에 대한 정보를 기반으로 역으로 반경 검색을 수행할 수 있다. 역으로 반경 검색을 진행한 결과, 일정 반경 내에 기존 도로 시설물(710)은 존재하나 새로운 도로 시설물(720)이 존재하지 않을 수 있다. 이 경우, 갱신 장치는 기존 도로 시설물(710)이 삭제된 것으로 판단하여 도로 네트워크에서 기존 도로 시설물(710)을 삭제할 수 있다. Alternatively, according to an embodiment, the update device may perform a radius search inversely based on information on the existing road facility 710. Conversely, as a result of performing a radius search, an existing road facility 710 may exist within a certain radius, but a new road facility 720 may not exist. In this case, the update device may determine that the existing road facility 710 has been deleted and may delete the existing road facility 710 from the road network.

일 실시예에서는 전술한 과정을 통해 변경 여부가 확인된 도로 시설물에 대한 정보를 반영하여 데이터베이스를 갱신함으로써 데이터베이스의 최신성을 유지할 수 있다. 이때, 새로운 도로 시설물(720)을 검출하기 위해 사용한 영상(또는 프레임)과 해당 영상에서의 객체의 검출 위치는 신경망을 위한 학습 데이터로 이용되어 향후 객체의 검출 정확도를 높이는 데에 활용될 수 있다. In an embodiment, the database may be updated by reflecting information on road facilities that have been confirmed to be changed through the above-described process, thereby maintaining the latest in the database. In this case, the image (or frame) used to detect the new road facility 720 and the detection position of the object in the image may be used as learning data for a neural network, and may be used to increase the detection accuracy of an object in the future.

도 8은 일 실시예에 따른 도로 네트워크를 갱신하는 장치의 기능 블록도이다. 도 8을 참조하면, 일 실시예에 따른 도로 네트워크를 갱신하는 장치('갱신 장치')(800)는 프로세서(810), 메모리(830) 및 통신 인터페이스(850)를 포함할 수 있다. 프로세서(810), 메모리(830) 및 통신 인터페이스(850)는 통신 버스(미도시)를 통해 서로 연결될 수 있다. 8 is a functional block diagram of an apparatus for updating a road network according to an embodiment. Referring to FIG. 8, an apparatus ('update device') 800 for updating a road network according to an embodiment may include a processor 810, a memory 830, and a communication interface 850. The processor 810, the memory 830, and the communication interface 850 may be connected to each other through a communication bus (not shown).

프로세서(810)는 도로 네트워크 탐지부(811), 객체의 정보 결정부(813), 객체의 정보 보정부(815), 및 도로 네트워크 갱신부(817)를 포함할 수 있다. The processor 810 may include a road network detection unit 811, an object information determination unit 813, an object information correction unit 815, and a road network update unit 817.

도로 네트워크 탐지부(811)는 통신 인터페이스(850)를 통해 수신한 입력 영상으로부터 도로 네트워크에 포함되는 적어도 하나의 객체를 탐지하여 검출할 수 있다. 이때, 적어도 하나의 객체는 예를 들어, 도로 네트워크에 포함된 도로의 차선 및 차로 경계선을 포함하는 도로 노면 표시일 수도 있고, 도로 교통 표지판을 포함하는 도로 시설물일 수도 있다. The road network detector 811 may detect and detect at least one object included in the road network from an input image received through the communication interface 850. In this case, the at least one object may be, for example, a road surface display including a lane and a lane boundary of a road included in the road network, or a road facility including a road traffic sign.

도로 네트워크 탐지부(811)는 객체를 인식 및 검출하도록 학습 데이터(831)에 의해 미리 학습된 신경망을 이용하여 도로 네트워크에 포함된 적어도 하나의 객체를 검출할 수 있다. 이때, 도로 네트워크 탐지부(811)에 의해 추출된 객체는 예를 들어, 도로, 차량, 건물, 나무, 하늘, 보행자, 자전거, 도로 시설물 등과 같은 객체의 다양한 클래스 별로 구분될 수 있다. The road network detection unit 811 may detect at least one object included in the road network using a neural network previously learned by the training data 831 to recognize and detect the object. In this case, the objects extracted by the road network detection unit 811 may be classified into various classes of objects such as roads, vehicles, buildings, trees, sky, pedestrians, bicycles, and road facilities.

객체의 정보 결정부(813)는 도로 네트워크 탐지부(811)가 검출한 객체의 유형을 식별하여 객체의 정보를 결정할 수 있다. 객체의 정보는 예를 들어, 입력 영상 내 객체에 대응하는 영역 정보, 및 입력 영상에 대응하는 3차원 공간 내 객체에 대응하는 위치 정보 중 적어도 하나를 포함할 수 있다. 이때, 객체의 정보 결정부(813)는 도로 네트워크에 포함된 적어도 하나의 객체의 촬영한 카메라의 위치 및 자세를 획득할 수 있다. 객체의 정보 결정부(813)는 객체를 촬영한 카메라의 위치 및 자세를 기초로, 객체 별 3차원 방향 벡터를 산출할 수도 있다. The object information determination unit 813 may determine the object information by identifying the type of the object detected by the road network detection unit 811. The information on the object may include, for example, at least one of region information corresponding to an object in the input image and location information corresponding to an object in a 3D space corresponding to the input image. In this case, the object information determination unit 813 may obtain the position and posture of a camera photographed of at least one object included in the road network. The object information determination unit 813 may calculate a three-dimensional direction vector for each object based on the position and posture of the camera photographing the object.

객체의 정보 보정부(815)는 객체의 정보 결정부(813)에서 결정된 객체의 유형에 따라 객체에 대응하는 보정 방법을 결정하고, 결정된 보정 방법에 따라 객체의 정보를 보정할 수 있다. The object information correction unit 815 may determine a correction method corresponding to the object according to the type of object determined by the object information determination unit 813 and correct the object information according to the determined correction method.

도로 네트워크 갱신부(817)는 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신할 수 있다. The road network update unit 817 may update the road network based on the corrected object information.

갱신 장치(800)는 보정된 객체의 정보, 및/또는 보정된 객체의 정보에 기초하여 갱신된 도로 네트워크에 대한 정보를 반영하여 네트워크 데이터베이스(833)를 갱신할 수 있다. 또한, 보정된 객체의 정보 및 보정된 객체의 정보에 대응하는 영상(또는 프레임)은 신경망을 위한 학습 데이터(831)로 이용되어 향후 신경망에서의 객체의 검출 정확도를 높이는 데에 활용될 수 있다. The update device 800 may update the network database 833 by reflecting information on the corrected object and/or information on the road network updated based on the information on the corrected object. In addition, the corrected object information and an image (or frame) corresponding to the corrected object information may be used as training data 831 for a neural network, and may be used to increase the accuracy of detection of an object in a neural network in the future.

메모리(830)는 통신 인터페이스(850)를 통해 수신한 입력 영상을 저장할 수 있다. 메모리(830)는 프로세서(810)에 의해 보정된 객체의 정보 및/또는 보정된 객체의 정보에 기초하여 갱신된 도로 네트워크에 대한 정보를 저장할 수 있다. 메모리(830)는 학습 데이터(831) 및/또는 네트워크 데이터베이스(833)를 저장할 수 있다. 실시예에 따라서, 학습 데이터(831) 및/또는 네트워크 데이터베이스(833)는 별도의 저장 장치 혹은 클라우드 서버 등에 저장될 수도 있다. The memory 830 may store an input image received through the communication interface 850. The memory 830 may store information on the object corrected by the processor 810 and/or information on the road network updated based on the information on the corrected object. The memory 830 may store the training data 831 and/or the network database 833. Depending on the embodiment, the training data 831 and/or the network database 833 may be stored in a separate storage device or a cloud server.

네트워크 데이터베이스(833)는 도로 네트워크에 대한 정보 및/또는 도로 네트워크에 대응하는 2차원 지도 정보를 저장할 수 있다. The network database 833 may store information on a road network and/or 2D map information corresponding to the road network.

통신 인터페이스(850)는 입력 영상을 획득한다. 입력 영상은 도로 네트워크에 포함되는 적어도 하나의 객체를 포함할 수 있다. 입력 영상을 예를 들어, 로드 뷰(road view) 영상, 또는 360도 파노라마 영상 등과 같이 지상을 운행하며 취득한 영상일 수 있다. 통신 인터페이스(850)는 입력 영상을 촬영한 촬영 장치의 위치와 자세를 입력 영상과 함께 수신할 수 있다. The communication interface 850 acquires an input image. The input image may include at least one object included in the road network. The input image may be an image acquired while driving on the ground, such as a road view image or a 360 degree panoramic image. The communication interface 850 may receive a location and posture of a photographing device that has captured the input image together with the input image.

통신 인터페이스(850)는 갱신된 도로 네트워크에 대한 정보를 갱신 장치의 외부로 출력할 수 있다. The communication interface 850 may output information on the updated road network to the outside of the update device.

프로세서(810)는 도 1 내지 도 7을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(810)는 프로그램을 실행하고, 갱신 장치를 제어할 수 있다. 프로세서(810)에 의하여 실행되는 프로그램 코드는 메모리(830)에 저장될 수 있다.The processor 810 may perform at least one method or an algorithm corresponding to at least one method described above through FIGS. 1 to 7. The processor 810 may execute a program and control an update device. Program codes executed by the processor 810 may be stored in the memory 830.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기된 하드웨어 표시 장치는 실시예의 입력을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The above-described hardware display device may be configured to operate as one or more software modules to perform an input of an embodiment, and vice versa.

이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 표시 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.As described above, although the embodiments have been described by the limited drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as the described system, structure, display device, circuit, etc. are combined or combined in a form different from the described method, or a different configuration Appropriate results can be achieved even if substituted or substituted by elements or equivalents. Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.

Claims

Detecting at least one object included in the road network from the input image;
Identifying the type of the object;
Determining a correction method corresponding to the object according to the type of the object;
Correcting the information of the object according to the correction method; And
Updating the road network based on the corrected object information
Including, how to update the road network.

The method of claim 1,
The information of the object is
Area information corresponding to the object in the input image; And
Location information corresponding to the object in the 3D space corresponding to the input image
A method for updating a road network, comprising at least one of.

The method of claim 1,
The type of the object is
A first type corresponding to road surface marking including lanes and lane boundaries of roads included in the road network; And
A second type corresponding to street furniture including road traffic signs included in the road network
A method for updating a road network, comprising at least one of.

The method of claim 1,
If the type of the object is the first type,
The step of determining the correction method
In order to group the first objects to be recognized in the input image when the objects are grouped, a second object for correcting region information corresponding to the first object based on a second object excluded from the recognition target 1 determining a correction method as the correction method
Including, how to update the road network.

The method of claim 4,
The input image includes a perspective view image,
Correcting the information of the object
Obtaining first regions corresponding to the first object in the perspective view image;
Converting the perspective view image into a bird's-eye view image;
Acquiring second regions corresponding to the second object in the bird's eye view image;
Calculating third areas corresponding to the second areas in the perspective view image based on a conversion relationship between the perspective view image and the bird's eye view image; And
Correcting the first regions by excluding the third regions from the first regions in the perspective view image
Including, how to update the road network.

The method of claim 5,
The step of updating the road network
Generating candidate line segments and extension lines of candidate line segments based on the corrected first regions in the perspective view image;
Grouping corresponding candidate line segments based on extension lines intersecting each other;
Recognizing at least one lane using the grouped candidate line segments; And
Updating the road network based on the recognized at least one lane
Including, how to update the road network.

The method of claim 1,
If the type of the object is a second type,
The step of determining the correction method
Determining, as the correction method, a second correction method for correcting location information corresponding to the object so that the object satisfies the installation regulations for road facilities
Including, how to update the road network.

The method of claim 1,
If the type of the object is a second type,
The step of determining the correction method
Determining, as the correction method, a second correction method for correcting location information corresponding to the object so that the object is included within a predetermined distance based on a boundary line of road
Including, how to update the road network.

The method of claim 7,
Calculating 3D direction vectors of the object from a plurality of frames included in the input image;
Mapping the three-dimensional direction vectors of the object onto a two-dimensional map; And
Calculating the location coordinates of the object based on coordinates of points where the mapped direction vectors intersect on the 2D map
The method further comprising, updating the road network.

The method of claim 9,
Correcting the information of the object
Correcting the location coordinates of the object according to the installation regulations of the road facility
Including, how to update the road network.

The method of claim 9,
The step of calculating the three-dimensional direction vectors of the object
Calculating a three-dimensional direction vector for each frame based on the position and posture of the camera photographing the object in frame units
Including, how to update the road network.

The method of claim 11,
Each of the frames includes a 360-degree image,
The step of calculating the three-dimensional direction vector for each frame
Obtaining angular coordinates based on an angle corresponding to a horizontal axis of a corresponding frame, an angle corresponding to a vertical axis of the corresponding frame, and a position of a pixel corresponding to the object in the corresponding frame; And
Calculating a three-dimensional direction vector of the frame from the angular coordinate based on the position and posture of the camera photographing the object
Including, how to update the road network.

The method of claim 1,
The step of updating the road network
Determining whether to update the road network by comparing information stored in the road network for each section in relation to the object and information of the corrected object
Including, how to update the road network.

A computer program stored in a computer-readable recording medium to execute the method of any one of claims 1 to 13 in combination with hardware.