KR102316818B1 - 도로 네트워크를 갱신하는 방법 및 장치 - Google Patents

Abstract

일 실시예에 따른 도로 네트워크를 갱신하는 방법 및 장치는 입력 영상으로부터 도로 네트워크에 포함되는 적어도 하나의 객체를 검출하고, 객체의 유형을 식별하고, 객체의 유형에 따라 객체에 대응하는 보정 방법을 결정하며, 보정 방법에 따라 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신한다.

Description

도로 네트워크를 갱신하는 방법 및 장치{METHOD AND APPARATUS OF UPDATING ROAD NETWORK}

아래의 실시예들은 도로 네트워크를 갱신하는 방법 및 장치에 관한 것이다.

도로 네트워크를 구축 및 관리하기 위해서는 도로에 표시된 도로 표지 이외에도 다양한 도로 시설물들에 대한 정보를 획득하는 것이 필요하다. 이를 위해 거리 또는 도로를 직접 방문하여 영상을 촬영함으로써 해당 정보를 획득하거나, 또는 미리 촬영된 영상으로부터 해당 정보를 획득할 수 있다. 다만, 이러한 정보의 획득 과정은 많은 수작업을 수반하므로 획득된 정보가 휴먼 에러(human error)를 포함할 수 있고, 이로 인해 획득된 정보를 처리 또는 가공한 결과에서 오류가 발생할 가능성이 매우 높다.

일 측에 따르면, 도로 네트워크를 갱신하는 방법은 입력 영상으로부터 도로 네트워크에 포함되는 적어도 하나의 객체를 검출하는 단계; 상기 객체의 유형(type)을 식별하는 단계; 상기 객체의 유형에 따라 상기 객체에 대응하는 보정 방법을 결정하는 단계; 상기 보정 방법에 따라 상기 객체의 정보를 보정하는 단계; 및 상기 보정된 객체의 정보에 기초하여 상기 도로 네트워크를 갱신하는 단계를 포함한다.

상기 객체의 정보는 상기 입력 영상 내의 상기 객체 에 대응하는 영역 정보; 및 상기 입력 영상에 대응하는 3차원 공간 내의 상기 객체 에 대응하는 위치 정보 중 적어도 하나를 포함할 수 있다.

상기 객체의 유형은 상기 도로 네트워크에 포함된 도로의 차선 및 차로 경계선을 포함하는 도로 노면 표시(road surface marking)에 해당하는 제1 유형; 및 상기 도로 네트워크에 포함된 도로 교통 표지판을 포함하는 도로 시설물(street furniture)에 해당하는 제2 유형 중 적어도 하나를 포함할 수 있다.

상기 객체의 유형이 제1 유형인 경우, 상기 보정 방법을 결정하는 단계는 상기 객체의 그룹핑(grouping) 시에 상기 입력 영상 내에서 인식의 대상이 되는 제1 객체들을 그룹핑하기 위하여, 상기 인식의 대상에서 제외되는 제2 객체에 기초하여 상기 제1 객체에 대응하는 영역 정보를 보정하는 제1 보정 방법을 상기 보정 방법으로 결정하는 단계를 포함할 수 있다.

상기 입력 영상은 투시도(perspective view) 영상을 포함하고, 상기 객체의 정보를 보정하는 단계는 상기 투시도 영상에서 상기 제1 객체에 대응하는 제1 영역들을 획득하는 단계; 상기 투시도 영상을 조감도(bird’s-eye view) 영상으로 변환하는 단계; 상기 조감도 영상에서 상기 제2 객체에 대응하는 제2 영역들을 획득하는 단계; 상기 투시도 영상과 상기 조감도 영상 사이의 변환 관계에 기초하여, 상기 투시도 영상에서 상기 제2 영역들에 대응하는 제3 영역들을 산출하는 단계; 및 상기 투시도 영상에서 상기 제1 영역들로부터 상기 제3 영역들을 제외함으로써, 상기 제1 영역들을 보정하는 단계를 포함할 수 있다.

상기 도로 네트워크를 갱신하는 단계는 상기 투시도 영상에서 상기 보정된 제1 영역들을 기초로, 후보 선분들(line segments) 및 후보 선분들의 연장선들을 생성하는 단계; 서로 교차하는 연장선들에 기초하여, 해당하는 후보 선분들을 그룹핑하는 단계; 상기 그룹핑한 후보 선분들을 이용하여 적어도 하나의 차선을 인식하는 단계; 및 상기 인식된 적어도 하나의 차선에 기초하여, 상기 도로 네트워크를 갱신하는 단계를 포함할 수 있다.

상기 객체의 유형이 제2 유형인 경우, 상기 보정 방법을 결정하는 단계는 상기 객체가 도로 시설물의 설치 규정을 만족하도록 상기 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 상기 보정 방법으로 결정하는 단계를 포함할 수 있다.

상기 객체의 유형이 제2 유형인 경우, 상기 보정 방법을 결정하는 단계는 상기 객체가 도로 경계선(boundary line of road)을 기준으로 일정 거리 내에 포함되도록 상기 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 상기 보정 방법으로 결정하는 단계를 포함할 수 있다.

상기 도로 네트워크를 갱신하는 방법은 상기 입력 영상에 포함된 복수의 프레임들로부터, 상기 객체의 3차원 방향 벡터들을 산출하는 단계; 상기 객체의 3차원 방향 벡터들을 2차원 지도 상에 맵핑하는 단계; 및 상기 맵핑된 방향 벡터들이 상기 2차원 지도 상에서 교차하는 지점의 좌표에 기초하여, 상기 객체의 위치 좌표를 산출하는 단계를 더 포함할 수 있다.

상기 객체의 정보를 보정하는 단계는 상기 도로 시설물의 설치 규정에 따라 상기 객체의 위치 좌표를 보정하는 단계를 포함할 수 있다.

상기 객체의 3차원 방향 벡터들을 산출하는 단계는 프레임 단위로 상기 객체를 촬영한 카메라의 위치 및 자세에 기초하여, 프레임 별 3차원 방향 벡터를 산출하는 단계를 포함할 수 있다.

상기 프레임들 각각은 360도 영상을 포함하고, 상기 프레임 별 3차원 방향 벡터를 산출하는 단계는 해당 프레임의 가로축에 대응하는 각도, 상기 해당 프레임의 세로축에 대응하는 각도, 및 상기 해당 프레임 내 상기 객체에 해당하는 픽셀의 위치에 기초하여, 각도 좌표를 획득하는 단계; 및 상기 객체를 촬영한 카메라의 위치 및 자세를 기준으로, 상기 각도 좌표로부터 상기 해당 프레임의 3차원 방향 벡터를 산출하는 단계를 포함할 수 있다.

상기 도로 네트워크를 갱신하는 단계는 상기 객체와 관련하여 상기 도로 네트워크에 구간 별로 저장된 정보 및 상기 보정된 객체의 정보를 비교함으로써, 상기 도로 네트워크의 갱신 여부를 결정하는 단계를 포함할 수 있다.

도 1은 일 실시예에 따른 도로 네트워크를 갱신하는 방법을 나타낸 흐름도.
도 2는 일 실시예에 따른 입력 영상의 예시를 도시한 도면.
도 3은 일 실시예에 따른 객체의 유형이 제1 유형인 경우에 객체의 정보를 보정하는 방법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 객체의 유형이 제1 유형인 경우에 도로 네트워크를 갱신하는 방법을 설명하기 위한 도면.
도 5는 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 객체의 3차원 방향 벡터를 산출하는 방법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 객체의 정보를 보정하는 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 도로 네트워크를 갱신하는 방법을 설명하기 위한 도면.
도 8은 일 실시예에 따른 도로 네트워크를 갱신하는 장치의 기능 블록도.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 입력, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 입력, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 일 실시예에 따른 도로 네트워크를 갱신하는 방법을 나타낸 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 도로 네트워크를 갱신하는 장치(이하, '갱신 장치')는 입력 영상으로부터 도로 네트워크에 포함되는 적어도 하나의 객체를 검출한다(110). 입력 영상은 예를 들어, 주행 영상, 로드뷰(road view) 영상 또는 스트리트뷰(street view) 영상일 수 있으며, 반드시 이에 한정되는 것은 아니다. 입력 영상은 예를 들어, 촬영 장치를 구비한 차량을 이용하여 촬영한 영상들을 360도의 파노라마 형태로 연결한 거리 곳곳의 실사 영상일 수 있다. 촬영 장치는 예를 들어, 차량의 전면(font view), 양 측면(side view) 또는 후면(rear view) 등에 설치되어 거리 곳곳을 촬영할 수 있다. 입력 영상은 예를 들어, 360도 파노라마 영상일 수도 있고, 아래의 도 2에 도시된 것과 같이 360도 파노라마 영상을 스피어 맵핑(sphere mapping) 또는 큐브 맵핑(cube mapping)한 영상일 수도 있다. 스피어 맵핑 및 큐브 맵핑에 대하여는 아래의 도 2를 참조하여 구체적으로 설명한다.

입력 영상은 하나의 프레임을 포함할 수도 있고, 또는 복수의 프레임들을 포함할 수도 있다. 입력 영상은 해당 입력 영상을 촬영한 촬영 장치의 위치 및 자세를 포함하는 촬영 정보를 포함할 수 있다. 입력 영상이 복수의 프레임들을 포함하는 경우, 입력 영상은 각 프레임에 대응하는 촬영 정보를 포함할 수 있다.

'도로 네트워크'는 예를 들어, GPS 좌표와 같은 절대 좌표 상의 위치 정보를 갖는 다수의 노드(node)와 2개의 노드 사이를 연결하는 에지(edge)로 구성될 수 있다. 노드는 예를 들어, 교차로 상에 위치하는 신호등 또는 교차로 인근에 위치하는 횡단 보도에 해당할 수 있다. 에지는 도로의 형상을 따라 배치될 수 있다. 도로 네트워크는 예를 들어, 도로의 차선 및 차로 경계선 등과 같은 도로 노면 표시뿐만 아니라 도로 교통 표지판, 중앙 분리대, 연석, 건물 등과 같이 도로 시설물 또한 포함할 수 있다.

'적어도 하나의 객체'는 예를 들어, 도로의 차선 및 차로 경계선 등과 같은 도로 노면 표시(road surface marking)일 수도 있고, 또는 도로 교통 표지판 등과 같은 도로 시설물(street furniture)일 수도 있다.

단계(110)에서, 갱신 장치는 예를 들어, 미리 학습된 심층 신경망(Deep Neural Network; DNN), 컨볼루션 신경망(Convolution Neural Network; CNN), 리커런트 신경망(Recurrent Neural Network; RNN) 등과 같은 다양한 형태의 신경망을 이용하여 도로 네트워크에 포함된 적어도 하나의 객체를 검출할 수 있다. 신경망은 입력 영상으로부터 적어도 하나의 객체를 인식 및 검출하도록 학습 데이터에 의해 미리 학습된 것일 수 있다. 이때, 갱신 장치에 의해 검출된 적어도 하나의 객체는 예를 들어, 차선을 포함하는 도로 노면 표시, 및 도로 시설물 이외에도, 도로, 차량, 건물, 나무, 하늘, 보행자, 자전거, 등과 같은 다양한 클래스 별로 구분될 수도 있다.

갱신 장치는 예를 들어, 시맨틱 세그먼테이션(semantic segmentation) 또는 인스턴스 세그먼테이션(instance segmentation)을 기초로, 도로 네트워크에 포함된 적어도 하나의 객체를 클래스(class) 별로 검출할 수 있다. '시맨틱 세그먼테이션'은 주어진 영상 안에 어느 특정한 클래스에 해당하는 객체가 있다면, 해당 객체를 픽셀 단위로 구분하여 검출할 수 있다. 시맨틱 세그먼테이션은 주어진 영상 내 각 위치 상의 픽셀들을 하나씩 조사하면서, 현재 조사 대상인 픽셀이 어느 특정한 클래스에 해당하는 객체의 일부인 경우, 해당 픽셀의 위치에 그 클래스를 나타내는 '값'을 표기하는 방식으로 적어도 하나의 객체를 검출할 수 있다. '인스턴스 세그먼테이션'은 하나의 영상 내에 등장하는 다양한 객체들을 고유의 객체 감지 기능에 의해 검출할 수 있다.

또는 갱신 장치는 예를 들어, 도로 네트워크에 포함된 적어도 하나의 객체를 객체 별 바운딩 박스(bounding box)를 이용하여 검출할 수도 있다. 이때, 바운딩 박스는 예를 들어, 전체 입력 영상에서 바운딩 박스가 차지하는 위치, 다시 말해 바운딩 박스의 좌측 상단의 좌표 (x₁, y₁)와 우측 하단의 좌표 (x₂, y₂)에 의해 정의될 수 있다.

단계(110)에서 검출된 객체의 정보는 예를 들어, 입력 영상 내 객체에 대응하는 영역 정보, 및 입력 영상에 대응하는 3차원 공간 내의 객체에 대응하는 위치 정보 중 적어도 하나를 포함할 수 있다. 여기서, 객체에 대응하는 영역 정보는 예를 들어, 객체에 대응하는 픽셀들의 영역 정보 또는 바운딩 박스로 구분되는 객체의 영역 정보를 포함할 수 있다. 또한, 객체에 대응하는 위치 정보는 예를 들어, 객체의 위치 좌표 또는 객체를 구분하는 바운딩 박스의 위치 좌표를 포함할 수 있다.

갱신 장치는 객체의 유형(type)을 식별한다(120). 객체의 유형은 예를 들어, 도로 표지(road signal)의 종류에 따라 구분될 수 있다. '도로 표지'는 안전하고 원활한 도로 교통을 확보하고 도로 구조의 보전을 도모하기 위한 것으로서, 도로의 차로 측에 해당하는 도로 노면 혹은 노측(路側)에 표시된 도로 표시 및 차도(車道)의 위쪽에 설치되는 도로 교통 표지판을 포함할 수 있다.

도로 표지는 예를 들어, 노선 표지, 경계 표지, 이정 표지, 방향 표지, 및/또는 이들의 내용을 보충하는 보조 표지로 구성될 수 있다. 노선 표지는 주행하는 노선을 안내하는 표지일 수 있다. 경계 표지는 교차점이나 공사 구간, 도로의 굴곡, 차선폭의 감소, 노면 상태 등에 대해 경고하는 표지일 수 있다. 이정 표지는 예를 들어, '부산 30km/h' 등과 같이 목적지의 거리를 안내하는 표지일 수 있다. 방향 표지는 교차로 상의 방향을 안내하는 표지일 수 있다..

도로 표지 중 도로 표시는 도로 노면 부분에 차선과 도로 교통에 관한 규제와 지시를 표시한 것으로서, '도로 노면 표시(road surface marking)'라고도 부를 수도 있다. 도로 표지 중 도로 교통 표지판의 형태와 색상은 도로의 종류와 노선 별로 달라질 수 있다.

일 실시예에 따른 객체의 유형은 예를 들어, 도로 네트워크에 포함된 도로의 차선 및 차로 경계선을 포함하는 도로 노면 표시에 해당하는 제1 유형, 및 도로 네트워크에 포함된 도로 상에 설치된 도로 교통 표지판을 포함하는 도로 시설물에 해당하는 제2 유형 등을 포함할 수 있다.

갱신 장치는 단계(110)에서 검출된 객체의 유형이 제1 유형인지 또는 제2 유형인지를 식별할 수 있다. 갱신 장치는 전술한 것과 같이 미리 학습된 신경망을 이용하여 객체의 유형이 제1 유형인지 또는 제2 유형인지를 식별할 수 있다.

갱신 장치는 단계(120)에서 식별된 객체의 유형에 따라 객체에 대응하는 보정 방법을 결정한다(130). 예를 들어, 단계(120)에서 식별된 객체의 유형이 제1 유형인 경우, 갱신 장치는 인식의 대상에서 제외되는 제2 객체에 기초하여 제1 객체에 대응하는 영역 정보를 보정하는 제1 보정 방법을 보정 방법으로 결정할 수 있다. 이는 객체의 그룹핑 시에 입력 영상 내에서 인식의 대상이 되는 제1 객체들만을 그룹핑하기 위한 것이다. 이때, 제1 객체는 예를 들어, 도로 도면 표시 중 차선, 및 차로 경계선 등과 같이 차량의 주행에 직접적인 영향을 주는 객체일 수 있다. 제2 객체는 예를 들어, 도로 노면 표시 중 제1 객체를 제외한 나머지의 경계 표지, 이정 표지, 또는 방향 표지 등을 포함할 수 있다. 제2 객체는 예를 들어, 도로 노면에 기재된 화살표, 경로 안내 문자일 수 있다.

또는, 단계(120)에서 식별된 객체의 유형이 제2 유형인 경우, 갱신 장치는 객체가 도로 시설물의 설치 규정을 만족하도록 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 보정 방법으로 결정할 수 있다. 이때, 도로 시설물의 설치 규정은 도로 시설물의 설치 높이, 도로 시설물의 규정된 설치 위치 등에 대한 규정을 포함할 수 있다. 도로 시설물의 설치 규정은 예를 들어, 도로 시설물을 버스 정류장으로부터 10 M 이상 떨어진 위치에 설치하도록 하는 규정, 주의를 위한 도로 교통 표지판을 노면으로부터 100~210 cm 거리 내에 설치하도록 하는 규정, 지시를 위한 도로 교통 표지판을 노면으로부터 100 cm 이상의 떨어진 위치에 설치하도록 하는 규정 등을 포함할 수 있다.

또는 실시예에 따라서, 단계(120)에서 식별된 객체의 유형이 제2 유형인 경우, 갱신 장치는 객체가 도로 경계선(boundary line of road)을 기준으로 일정 거리 내에 포함되도록 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 보정 방법으로 결정할 수 있다. 여기서, '도로 경계선'은 도로와 도로가 아닌 일반 대지 구역의 경계를 구분하는 선에 해당할 수 있다.

갱신 장치는 단계(130)에서 결정된 보정 방법에 따라 객체의 정보를 보정한다(140). 갱신 장치가 제1 보정 방법에 따라 객체의 정보를 보정하는 방법은 아래의 도 3을 참조하여 구체적으로 설명한다. 또한, 갱신 장치가 제2 보정 방법에 따라 객체의 정보를 보정하는 방법은 아래의 도 5 내지 6을 참조하여 구체적으로 설명한다.

갱신 장치는 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신한다(150). 갱신 장치는 예를 들어, 객체와 관련하여 도로 네트워크에 구간 별로 저장된 정보 및 객체의 보정된 정보를 비교함으로써, 도로 네트워크의 갱신 여부를 결정할 수 있다. 갱신 장치가 제1 보정 방법에 따라 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신하는 방법은 아래의 도 4를 참조하여 구체적으로 설명한다. 또한, 갱신 장치가 제2 보정 방법에 따라 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신하는 방법은 아래의 도 7을 참조하여 구체적으로 설명한다.

일 실시예에 따르면, 이미 획득된 거리 영상 또는 도로 영상을 이용하여 객체를 탐지하고, 객체의 위치를 자동으로 배치함으로써 사용자가 직접 현장으로 나가지 않더라도 객체의 정보를 획득할 수 있을 뿐만 아니라 객체의 정보 획득 시에 수작업으로 인해 발생하는 휴먼 오류의 위험성을 최대한 배제할 수 있다.

이 밖에도, 일 실시예에 따르면, 갱신 장치는 데이터베이스의 존재하는 기존 시설물들의 위치 및 클래스 정보를 이용함으로써 객체의 변경된 정보를 쉽게 취득할 수 있다. 갱신 장치는 이러한 과정을 통해 변경된 정보에 대한 최소한의 작업 및 검수를 통해 빠르게 객체의 탐지 및 관리를 수행할 수 있다.

도 2는 일 실시예에 따른 입력 영상의 예시를 도시한 도면이다. 도 2를 참조하면, 일 실시예에 따른 360도 파노라마 영상을 스피어 맵핑(sphere mapping)한 영상(210) 및 360도 파노라마 영상을 큐브 맵핑(cube mapping)한 영상들(전면 영상(220), 후면 영상(230))이 도시된다.

예를 들어, 차량과 같은 이동 장치는 촬영 장치를 탑재하고, 일정 간격으로 주변을 촬영하여 거리 영상을 획득할 수 있다. 촬영 장치는 적어도 하나의 카메라, 카메라의 위치 정보를 수신하는 GPS(Global Positioning System) 장치, 카메라의 자세 정보를 측정하는 적어도 하나의 센서 등을 포함할 수 있다. 적어도 하나의 센서는 카메라의 자세를 측정하는 센서로서, 방위각 정보를 측정할 수 있다. 예를 들면, 센서는 각속도 센서, 자이로 센서, 가속도 센서 등을 포함할 수 있다. 방위각 정보를 기초로 카메라가 어느 방향을 바라보고, 어느 기울기로 영상을 촬영한 것인지가 파악될 수 있다. 또한, 촬영 장치는 GPS 장치 등과 같은 위치 측정 장치를 이용하여, 촬영 지점의 3차원 위치를 측정할 수 있다.

예를 들어, 촬영 장치가 어느 지점을 촬영하여 영상을 획득했다고 하자. 이 경우, 해당 영상은 촬영 장치의 위치 및 자세(또는 방위각)와 같은 촬영 정보와 함께 저장될 수 있다. 일 실시예에서는 입력 영상이 촬영 정보를 포함하는 360도 파노라마 영상인 경우를 일 예로 들어 설명하지만, 입력 영상이 반드시 이에 한정되는 것은 아니며, 이외의 다양한 영상들이 이용될 수 있다.

360도 파노라마 영상은 2차원 영상 내에서 360도를 표현하기 위해 영상(210)와 같이 스피어 맵핑되거나, 또는 전면 영상(220), 및 후면 영상(230)과 같이 큐브 맵핑될 수 있다.

'스피어 맵핑'은 객체를 포함하는 환경을 무한히 먼 구형 벽으로 생각하여 반사 표면을 근사하는 반사 맵핑의 한 유형이다. '스피어 맵핑'은 '구형 환경 맵핑' 이라고도 불릴 수 있다. 여기서, 환경은 정투영(orthographic projection) 기법을 사용하여 반사된 구가 환경에 배치된 경우에 그 모습을 나타내는 텍스쳐로 저장될 수 있다. 이 텍스쳐는 구의 바로 뒤에 있는 부분을 제외한, 전체 환경의 반사 데이터(reflective data)를 포함할 수 있다.

'큐브 맵핑'은 큐브의 여섯 면을 지도 모양으로 사용하는 환경 맵핑(environment mapping) 방법이다. 여기서, 객체를 포함하는 환경은 큐브의 측면에 투영되고 여섯 개의 정사각형 텍스처로 저장되거나 단일 텍스처의 여섯 개의 영역으로 펼쳐질 수 있다. 큐브 맵은 먼저 각 큐브 면을 나타내는 90도 뷰 프러스텀(view frustum)으로 정의된 뷰(views)에 의해 장면을 시점(viewpoint)에서 6 번 렌더링함으로써 생성될 수 있다.

360도 파노라마 영상은 차량의 앞, 뒤, 좌, 우 영상을 모두 포함하지만, 도로 네트워크의 구축을 위해서는 차량의 전면 및 후면 부분만 필요하기 때문에 일 실시예에서는 360도 파노라마 영상에서 전면 부분과 후면 부분을 큐브 맵핑한 전면 영상(220) 및/또는 후면 영상(230)을 입력 영상으로 사용할 수 있다.

실시예에 따라서, 360도 파노라마 영상이 아니어도 도로 위를 연속적으로 촬영한 영상 혹은 일반적인 블랙박스 영상 또한 입력 영상으로 사용될 수 있다.

도 3은 일 실시예에 따른 객체의 유형이 제1 유형인 경우에 객체의 정보를 보정하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면 투시도(perspective view) 영상(310), 및 투시도 영상(310)에 대응하는 조감도(bird's-eye view) 영상(330)이 도시된다.

투시도 영상(310)은 입력 영상으로서, 전술한 스피어 맵핑을 통해 획득한 전면 영상 또는 후면 영상일 수 있다. 일 실시예에서 인식의 대상이 되는 제1 객체는 투시도 영상(310)으로부터 획득할 수 있다. 하지만, 도로 내에 표시된 제1 객체를 제외한 나머지 도로 노면 표시인 제2 객체는 투시도 영상(310)에서 정확하게 검출되기 어렵다. 다시 말해, 제1 객체와 잘못 검출된 제2 객체를 함께 그룹핑하는 경우, 제2 객체의 영향으로 제1 객체가 잘못 그룹핑될 수 있다.

따라서, 일 실시예에서는 투시도 영상(310)을 바라보는 시점을 변경하여 재가공한 조감도 영상(330)으로부터 인식의 대상에서 제외되는 제2 객체를 검출하고, 제2 객체를 조감도 영상(330)에서 제거 함으로써 제1 객체의 그룹핑 시에 오류가 발생하는 것을 차단할 수 있다.

보다 구체적으로, 갱신 장치는 투시도 영상(310)에서 제1 객체에 대응하는 제1 영역들을 획득할 수 있다. 갱신 장치는 투시도 영상(310)을 조감도 영상(330)으로 변환할 수 있다. 이때, 갱신 장치는 예를 들어, 역원근 변환(Inverse Perspective Mapping; IPM)을 적용하여 투시도 영상(310)을 조감도 영상(330)으로 변환할 수 있다. 갱신 장치는 소실점으로 모이는 도로 영상에 역원근 변환을 적용하여 하늘에서 내려다 본 형태의 조감도 영상으로 변환함으로써 도로 노면 표시가 더 균일하고 명료하게 파악되도록 할 수 있다. 역원근 변환(IPM)은 원근 효과를 가진 입력 영상에서 원근 효과를 제거하고 영상 평면의 위치 정보를 세계 좌표계의 위치 정보로 변환시키는 것이다.

갱신 장치는 조감도 영상(330)에서 제2 객체에 대응하는 제2 영역들을 획득할 수 있다. 갱신 장치는 투시도 영상(310)과 조감도 영상(330) 사이의 변환 관계에 기초하여, 투시도 영상(310)에서 제2 영역들에 대응하는 제3 영역들을 산출할 수 있다. 갱신 장치는 투시도 영상(310)에서 획득한 제1 영역들로부터 제3 영역들을 제외함으로써, 제1 영역들을 보정할 수 있다.

도 4는 일 실시예에 따른 객체의 유형이 제1 유형인 경우에 도로 네트워크를 갱신하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 후보 선분들 간의 법선 벡터 거리를 계산하는 방법(a) 및 연장선들의 내각을 계산하는 방법(b)이 도시된다.

전술한 과정을 통해 제1 객체(예를 들어, 차선, 차로 경계선)와 제2 객체(예를 들어, 차선 및 차로 경계선을 제외한 나머지의 도로 노면 표시)는 객체 별로 분리되고, 동일 차선 또한 여러 개의 부분 차선들로 분리될 수 있다. 갱신 장치는 동일 차선에 해당하는 부분 차선들을 하나로 그룹핑할 수 있다.

보다 구체적으로, 갱신 장치는 도 3을 통해 기술한 투시도 영상에서 보정된 제1 영역들을 기초로, 동일 차선 별로 각 차선의 후보 선분들(line segments)(410, 430) 및 후보 선분들(410, 430)의 연장선들(415, 435)을 생성할 수 있다. 갱신 장치는 후보 선분들 간의 차이를 이용하여 동일 차선을 구성하는 후보 선분들을 차선의 후보 영역으로 그룹핑할수 있다.

갱신 장치는 도 4에 도시된 것과 같이 서로 교차하는 연장선들(415, 435)에 기초하여, 해당하는 후보 선분들을 차선 후보 영역으로 그룹핑(grouping)할 수 있다. 갱신 장치는 도 4의 (a)에 도시된 것과 같이 연장선들(415, 435) 간의 법선 벡터 거리가 일정 값(예를 들어, 2.5cm) 이내인 경우에 해당 연장선들(415,435)에 대응하는 후보 선분들(410, 430)을 그룹핑할 수 있다. 또한, 갱신 장치는 도 4의 (b)에 도시된 것과 같이 연장선들(415,435) 간의 내각이 일정 각도(예를 들어, 7.5도) 이내인 경우에 해당 연장선들(415,435)에 대응하는 후보 선분들(410, 430)을 그룹핑할 수 있다.

실시예에 따라서, 갱신 장치는 연장선들(415, 435) 간의 법선 벡터 거리가 일정 값 이내이고, 연장선들(415,435) 간의 내각이 일정 각도 이내인 경우에 해당 연장선들(415,435)에 대응하는 후보 선분들(410, 430)을 그룹핑할 수 있다.

갱신 장치는 그룹핑한 후보 선분들(410, 430)을 이용하여 적어도 하나의 차선을 인식할 수 있다. 갱신 장치는 인식된 적어도 하나의 차선에 기초하여, 도로 네트워크를 갱신할 수 있다.

도 5는 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 객체의 3차원 방향 벡터를 산출하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 도 1을 통해 전술한 과정에서 식별된 객체의 유형이 제2 유형인 경우에 갱신 장치는 360도 영상에서 검출된 객체의 각도 좌표를 기초로 3차원 공간 상에서 해당 객체를 향하는 3차원 방향 벡터를 산출할 수 있다.

입력 영상은 시간의 흐름(혹은 차량의 움직임)에 따라 동일한 객체를 촬영한 복수의 프레임들을 포함할 수 있다. 이 경우, 프레임들 각각은 360도 영상을 포함할 수 있다. 갱신 장치는 프레임 단위로 해당 객체의 3차원 방향 벡터를 산출할 수 있다.

보다 구체적으로, 갱신 장치는 프레임(510)의 가로축에 대응하는 각도 범위, 프레임(510)의 세로축에 대응하는 각도 범위, 및 프레임(510) 내 객체(515)에 해당하는 픽셀의 위치에 기초하여, 객체(515)의 각도 좌표를 획득할 수 있다. 예를 들어, 프레임(510)의 가로축은 0 ~ 360도로 지정되고, 세로축은 -90 ~ 90도로 지정될 수 있다. 갱신 장치는 프레임(510)의 사이즈 대비 객체(515)에 해당하는 픽셀의 위치를 각도로 환산함으로써, 객체(515)의 각도 좌표를 획득할 수 있다. 객체(515)의 각도 좌표는 카메라 좌표계에 해당하는 공간 상에서 객체(515)를 향하는 벡터(530)일 수 있다.

갱신 장치는 객체를 촬영한 카메라의 위치 및 자세를 이용하여, 카메라 좌표계의 각도 좌표를 월드 좌표계에 해당하는 공간 상에서 객체(515)를 향하는 3차원 방향 벡터로 변환할 수 있다. 이후, 갱신 장치는 3차원 방향 벡터를 2차원 지도 상에 맵핑할 수 있다.

도 6은 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 객체의 정보를 보정하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 2차원 지도(600) 및 2차원 지도 상에서 맵핑된 객체의 3차원 방향 벡터들(610, 620)이 도시된다.

갱신 장치는 입력 영상에 포함된 복수의 프레임들로부터 산출된 객체(예를 들어, 도로 교통 표지판)의 3차원 방향 벡터들(610, 620)을 2차원 지도(600) 상에 맵핑할 수 있다. 갱신 장치는 맵핑된 3차원 방향 벡터들(610, 620)이 2차원 지도(600) 상에서 교차하는 지점(630)의 좌표에 기초하여, 객체의 위치 좌표를 산출할 수 있다.

이때, 입력 영상에서의 객체의 검출 정확도, 음영 지역, 장애물 등의 영향으로 인해 객체의 위치 좌표가 도 6에 도시된 것과 같이 2차원 지도(600) 상에서 건물 내에 존재하거나, 또는 인도를 크게 벗어나 도로 위에 존재하는 것으로 오맵핑되는 경우가 발생할 수 있다.

일 실시예에서는 도로 교통 표지판과 같은 도로 시설물은 도로 시설물의 설치 규정에 따라 설치된다는 점을 고려하여 도로 시설물의 설치 규정에 따라 객체의 위치 정보, 보다 구체적으로는 객체의 위치 좌표를 보정할 수 있다.

일 실시예에서는 도로 시설물 중 인도 혹은 도로의 인접한 위치에 설치되어야 하는 도로 교통 표지판을 고려하여, 2차원 지도(600) 상에서 도로 교통 표지판이 도로 경계선(boundary line of road)을 기준으로 일정 거리 내의 포함되도록 교통 표지판의 위치 좌표를 지점(630)에서 지점(640)으로 보정할 수 있다.

도 7은 일 실시예에 따른 객체의 유형이 제2 유형인 경우에 도로 네트워크를 갱신하는 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 2차원 지도(700) 상에 표시된 기존 도로 시설물(710) 및 신규 도로 시설물(720)이 도시된다.

갱신 장치는 예를 들어, 네트워크 데이터베이스(도 8의 833 참조) 혹은 외부 클라우드 서버 등에 기존 도로 시설물(710)에 대한 정보를 저장할 수 있다. 이때, 기존 도로 시설물(710)에 대한 정보는 도로 네트워크의 구간 별로 저장될 수 있으며, 각 구간은 예를 들어, 신호등, 정지선, 혹은 횡단 보도를 기준으로 구분될 수 있다. 각 구간은 예를 들어, 해당 구간 내에 포함된 대표 차선의 개수, 해당 구간에서의 분기 차선의 포함 여부, 해당 구간에서의 버스 전용 차선의 유무, 및 차선 및 차로 경계선을 제외한 도로 노면 표시의 위치 및 종류 등에 대한 정보를 포함할 수 있다.

예를 들어, 전술한 과정을 통해 보정된 도로 시설물의 위치 정보가 2차원 지도(700) 상에서 신규 도로 시설물(720)의 위치로 표시되었다고 하자.

갱신 장치는 도로 시설물과 관련하여 도로 네트워크에 구간 별로 저장된 기존 도로 시설물(710)에 대한 정보 및 신규 도로 시설물(720)의 정보를 비교함으로써, 도로 네트워크의 갱신 여부를 결정할 수 있다. 갱신 장치는 기존 도로 시설물(710)의 위치 및 신규 도로 시설물(720)의 위치를 비교할 수 있다. 이때, 기존 도로 시설물(710)을 촬영한 카메라의 위치 및 자세 오차, 및/또는 기존 도로 시설물(710)에 대한 검출 정확도 등의 영향으로 인해 기존 도로 시설물(710)의 위치와 신규 도로 시설물(720)의 위치 간에 차이가 발생할 수 있다.

갱신 장치는 신규 도로 시설물(720)의 위치로부터 일정 반경 내에 동일한 시설물이 존재하는지 여부를 판단함으로써 신규 도로 시설물(720)이 기존 도로 시설물(710)과 동일한 도로 시설물인지 혹은 새로 생긴 도로 시설물인지를 확인할 수 있다. 예를 들어, 신규 도로 시설물(720)의 위치로부터 일정 반경(예를 들어, 5 미터) 내에 기존 도로 시설물(710)이 존재하는 경우, 갱신 장치는 신규 도로 시설물(720)과 기존 도로 시설물(710)을 동일한 것으로 판단하여 도로 네트워크를 갱신하지 않을 수 있다. 이때, 일정 반경은 예를 들어, 도로 시설물에 대한 설치 규정, 또는 동종의 도로 시설물 간의 설치 간격 등에 의해 결정될 수 있다.

이와 달리, 예를 들어, 신규 도로 시설물(720)의 위치로부터 일정 반경 내에 기존 도로 시설물(710)이 존재하지 않는 경우, 갱신 장치는 신규 도로 시설물(720)을 새로 생긴 도로 시설물로 판단하여 도로 네트워크를 갱신할 수 있다.

실시예에 따라서, 갱신 장치는 일정 반경을 세분화하여 도로 네트워크의 갱신 여부를 결정할 수도 있다. 갱신 장치는 신규 도로 시설물(720)의 위치로부터 제1 반경(예를 들어, 0 ~ 2 미터) 내에 기존 도로 시설물(710)이 존재하는 경우, 신규 도로 시설물(720)과 기존 도로 시설물(710)을 동일한 것으로 판단하여 도로 네트워크를 갱신하지 않을 수 있다. 또한, 갱신 장치는 신규 도로 시설물(720)의 위치로부터 제2 반경(예를 들어, 2 미터 ~ 5 미터) 내에 기존 도로 시설물(710)이 존재하는 경우, 기존 도로 시설물(710)의 위치가 이동한 것으로 판단하여 도로 네트워크를 갱신할 수도 있다.

또는 실시예에 따라서, 갱신 장치는 기존 도로 시설물(710)에 대한 정보를 기반으로 역으로 반경 검색을 수행할 수 있다. 역으로 반경 검색을 진행한 결과, 일정 반경 내에 기존 도로 시설물(710)은 존재하나 새로운 도로 시설물(720)이 존재하지 않을 수 있다. 이 경우, 갱신 장치는 기존 도로 시설물(710)이 삭제된 것으로 판단하여 도로 네트워크에서 기존 도로 시설물(710)을 삭제할 수 있다.

일 실시예에서는 전술한 과정을 통해 변경 여부가 확인된 도로 시설물에 대한 정보를 반영하여 데이터베이스를 갱신함으로써 데이터베이스의 최신성을 유지할 수 있다. 이때, 새로운 도로 시설물(720)을 검출하기 위해 사용한 영상(또는 프레임)과 해당 영상에서의 객체의 검출 위치는 신경망을 위한 학습 데이터로 이용되어 향후 객체의 검출 정확도를 높이는 데에 활용될 수 있다.

도 8은 일 실시예에 따른 도로 네트워크를 갱신하는 장치의 기능 블록도이다. 도 8을 참조하면, 일 실시예에 따른 도로 네트워크를 갱신하는 장치('갱신 장치')(800)는 프로세서(810), 메모리(830) 및 통신 인터페이스(850)를 포함할 수 있다. 프로세서(810), 메모리(830) 및 통신 인터페이스(850)는 통신 버스(미도시)를 통해 서로 연결될 수 있다.

프로세서(810)는 도로 네트워크 탐지부(811), 객체의 정보 결정부(813), 객체의 정보 보정부(815), 및 도로 네트워크 갱신부(817)를 포함할 수 있다.

도로 네트워크 탐지부(811)는 통신 인터페이스(850)를 통해 수신한 입력 영상으로부터 도로 네트워크에 포함되는 적어도 하나의 객체를 탐지하여 검출할 수 있다. 이때, 적어도 하나의 객체는 예를 들어, 도로 네트워크에 포함된 도로의 차선 및 차로 경계선을 포함하는 도로 노면 표시일 수도 있고, 도로 교통 표지판을 포함하는 도로 시설물일 수도 있다.

도로 네트워크 탐지부(811)는 객체를 인식 및 검출하도록 학습 데이터(831)에 의해 미리 학습된 신경망을 이용하여 도로 네트워크에 포함된 적어도 하나의 객체를 검출할 수 있다. 이때, 도로 네트워크 탐지부(811)에 의해 추출된 객체는 예를 들어, 도로, 차량, 건물, 나무, 하늘, 보행자, 자전거, 도로 시설물 등과 같은 객체의 다양한 클래스 별로 구분될 수 있다.

객체의 정보 결정부(813)는 도로 네트워크 탐지부(811)가 검출한 객체의 유형을 식별하여 객체의 정보를 결정할 수 있다. 객체의 정보는 예를 들어, 입력 영상 내 객체에 대응하는 영역 정보, 및 입력 영상에 대응하는 3차원 공간 내 객체에 대응하는 위치 정보 중 적어도 하나를 포함할 수 있다. 이때, 객체의 정보 결정부(813)는 도로 네트워크에 포함된 적어도 하나의 객체의 촬영한 카메라의 위치 및 자세를 획득할 수 있다. 객체의 정보 결정부(813)는 객체를 촬영한 카메라의 위치 및 자세를 기초로, 객체 별 3차원 방향 벡터를 산출할 수도 있다.

객체의 정보 보정부(815)는 객체의 정보 결정부(813)에서 결정된 객체의 유형에 따라 객체에 대응하는 보정 방법을 결정하고, 결정된 보정 방법에 따라 객체의 정보를 보정할 수 있다.

도로 네트워크 갱신부(817)는 보정된 객체의 정보에 기초하여 도로 네트워크를 갱신할 수 있다.

갱신 장치(800)는 보정된 객체의 정보, 및/또는 보정된 객체의 정보에 기초하여 갱신된 도로 네트워크에 대한 정보를 반영하여 네트워크 데이터베이스(833)를 갱신할 수 있다. 또한, 보정된 객체의 정보 및 보정된 객체의 정보에 대응하는 영상(또는 프레임)은 신경망을 위한 학습 데이터(831)로 이용되어 향후 신경망에서의 객체의 검출 정확도를 높이는 데에 활용될 수 있다.

메모리(830)는 통신 인터페이스(850)를 통해 수신한 입력 영상을 저장할 수 있다. 메모리(830)는 프로세서(810)에 의해 보정된 객체의 정보 및/또는 보정된 객체의 정보에 기초하여 갱신된 도로 네트워크에 대한 정보를 저장할 수 있다. 메모리(830)는 학습 데이터(831) 및/또는 네트워크 데이터베이스(833)를 저장할 수 있다. 실시예에 따라서, 학습 데이터(831) 및/또는 네트워크 데이터베이스(833)는 별도의 저장 장치 혹은 클라우드 서버 등에 저장될 수도 있다.

네트워크 데이터베이스(833)는 도로 네트워크에 대한 정보 및/또는 도로 네트워크에 대응하는 2차원 지도 정보를 저장할 수 있다.

통신 인터페이스(850)는 입력 영상을 획득한다. 입력 영상은 도로 네트워크에 포함되는 적어도 하나의 객체를 포함할 수 있다. 입력 영상을 예를 들어, 로드 뷰(road view) 영상, 또는 360도 파노라마 영상 등과 같이 지상을 운행하며 취득한 영상일 수 있다. 통신 인터페이스(850)는 입력 영상을 촬영한 촬영 장치의 위치와 자세를 입력 영상과 함께 수신할 수 있다.

통신 인터페이스(850)는 갱신된 도로 네트워크에 대한 정보를 갱신 장치의 외부로 출력할 수 있다.

프로세서(810)는 도 1 내지 도 7을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(810)는 프로그램을 실행하고, 갱신 장치를 제어할 수 있다. 프로세서(810)에 의하여 실행되는 프로그램 코드는 메모리(830)에 저장될 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기된 하드웨어 표시 장치는 실시예의 입력을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 표시 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

1. 입력 영상으로부터 도로 네트워크에 포함되는 적어도 하나의 객체를 검출하는 단계;
   상기 객체의 유형(type)을 식별하는 단계;
   상기 객체의 유형이 도로 노면 표시에 해당하는 제1 유형인지 또는 도로 시설물에 해당하는 제2 유형인지에 따라 상기 객체에 대응하는 보정 방법을 결정하는 단계;
   상기 보정 방법에 따라 상기 객체의 정보를 보정하는 단계; 및
   상기 보정된 객체의 정보에 기초하여 상기 도로 네트워크를 갱신하는 단계
   를 포함하고,
   상기 보정 방법을 결정하는 단계는
   상기 객체의 유형이 상기 제1 유형인 경우, 상기 객체의 그룹핑 시에 상기 입력 영상 내에서 인식의 대상이 되는 제1 객체들을 그룹핑하기 위하여, 상기 인식의 대상에서 제외되는 제2 객체를 제거하고, 차량의 주행을 안내하는 상기 제1 객체에 대응하는 영역 정보를 보정하는 제1 보정 방법을 상기 보정 방법으로 결정하는 단계; 및
   상기 객체의 유형이 상기 제2 유형인 경우, 상기 객체의 3차원 방향 벡터들이 맵핑된 2차원 지도 상에서 교차하는 지점의 좌표에 기초하여 상기 객체의 위치 좌표를 산출함으로써 상기 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 상기 보정 방법으로 결정하는 단계
   를 포함하는, 도로 네트워크를 갱신하는 방법.
2. 제1항에 있어서,
   상기 객체의 정보는
   상기 입력 영상 내의 상기 객체에 대응하는 영역 정보; 및
   상기 입력 영상에 대응하는 3차원 공간 내의 상기 객체에 대응하는 위치 정보
   중 적어도 하나를 포함하는, 도로 네트워크를 갱신하는 방법.
3. 제1항에 있어서,
   상기 객체의 유형은
   상기 도로 네트워크에 포함된 도로의 차선 및 차로 경계선을 포함하는 상기 도로 노면 표시(road surface marking)에 해당하는 상기 제1 유형; 및
   상기 도로 네트워크에 포함된 도로 교통 표지판을 포함하는 상기 도로 시설물(street furniture)에 해당하는 상기 제2 유형
   중 적어도 하나를 포함하는, 도로 네트워크를 갱신하는 방법.
4. 삭제
5. 제1항에 있어서,
   상기 입력 영상은 투시도(perspective view) 영상을 포함하고,
   상기 객체의 정보를 보정하는 단계는
   상기 투시도 영상에서 상기 제1 객체에 대응하는 제1 영역들을 획득하는 단계;
   상기 투시도 영상을 조감도(bird's-eye view) 영상으로 변환하는 단계;
   상기 조감도 영상에서 상기 제2 객체에 대응하는 제2 영역들을 획득하는 단계;
   상기 투시도 영상과 상기 조감도 영상 사이의 변환 관계에 기초하여, 상기 투시도 영상에서 상기 제2 영역들에 대응하는 제3 영역들을 산출하는 단계; 및
   상기 투시도 영상에서 상기 제1 영역들로부터 상기 제3 영역들을 제외함으로써, 상기 제1 영역들을 보정하는 단계
   를 포함하는, 도로 네트워크를 갱신하는 방법.
6. 제5항에 있어서,
   상기 도로 네트워크를 갱신하는 단계는
   상기 투시도 영상에서 상기 보정된 제1 영역들을 기초로, 후보 선분(line segment)들 및 후보 선분들의 연장선들을 생성하는 단계;
   서로 교차하는 연장선들에 기초하여, 해당하는 후보 선분들을 그룹핑(grouping)하는 단계;
   상기 그룹핑한 후보 선분들을 이용하여 적어도 하나의 차선을 인식하는 단계; 및
   상기 인식된 적어도 하나의 차선에 기초하여, 상기 도로 네트워크를 갱신하는 단계
   를 포함하는, 도로 네트워크를 갱신하는 방법.
7. 제1항에 있어서,
   상기 객체의 유형이 제2 유형인 경우,
   상기 보정 방법을 결정하는 단계는
   상기 객체가 도로 시설물의 설치 규정을 만족하도록 상기 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 상기 보정 방법으로 결정하는 단계
   를 포함하는, 도로 네트워크를 갱신하는 방법.
8. 제1항에 있어서,
   상기 객체의 유형이 제2 유형인 경우,
   상기 보정 방법을 결정하는 단계는
   상기 객체가 도로 경계선(boundary line of road)을 기준으로 일정 거리 내에 포함되도록 상기 객체에 대응하는 위치 정보를 보정하는 제2 보정 방법을 상기 보정 방법으로 결정하는 단계
   를 포함하는, 도로 네트워크를 갱신하는 방법.
9. 제7항에 있어서,
   상기 입력 영상에 포함된 복수의 프레임들로부터, 상기 객체의 3차원 방향 벡터들을 산출하는 단계;
   상기 객체의 3차원 방향 벡터들을 2차원 지도 상에 맵핑하는 단계; 및
   상기 맵핑된 방향 벡터들이 상기 2차원 지도 상에서 교차하는 지점의 좌표에 기초하여, 상기 객체의 위치 좌표를 산출하는 단계
   를 더 포함하는, 도로 네트워크를 갱신하는 방법.
10. 제9항에 있어서,
    상기 객체의 정보를 보정하는 단계는
    상기 도로 시설물의 설치 규정에 따라 상기 객체의 위치 좌표를 보정하는 단계
    를 포함하는, 도로 네트워크를 갱신하는 방법.
11. 제9항에 있어서,
    상기 객체의 3차원 방향 벡터들을 산출하는 단계는
    프레임 단위로 상기 객체를 촬영한 카메라의 위치 및 자세에 기초하여, 프레임 별 3차원 방향 벡터를 산출하는 단계
    를 포함하는, 도로 네트워크를 갱신하는 방법.
12. 제11항에 있어서,
    상기 프레임들 각각은 360도 영상을 포함하고,
    상기 프레임 별 3차원 방향 벡터를 산출하는 단계는
    해당 프레임의 가로축에 대응하는 각도, 상기 해당 프레임의 세로축에 대응하는 각도, 및 상기 해당 프레임 내 상기 객체에 해당하는 픽셀의 위치에 기초하여, 각도 좌표를 획득하는 단계; 및
    상기 객체를 촬영한 카메라의 위치 및 자세를 기준으로, 상기 각도 좌표로부터 상기 해당 프레임의 3차원 방향 벡터를 산출하는 단계
    를 포함하는, 도로 네트워크를 갱신하는 방법.
13. 제1항에 있어서,
    상기 도로 네트워크를 갱신하는 단계는
    상기 객체와 관련하여 상기 도로 네트워크에 구간 별로 저장된 정보 및 상기 보정된 객체의 정보를 비교함으로써, 상기 도로 네트워크의 갱신 여부를 결정하는 단계
    를 포함하는, 도로 네트워크를 갱신하는 방법.
14. 하드웨어와 결합되어 제1항 내지 제3항 및 제5항 내지 제13항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.

Images