KR20220004203A

KR20220004203A - 기기 포지셔닝을 위한 방법, 장치 및 기기

Info

Publication number: KR20220004203A
Application number: KR1020217039850A
Authority: KR
Inventors: 완쩡 푸; 저 왕; 젠핑 스
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-05-07
Filing date: 2020-02-13
Publication date: 2022-01-11
Also published as: JP2022531679A; CN111912416A; CN111912416B; WO2020224305A1

Abstract

본 명세서의 실시예는 기기 포지셔닝을 위한 방법, 장치 및 기기를 제공한다. 여기서, 기기 포지셔닝을 위한 방법은, 기기가 위치하는 도로의 감지 도로 이미지 및 상기 기기의 초기 포지셔닝 정보를 획득하는 단계; 상기 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 인식하는 단계; 상기 감지 도로 요소의 속성 정보에 근거하고 미리 구축된 지도에 기반하여 상기 감지 도로 요소와 상기 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정하는 단계; 상기 오프셋 정보에 따라 상기 초기 포지셔닝 정보를 보정하여 상기 기기의 포지셔닝 정보를 획득하는 단계를 포함한다.

Description

기기 포지셔닝을 위한 방법, 장치 및 기기

본 발명은 컴퓨터 비전 기술분야에 관한 것으로, 구체적으로는 기기 포지셔닝을 위한 방법, 장치 및 기기에 관한 것이다.

여러 영역에서 위치는 기본적이고 필수적인 정보이다. 몇 년 사이, 위치 기반 서비스의 발전과 통신 및 사물 인터넷의 발달과 더불어 포지셔닝에 점점 더 많이, 그리고 더 높은 요구를 가지게 되고, 포지셔닝 기술도 이에 따라 발전하고 있다. 현재, 자동 운전 기술의 발전과 로봇의 광범위한 응용과 더불어 포지셔닝 정밀도 및 실시간성에 대한 요구도 점점 더 높아지고 있다.

본 발명의 하나 또는 복수의 실시예는 기기 포지셔닝을 위한 기술적 해결수단을 제공한다.

제1 양태에서, 기기 포지셔닝을 위한 방법을 제공하는바, 상기 방법은,

기기가 위치하는 도로의 감지 도로 이미지 및 상기 기기의 초기 포지셔닝 정보를 획득하는 단계; 상기 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 인식하는 단계; 상기 감지 도로 요소의 속성 정보에 근거하고 미리 구축된 지도에 기반하여 상기 감지 도로 요소와 상기 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정하는 단계; 및 상기 오프셋 정보에 따라 상기 초기 포지셔닝 정보를 보정하여 상기 기기의 포지셔닝 정보를 획득하는 단계를 포함한다.

제2 양태에서, 기기 포지셔닝을 위한 장치를 제공하는 바, 상기 장치는,

기기가 위치하는 도로의 감지 도로 이미지 및 상기 기기의 초기 포지셔닝 정보를 획득하기 위한 획득 유닛; 상기 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 인식하기 위한 인식 유닛; 상기 감지 도로 요소의 속성 정보에 근거하고 미리 구축된 지도에 기반하여 상기 감지 도로 요소와 상기 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정하기 위한 결정 유닛; 및 상기 오프셋 정보에 따라 상기 초기 포지셔닝 정보를 보정하여 상기 기기의 포지셔닝 정보를 획득하기 위한 보정 유닛을 포함한다.

제3 양태에서, 기기를 제공하는 바, 상기 기기는, 상기 프로세서에서 운행될 수 있는 컴퓨터 명령을 저장하기 위한 메모리, 프로세서를 포함하며, 상기 프로세서가 상기 컴퓨터 명령을 실행할 때 본 발명의 임의의 한 방법에 기반하여 포지셔닝한다.

제4 양태에서, 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장매체를 제공하는 바, 상기 프로그램이 프로세서에 의해 실행될 때, 본 발명의 임의의 한 기기 포지셔닝을 위한 방법을 실현한다.

제5 양태에서, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하는 바, 상기 컴퓨터 판독 가능 코드가 프로세서에 의해 실행될 때, 본 발명의 임의의 한 기기 포지셔닝을 위한 방법을 실현한다.

본 발명의 하나 또는 복수의 실시예에 따른 기기 포지셔닝을 위한 기술적 해결수단은, 포지셔닝 과정에서, 미리 구축된 지도를 통해 기기의 초기 포지셔닝 정보를 보정함으로써 기기의 포지셔닝 정보를 획득하고, 이로써 기기 포지셔닝에 필요한 기기 하드웨어 비용을 절감하고 기기 포지셔닝의 연산 속도를 향상시키며 실시간 기기 포지셔닝의 수요를 만족시킬 수 있고, 및/또는 포지셔닝 정밀도가 높다.

본 명세서의 하나 또는 복수의 실시예 또는 선행기술 중의 기술적 해결수단을 더욱 명확히 설명하기 위하여, 아래에서 실시예 또는 선행기술에서 사용해야 하는 도면에 대해 간단히 소개하며, 명백히 알 수 있는 것은, 아래 설명에서의 도면은 단지 본 명세서의 하나 또는 복수의 실시예에 기재된 일부 실시예로서, 본 기술분야의 통상의 지식을 가진 자에게 있어서 창조적 노력 없이 이러한 도면에 따라 다른 도면을 얻을 수 있다.
도 1은 본 발명의 적어도 일 실시예에서 제공되는 일 포지셔닝 방법의 흐름도이다.
도 2a는 본 발명의 적어도 일 실시예에서 제공되는 일 지도를 미리 구축하는 방법의 흐름도이다.
도 2b는 본 발명의 적어도 일 실시예에서 제공되는 다른 일 지도를 미리 구축하는 방법의 흐름도이다.
도 3a는 본 발명의 적어도 일 실시예에서 제공되는 도로 요소 시맨틱 정보를 인식하기 위한 입력 도로 이미지이다.
도 3b와 도 3c는 도 3a에 도시된 도로 이미지를 입력하여 인식한 도로 요소 및 시맨틱 정보를 도시한다.
도 4a는 본 발명의 적어도 일 실시예에서 제공되는 사진기의 픽셀 좌표계의 모식도이다.
도 4b는 본 발명의 적어도 일 실시예에서 제공되는 GPS기기 좌표계의 모식도이다.
도 4c는 본 발명의 적어도 일 실시예에서 제공되는 좌표계 변환의 모식도이다.
도 5a는 본 발명의 적어도 일 실시예에서 제공되는 좌표계 변환을 위한 도로 이미지이다.
도 5b는 도 5a에서 차선을 인식하는 효과도이다.
도 5c는 도 5b에서 인식된 차선을 GPS기기 좌표계로 변환시키는 효과도이다.
도 6은 본 발명의 적어도 일 실시예에서 제공되는 감지 도로 요소와 지도 도로 요소 사이의 오프셋 정보를 결정하는 방법의 흐름도이다.
도 7은 본 발명의 적어도 일 실시예에서 제공되는 감지 도로 요소와 페어링하는 지도 도로 요소를 결정하는 방법의 흐름도이다.
도 8은 본 발명의 적어도 일 실시예에서 제공되는 페어링 방안의 모식도이다.
도 9는 본 발명의 적어도 일 실시예에서 제공되는 페어링된 감지 도로 요소와 지도 도로 요소 사이의 포지셔닝 오프셋 양을 결정하는 방법을 도시한 흐름도이다.
도 10은 본 발명의 적어도 일 실시예에서 제공되는 최근접점 반복법의 모식도이다.
도 11a는 본 발명의 적어도 일 실시예에서 제공되는 포지셔닝 장치의 구조 모식도이다.
도 11b는 본 발명의 적어도 일 실시예에서 제공되는 포지셔닝 장치의 구조 모식도이다.
도 11c는 본 발명의 적어도 일 실시예에서 제공되는 포지셔닝 장치의 구조 모식도이다.
도 12는 본 발명의 적어도 일 실시예에서 제공되는 기기의 구조도이다.

본 기술분야에서의 통상의 지식을 가진 자들이 본 명세서의 하나 또는 복수의 실시예에서의 기술적 해결수단을 더 잘 이해하도록 하기 위하여 이하 본 명세서의 하나 또는 복수의 실시예의 도면과 결부하여 본 명세서의 하나 또는 복수의 실시예의 기술적 해결수단을 뚜렷하고 완전하게 설명하고자 하는 바, 설명된 실시예는 단지 본 명세서의 일부 실시예일 뿐 모든 실시예가 아님은 자명한 것이다. 본 명세서의 하나 또는 복수의 실시예에 기반하면, 본 기술분야에서의 통상의 지식을 가진 자들은 창조적 노력없이 획득된 모든 기타 실시예는 모두 본 발명의 보호범위에 속한다.

본 발명의 적어도 일 실시예는 포지셔닝 방법을 제공하는 바, 도 1에 도시된 바와 같이, 도 1은 단계101 내지 단계104를 포함할 수 있는 당해 포지셔닝 방법의 과정을 도시한다.

단계101에서, 기기가 위치하는 도로의 감지 도로 이미지 및 상기 기기의 초기 포지셔닝 정보를 획득한다.

본 단계에서, 기기는 포지셔닝을 수행하는 타깃 주체 자체일 수 있고, 상기 기기에는 감시 도로 이미지를 수집하도록 비전센서가 배치될 수도 있고, 초기 포지셔닝 정보를 획득하도록 위치센서가 배치될 수도 있다. 기기는 차량, 로봇, 블라인드 가이드 기기, 스마트 토이, 로봇 청소기 등 스마트 가전기구와 같은 유형의 기기를 포함할 수 있으며 이에 한정되지 않는다. 여기서, 상기 차량은 임의의 유형의 차량일 수 있고, 사람을 태우거나 물건을 싣거나 또는 기타 용도의 차량일 수 있으며, 상기 로봇은 산업용 로봇, 서비스 로봇, 장난감 로봇, 교육 로봇 등과 같은 임의의 유형의 로봇일 수 있고, 본 발명은 이에 대해 모두 한정하지 않는다.

구별을 편리하도록 하기 위하여, 기기에 설치된 이미지센서가 수집한 당해 기기가 위치한 도로의 실시간 도로 이미지는 감지 도로 이미지로 불릴 수 있고, 당해 감지 도로 이미지에 의해 인식된 도로 요소는 감지 도로 요소로 불릴 수 있으며; 후속적으로 관련된, 지도 구축 또는 지도 구축 과정에서 사용되는 도로 이미지는 지도 도로 이미지로 불릴 수 있고, 당해 지도 도로 이미지에 기반하여 인식된 도로 요소는 지도 도로 요소로 불릴 수 있다.

상기 위치센서는 글로벌 포지셔닝 시스템(Global Positioning System, GPS), 베이더우 네비게이션 시스템, 글로벌 위성 항법 시스템(Global Navigation Satellite System, GLONASS), 갈릴레오 위성 항법 시스템, 관성 측량 유닛(Inertial Measurement Unit, IMU) 등 중 적어도 하나를 포함할 수 있고; 상기 비전센서는 사진기, 카메라, 캠 등 중 적어도 하나를 포함할 수 있다. 본 기술분야에서의 통상의 지식을 가진 자들은 비전센서와 위치센서가 상술한 내용에 한정되지 않는다는 것을 이해해야 한다.

기기의 초기 포지셔닝 정보는, 각 프레임마다의 감지 도로 이미지에 대해 획득한 일 동기적인 포지셔닝 정보일 수 있다. 이는 위성 포지셔닝 정보, IMU포지셔닝 정보이거나 또는 상기 위성 포지셔닝 정보와 IMU포지셔닝 정보의 융합정보일 수 있다.

여러 가지 위성 포지셔닝 시스템의 위치센서에 의해 획득된 포지셔닝 정보에 있어서, 이의 작동원리가 기본적으로 일치하므로 간략화를 위하여 본 명세서는 후속적인 내용에서 GPS포지셔닝 정보로 약칭한다. 본 기술분야에서의 통상의 지식을 가진 자들은 본 명세서의 GPS포지셔닝 정보가 베이더우 네비게이션 시스템 포지셔닝 정보, GLONASS포지셔닝 정보 및/또는 갈릴레오 위성 항법 시스템 포지셔닝 정보를 대표할 수도 있다는 것을 이해해야 한다.

융합정보는 GPS포지셔닝 정보와 IMU포지셔닝 정보에 기반하여 획득된 더욱 신뢰적인 포지셔닝 결과이다. 이는 GPS포지셔닝 정보와 IMU포지셔닝 정보에 대해 칼만 필터를 수행하여 획득하거나, 또는 GPS포지셔닝 정보와 IMU포지셔닝 정보에 대해 평균값 계산을 수행하거나 또는 가중 평균 계산을 수행하여 획득할 수 있다.

단계102에서, 상기 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 인식한다.

본 단계에서, 감지 도로 요소는 실시간으로 수집한 이미지 내의 도로 요소일 수 있다. 도로 요소는 도로와 관련된 식별자를 포함할 수 있고, 도로 상의 여러 가지 유형의 차선, 정지선, 전향선, 도로 에지선 및 도로 옆 또는 도로 위에 설치된 여러 가지 유형의 교통 표지판, 신호등, 가로등 등 중 하나 또는 여러 가지를 포함할 수 있다. 여러 가지 유형의 차선은 흰색 실선 차선, 노란색 실선 차선, 좌측 에지 차선, 우측 에지 차선 등을 포함할 수 있으나 이에 한정되지 않는다. 여러 가지 유형의 교통 표지판은 슬로우 교통 표지판, 주차 금지 교통 표지판, 속도 제한 교통 표지판 등을 포함할 수 있으나 이에 한정되지 않는다. 본 기술분야에서의 통상의 지식을 가진 자들은 도로 요소가 상술한 내용에 한정되지 않는다는 것을 이해해야 한다.

상기 감지 도로 요소의 속성 정보는 상기 감지 도로 요소와 관련되는 한 가지 또는 여러 가지 정보를 포함할 수 있는 바, 예를 들면 도로 요소의 시맨틱 정보, 위치 정보, 형상 정보 등이다.

도로 요소의 시맨틱 정보는 당해 도로 요소가 대표하는 의미, 이가 표현하고자 하는 정보일 수 있다. 예를 들면, 수집된 도로 이미지에서 도로 위의 선을 검출할 경우, 이가 도로에서의 위치, 도로를 기준으로 한 너비, 길이 등에 근거하여 이가 정지선, 차선 등인지를 결정할 수 있다. 차선이 또한 여러 가지 유형으로 세분화될 수 있으므로 차선을 기본적인 시맨틱 정보로 하며 선의 위치, 또한 선의 형태에 따라 이의 구체적인 시맨틱 정보를 결정할 수도 있는 바, 예를 들면, 좌측 에지 차선, 흰색 실선 차선 등이다. 교통 표지판과 같은 도로 요소에 있어서, 슬로우 교통 표지판, 주차 금지 교통 표지판은 당해 도로 요소의 구체적인 시맨틱 정보이다. 본 기술분야에서의 통상의 지식을 가진 자들은 도로 요소의 시맨틱 정보의 구체적인 표현형태가 본 발명의 방법을 구현하는 것에 영향을 미치지 않는다는 것을 이해해야 한다.

단계103에서, 상기 감지 도로 요소의 속성 정보에 근거하고 미리 구축된 지도에 기반하여 상기 감지 도로 요소와 상기 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정한다.

당해 미리 구축된 지도는 시맨틱 지도, 고정밀 지도 등일 수 있으나 이에 한정되지 않고 기타 유형의 지도일 수도 있다.

상기 지도에 표시된 도로 요소는 지도 도로 요소라고 불린다. 감지 도로 요소와 유사하게, 당해 지도 도로 요소는 도로와 관련된 식별자를 포함할 수 있고, 도로 위의 차선, 정지선, 전향선 및 도로 옆 또는 도로 전방에 설치된 교통 표지판, 신호등, 가로등 등 중 적어도 하나를 포함할 수 있다. 감지 도로 요소와 지도 도로 요소의 유형은 모두 동일할 수도 있고 일부가 동일할 수도 있다.

한 갈래의 도로에 대해 미리 구축된 지도에 있어서, 이는 당해 구간의 도로의 전부 또는 대부분의 도로 요소를 포함할 수 있다. 포지셔닝 과정에서 획득된 감지 도로 이미지는 당해 구간의 도로의 국부 영역 이미지이므로 감지 도로 이미지에서 인식된 도로 요소는 상기 지도에 변환되어 상기 지도 내의 일부 도로 요소에 상응할 수 있다.

이상적인 경우, 감지 도로 요소는 응당 지도 내의 지도 도로 요소와 중합되어야 한다. 이러한 중합은 감지 도로 요소와 지도 도로 요소의 동일한 좌표계에서의 중합을 가리킬 수 있다. 그러나, 포지셔닝을 수행할 때 획득된 초기 포지셔닝 정보의 포지셔닝 편차 또는 포지셔닝 정밀도의 부족, 특히 기기의 포지셔닝 기능을 가지는 하드웨어 기기의 정밀도가 높지 않거나 약한 경우, 초기 포지셔닝 정보의 편차가 크게 되어 감지 도로 요소가 정확하지 않을 수 있다. 따라서, 감지 도로 요소의 속성 정보 및 지도 도로 요소의 속성 정보에 근거하여 감지 도로 요소와 지도 도로 요소의 오프셋 정보를 결정할 수 있고, 이로써 초기 포지셔닝 정보를 보정할 수 있다.

단계104에서, 상기 오프셋 정보에 따라 상기 초기 포지셔닝 정보를 보정하여 상기 기기의 포지셔닝 정보를 획득한다.

감지 도로 요소와 지도 도로 요소 사이의 오프셋이 초기 포지셔닝 정보와 실제 포지셔닝 정보 사이의 오프셋에 의해 초래된 것이므로 감지 도로 요소와 지도 도로 요소 사이의 오프셋 정보에 따라 초기 포지셔닝 정보를 보정하여 최종적인 기기 포지셔닝 정보를 얻을 수 있다.

본 실시예는 감지 도로 이미지 내의 감지 도로 요소의 속성 정보에 근거하고 미리 구축된 지도에 기반하여 감지 도로 요소와 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정하고, 기기의 초기 포지셔닝 정보를 보정한다.

본 실시예에서 제공되는 기기 포지셔닝 해결수단은 비전에 기반하는 동시에 미리 구축된 지도와 배합하여 실현됨으로써 비용이 저렴하고 연산 복잡도가 낮으며 실시간성이 양호하고 및/또는 포지셔닝 정밀도가 높은 특점을 구비하여 기기의 스마트 운전 등 분야에 광범위하게 응용될 수 있다.

다시 말하면, 본 실시예는 도로 요소의 속성 정보와 미리 구축된 지도에 기반하여 초기 포지셔닝 정보를 보정하는 바, 즉 기기의 초기 포지셔닝 정보의 정밀도에 대한 요구가 낮아 기기 포지셔닝에 필요한 하드웨어 비용을 저하시킨다. 초기 정보에 대한 보정을 통해 기기의 포지셔닝 정밀도도 개선한다. 또한, 미리 구축된 지도를 호출함으로써 포지셔닝 과정에서 실시간으로 지도를 구축하는 것에 비해 기기의 계산 리소스를 절약하고 하드웨어 리소스에 대한 수요를 더 저하시키며 알고리즘의 복잡성이 낮고 실시간성이 양호하여 포지셔닝의 실시간성을 향상시킨다.

아래의 설명에서, 당해 포지셔닝 방법을 상세히 설명한다. 여기서, 아래에서 당해 포지셔닝 방법을 자동 운전 차량에 응용하는 것을 예로 들어 설명한다. 자동 운전 차량에는 비전센서가 설치되어 도로 이미지를 실시간으로 수집할 수 있고, 위치센서가 더 설치되어 초기 포지셔닝 정보를 획득할 수도 있으며, 프로세서와 메모리를 더 설치할 수도 있는 바, 당해 메모리는 미리 설치된 지도를 저장하여 자동 운전 과정에서 프로세서가 이미 수집된 감지 도로 이미지와 지도로부터 획득된 데이터를 처리하여 실시간으로 감지 도로 요소와 지도 도로 요소 사이의 오프셋 정보를 획득하며, 당해 오프셋 정보에 따라 초기 포지셔닝 정보를 보정하여 실시간적으로 더 정확한 포지셔닝 정보를 이용하여 자동 운전을 실현한다.

일 예에서, 이러한 센서, 프로세서 및 메모리는 자동 운전 차량에 집적될 수 있다. 다른 예에서, 이러한 센서, 프로세서 및 메모리는 하나의 단독적인 기기에 집적될 수도 있고, 당해 기기는 차량에 장착되어 자동 운전을 보조할 수 있다.

이해할 수 있는 것은, 기타 시나리오에도 마찬가지로 당해 포지셔닝 방법을 응용할 수 있다. 예를 들면, 지도 생성 시스템은, 당해 방법을 지도 수집 데이터에 응용하여 더 정확한 포지셔닝 결과를 이용하여 고정밀도 지도를 생성할 수 있고, 또 예를 들면, 이동 로봇 시스템에서, 당해 방법을 이동 로봇 시스템에 응용하여 로봇으로 하여금 고정밀도의 자아 포지셔닝 기능을 실현하도록 할 수 있다.

이하 차량의 자동 운전 과정 중의 포지셔닝 과정을 상세히 설명한다.

실시간 포지셔닝을 실현하기 위하여 미리 구축된 지도를 획득할 수 있다. 당해 미리 구축된 지도는 시맨틱 지도(Semantic Map)일 수 있다. 시맨틱 지도는 기기를 향한, 컴퓨터 판독 가능 포맷(예를 들면 XML포맷)을 구비한 지도이다. 기기의 스마트 운전에 통상적으로 사용되는 고정밀 지도에 대하여, 시맨틱 지도는 간결하고, 데이터 양이 적으며, 호출 속도가 빠른 등 장점을 가지는 바, 본 발명이 시맨틱 지도를 사용하여 초기 포지셔닝 정보를 보정하는 것은 알고리즘 복잡성이 낮고, 연산속도가 빠르며, 하드웨어 기기에 대한 수요가 적다.

이 지도의 구축은 도 2a에 도시된 내용을 참조할 수 있는 바, 아래 단계201 내지 단계203을 포함할 수 있다.

단계201에서, 수집 차량에 의해 도로의 지도 도로 이미지를 수집한다.

수집 차량에는 비전센서가 설치되어 지도 도로 이미지를 수집한다. 당해 비전센서는 사진기, 카메라, 캠 등 중 적어도 하나를 포함할 수 있다. 구축된 지도가 더 높은 정밀도에 도달하도록 하기 위하여 수집 차량에 배치된 비전센서는 고정밀 비전센서일 수 있으며, 이로써 해상도가 높고 정확도가 높은 지도 도로 이미지를 수집할 수 있다. 포지셔닝 과정에서, 감지 도로 이미지를 수집하기 위한 비전센서는 정밀도가 상대적으로 낮은 센서를 사용할 수 있다.

또한 수집 차량에는 고정밀도의 위치센서가 배치되어 수집 차량의 포지셔닝 정보를 더 정확하게 획득할 수도 있다. 포지셔닝 과정에서, 초기 포지셔닝 정보를 획득하는 위치센서는 정밀도가 낮은 센서를 사용하거나 기기의 기존의 위치센서를 이용할 수 있다.

바꾸어 말하면, 수집 차량과 자동 운전 차량은 일반적으로 동일한 차량이 아니다. 수집 차량은 지도를 구축하기 위하여 요구가 높은 센서를 배치한 차량이다. 그러나 본 발명이 제공하는 기기 포지셔닝 방법을 사용하여 자동 운전을 수행하는 차량 또는 기기에 배치된 센서 수준은 낮을 수 있다.

단계202에서, 상기 지도 도로 이미지 내의 지도 도로 요소의 속성 정보를 인식한다.

상기 지도 도로 요소의 속성 정보는 시맨틱 정보, 위치 정보, 형상 정보 등을 포함할 수 있다. 상기 속성 정보는 트레이닝된, 도로 요소 검출을 수행하기 위한 신경망 모델을 이용하여 인식하여 얻을 수 있다.

상기 신경망 모델은 라벨링 정보를 휴대한 도로 이미지(샘플 도로 이미지라고 불릴 수 있음)를 통해 트레이닝할 수 있다. 당해 샘플 도로 이미지 내의 도로 요소는 라벨링 정보를 포함하는 바, 당해 라벨링 정보는 샘플 도로 요소의 속성 정보, 예를 들면 시맨틱 정보, 형상 정보, 위치 정보 등 중 한 가지 또는 여러 가지를 포함할 수 있으나 이에 한정되지 않는다.

샘플 도로 이미지를 통해 신경망 모델을 트레이닝 함으로써 당해 모델이 입력된 도로 이미지에서 도로 요소의 속성 정보를 인식하는 능력을 구비하도록 할 수 있다. 당해 신경망 모델을 입력하는 지도 도로 이미지에 대하여, 당해 이미지 내의 지도 도로 요소의 속성 정보를 출력할 수 있다.

신경망 모델은 도로 요소의 유형을 인식할 수 있는 바, 이는 트레이닝 과정에서 사용한 샘플 도로 요소의 유형에 의해 결정된다. 더 많은 유형의 샘플 도로 요소를 통해 모델을 트레이닝하여 이로 하여금 더 높은 인식 능력을 가지도록 할 수 있다.

도 3a 내지 도 3c는 도로 요소를 인식하는 시맨틱 정보의 효과도를 도시한다. 도 3a는 신경망 모델을 입력하는 도로 이미지이며 이는 감지 도로 이미지일 수도 있고 지도 도로 이미지 또는 기타 도로 이미지일 수도 있다. 도 3b는 신경망 모델을 통해 인식된 도로 요소를 도시하는 바, 도면에서 흰색 횡방향 굵은 실선으로 도시한 바와 같고, 이의 시맨틱 정보인 "정지선"(stop line)(310)을 획득하며, 도면의 왼쪽 상부에 라벨링된다. 도 3c는 신경망 모델을 통해 인식된 도로 요소를 도시하는 바, 도면에서 흰색 종방향 굵은 실선으로 도시한 바와 같고, 각 라인의 기본적인 시맨틱 정보 및 구체적인 시맨틱 정보를 획득한다. 이의 기본적인 시맨틱 정보는 "차선"(lane line)(320)이고, 구체적인 시맨틱 정보는 왼쪽에서 오른쪽으로 각각 "좌측 에지 차선"(left edge)(321), "흰색 실선 차선"(white solid line)(322), "흰색 실선 차선"(white solid line)(323), "흰색 실선 차선"(white solid line)(324), "우측 에지 차선"(right edge)(325)이며, 모두 도면의 왼쪽 상부에 라벨링된다.

본 기술분야에서의 통상의 지식을 가진 자들은 지도 도로 요소 속성 정보의 인식 방법은 상술한 내용에 한정되지 않고 기타 인식 방법을 통해 얻을 수도 있다는 것을 이해해야 한다.

단계203에서, 상기 지도 도로 요소의 속성 정보에 기반하여 상기 지도를 구축한다.

일 예시에서, 지도 도로 요소의 시맨틱 정보, 위치 정보 및 형상 정보에 기반하여 지도를 구축한다. 당해 지도는 시맨틱 지도로 불릴 수 있다.

차량의 포지셔닝 과정에서 당해 지도를 호출하는 것을 통해 지도 도로 요소의 상기 속성 정보를 얻을 수 있다.

본 실시예에서 수집 차량에 배치된 고정밀도 비전센서를 통해 도로 이미지를 수집하고, 이미지 내의 도로 요소의 속성 정보를 인식하고 고정밀도의 위치센서를 이용하여 수집 차량의 포지셔닝 정보를 획득함으로써 지도를 구축하는 바, 구축된 지도는 정밀도가 높고 데이터 양이 적어 기기의 저장공간을 절약할 수 있다.

일 예시에서, 인식된 지도 도로 요소의 위치 정보가 비전센서(예를 들면 사진기)의 픽셀 좌표계에서의 위치 정보인 경우, 지도가 범용성을 구비해야 하므로 아래 방법을 통해 이를 경위도 좌표계로 변환시킬 수 있다.

이하, 비전센서가 사진기이고, 위치센서가 GPS인 것을 예를 들어 설명하고자 한다. 본 기술분야에서의 통상의 지식을 가진 자들은 당해 변환방법이 기타 비전센서와 위치센서에 마찬가지로 적용된다는 것을 이해해야 한다.

지도 도로 요소가 사진기의 픽셀 좌표계에서의 위치 정보는 제1 지도 위치 정보라고 불릴 수 있다. 우선, 제1 지도 위치 정보를 GPS 기기 좌표계로 변환시켜 제2 지도 위치 정보를 얻는다. 상기 사진기와 상기 GPS 사이의 호모그래프(Homograph)를 이용하여 당해 좌표 변환을 실현할 수 있는 바, 당해 호모그래프는 캘리브레이션된 사진기와 GPS 사이의 외부 참조를 통해 얻을 수 있다.

사진기의 픽셀 좌표계는 도 4a에 도시된 바와 같고, 여기서 O'-x'-y'는 도면 중 사진기의 픽셀 좌표계이다.

GPS기기 좌표계는 당해 GPS 수신기를 중심으로 하여 지평면과 평행되는 좌표계를 말한다. 수집 차량에 설치된 GPS를 예로 들면, 당해 GPS 기기 좌표계는 차 머리 방향을 x축 정방향으로 하는 오른손 데카르트 좌표계인 바, 이는 도 4b를 참조하면 된다. 포지셔닝을 수행하는 데에 사용되는 지평면의 좌표 정보는 높이 정보가 필요하지 않으므로 지도 도로 요소의 제1 지도 위치 정보를 GPS 기기 좌표계로 변환시킬 경우, z축의 높이 정보에 관련되지 않는다.

일 예시에서, 당해 GPS는 RTK(Real-Time Kinematic, 실시간 차분) 모드에서 작동되어 더 양호한 포지셔닝 효과를 얻도록 한다.

도 5a 내지 도 5c는 도로 요소가 사진기의 픽셀 좌표계로부터 GPS기기 좌표계로 변환되는 효과도를 도시한다. 당해 도로 요소는 지도 도로 요소일 수도 있고 감지 도로 요소일 수도 있다. 도 5a는 도로 이미지의 원본 이미지이다. 도 5b는 도로 이미지에서 차선을 인식하는 효과도이고, 여기서 종방향의 3갈래의 흰색 굵은 실선은 차선이며, 이미지의 왼쪽 상부에 인식된 3갈래의 차선의 구체적인 시맨틱 "차선"(lane line)(510) 및 왼쪽으로부터 오른쪽으로 3갈래의 차선의 구체적인 시맨틱 "좌측 에지 차선"(left edge)(511), "흰색 점선 차선"(white dot line)(512), "우측 에지 차선"(right edge)(513)을 라벨링한다. 도 5c는 차선을 GPS 기기 좌표계로 변환시킨 효과도를 도시하는 바, 여기서 종방향의 3갈래의 흰색 실선520은 GPS 기기 좌표계에서의 차선이다.

이어서, GPS 현재의 포지셔닝 정보를 이용하여 당해 제2 지도 위치 정보를 경위도 좌표계로 변환시켜 제3 지도 위치 정보를 얻을 수 있다.

GPS포지셔닝 정보와 사진기가 수집한 지도 도로 이미지는 동기적이다. 여기서 동기적이란 각 프레임마다의 지도 도로 이미지에 대하여 모두 GPS 수신기로부터 일 동기적인 포지셔닝 정보를 획득할 수 있다는 것을 말한다.

GPS포지셔닝 정보는 GPS가 지구에서의 유일한 위치와 조향을 설명하는 바, 당해 위치와 조향은 각각 GPS 기기 좌표계의 원점이 측지 좌표계에서의 위치(x, y)와 GPS기기 좌표계 x축이 지리적 동쪽 방향과의 협각θ와 대응되고, (x, y, θ)로 표시할 수 있다.

지도 도로 요소가 GPS기기 좌표계에서의 제2 지도 위치 정보를 알고 있을 경우, 지도 도로 요소를 획득하는 그 프레임의 도로 이미지와 동기적인 GPS 포지셔닝 정보를 획득하는 것에 의해 지도 도로 요소를 GPS 기기 좌표계로부터 WGS-84(World Geodetic System 1984) 좌표계와 같은 경위도 좌표계로 변환시킬 수 있다. 변환한 후, 제3 지도 위치 정보를 얻는다.

유의해야 할 점은, 비록 GPS 기기 좌표계도 GPS 정보를 사용하였으나 이는 일 국부 좌표계로서, 경위도 좌표계와 같은 이러한 글로벌 좌표계와는 상이하다. GPS 기기 좌표계는 데카르트 좌표계에 속하고, 경위도 좌표계는 라디안 측지 좌표계(Geodetic coordinate system in radians)에 속하므로 GPS 기기 좌표계로부터 경위도 좌표계로 직접 변환될 수 없으며 일 중간 좌표계를 통해 변환해야 한다.

일 예시에서, 우선 지도 도로 요소를 GPS 기기 좌표계로부터 글로벌 프로젝션 유니버설 가로 메르카토르 좌표계(Universal Transverse Mercator, UTM 좌표계)에 변환할 수 있는 바, 당해 두 개의 좌표계가 모두 2차원 오른손 데카르트 좌표계이므로 변환 및 평이 동작만으로 좌표계 사이의 변환을 실현할 수 있다. 회전 각도는 차 머리가 동쪽 방향을 향하는 협각θ이고, 평이량은 경위도 포지셔닝 정보(x, y)이다. 이 외에, UTM 좌표계와 경위도 좌표계가 모두 글로벌 좌표계이므로 양자 사이는 직접 변환할 수 있다.

도 4c는 좌표계 변환 모식도를 도시하는 바, 여기서, 왼쪽으로부터 오른쪽으로 순차적으로 사진기의 픽셀 좌표계, GPS기기 좌표계, UTM 좌표계이다.

UTM 좌표계로 변환된 후, 다시 지도 도로 요소를 UTM 좌표계로부터 경위도 좌표계로 변환시켜 제3 지도 위치 정보를 얻는다.

다른 한 예시에서, 지도 도로 요소를 GPS기기 좌표계로부터 글로벌 프로젝션 유니버설 가로 메르카토르 좌표계(Universal Transverse Mercator, UTM 좌표계)에 변환시키고 더 이상 UTM 좌표계와 경위도 좌표계의 변환을 수행하지 않으며, 제3 지도 위치 정보는 UTM 좌표계에서의 위치 정보이다. 그러나, UTM 좌표계는 사용될 때 영역을 구획해야 하기 때문에 저장 방면에서 경위도 좌표계처럼 간결하지 않으므로 실제 메모리의 제한에 따라 UTM 좌표계를 사용할지 아니면 경위도 좌표계를 제3 지도 위치 정보의 좌표계로 사용할 것인지를 결정할 수 있다.

본 실시예에서, 지도 도로 요소의 글로벌 포지셔닝 정보에 기반하여 지도를 구축하는 바, 글로벌 포지셔닝 정보가 유일성을 가지므로 구축된 지도가 범용성을 구비하고, 당해 지도를 사용하는 오브젝트가 사용하는 위치센서를 특별히 한정하지 않음으로써 당해 포지셔닝 방법이 광범위하게 응용될 수 있도록 한다.

도 2b에 도시된 방법을 통해 지도를 구축할 수도 있는 바, 도 2b에 도시된 바와 같이, 당해 방법은 단계211과 단계212를 포함한다.

단계211에서, 고정밀 지도 내의 지도 도로 요소의 시맨틱 정보와 위치 정보를 획득한다.

시맨틱 지도에 비해 고정밀 지도는, 시맨틱 지도에 포함되는 속성 정보를 제외하고 도로 요소에 관한 더 많고 더 세부적인 정보를 더 포함할 수 있는 바, 예를 들어 지도 도로 요소의 도로 곡률, 방향(heading), 경사도 등이고, 또 예를 들어 도로 요소 사이의 관련 정보 등일 수 있다.

기존의 고정밀 지도를 이용하여 그 중에서 필요한 지도 도로 요소의 시맨틱 정보와 위치 정보 또는 기타 정보를 추출할 수 있다.

단계212에서, 상기 지도 도로 요소의 시맨틱 정보와 위치 정보에 기반하여 상기 지도를 구축한다.

본 단계에서 구축한 지도는 시맨틱 지도로 불릴 수도 있다.

본 실시예에서 기존의 고정밀도 지도를 이용하여 시맨틱 지도를 구축함으로써 비용을 절약한다. 또한, 고정밀 지도의 높은 저장공간 수요에 비해, 본 실시예에서 구축된 시맨틱 지도는 데이터 양이 작아 기기의 저장공간을 절약한다.

이상에서 설명한 것은 자동 운전 차량이 실시간 포지셔닝을 수행할 때 사용한 지도의 구축 과정인 바, 아래에는 자동 운전 차량의 실시간 포지셔닝 과정을 설명한다.

우선, 비전센서를 이용하여 실시간으로 수집한 감지 도로 이미지를 획득하고, GPS, IMU 등과 같이 차량에 배치된 위치센서의 초기 포지셔닝 정보를 획득한다. 당해 초기 포지셔닝 정보는 각 프레임마다의 감지 도로 이미지에 대해 획득한 동기적 포지셔닝 정보일 수 있다.

이어서, 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 인식한다. 당해 단계와 단계202에서의 설명은 유사한 바, 상기 감지 도로 이미지에 미리 트레이닝 된 신경망 모델을 입력하여 상기 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 획득하는 단계를 포함할 수 있다. 당해 속성 정보는 시맨틱 정보와 위치 정보를 포함하거나 또는 시맨틱 정보, 위치 정보, 형상 정보 등을 포함할 수 있다.

당해 신경망 모델은 상술한 지도 도로 요소를 인식할 때 사용되는 신경망 모델과 동일할 수 있는 바, 여기서 동일함은 모델의 네트워크 구조와 파라미터가 동일한 것을 말할 수도 있고 같은 샘플 도로 이미지를 통해 트레이닝 하는 것을 말할 수도 있다. 당해 신경망 모델은 상술한 지도 도로 요소를 인식할 때 사용되는 신경망 모델과 상이할 수도 있는 바, 예를 들면, 네트워크 구조와 파라미터가 상이하거나 또는 상이한 샘플 도로 이미지를 통해 트레이닝할 수도 있으나 두 개의 모델이 인식할 수 있는 도로 요소는 교차될 수 있고, 교차가 클수록 당해 포지셔닝 방법을 응용하여 얻은 효과도 더 좋다.

감지 도로 요소의 속성 정보를 인식한 후, 당해 속성 정보에 근거하여 상기 미리 구축된 지도에서 감지 도로 요소와 상기 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정할 수 있다. 일부 예에서, 당해 미리 구축된 지도는 도 2a 또는 도 2b에 도시된 방법을 통해 구축한 시맨틱 지도일 수 있다.

도 6은 감지 도로 요소와 지도 도로 요소 사이의 오프셋 정보를 결정하는 한 가지 방법을 도시하는 바, 도 6에 도시된 바와 같이, 당해 방법은 단계601 내지 단계604를 포함할 수 있다.

단계601에서, 감지 도로 요소와 지도 도로 요소를 동일한 기기 좌표계로 변환시킨다.

위치의 비교는 동일한 좌표계에서 수행되어야 하므로 만약 획득된 감지 도로 요소의 위치 정보와 지도 도로 요소의 위치 정보가 동일한 좌표계에 놓이지 않는 것일 경우, 우선 양자를 동일한 좌표계로 변환시켜야 한다.

일 예에서, 지도 도로 요소의 위치 정보가 경위도 좌표계에서의 제3 지도 위치 정보인 경우, 제3 지도 위치 정보를 기기 좌표계로 변환시켜야 하는 바, 이하 GPS 기기 좌표계를 예로 들어 설명한다.

제3 지도 위치 정보를 경위도 좌표계로부터 GPS기기 좌표계로 변환시키는 바, 당해 과정은 상술한 제2 지도 위치 정보를 GPS 기기 좌표계로부터 경위도 좌표계로 변환시키는 과정의 역과정이다.

이 과정은 두 개의 단계로 분류될 수 있는 바, 우선, 제3 지도 위치 정보를 경위도 좌표계(예를 들면, WGS-84 좌표계)로부터 UTM 좌표계로 변환시키고; 다음 GPS의 초기 포지셔닝 정보를 이용하여 지도 도로 요소를 UTM 좌표계로부터 GPS 기기 좌표계로 변환시킨다. 여기서, GPS의 초기 포지셔닝 정보는 실시간으로 수집한 것이다. 자동 운전 차량에 있어서, 당해 단계는 먼저 차 머리를 회전시켜 동쪽 방향을 향하는 협각이 θ이며 그 다음 GPS의 경위도 포지셔닝 정보(x, y)를 평이하여 얻을 수 있다.

다른 예에서, 지도 도로 요소의 위치 정보가 UTM 좌표계에서의 제3 지도 위치 정보인 경우, 당해 제3 지도 위치 정보를 기기 좌표계로 변환시키고, GPS의 실시간 포지셔닝 정보를 이용하여 지도 도로 요소를 UTM 좌표계로부터 GPS기기 좌표계로 변환시켜야 한다. 자동 운전 차량에 있어서, 당해 단계는 먼저 차 머리를 회전시켜 동쪽 방향을 향하는 협각이 θ이며 다음 GPS의 경위도 포지셔닝 정보(x, y)를 평이하여 얻을 수 있다.

본 기술분야에서의 통상의 지식을 가진 자들은 기타 위치센서에 대하여 이의 구체적인 변환 규칙에 따라 경위도 좌표계로부터 기기 좌표계로의 변환을 수행할 수 있다는 것을 이해해야 한다.

단계602에서, 상기 감지 도로 요소의 속성 정보에 근거하여 상기 지도에서 상기 감지 도로 요소와 페어링하는 지도 도로 요소를 결정한다.

실시간으로 수집한 감지 도로 이미지에 대하여, 만약 당해 도로에 대해 이미 지도를 구축하였을 경우 당해 감지 도로 이미지 내의 감지 도로 요소는 지도에서 이와 페어링되는 지도 도로 요소를 획득할 수 있다. 즉 하나의 감지 도로 요소에 대하여, 만약 이것이 잘못 인식된 것이 아니고 지도에서 구축하거나 또는 새로 업데이트한 후 새로 나타난 것이 아니면 통상적으로 지도에서 대응되는 하나의 지도 도로 요소를 찾을 수 있다.

단계603에서, 페어링된 감지 도로 요소와 지도 도로 요소의 상기 동일한 기기 좌표계에서의 위치 정보를 결정한다.

감지 도로 요소와 지도 도로 요소의 오프셋 정보를 획득하는 것은 초기 포지셔닝 정보를 보정하기 위한 것이고, 당해 초기 포지셔닝 정보는 기기 좌표계에서의 포지셔닝 정보이므로 기기 좌표계에서 페어링된 감지 도로 요소와 지도 도로 요소의 위치 정보를 결정하여 초기 포지셔닝 정보의 실시간 보정을 수행하는 데에 유리할 수 있다.

단계604에서, 상기 위치 정보에 기반하여 페어링된 감지 도로 요소와 지도 도로 요소 사이의 포지셔닝 오프셋 양을 상기 오프셋 정보로 결정한다.

동일한 기기 좌표계에서의 감지 도로 요소 및 이와 페어링되는 지도 도로 요소의 위치 정보를 획득된 후, 양자의 위치에 기반하여 이들 사이의 포지셔닝 오프셋 양을 결정할 수 있다. 당해 포지셔닝 오프셋 양은 감지 도로 요소와 지도 도로 요소 사이의 오프셋 정보이다.

본 실시예에서, 페어링된 감지 도로 요소와 지도 도로 요소를 동일한 기기 좌표계로 변환시키고, 양자의 위치 정보를 이용하여 이들 사이의 포지셔닝 오프셋 양을 결정하되, 당해 포지셔닝 오프셋 양이 마찬가지로 기기 좌표계에 있는 초기 포지셔닝 정보를 직접 보정함으로써 실시간 포지셔닝을 실현하는 데에 유리하게 된다.

본 발명의 일부 가능한 실시형태에서, 한편으로, 사진기는 모든 도로 요소를 수집하지 못할 수 있는 바, 이러한 경우 감지 도로 이미지 내의 감지 도로 요소는 지도 도로 요소의 수량보다 적을 수 있고, 다른 한편으로, 비록 신경망이 도로 요소를 검출하는 정확률이 90% 이상에 도달할 수 있으나 차량의 자동 운전에 응용되는 포지셔닝 방법에 있어서 여전히 신경망 모델에 검출 누락과 검출 오류가 발생하는 경우 여전히 정확한 속성 정보를 출력해야 한다. 상기 두 가지 방면을 고려하여 본 발명은 감지 도로 요소와 페어링하는 지도 도로 요소를 결정하는 방법을 더 제기한다.

도 7은 감지 도로 요소와 페어링하는 지도 도로 요소를 결정하는 한 가지 방법을 도시하는 바, 도 7에 도시된 바와 같이, 당해 방법은 아래 단계를 포함할 수 있다.

단계701에서, 상기 지도에서 상기 초기 포지셔닝 정보에 기반하여 기설정 범위 내의 지도 도로 요소를 검색한다.

초기 포지셔닝 정보는 기기 자체가 위치하는 위치 정보인 바, 예를 들면 자동 운전 차량에 있어서는 차량이 위치하는 위치 정보이다. 당해 초기 포지셔닝 정보에 의해 차량이 지도 상의 위치를 결정할 수 있고, 이로써 지도에서 설정 범위 내의 지도 도로 요소, 즉 차량 부근의 지도 도로 요소를 검색할 수 있다.

감지 도로 이미지는 차량에 배치된 비전센서를 통해 얻은 것이므로 감지 도로 이미지의 감지 도로 요소는 차량이 포지셔닝을 수행할 때 차량 부근에 위치하는 도로 요소이다. 따라서, 지도에서 차량 부근의 지도 도로 요소를 검색함으로써 감지 도로 요소와 페어링하는 지도 도로 요소를 신속하게 검색할 수 있다.

당해 기설정 범위는 수요에 따라 구체적으로 설정할 수 있는 바, 예를 들면, 만약 더 높은 매칭 정밀도가 필요할 경우, 당해 범위를 상대적으로 크게 설정하여 많은 지도 도로 요소를 얻음으로써 후속적인 과정에서 감지 도로 요소와 페어링할 수 있고; 만약 더 높은 실시간성이 요구되어 매칭 속도가 더 빠르기를 바라는 경우, 당해 범위를 작게 설정할 수 있다. 예를 들면, 기설정 범위는 지도에서 초기 포지셔닝 정보를 중심점으로 하고, 상기 비전센서의 가시범위와 초기 포지셔닝 오차의 합의 2배 내지 5배의 범위로 함으로써 매칭 속도와 정확도를 균형시킬 수 있다.

예를 들어 설명하면, 비전센서의 가시범위가 60m이고 초기 포지셔닝 오차가 10m이면 기설정 범위를 (60+10)*2로 설정할 수 있다. 즉, 이러한 경우, 기설정 범위는 초기 포지셔닝을 중심으로 하는 140m*140m의 직사각형 프레임일 수 있다.

단계702에서, 상기 감지 도로 이미지 내의 하나 또는 복수의 감지 도로 요소와 상기 기설정 범위 내의 하나 또는 복수의 지도 도로 요소에 대하여, 속성 정보를 둘씩 페어링하는 것에 의해 여러 가지 페어링 방안을 획득한다.

열거하는 방식을 통해 감지 도로 이미지 내의 각 감지 도로 이미지와 기설정 범위 내의 각 지도 도로 요소를 둘씩 각각 페어링하여 여러 가지 상이한 방안을 획득할 수 있다.

상기 상이한 페어링 방안은 적어도 하나의 감지 도로 요소와 상기 기설정 범위 내의 지도 도로 요소의 페어링 방식이 상이할 수 있다.

예를 들면, 감지 도로 이미지 내의 감지 도로 요소는 a₁, a₂, …, a_M을 포함하고 상기 기설정 범위 내의 지도 도로 요소는 b₁, b₂, …, b_N을 포함하되, 여기서 M, N은 모두 자연수이다.

감지 도로 요소(a₁, a₂, …, a_M)와 지도 도로 요소(b₁, b₂, …, b_N)를 둘씩 페어링하여 얻은 각 페어링 방안은 2-튜플의 집합이고, 각 2-튜플(a_i, b_j)은 바로 도로 요소의 한 가지 페어링 방식이다. 2-튜플(a_i, b_j)에서, i≤M이고, i는 [1, M] 범위 내의 임의의 정수일 수 있으며; j≤N이고, j는 [1, N] 범위 내의 임의의 정수일 수 있다. 또한, 페어링 방안에서, 감지 도로 요소(a₁, a₂, …, a_M)는 모두 페어링되어야 하고, 지도 도로 요소(b₁, b₂, …, b_N)에는 페어링 타깃을 찾지 못한 요소가 포함될 수 있다.

상이한 페어링 방안 중, 적어도 한 그룹의 2-튜플(a_i, b_j)는 상이하다.

일 예시에서, 이분 그래프 모델(Bipartite graph model)을 통해 감지 도로 요소와 지도 도로 요소가 둘씩 페어링할 수 있다.

우선, 감지 도로 요소와 지도 도로 요소에 기반하여 이분 그래프 모델을 구축: 감지 도로 이미지 내의 각 감지 도로 요소를 일 점으로 추상화하고, 모든 감지 도로 요소가 일 감지 포인트 세트를 형성하며; 지도 내의 각 지도 도로 요소도 일 점으로 추상화하고, 모든 지도 도로 요소가 일 지도 포인트 세트를 형성한다.

감지 도로 이미지에 여러 가지 시맨틱이 동일한 도로 요소, 예를 들면 여러 갈래의 차선이 존재할 수 있는 바, 차량의 시각에 따라 왼쪽으로부터 오른쪽으로의 순서로 시맨틱이 동일한 감지 도로 요소를 정렬할 수 있으며, 지도에서 시맨틱이 동일한 지도 도로 요소에도 유사한 방법을 사용하여 정렬할 수 있다. 이렇게 되면, 형성된 감지 포인트 세트와 지도 포인트 내의 점은 도로 요소의 배열 순서에 따라 순차적으로 배열된다.

감지 포인트 세트와 지도 포인트 세트 사이를 변으로 연결하되, 각 변마다 하나의 감지 도로 요소와 하나의 지도 도로 요소 사이의 페어링 관계를 나타낸다. 상이한 연결방식은 상이한 페어링 방안을 발생하게 되고, 획득된 각 페어링 방안은 일 에지 세트를 포함한다.

일 예시에서, 상기 이분 그래프 모델에 기반하여 이분 그래프 매칭 방법을 이용하여 모든 페어링 방안 중 합리적인 페어링 방안을 신속하게 획득할 수도 있다.

이 방법은, 모든 에지 세트에서 가능한 많은 에지가 교차되지 않는(엇갈리지 않는) 에지 세트를 선택한다. 여기서 언급하는 교차되지 않음은 두 갈래의 에지가 공용점이 없는 경우의 교차되지 않음을 말하고, 그 중의 한 갈래의 에지의 두 개의 정점이 포인트 세트에서의 번호가 모두 다른 한 갈래의 에지의 두 개의 정점이 포인트 세트에서의 번호보다 크므로 물리적 의미에서의 교차되지 않음으로 이해할 수도 있다.

교차되지 않는 에지를 가지는 수량이 설정 비율 또는 설정 임계값보다 큰 에지 세트를 합리적인 에지 세트로 부를 수 있으며, 즉 합리적인 페어링 방안도 획득하게 되는 바, 도 8에 도시된 바와 같다.

합리적인 페어링 방안을 선별하고 신뢰도 계산을 수행하여 후속적인 과정 중의 계산량을 감소한다.

단계703에서, 각 상기 페어링 방안의 신뢰도를 결정한다.

신뢰도는 일 페어링 방안 중, 감지 도로 요소와 지도 도로 요소 사이에서 페어링하는 경우의 평가지표이다. 일 페어링 방안 중, 각 감지 도로 요소와 지도 도로 요소의 페어링에 있어서, 양자의 시맨틱 정보의 일치성이 높을수록 매칭되는 페어링 수량도 더 많고 페어링 방안의 신뢰도도 더 높다.

일 예시에서 아래 방식을 통해 각 페어링 방안의 신뢰도를 결정할 수 있다.

우선, 각 페어링 방안 중, 각 감지 도로 요소와 지도 도로 요소가 페어링하는 개체 유사도를 각각 결정한다.

개체 유사도란 페어링 방안 중의 각 2-튜플의 두 개의 요소의 속성 정보의 유사정도를 가리킬 수 있다. 예를 들면, 시맨틱 정보의 유사도, 위치 정보의 유사도, 형상 정보의 유사도 등을 포함할 수 있다.

차선을 예로 들면, 공식(1)을 통해 감지 차선과 지도 차선 사이의 개체 유사도를 계산할 수 있는 바, 여기서, 감지 차선은 감지 도로 이미지 내의 차선을 가리킬 수 있고, 지도 차선은 지도 내의 차선을 가리킬 수 있다.

여기서, Weight(i,j)는 i번째(왼쪽으로부터 오른쪽으로, 이하 동일) 감지 차선과 j번째 지도 차선 사이 에지의 개체 유사도를 나타내는 바, 이를 가중치라고도 할 수도 있으며; Distance(i,j)는 i번째 감지 차선과 j번째 지도 차선 사이의 거리를 나타내는 바, 여기서는 차선을 선분으로 추상화하고, 거리의 계산 방식은 선분으로부터 선분으로의 유클리드 거리, 즉 한 갈래의 선분에서의 두 개의 단점으로부터 다른 한 갈래의 선분까지의 거리의 중위수, 즉 평균값일 수 있으며; LaneWidth는 차도 너비, 즉 두 갈래의 차선 사이의 너비를 나타내고; Otype(i, j)는 차선 속성 계수를 나타내는 바, 오직 i번째 감지 차선과 j번째 지도 차선의 차선 속성이 동일할 경우에만, 당해 계수가 1이고, 그렇지 않을 경우는 0이며, 여기서 차선 속성은 노란색 실선, 흰색 점선 등과 같은 차선 색상, 선형 등을 포함할 수 있고; O _edgetype (i, j)는 에지 차선 속성 계수를 나타내는 바, 오직 i번째 감지 차선과 j번째 지도 차선의 에지 차선 속성이 동일할 경우에만, 당해 계수가 1이고, 그렇지 않을 경우 0이며, 여기서 에지 차선 속성은 당해 차선이 도로의 에지에 속하는지 여부를 나타낸다.

공식(1)에서, Distance(i, j)는 감지 차선과 지도 차선 사이의 위치 정보 유사도를 계산하기 위한 것이고, LaneWidth는 이들 사이의 형상 정보 유사도를 계산하기 위한 것이며, O _type (i, j)와 O _edgetype (i, j)는 이들 사이의 시맨틱 정보 유사도를 계산하기 위한 것이다.

본 기술분야에서의 통상의 지식을 가진 자들은 기타 도로 요소 사이의 개체 유사도에 대하여 기타 합리적인 공식을 설정하여 계산할 수 있다는 것을 이해해야 한다.

개체 유사도를 결정한 후, 이어서, 각 상기 페어링 방안 중의 각 감지 도로 요소와 지도 도로 요소가 페어링하는 전체 유사도를 결정한다.

전체 유사도는, 일 페어링 방안 중의 모든 2-튜플의 속성 정보의 유사 정도에 대한 전체적인 평가일 수 있다. 여기서 속성 정보는 위치 정보와 시맨틱 정보를 포함할 수 있다.

각 2-튜플에서의 두 개의 요소의 거리를 먼저 계산한 다음 모든 2-튜플에서의 각 거리의 분산(variance)을 통계하여 위치 정보의 전체 유사도를 나타낼 수 있다. 분산이 작을수록 모든 2-튜플에서의 두 개의 요소의 거리가 더 가깝고 위치 정보의 전체 유사도가 더 높다는 것을 나타낸다.

시맨틱 정보의 전체 유사도에 대하여, 모든 2-튜플에서의 두 개의 요소의 시맨틱 정보 유사도를 이용하여 평균화하거나 또는 가중 평균 계산으로 얻을 수 있다.

최종적으로, 각 상기 페어링 방안의 각 개체 유사도와 전체 유사도에 근거하여 각 상기 페어링 방안의 신뢰도를 결정한다.

예를 들면, 각 페어링 방안 중, 각 2-튜플의 개체 유사도의 합을 이용하여 다시 전체 유사도를 평균화하거나 또는 가중치를 평균화하여 당해 페어링 방안의 신뢰도를 얻을 수 있다.

본 실시예에서, 페어링 방안 중 각 2-튜플의 개체 유사도와 전체 유사도에 기반하여 당해 페어링 방안의 신뢰도를 종합적으로 평가함으로써 개체 페어링의 극단 효과(극히 좋거나 극히 나쁨)가 전체 페어링 방안의 신뢰도에 대한 영향을 피하여 신뢰도의 계산 결과가 더 신뢰적이도록 한다.

아래의 공식(2)는 페어링 방안의 신뢰도 점수를 계산하기 위한 함수 예시인 바, 이는 개체 유사도의 합, 거리 정보의 전체 유사도 및 시맨틱 정보의 전체 유사도와 같은 3개의 부분을 통해 점수를 계산한다.

match_weight_sum = sum(match_items_[pr_idx][hdm_idx].weight) + CalculateVarianceOfMatchResult(match_result) + CalculateMMConfidence(match_result) (2)

여기서, match_weight_sum은 페어링 방안의 신뢰도 점수를 나타낸다. sum(match_items_[pr_idx][hdm_idx].weight)는 당해 페어링 방안 중의 각 2-튜플의 개체 유사도의 합을 나타내는 바, 이는 당해 페어링 방안 중 선택된 에지의 가중치의 합, 즉 각 포인트 세트에 대응하는 에지 가중치의 합을 구하며, 다시 말하면, match_items_[pr_idx][hdm_idx].weight는 공식 (1)에서 구한 Weight(i,j)이고, 여기서pr_idx는 i에 대입되고, hdm_idx는 j에 대입된다. CalculateVarianceOfMatchResult(match_result)는 당해 페어링 방안 중 각 2-튜플 거리 정보의 전체 유사도를 나타내는 바, 이는 페어링 방안 중의 각 2-튜플에서의 두 개의 요소 사이 거리의 분산을 통해 계산된다. 차선을 예로 들면, 페어링된 각 차선 사이는 일 거리를 계산할 수 있는 바, 당해 분산은 모든 이러한 거리의 분산이다. 이론적으로, 페어링된 모든 감지 차선과 지도 차선 사이의 거리는 응당 같아야 함, 즉 분산은 0이지만 실제로는 오차가 불가피하게 인입되므로 당해 분산은 0이 아닐 수도 있다. CalculateMMConfidence(match_result)는 당해 페어링 방안 중 각 2-튜플 시맨틱 정보의 전체 유사도를 나타내는 바, 이는 각 2-튜플에서의 두 개의 요소 사이의 시맨틱 유사도를 비교하는 것을 통해 계산된다. 여전히 차선을 예로 들면, 페어링된 모든 차선의 속성의 일치 여부, 수량의 일치 여부를 판정할 수 있다. 예를 들면, 속성이 전부 일치한 전체 유사도는 100%이고, 한 쌍의 차선의 속성이 일치하지 않을 때마다 전체 유사도는 저하되는 바, 예를 들어 전체 유사도가 10% 저하되고 수량이 매칭되지 않은 전체 유사도가 30% 저하되게 설치할 수 있다.

이상 세 부분의 결과를 계산하고 결과를 더하여 페어링 방안의 신뢰도 점수를 얻을 수 있다.

단계704에서, 상기 여러 가지 페어링 방안 중 신뢰도가 제일 높거나 또는 설정 임계값을 초과하는 페어링 방안에서, 상기 감지 도로 요소와 페어링하는 지도 도로 요소를 결정한다.

본 단계에서, 그 중에서 신뢰도가 제일 높은 방안을 최종적으로 선택한 페어링 방안으로 사용할 수도 있고 그 중에서 설정 임계값을 초과한 페어링 방안을 최종적으로 선택한 페어링 방안으로 사용할 수도 있으며, 이로써 감지 도로 요소와 페어링하는 지도 도로 요소를 결정할 수 있다.

본 구현예에서, 초기 포지셔닝 정보를 이용하여 지도에서 기기 부근의 지도 도로 요소를 획득하여 감지 도로 요소와 페어링하는 데에 사용됨으로써, 글로벌 지도에서 감지 도로 요소와 페어링하는 지도 도로 요소를 찾는 것에 비하여 연산량을 감소시키고 매칭 속도를 향상시키며 실시간 포지셔닝을 실현하는 데에 유리하도록 한다.

일 예시에서, 상기 감지 도로 이미지 내의 감지 도로 요소와 상기 기설정 범위 내의 지도 도로 요소를 페어링할 경우, 감지 도로 이미지 내의 어느 한 감지 도로 요소가 상기 기설정 범위 내의 지도 도로 요소에서 페어링된 도로 요소를 결정할 수 없는 것에 응답하여, 페어링 대기 지도 도로 요소에서 널 또는 가상 요소를 설정하여 당해 감지 도로 요소와 페어링할 수 있다.

이상적인 경우, 감지 도로 이미지 내의 감지 도로 요소는 지도 내의 지도 도로 요소와 하나하나씩 대응되지만 감지 도로 요소가 잘못 인식된 결과인 경우 또는 감지 도로 요소가 지도 구축된 후에 나타날 경우, 당해 감지 도로 요소와 대응하는 지도 도로 요소를 찾을 수 없게 된다. 널(null) 또는 가상 요소를 설정하는 것을 통해 모든 감지 도로 요소가 페어링 방안을 결정하는 과정에서 모두 페어링된 오브젝트를 구비하여 페어링 방안이 더 풍부하도록 하고 최적화한 페어링 방안을 종합적으로 평가하는 데에 유리하도록 한다.

도 9는 페어링된 감지 도로 요소와 지도 도로 요소 사이의 포지셔닝 오프셋 양을 결정하는 한 가지 방법을 도시하는 바, 도 9에 도시된 바와 같이, 당해 방법은 아래 단계901 내지 단계904를 포함한다.

단계901에서, 상기 감지 도로 요소의 픽셀점을 샘플링하여 감지 샘플링 포인트 세트를 획득한다.

본 단계에서, 고정된 간격(예를 들면 0.1미터)으로 감지 도로 요소의 픽셀점을 샘플링하여 감지 샘플링 포인트 세트를 획득할 수 있다.

도로의 차선을 예로 들면, 차선을 샘플링하는 것을 통해 감지 차선을 하나의 포인트 세트로 추상화할 수 있다. 여러 갈래의 차선이 병행하는 경우, 차량의 시각에 따라 왼쪽으로부터 오른쪽의 순서로 차선을 배열하는 바, 대응하는 포인트 세트는 차선의 순서에 따라 위로부터 아래로 배열된다.

단계902에서, 상기 지도 도로 요소의 픽셀점을 샘플링하여 지도 샘플링 포인트 세트를 획득한다.

본 단계에서, 단계901과 유사한 방식을 응용하여 지도 도로 요소를 샘플링함으로써 지도 샘플링 포인트 세트를 획득할 수 있다.

단계903에서, 상기 감지 샘플링 포인트 세트와 상기 지도 샘플링 포인트 세트 각각에 포함되는 샘플링 포인트 사이의 회전 평이 매트릭스를 결정한다.

페어링된 감지 샘플링 포인트 세트와 지도 샘플링 포인트 세트에 대하여, 최근접점 반복법을 응용하여 두 개의 포인트 세트 사이의 회전 평이 매트릭스를 계산할 수 있다. 도 10은 최근접점 반복법의 모식도를 도시하는 바, 화살표 좌측은 당해 알고리즘 모델에 입력되는 두 개의 관련되는 포인트 세트(페어링된 포인트 세트)를 나타내고, 당해 알고리즘 모델, 예를 들면 최소 제곱 알고리즘 모델을 응용하여 회전 평이 매트릭스를 얻을 수 있다. 입력된 포인트 세트에 당해 회전 평이 매트릭스를 응용함으로써 두 개의 포인트 세트의 중합을 실현할 수 있고, 도 10에 도시된 바와 같이, 화살표 우측은 중합된 두 개의 포인트 세트를 나타낸다.

단계904에서, 상기 회전 평이 매트릭스에 기반하여 상기 감지 도로 요소와 상기 지도 도로 요소의 좌표 오프셋 양과 방향 오프셋 양을 얻는다.

단계903에서 획득된 회전 평균 매트릭스는 결정해야 하는 포지셔닝 오프셋 양이고, 당해 회전 평이 매트릭스에서의 평이 계수는 좌표 오프셋 양에 대응되며, 회전 계수는 방향 오프셋 양에 대응된다.

초기 포지셔닝 정보는 (x₀, y₀, θ₀)으로 나타낼 수 있고, 포지셔닝 오프셋 양은 (d_x, d_y, d_θ)로 나타낼 수 있으며, 대응되게, 초기 포지셔닝 정보를 보정하여 얻은 포지셔닝 정보는 (x=x₀+d_x, y=y₀+d_y, θ=θ₀+d_θ)로 나타낼 수 있다.

일 예시에서, 상기 오프셋 정보에 근거하여 초기 포지셔닝 정보를 보정하고 기기의 포지셔닝 정보를 획득한 후, 획득된 포지셔닝 정보와 초기 포지셔닝 정보를 다시 융합할 수도 있다. 예를 들면, 칼만 필터, 평균값 계산, 가중 평균 계산 등 방법을 통해 이미 획득된 포지셔닝 정보와 초기 포지셔닝 정보를 융합함으로써 지도 정보의 포지셔닝 정보에 대한 과도한 보정을 방지하여 포지셔닝 결과가 더 신뢰적이도록 할 수 있다.

도 11a는 기기 포지셔닝을 위한 장치의 구조 모식도를 도시하는 바, 도 11a에 도시된 바와 같이, 당해 장치는 아래 유닛을 포함할 수 있다.

획득 유닛(1101)은 기기가 위치하는 도로의 감지 도로 이미지 및 상기 기기의 초기 포지셔닝 정보를 획득한다.

인식 유닛(1102)은 상기 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 인식한다.

결정 유닛(1103)은 상기 감지 도로 요소의 속성 정보에 근거하고 미리 구축된 지도에 기반하여 상기 감지 도로 요소와 상기 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정한다.

보정 유닛(1104)은 상기 오프셋 정보에 따라 상기 초기 포지셔닝 정보를 보정하여 상기 기기의 포지셔닝 정보를 획득한다.

일 실시예에서, 도 11b에 도시된 바와 같이, 당해 장치는 수집 차량에 의해 도로의 지도 도로 이미지를 수집하고; 상기 지도 도로 이미지 내의 지도 도로 요소의 속성 정보를 인식하며; 상기 지도 도로 요소의 속성 정보에 기반하여 상기 지도를 구축하는 지도 구축 유닛(1105)을 더 포함한다.

일 실시예에서, 도 11c에 도시된 바와 같이, 당해 장치는, 고정밀 지도 내의 지도 도로 요소의 시맨틱 정보와 위치 정보를 획득하고; 상기 지도 도로 요소의 시맨틱 정보와 위치 정보에 기반하여 상기 지도를 구축하는 지도 구축 유닛(1106)을 더 포함한다.

일 실시예에서, 상기 미리 구축된 지도는 시맨틱 지도이다.

일 실시예에서, 결정 유닛(1103)은 구체적으로, 상기 감지 도로 요소와 상기 지도 도로 요소를 동일한 기기 좌표계로 변환시키고; 상기 감지 도로 요소의 속성 정보에 근거하여 상기 지도에서 상기 감지 도로 요소와 페어링하는 지도 도로 요소를 결정하며; 페어링된 감지 도로 요소와 지도 도로 요소의 동일한 기기 좌표계에서의 포지셔닝 정보를 결정하고; 상기 포지셔닝 정보에 기반하여 페어링된 감지 도로 요소와 지도 도로 요소 사이의 포지셔닝 오프셋 양을 결정하며; 상기 포지셔닝 오프셋 양을 상기 오프셋 정보로 한다.

일 실시예에서, 결정 유닛(1103)은 상기 감지 도로 요소의 속성 정보에 근거하여 상기 지도에서 상기 감지 도로 요소와 페어링하는 지도 도로 요소를 결정할 경우, 구체적으로, 상기 지도에서 상기 초기 포지셔닝 정보에 기반하여 기설정 범위 내의 지도 도로 요소를 검색하고; 상기 감지 도로 이미지 내의 하나 또는 복수의 감지 도로 요소와 상기 기설정 범위 내의 하나 또는 복수의 지도 도로 요소에 대하여, 속성 정보를 둘씩 페어링하는 것에 의해 여러 가지 페어링 방안을 획득하되, 상이한 페어링 방안 중 적어도 하나의 감지 도로 요소와 상기 기설정 범위 내의 지도 도로 요소의 페어링 방식은 상이하며; 각 상기 페어링 방안의 신뢰도를 결정하고; 상기 여러 가지 페어링 방안 중 신뢰도가 제일 높거나 또는 설정 임계값을 초과하는 페어링 방안 중에서, 상기 감지 도로 요소와 페어링하는 지도 도로 요소를 결정하는 데에 사용된다.

일 실시예에서, 결정 유닛(1103)은 또한, 상기 감지 도로 이미지 내의 감지 도로 요소와 상기 기설정 범위 내의 지도 도로 요소를 페어링할 경우, 상기 감지 도로 이미지 내의 어느 한 감지 도로 요소가 상기 기설정 범위 내의 지도 도로 요소에서 페어링된 도로 요소를 결정할 수 없는 경우에 응답하여, 페어링 대기 지도 도로 요소에 널 또는 가상 요소를 설정하여 당해 감지 도로 요소와 페어링하도록 하는 데에 사용된다.

일 실시예에서, 결정 유닛(1103)은 각 상기 페어링 방안의 신뢰도를 결정할 경우, 구체적으로, 각 상기 페어링 방안 중의 각 감지 도로 요소와 지도 도로 요소의 페어링된 개체 유사도를 각각 결정하고; 각 상기 페어링 방안 중의 각 감지 도로 요소와 지도 도로 요소가 페어링하는 전체 유사도를 결정하며; 각 상기 페어링 방안의 각 개체 유사도와 전체 유사도에 근거하여 각 상기 페어링 방안의 신뢰도를 결정하는 데에 사용된다.

일 실시예에서, 포지셔닝 오프셋 양은 좌표 오프셋 양 및/또는 방향 오프셋 양을 포함하고; 결정 유닛(1103)은 상기 포지셔닝 정보에 기반하여 페어링된 감지 도로 요소와 지도 도로 요소 사이의 포지셔닝 오프셋 양을 결정할 때, 구체적으로, 상기 감지 도로 요소의 픽셀점을 샘플링하여 감지 샘플링 포인트 세트를 획득하고; 상기 지도 도로 요소의 픽셀점을 샘플링하여 지도 샘플링 포인트 세트를 획득하며; 상기 감지 샘플링 포인트 세트와 상기 지도 샘플링 포인트 세트 각각에 포함되는 샘플링 포인트 사이의 회전 평이 매트릭스를 결정하고; 상기 회전 평이 매트릭스에 기반하여 상기 감지 도로 요소와 상기 지도 도로 요소의 좌표 오프셋 양과 방향 오프셋 양을 획득하는 데에 사용된다.

일 실시예에서, 획득 유닛(1101)은 구체적으로, 상기 기기에 설치된 비전센서에 의해 상기 기기가 위치한 노면의 상기 감지 도로 이미지를 수집하고; 상기 기기에 설치된 위성 포지셔닝 시스템 또는 위성 포지셔닝 시스템과 관성 측량 유닛(IMU)에 의해 상기 기기의 초기 포지셔닝 정보를 결정한다.

일 실시예에서, 보정 유닛(1104)은, 획득된 상기 포지셔닝 정보와 상기 초기 포지셔닝 정보를 다시 융합하여 보정한 후의 상기 포지셔닝 정보를 획득하는 데에 더 사용된다.

도 12는 본 발명의 적어도 일 실시예에서 제공되는 기기(1200)의 모식도인 바, 도 12에 도시된 바와 같이, 당해 기기(1200)는 메모리(1201), 프로세서(1202)를 포함할 수 있다. 기타 가능한 예에서, 상기 기기는 센서가 전송한 데이터를 수신하기 위한 인터페이스(1204) 및 내부 버스(1203)를 더 포함할 수 있다. 메모리(1201), 프로세서(1202) 및 인터페이스(1204)는 내부 버스(1203)를 통해 서로 통신할 수 있다. 상기 메모리(1201)는 프로세서에서 운행될 수 있는 컴퓨터 명령을 저장하고, 상기 프로세서(1202)는 상기 컴퓨터 명령을 실행할 때 본 명세서의 임의의 일 실시예에 따른 방법에 기반하여 포지셔닝을 수행한다.

본 명세서의 적어도 하나의 실시예는 휘발성 또는 비휘발성 컴퓨터 판독 가능 저장매체를 더 제공하는 바, 여기에는 컴퓨터 프로그램이 저장되고, 상기 프로그램이 프로세서에 의해 실행될 경우, 본 명세서의 임의의 한 포지셔닝 방법을 실현한다.

본 명세서의 적어도 하나의 실시예는 컴퓨터 프로그램을 더 제공하는 바, 여기에는 컴퓨터 판독 가능 코드가 포함되고, 이 컴퓨터 판독 가능 코드가 프로세서에 의해 실행될 경우, 본 명세서의 임의의 한 포지셔닝 방법을 실현한다.

본 기술분야에서의 통상의 지식을 가진 자들은, 본 명세서의 하나 또는 복수의 실시예가 방법, 시스템 또는 컴퓨터 프로그램 제품으로 제공될 수 있다는 것을 이해해야 한다. 따라서, 본 명세서의 하나 또는 복수의 실시예는 완전한 하드웨어 실시예, 완전한 소프트웨어 실시예 또는 소프트웨어와 하드웨어를 조합한 실시예의 형태를 사용할 수 있다. 또한, 본 출원의 하나 이상의 예는 컴퓨터 사용가능 프로그램 코드들을 포함하는 하나 이상의 컴퓨터 사용가능 저장 매체(디스크 스토리지, CD-ROM, 광학 스토리지 등을 포함할 수 있지만 이에 한정되지 않음)를 갖는 컴퓨터 프로그램 제품의 형태일 수 있다.

본 출원에서, "및/또는"은 둘 중 적어도 하나를 갖는 것을 의미한다. 예를 들어, "A 및/또는 B"는 3개의 방식: A, B, 및 "A와 B"를 포함할 수 있다.

본 출원의 다양한 예들은 점진적인 방식으로 설명되고, 다양한 예들 사이의 동일하거나 유사한 부분들은 서로 참조될 수 있고, 각각의 예는 다른 예들과의 차이점들에 초점을 맞춘다. 특히, 데이터 처리 디바이스 예에 대해서는, 기본적으로 본 방법 예와 유사하기 때문에, 설명은 비교적 간단하고, 관련 부분에 대해서는, 본 방법 예의 설명의 일부를 참조할 수 있다.

전술한 것은 본 출원의 특정 예들을 설명한다. 다른 예들은 첨부된 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 설명된 액션들 또는 단계들은 예들에서와 상이한 순서로 수행될 수 있고, 여전히 원하는 결과들을 달성할 수 있다. 또한, 도면들에 도시된 프로세스들은 원하는 결과를 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 요구하지 않는다. 일부 예들에서, 멀티태스킹 및 병렬 처리가 또한 가능하거나 유리할 수 있다.

본 출원에서 설명된 주제 및 기능적 동작들의 예들은 디지털 전자 회로들, 타입의 컴퓨터 소프트웨어 또는 펌웨어, 본 출원에 개시된 구조들 및 그들의 구조적 등가물들을 포함할 수 있는 컴퓨터 하드웨어, 또는 이들 중 하나 이상에서 구현될 수 있다. 본 출원에서 설명된 주제의 예들은 하나 이상의 컴퓨터 프로그램, 즉, 데이터 처리 디바이스에 의해 실행되거나 데이터 처리 디바이스의 동작을 제어하기 위해 타입의 비일시적 프로그램 캐리어에서 인코딩되는 컴퓨터 프로그램 명령어들 내의 하나 이상의 유닛으로서 구현될 수 있다. 대안적으로 또는 그에 부가하여, 프로그램 명령어들은 정보를 인코딩하고 이를 데이터 처리 장치에 의해 수행되도록 적당한 수신기 디바이스로 송신하기 위해 생성되는, 기계-발생 전기, 광, 또는 전자기 신호와 같은, 인위적으로 발생된 전파 신호로 인코딩될 수 있다. 컴퓨터 저장 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 이들 중 하나 이상의 조합일 수 있다.

본 출원에서 설명되는 처리 및 로직 흐름들은 입력 데이터에 따라 동작하고 출력을 생성함으로써 대응하는 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능 컴퓨터에 의해 실행될 수 있다. 처리 및 로직 흐름은 또한 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 전용 로직 회로에 의해 실행될 수 있고, 디바이스는 또한 전용 로직 회로로서 구현될 수 있다.

컴퓨터 프로그램을 실행하기에 적합한 컴퓨터는, 예를 들어, 범용 및/또는 특수 타깃 마이크로프로세서, 또는 임의의 다른 타입의 중앙 처리 유닛을 포함할 수 있다. 일반적으로, 중앙 처리 유닛은 판독 전용 메모리 및/또는 랜덤 액세스 메모리로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 기본 컴포넌트들은 명령어들을 구현하거나 실행하기 위한 중앙 처리 유닛 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스를 포함할 수 있다. 일반적으로, 컴퓨터는 또한 자기 디스크, 광자기 디스크, 또는 광 디스크 등과 같은, 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스를 포함할 것이고, 또는 컴퓨터는 데이터를 수신하거나 데이터를 그것에 전송하거나, 또는 둘 다를 위해 이 대용량 저장 디바이스와 동작적으로 조합될 것이다. 그러나, 컴퓨터는 이러한 장비를 가질 필요는 없다. 또한, 컴퓨터는 몇 개의 예를 들자면, 휴대 전화, PDA(personal digital assistant), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS(global positioning system) 수신기, 또는 USB(universal serial bus) 플래시 드라이브와 같은 다른 디바이스에 내장될 수 있다.

컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 모든 형태의 비일시적 메모리, 매체 및 메모리 디바이스들, 예컨대 반도체 메모리 디바이스들(예를 들어, EPROM들, EEPROM들 및 플래시 메모리 디바이스들), 자기 디스크들(예를 들어, 내부 하드 디스크들 또는 이동식 디스크들), 광자기 디스크들, CD ROM들 및 DVD-ROM 디스크들을 포함할 수 있다. 프로세서 및 메모리는 전용 로직 회로에 의해 보충되거나 전용 로직 회로에 통합될 수 있다.

비록 본 명세서에는 수많은 구체적인 실시 세부 절차가 포함되나 이러한 것은 그 어떤 발명의 범위 또는 청구범위를 한정하는 것으로 해석되는 것이 아니라 주요하게 특정 발명의 구체적인 실시예의 특징을 설명하는 것으로 해석되어야 한다. 본 명세서 내의 복수의 실시예에서 설명된 일부 특징도 단일 실시예에서 조합되어 실시될 수 있다. 한편, 단일 실시예에서 설명된 다양한 특징도 복수의 실시예에서 분리되어 실시되거나 또는 임의의 적합한 하위 조합으로 실시될 수 있다. 이 밖에, 비록 특징은 상술한 바와 같이 일부 조합에서 작용하고 심지어 처음에 그렇게 청구된 것일 수도 있으나 청구하고자 하는 조합에서 유래된 하나 또는 복수의 특징은 일부 경우에 이 조합에서 제거될 수 있고, 청구하고자 하는 조합은 하위 조합 또는 하위 조합의 변형을 가리킬 수 있다.

유사하게, 비록 도면에서 특정된 순서로 동작을 설명하였으나 이는 이러한 동작이 도시된 특정 순서로 수행되거나 순차로 수행되거나, 또는 예시된 모든 동작이 수행되어 원하는 결과를 실현해야 한다는 것으로 이해되어서는 아니된다. 일부 경우, 멀티태스킹과 병렬 처리는 유리할 수 있다. 이 밖에, 상기 실시예에서의 여러 가지 시스템 모듈과 어셈블리의 분리는 모든 실시예에서 모두 이렇게 분리되어야 한다는 것으로 이해되어서는 아니되고, 설명된 프로그램 어셈블리와 시스템이 통상적으로 단일 소프트웨어 제품에 함께 집적되거나 복수의 소프트웨어 제품으로 패키징되는 것으로 이해되어야 한다.

이로써, 주제로서의 특정 실시예는 이미 설명되었다. 기타 실시예는 첨부된 청구범위의 범위 내에 있다. 일부 경우, 청구범위에 기재된 동작은 상이한 순서로 실행되고 여전히 원하는 결과를 실현할 수 있다. 이 밖에, 도면에서 설명되는 처리는 특정된 순서 또는 순차적인 순서로 수행되어 원하는 결과를 실현해야 하는 것이 아니다. 일부 실현에서, 멀티태스킹과 병렬 처리는 유리한 것일 수 있다.

이상에서 설명한 내용은 단지 본 명세서의 하나 또는 복수의 실시예의 바람직한 일 실시예일 뿐 본 명세서의 하나 또는 복수의 실시예를 한정하기 위한 것이 아니며, 본 명세서의 하나 또는 복수의 실시예의 사상과 원리 내에서 수행한 그 어떤 수정, 동등한 대체, 개선 등은 모두 본 명세서의 하나 또는 복수의 실시예의 본 개시내용의 보호범위에 포함되어야 한다.

Claims

기기 포지셔닝을 위한 방법에 있어서,
기기가 위치하는 도로의 감지 도로 이미지 및 상기 기기의 초기 포지셔닝 정보를 획득하는 단계;
상기 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 인식하는 단계;
상기 감지 도로 요소의 속성 정보에 근거하고 미리 구축된 지도에 기반하여 상기 감지 도로 요소와 상기 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정하는 단계; 및
상기 오프셋 정보에 따라 상기 초기 포지셔닝 정보를 보정하여 상기 기기의 포지셔닝 정보를 획득하는 단계를 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제1항에 있어서,
상기 지도의 구축은,
수집 차량에 의해 도로의 지도 도로 이미지를 수집하는 단계;
상기 지도 도로 이미지 내의 지도 도로 요소의 속성 정보를 인식하는 단계; 및
상기 지도 도로 요소의 속성 정보에 기반하여 상기 지도를 구축하는 단계를 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제1항에 있어서,
상기 지도의 구축은,
고정밀 지도 내의 지도 도로 요소의 시맨틱 정보와 위치 정보를 획득하는 단계; 및
상기 지도 도로 요소의 시맨틱 정보와 위치 정보에 기반하여 상기 지도를 구축하는 단계를 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 미리 구축된 지도는 시맨틱 지도인
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 오프셋 정보는 포지셔닝 오프셋 양을 포함하고;
상기 감지 도로 요소의 속성 정보에 근거하고 상기 미리 구축된 지도에 기반하여 상기 감지 도로 요소와 상기 지도 내의 상기 지도 도로 요소 사이의 상기 오프셋 정보를 결정하는 단계는,
상기 감지 도로 요소의 속성 정보에 근거하여 상기 지도에서 상기 감지 도로 요소와 페어링하는 지도 도로 요소를 결정하는 단계;
페어링된 감지 도로 요소와 지도 도로 요소의 동일한 기기 좌표계에서의 포지셔닝 정보를 결정하는 단계; 및
상기 위치 정보에 기반하여 상기 페어링된 감지 도로 요소와 지도 도로 요소 사이의 상기 포지셔닝 오프셋 양을 결정하는 단계를 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제5항에 있어서,
상기 감지 도로 요소의 속성 정보에 근거하여 상기 지도에서 상기 감지 도로 요소와 페어링하는 상기 지도 도로 요소를 결정하는 단계는,
상기 지도에서 상기 초기 포지셔닝 정보에 기반하여 기설정 범위 내의 지도 도로 요소를 검색하는 단계;
상기 감지 도로 이미지 내의 하나 또는 복수의 감지 도로 요소와 상기 기설정 범위 내의 하나 또는 복수의 지도 도로 요소에 대하여, 속성 정보를 둘씩 페어링하는 것에 의해 여러 가지 페어링 방안을 획득하되, 상이한 페어링 방안 중 적어도 하나의 감지 도로 요소와 상기 기설정 범위 내의 지도 도로 요소의 페어링 방식은 상이한 단계;
각 상기 페어링 방안의 신뢰도를 결정하는 단계; 및
상기 여러 가지 페어링 방안 중 신뢰도가 제일 높거나 또는 설정 임계값을 초과하는 페어링 방안 중에서, 상기 감지 도로 요소와 페어링하는 상기 지도 도로 요소를 결정하는 단계를 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제5항 또는 제6항에 있어서,
상기 감지 도로 이미지 내의 감지 도로 요소와 상기 기설정 범위 내의 지도 도로 요소를 페어링하는 단계는,
상기 감지 도로 이미지 내의 어느 한 감지 도로 요소가 상기 기설정 범위 내의 지도 도로 요소에서 페어링된 도로 요소를 결정할 수 없는 경우에 응답하여, 페어링 대기 지도 도로 요소에 널(null) 또는 가상 요소를 설정하여 당해 감지 도로 요소와 페어링하도록 하는 단계를 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제6항 또는 제7항에 있어서,
각 상기 페어링 방안의 상기 신뢰도를 결정하는 단계는,
각 상기 페어링 방안 중의 각 감지 도로 요소와 지도 도로 요소의 페어링된 개체 유사도를 각각 결정하는 단계;
각 상기 페어링 방안 중의 각 감지 도로 요소와 지도 도로 요소가 페어링하는 전체 유사도를 결정하는 단계;
각 상기 페어링 방안의 각 개체 유사도와 전체 유사도에 근거하여 각 상기 페어링 방안의 상기 신뢰도를 결정하는 단계를 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제5항 내지 제8항 중 어느 한 항에 있어서,
상기 포지셔닝 오프셋 양은 좌표 오프셋 양 및/또는 방향 오프셋 양을 포함하고;
상기 포지셔닝 정보에 기반하여 상기 페어링된 감지 도로 요소와 지도 도로 요소 사이의 상기 포지셔닝 오프셋 양을 결정하는 단계는,
상기 감지 도로 요소의 픽셀점을 샘플링하여 감지 샘플링 포인트 세트를 획득하는 단계;
상기 지도 도로 요소의 픽셀점을 샘플링하여 지도 샘플링 포인트 세트를 획득하는 단계;
상기 감지 샘플링 포인트 세트와 상기 지도 샘플링 포인트 세트 각각에 포함되는 샘플링 포인트 사이의 회전 평이 매트릭스(Rotational translation matrix)를 결정하는 단계; 및
상기 회전 평이 매트릭스에 기반하여 상기 감지 도로 요소와 상기 지도 도로 요소의 상기 좌표 오프셋 양과 상기 방향 오프셋 양을 획득하는 단계를 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 기기가 위치하는 도로의 감지 도로 이미지 및 상기 기기의 초기 포지셔닝 정보를 획득하는 단계는,
상기 기기에 설치된 비전센서에 의해 상기 기기가 위치한 노면의 상기 감지 도로 이미지를 수집하는 단계; 및
상기 기기에 설치된 위성 포지셔닝 시스템 및/또는 관성 측량 유닛IMU에 의해 상기 기기의 초기 포지셔닝 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 기기 포지셔닝을 위한 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 오프셋 정보에 따라 상기 초기 포지셔닝 정보를 보정하여 상기 기기의 상기 포지셔닝 정보를 획득된 후,
획득된 상기 포지셔닝 정보와 상기 초기 포지셔닝 정보를 다시 융합하여 보정한 후의 상기 포지셔닝 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 기기 포지셔닝을 위한 방법.
기기가 위치하는 도로의 감지 도로 이미지 및 상기 기기의 초기 포지셔닝 정보를 획득하기 위한 획득 유닛;
상기 감지 도로 이미지 내의 감지 도로 요소의 속성 정보를 인식하기 위한 인식 유닛;
상기 감지 도로 요소의 속성 정보에 근거하고 미리 구축된 지도에 기반하여 상기 감지 도로 요소와 상기 지도 내의 지도 도로 요소 사이의 오프셋 정보를 결정하기 위한 결정 유닛; 및
상기 오프셋 정보에 따라 상기 초기 포지셔닝 정보를 보정하여 상기 기기의 포지셔닝 정보를 획득하기 위한 보정 유닛을 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제12항에 있어서,
수집 차량에 의해 도로의 지도 도로 이미지를 수집하고;
상기 지도 도로 이미지 내의 지도 도로 요소의 속성 정보를 인식하며;
상기 지도 도로 요소의 속성 정보에 기반하여 상기 지도를 구축하는 지도 구축 유닛을 더 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제12항에 있어서,
고정밀 지도 내의 지도 도로 요소의 시맨틱 정보와 위치 정보를 획득하고;
상기 지도 도로 요소의 시맨틱 정보와 위치 정보에 기반하여 상기 지도를 구축하는 지도 구축 유닛을 더 포함하는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제12항 내지 제14항 중 어느 한 항에 있어서,
상기 미리 구축된 지도는 시맨틱 지도인
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제12항 내지 제15항 중 어느 한 항에 있어서,
상기 결정 유닛은 구체적으로,
상기 감지 도로 요소의 속성 정보에 근거하여 상기 지도에서 상기 감지 도로 요소와 페어링하는 지도 도로 요소를 결정하고;
페어링된 감지 도로 요소와 지도 도로 요소의 동일한 기기 좌표계에서의 포지셔닝 정보를 결정하며;
상기 포지셔닝 정보에 기반하여 상기 페어링된 감지 도로 요소와 지도 도로 요소 사이의 포지셔닝 오프셋 양을 결정하는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제16항에 있어서,
상기 결정 유닛이 상기 감지 도로 요소의 속성 정보에 근거하여 상기 지도에서 상기 감지 도로 요소와 페어링하는 상기 지도 도로 요소를 결정할 때, 구체적으로,
상기 지도에서 상기 초기 포지셔닝 정보에 기반하여 기설정 범위 내의 지도 도로 요소를 검색하고;
상기 감지 도로 이미지 내의 하나 또는 복수의 감지 도로 요소와 상기 기설정 범위 내의 하나 또는 복수의 지도 도로 요소에 대하여, 속성 정보를 둘씩 페어링하는 것에 의해 여러 가지 페어링 방안을 획득하되, 상이한 페어링 방안 중 적어도 하나의 감지 도로 요소와 상기 기설정 범위 내의 지도 도로 요소의 페어링 방식은 상이하며;
각 상기 페어링 방안의 신뢰도를 결정하고;
상기 여러 가지 페어링 방안 중 신뢰도가 제일 높거나 또는 설정 임계값을 초과하는 페어링 방안 중에서, 상기 감지 도로 요소와 페어링하는 상기 지도 도로 요소를 결정하는 데에 사용되는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제16항 또는 제17항에 있어서,
상기 결정 유닛이 상기 감지 도로 이미지 내의 감지 도로 요소와 상기 기설정 범위 내의 지도 도로 요소를 페어링 할 때, 또한,
상기 감지 도로 이미지 내의 어느 한 감지 도로 요소가 상기 기설정 범위 내의 지도 도로 요소에서 페어링된 도로 요소를 결정할 수 없는 경우에 응답하여, 페어링 대기 지도 도로 요소에 널 또는 가상 요소를 설치하여 당해 감지 도로 요소와 페어링하도록 하는 데에 사용되는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제17항 또는 제18항에 있어서,
상기 결정 유닛이 각 상기 페어링 방안의 상기 신뢰도를 결정할 때, 구체적으로,
각 상기 페어링 방안 중의 각 감지 도로 요소와 지도 도로 요소의 페어링된 개체 유사도를 각각 결정하고;
각 상기 페어링 방안 중의 각 감지 도로 요소와 지도 도로 요소가 페어링하는 전체 유사도를 결정하며;
각 상기 페어링 방안의 각 개체 유사도와 전체 유사도에 근거하여 각 상기 페어링 방안의 상기 신뢰도를 결정하는 데에 사용되는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제16항 내지 제19항 중 어느 한 항에 있어서,
상기 포지셔닝 오프셋 양은 좌표 오프셋 양 및/또는 방향 오프셋 양을 포함하고;
상기 결정 유닛이 상기 포지셔닝 정보에 기반하여 상기 페어링된 감지 도로 요소와 지도 도로 요소 사이의 상기 포지셔닝 오프셋 양을 결정할 때, 구체적으로,
상기 감지 도로 요소의 픽셀점을 샘플링하여 감지 샘플링 포인트 세트를 획득하며;
상기 지도 도로 요소의 픽셀점을 샘플링하여 지도 샘플링 포인트 세트를 획득하고;
상기 감지 샘플링 포인트 세트와 상기 지도 샘플링 포인트 세트 각각에 포함되는 샘플링 포인트 사이의 회전 평이 매트릭스를 결정하며;
상기 회전 평이 매트릭스에 기반하여 상기 감지 도로 요소와 상기 지도 도로 요소의 상기 좌표 오프셋 양과 상기 방향 오프셋 양을 획득하는 데에 사용되는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제12항 내지 제20항 중 어느 한 항에 있어서,
상기 획득 유닛은 구체적으로,
상기 기기에 설치된 비전센서에 의해 상기 기기가 위치한 노면의 상기 감지 도로 이미지를 수집하고;
상기 기기에 설치된 위성 포지셔닝 시스템 및/또는 관성 측량 유닛IMU에 의해 상기 기기의 초기 포지셔닝 정보를 결정하는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
제12항 내지 제21항 중 어느 한 항에 있어서,
상기 보정 유닛은,
획득된 상기 포지셔닝 정보와 상기 초기 포지셔닝 정보를 다시 융합하여 보정한 후의 상기 포지셔닝 정보를 획득하는 데에 더 사용되는
것을 특징으로 하는 기기 포지셔닝을 위한 장치.
프로세서에서 운행될 수 있는 컴퓨터 명령을 저장하기 위한 메모리, 상기 프로세서를 포함하는 기기에 있어서,
상기 프로세서가 상기 컴퓨터 명령을 실행할 때 제1항 내지 제11항 중 어느 한 항에 따른 방법에 기반하여 포지셔닝을 수행하는
것을 특징으로 하는 기기.
컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장매체에 있어서,
상기 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하는
것을 특징으로 하는 컴퓨터 판독 가능 저장매체.
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 판독 가능 코드가 프로세서에 의해 실행될 경우, 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하는
것을 특징으로 하는 컴퓨터 프로그램.