KR102311719B1 - 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법, 서버 및 컴퓨터프로그램 - Google Patents

Abstract

자율주행 차량의 제어를 위한 마커의 무결성 검증 방법, 서버 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 소정의 공간을 촬영한 영상 데이터로부터 마커를 인식하는 단계, 상기 영상 데이터를 이용하여 상기 마커와 인접한 영역에 대한 하나 이상의 특징점을 추출하는 단계, 상기 마커와 매칭되어 기 저장된 복수의 특징점 정보와 상기 추출된 하나 이상의 특징점을 비교하여 유사도를 산출하는 단계 및 상기 산출된 유사도를 이용하여 상기 마커에 대한 무결성을 검증하는 단계를 포함한다.

Description

자율주행 차량의 제어를 위한 마커의 무결성 검증 방법, 서버 및 컴퓨터프로그램{METHOD, SERVER AND COMPUTER PROGRAM FOR VERIFYING INTEGRITY OF MARKER TO CONTROL AUTOMATIC DRIVING VEHICLE}

본 발명의 다양한 실시예는 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법, 서버 및 컴퓨터프로그램에 관한 것이다.

차량을 운전하는 사용자들의 편의를 위하여, 각종 센서와 전자 장치 등(예: 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 구비되고 있는 추세이며, 특히, 운전자의 개입 없이 주변 환경을 인식하고, 인식된 주변 환경에 따라 스스로 주어진 목적지까지 자동으로 주행하는 차량의 자율 주행 시스템(Autonomous driving System)에 대한 기술 개발이 활발하게 이루어지고 있다.

여기서, 자율주행 차량은 운전자의 개입 없이 주변 환경을 인식하고, 인식된 주변 환경에 따라 스스로 주어진 목적지까지 자동으로 주행하는 자율주행 시스템 기능을 탑재한 차량을 말한다.

자율주행 차량은 다수의 센서들을 차량에 탑재함으로써, 차량 주변의 상황을 인지하고, 이를 기반으로 차량의 움직임을 스스로 제어하는 방식으로 동작한다.

종래에는, 지하 주차장과 같이 실내에서 자율주행 차량을 제어(예: 차량의 주차 등)하는 경우, 자율주행 차량의 위치를 정확하게 파악하는데 어려움이 있기 때문에, 지하 주차장 기둥 등에 별도로 부착된 마커를 인식하여 자율주행 차량의 위치를 판단하고, 마커를 통해 판단된 자율주행 차량의 위치에 따라 자율주행 차량의 동작을 제어하였다.

그러나, 이러한 방법은 기둥에 부착된 마커를 의도적으로 훼손함으로써 자율주행 차량의 원활한 제어를 방해하거나, 조작된 마커를 부착하는 등 악용하기 위해(예: 자율주행 차량의 도난 등) 마커를 조작하는 것을 방지할 수 없다는 문제가 있다.

본 발명이 해결하고자 하는 과제는 종래의 마커를 이용한 자율주행 차량의 제어 방식의 문제점을 해소하기 위하여, 소정의 공간에 포함된 마커에 대한 무결성을 검증하고, 검증 결과에 따라 마커가 유효한지 여부를 판단함으로써, 자율주행 차량의 원활한 제어를 방해하기 위하여 기둥에 부착된 마커를 의도적으로 훼손하거나, 자율주행 차량을 도난하기 위해 마커의 형태나 위치를 조작하는 등 마커를 악용하는 것을 방지할 수 있는 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법, 서버 및 컴퓨터프로그램을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 소정의 공간을 촬영한 영상 데이터로부터 마커를 인식하는 단계, 상기 영상 데이터를 이용하여 상기 마커와 인접한 영역에 대한 하나 이상의 특징점을 추출하는 단계, 상기 마커와 매칭되어 기 저장된 복수의 특징점 정보와 상기 추출된 하나 이상의 특징점을 비교하여 유사도를 산출하는 단계 및 상기 산출된 유사도를 이용하여 상기 마커에 대한 무결성을 검증하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 소정의 공간에 포함된 복수의 마커 각각에 대하여, 상기 복수의 마커 각각을 중심으로 기 설정된 거리 및 기 설정된 각도를 가지는 영역 내에 포함된 하나 이상의 특징점을 추출하는 단계 및 상기 추출된 하나 이상의 특징점에 대한 정보 - 상기 추출된 하나 이상의 특징점에 대한 정보는, 상기 추출된 하나 이상의 특징점의 위치, 상기 추출된 하나 이상의 특징점과 상기 마커 사이의 거리, 각도 및 방향 정보를 포함함 - 를 상기 복수의 마커 각각에 부여된 마커 번호와 매칭하여 저장하는 단계를 더 포함할 수 있다.

다양한 실시예에서, 상기 하나 이상의 특징점을 추출하는 단계는, 상기 영상 데이터에 포함된 하나 이상의 특징점을 추출하되, 상기 마커를 기준으로 상기 마커의 상단 전체 영역, 상기 마커의 좌우측 적어도 일부 영역 및 상기 마커의 하단 적어도 일부 영역을 상기 하나 이상의 특징점을 추출하기 위한 영역에서 제외시키는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 마커에 대한 무결성을 검증하는 단계는, 상기 마커에 대한 무결성을 검증하여 상기 마커가 유효한 것으로 판단되는 경우, 상기 마커가 유효한 것으로 판단된 시점부터 소정의 기간 동안 상기 마커에 대한 무결성을 재검증하지 않고 상기 마커가 유효한 것으로 판단하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 마커에 대한 무결성을 검증하는 단계는, 제1 영상 데이터 및 상기 제1 영상 데이터 이후에 촬영된 제2 영상 데이터 각각을 이용하여 상기 제1 영상 데이터 및 상기 제2 영상 데이터 각각에 포함된 마커에 대한 무결성을 개별적으로 검증하되, 상기 제1 영상 데이터 및 상기 제2 영상 데이터가 동일한 제1 마커를 포함하고, 상기 제1 영상 데이터를 기반으로 상기 제1 마커가 유효한 것으로 판단된 경우, 상기 제2 영상 데이터에 포함된 상기 제1 마커에 대해서는 무결성을 재검증하지 않고 상기 제1 마커가 유효한 것으로 판단하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 마커에 대한 무결성을 검증하는 단계는, 제1 마커에 대한 무결성을 검증하여 상기 제1 마커가 유효한 것으로 판단되고, 상기 제1 마커가 인식된 후 상기 제1 마커 이후에 위치할 것으로 예측되는 제2 마커가 인식되는 경우, 상기 제2 마커에 대해서는 무결성을 검증하지 않고 상기 제2 마커가 유효한 것으로 판단하는 단계를 포함할 수 있다.

다양한 실시예에서, 상기 산출된 유사도가 하기의 수학식 1을 만족하는지 여부에 따라 상기 마커가 유효한지 여부를 판단하는 단계를 포함할 수 있다.

<수학식 1>

여기서, 상기

는 상기 소정의 공간을 무결성을 검증할 마커를 포함하는 제1 영상 데이터를 촬영한 위치와 동일한 위치에서 촬영된 제2 영상 데이터를 기준으로 저장된 복수의 특징점과 상기 제1 영상 데이터로부터 추출된 하나 이상의 특징점 간의 유사도, 상기 w는 가중치, 상기

은 상기 제2 영상 데이터 외의 다른 N개의 영상 데이터를 기준으로 저장된 복수의 특징점과 상기 제1 영상 데이터로부터 추출된 하나 이상의 특징점 각각의 유사도 및 상기

는 기 설정된 유효성 기준 점수일 수 있다.

다양한 실시예에서, 상기 마커에 대한 무결성을 검증하는 단계는, 무결성을 검증할 마커를 포함하는 제1 영상 데이터로부터 추출된 하나 이상의 특징점과 N개의 영상 데이터를 기준으로 저장된 복수의 특징점 간의 유사도 중 가장 큰 값을 가지는 유사도가 기 설정된 유효성 기준 점수 이상인 경우 상기 무결성을 검증할 마커가 유효한 것으로 판단하는 단계를 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 서버는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 소정의 공간을 촬영한 영상 데이터를 이용하여 마커를 인식하는 인스트럭션(instruction) 및 상기 영상 데이터로부터 상기 마커와 인접한 영역에 대한 하나 이상의 특징점을 추출하는 인스트럭션, 상기 마커와 매칭되어 기 저장된 복수의 특징점 정보와 상기 추출된 하나 이상의 특징점을 비교하여 유사도를 산출하는 인스트럭션 및 상기 산출된 유사도를 이용하여 상기 마커에 대한 무결성을 검증하는 인스트럭션을 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램은, 컴퓨팅 장치와 결합되어, 소정의 공간을 촬영한 영상 데이터를 이용하여 마커를 인식하는 단계, 상기 영상 데이터로부터 상기 마커와 인접한 영역에 대한 하나 이상의 특징점을 추출하는 단계, 상기 마커와 매칭되어 기 저장된 복수의 특징점 정보와 상기 추출된 하나 이상의 특징점을 비교하여 유사도를 산출하는 단계 및 상기 산출된 유사도를 이용하여 상기 마커에 대한 무결성을 검증하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 다양한 실시예에 따르면, 종래의 마커를 이용한 자율주행 차량의 제어 방식의 문제점을 해소하기 위하여, 소정의 공간에 포함된 마커에 대한 무결성을 검증하고, 검증 결과에 따라 마커가 유효한지 여부를 판단함으로써, 자율주행 차량의 원활한 제어를 방해하기 위하여 기둥에 부착된 마커를 의도적으로 훼손하거나, 자율주행 차량을 도난하기 위해 마커의 형태나 위치를 조작하는 등 마커를 악용하는 것을 방지할 수 있다는 이점이 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 서버의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법의 순서도이다.
도 4는 다양한 실시예에서, 마커를 중심으로 추출된 하나 이상의 특징점에 대한 정보와 마커를 매칭하여 저장하는 방법의 순서도이다.
도 5는 다양한 실시예에서, 마커를 중심으로 기 설정된 거리 및 기 설정된 각도를 가지는 영역 내에 포함된 하나 이상의 특징점을 추출하는 구성을 도시한 도면이다.
도 6은 다양한 실시예에서, 마커에 대하여 특징점을 추출하지 않는 영역을 예시적으로 도시한 도면이다.
도 7 내지 9는 다양한 실시예에서, 마커와 하나 이상의 특징점 및 하나 이상의 특징점 각각의 정보를 매칭하여 저장된 데이터의 형태를 예시적으로 도시한 도면이다.
도 10은 다양한 실시예에서, 마커에 대한 무결성을 검증하는 구성을 설명하기 위한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

여기서, 본 명세서에서는, 지하 주차장과 같이 실내 공간에서 마커를 이용하여 자율주행 차량을 제어하는 환경에 적용되어 마커의 무결성을 검증하는 것을 설명하고 있으나, 이는 하나의 예시일 뿐 이에 한정되지 않고 마커를 이용하여 자율주행 차량을 제어하는 다양한 환경에 적용할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 시스템을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 시스템은 마커의 무결성 검증 서버(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.

여기서, 도 1에 도시된 자율주행 차량의 제어를 위한 마커의 무결성 검증 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.

일 실시예에서, 마커의 무결성 검증 서버(100)는 소정의 공간에 구비되는 복수의 마커 각각에 대한 무결성을 검증함으로써, 복수의 마커 각각이 유효한지 여부를 판단할 수 있다. 예를 들어, 마커의 무결성 검증 서버(100)는 소정의 공간을 촬영한 영상 데이터로부터 마커를 인식하고, 인식된 마커 주변의 특징점을 추출하며, 추출된 특징점과 기 저장된 마커별 특징점 데이터를 비교함으로써 해당 마커에 대한 무결성을 검증할 수 있다.

다양한 실시예에서, 마커의 무결성 검증 서버(100)는 네트워크(400)를 통해 자율주행 차량(10) 또는 사용자 단말(200)과 연결될 수 있으며, 자율주행 차량(10)에 구비되는 카메라 모듈 또는 사용자 단말(200)에 구비되는 카메라 모듈로부터 소정의 공간을 촬영한 영상 데이터를 수집하고, 수집된 영상 데이터를 분석하여 마커를 인식할 수 있다.

다양한 실시예에서, 마커의 무결성 검증 서버(100)는 마커에 대한 무결성 검증을 수행할 수 있는 소프트웨어를 네트워크(400)를 통해 연결된 자율주행 차량(10) 및 사용자 단말(200)로 제공함으로써, 자율주행 차량(10) 자체 또는 사용자 단말(200)이 마커에 대한 무결성을 검증하는 동작을 자체적으로 수행할 수 있도록 할 수 있다.

일 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 마커의 무결성 검증 서버(100)와 연결될 수 있으며, 사용자 단말(200)에 별도로 구비된 카메라 모듈을 통해 소정의 공간을 촬영함으로써 생성되는 영상 데이터를 마커의 무결성 검증 서버(100)로 제공할 수 있고, 영상 데이터를 제공한 것에 대한 응답으로, 영상 데이터 내에 포함된 마커에 대한 무결성 검증 결과를 얻을 수 있다.

다양한 실시예에서, 사용자 단말(200)은 애플리케이션 구동이 가능한 운영체제를 포함할 수 있으며, 마커의 무결성 검증 서버(100)로부터 제공된 마커에 대한 무결성 검증을 수행할 수 있는 애플리케이션을 다운로드, 설치 및 실행함으로써, 자체적으로 마커에 대한 무결성 검증을 수행할 수 있다.

일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 마커의 무결성 검증 서버(100)와 연결될 수 있으며, 마커의 무결성 검증 서버(100)가 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법을 수행하기 위해 필요한 각종 데이터(예: 마커별 특징점 데이터, 소정의 공간에 대한 마커 맵 데이터 등)를 저장 및 관리할 수 있다.

또한, 외부 서버(300)는 마커의 무결성 검증 서버(100)가 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법을 수행함에 따라 생성되는 각종 데이터(예: 복수의 마커 각각에 대한 무결성 검증 결과 데이터 등)를 저장할 수 있다. 예를 들어, 외부 서버(300)는 마커의 무결성 검증 서버(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 2를 참조하여, 마커의 무결성 검증 서버(100)의 하드웨어 구성에 대해 설명하도록 한다.

도 2는 본 발명의 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 서버의 하드웨어 구성도이다.

도 2를 참조하면, 본 발명의 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 서버(100)(이하, “컴퓨팅 장치(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.

또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.

다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.

버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.

스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 자율주행 차량의 제어를 위한 마커의 무결성 검증 프로세스를 수행하는 경우, 스토리지(150)는 자율주행 차량의 제어를 위한 마커의 무결성 검증 프로세스를 제공하기 위하여 필요한 각종 정보(예: 마커 번호, 마커의 위치 정보 등과 같은 마커 정보), 마커에 대한 특징점 정보(예: 특징점의 위치, 특징점과 마커 사이의 거리, 각도 및 방향 정보 등)를 저장할 수 있다.

스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.

일 실시예에서, 컴퓨터 프로그램(151)은 소정의 공간을 촬영한 영상 데이터로부터 마커를 인식하는 단계, 영상 데이터를 이용하여 마커와 인접한 영역에 대한 하나 이상의 특징점을 추출하는 단계, 마커와 매칭되어 기 저장된 복수의 특징점 정보와 추출된 하나 이상의 특징점을 비교하여 유사도를 산출하는 단계 및 산출된 유사도를 이용하여 마커에 대한 무결성을 검증하는 단계를 포함하는 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 9를 참조하여, 컴퓨팅 장치(100)가 수행하는 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법에 대해 설명하도록 한다.

도 3은 본 발명의 또 다른 실시예에 따른 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법의 순서도이다.

도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 소정의 공간을 촬영한 영상 데이터로부터 마커를 인식할 수 있다.

여기서, 마커는 소정의 공간 내의 특정 객체(예: 기둥) 상에 부착 및 설치되며, 특정 객체의 위치 정보를 나타내는 표식을 의미할 수 있으며, 마커에 대한 인식률을 향상시키기 위하여 마커 주변에 하나 이상의 리플렉터(reflector)가 함께 부착되는 형태로 구현될 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 공간(예: 지하 주차장)에 위치하는 자율주행 차량(10)에 구비되는 카메라 모듈이 소정의 공간을 촬영함으로써 생성되는 영상 데이터를 수집할 수 있고, 수집된 영상 데이터를 분석하여 마커를 인식할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 자율주행 차량(10)에 탑승한 운전자의 사용자 단말(200)에 구비되는 카메라 모듈이 소정의 공간을 촬영함으로써 생성되는 영상 데이터를 수집할 수 있고, 수집된 영상 데이터를 분석하여 마커를 인식할 수 있다. 그러나, 이에 한정되지 않고, 다양한 영상 데이터 수집 방법이 적용될 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 제1 이미지 분석 모델을 이용하여 자율주행 차량(10) 또는 사용자 단말(200)로부터 수집된 영상 데이터를 분석함으로써, 마커를 인식할 수 있다.

여기서, 제1 이미지 분석 모델은 마커를 포함하는 영상 데이터를 학습 데이터로 하여 기 학습된 모델(예: 딥러닝 모델)을 의미할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 소정의 공간을 촬영함으로써 생성된 복수의 영상 데이터 상에서, 하나 이상의 마커에 대응되는 영역을 가리키는 하나 이상의 경계 박스(Bounding Box)로 생성하고, 생성된 하나 이상의 경계 박스 각각에 마커를 레이블링(labeling)함으로써 학습 데이터를 생성할 수 있으며, 생성된 학습 데이터를 제1 이미지 분석 모델에 지도학습(Supervised Learning)시킬 수 있다. 그러나, 이에 한정되지 않는다.

여기서, 지도학습은 통상적으로 특정 데이터와 특정 데이터에 연관된 정보를 레이블링하여 학습 데이터를 생성하고, 이를 이용하여 학습시키는 방법으로써, 인과 관계를 가진 두 데이터를 레이블링하여 학습 데이터를 생성하고, 생성된 학습 데이터를 통해 학습하는 방법을 의미한다.

이에 따라, 컴퓨팅 장치(100)는 소정의 공간을 촬영한 영상 데이터를 입력으로 하여, 영상 데이터로부터 마커를 인식 및 추출할 수 있는 제1 이미지 분석 모델을 생성할 수 있다. 즉, 컴퓨팅 장치(100)는 소정의 공간 내에 위치하는 마커를 촬영한 영상 데이터를 제1 이미지 분석 모델의 입력으로 하여, 해당 영상 데이터 내에 마커를 인식 및 추출한 결과 데이터를 추출할 수 있다.

S120 단계에서, 컴퓨팅 장치(100)는 소정의 공간을 촬영한 영상 데이터로부터 인식된 마커의 주변 영역에 대한 하나 이상의 특징점을 추출할 수 있다.

여기서, 마커의 주변 영역은 마커를 중심으로 기 설정된 거리 및 기 설정된 각도를 가지는 영역을 의미할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 영상 데이터로부터 인식된 마커를 중심으로 기 설정된 거리 및 기 설정된 각도를 가지는 영역(예: 도 5) 내에 포함된 하나 이상의 특징점을 추출할 수 있다. 마커를 중심으로 하나 이상의 특징점을 추출하는 방법과 관련해서는 후술되는 마커를 중심으로 추출된 하나 이상의 특징점에 대한 정보와 마커를 매칭하여 저장하는 방법(예: 도 4)에서의 하나 이상의 특징점을 추출하는 방법과 동일 또는 유사한 형태로 구현될 수 있으나, 이에 한정되지 않는다.

다양한 실시예에서, 컴퓨팅 장치(100)는 제2 이미지 분석 모델을 이용하여 영상 데이터로부터 마커 주변 영역에 대한 하나 이상의 특징점을 추출할 수 있다.

여기서, 제2 이미지 분석 모델은 마커를 포함하는 영상 데이터를 학습 데이터로 하여 기 학습된 모델(예: 딥러닝 모델)을 의미할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 소정의 공간을 촬영함으로써 생성된 복수의 영상 데이터 상에서, 특정 마커에 대응되는 복수의 특징점 각각을 레이블링함으로써 학습 데이터를 생성할 수 있으며, 지도학습 방법에 따라 생성된 학습 데이터를 제2 이미지 분석 모델에 학습시킬 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 영상 데이터 상에 마커와 하나 이상의 특징점 각각을 서로 다른 레이블로 레이블링함으써 생성된 학습 데이터를 이용하여 학습된 하나의 이미지 분석 모델을 이용하여 마커를 인식하는 동작과 인식된 마커에 대한 하나 이상의 특징점을 추출하는 동작을 동시에 수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 단말(200)로 특정 마커가 인식된 영상 데이터를 제공할 수 있고, 사용자로부터 영상 데이터 상의 하나 이상의 특징점을 직접 입력받음으로써, 마커 주변 영역에 대한 하나 이상의 특징점을 추출할 수 있다. 그러나, 이에 한정되지 않는다.

다양한 실시예에서, 컴퓨팅 장치(100)는 영상 데이터에 포함된 하나 이상의 특징점을 추출하되, 마커를 기준으로 마커의 상단 전체 영역, 마커의 좌우측 적어도 일부 영역 및 마커의 하단 적어도 일부 영역을 하나 이상의 특징점을 추출하기 위한 영역에서 제외시킬 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 컴퓨팅 장치(100)는 하나 이상의 특징점을 추출하고자 하는 마커에 대하여, 마커를 기준으로 마커의 상단 전체 영역, 마커의 좌우측 적어도 일부 영역(예: X cm) 및 마커의 하단 적어도 일부 영역(예: Y cm)을 하나 이상의 특징점을 추출하기 위한 영역에서 제외시킬 수 있다. 이를 통해, 동적인 특징점(예: 주차된 차량 등)을 제외시킬 수 있을 뿐만 아니라, 특징점을 추출함에 있어서 불필요한 영역을 제외시켜 검출 데이터 크기 절약할 수 있고, 특징점 검출 속도 향상시킬 수 있다는 이점이 있다.

여기서, X 및 Y의 크기는 마커가 설치되는 영역(또는 마커가 설치되는 객체)의 크기 및 형태와 객체 상에 마커가 설치되는 높이에 따라 사전에 설정되는 값일 수 있으나, 이에 한정되지 않는다.

다양한 실시예에서, 컴퓨팅 장치(100)는 특정 마커를 다각도에서 촬영한 복수의 영상 데이터 중 가장 넓은 범위를 촬영한 제1 영상 데이터를 기준으로 특정 마커 주변 영역에 대한 특징점을 추출할 수 있다.

이때, 컴퓨팅 장치(100)는 추출된 특징점의 개수가 특정 마커와 매칭되어 기 저장된 특징점의 개수와 동일하지 않은 경우, 특정 마커에 대하여 추출되지 못한 특징점의 위치를 판단하고, 판단된 위치에 따라 복수의 영상 데이터 중 추가적으로 특징점을 추출할 제2 영상 데이터를 선택할 수 있으며, 선택된 제2 영상 데이터를 이용하여 특정 마커에 대한 특징점을 추가적으로 추출할 수 있다.

이후, 컴퓨팅 장치(100)는 제1 영상 데이터를 이용하여 추출된 특징점과 제2 영상 데이터를 이용하여 추출된 특징점의 수를 특정 마커와 매칭되어 기 저장된 특징점의 개수와 재 비교하여 개수가 동일한 것으로 판단되는 경우, 제1 영상 데이터를 이용하여 추출된 특징점과 제2 영상 데이터를 이용하여 추출된 특징점을 특정 마커에 대한 특징점으로 확정할 수 있다.

만약, 컴퓨팅 장치(100)는 제1 영상 데이터를 이용하여 추출된 특징점과 제2 영상 데이터를 이용하여 추출된 특징점의 수가 여전히 특정 마커와 매칭되어 기 저장된 특징점의 개수와 동일하지 않은 경우, 추가적인 제3 영상 데이터를 이용하여 특징점을 추출한 후, 상기의 동작을 반복적으로 수행함으로써, 특정 마커에 대한 모든 특징점이 추출되도록 할 수 있다.

S130 단계에서, 컴퓨팅 장치(100)는 마커와 매칭되어 기 저장된 복수의 특징점 정보와 S120 단계에서 추출된 하나 이상의 특징점을 비교하여 유사도 산출할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 영상 데이터로부터 제1 마커가 인식된 경우, 인식된 제1 마커에 부여된 마커 ID(또는 마커 번호)를 검출하고, 검출된 마커 ID에 대응하는 복수의 특징점 정보를 로컬 또는 원격 데이터베이스(Remote Database)로부터 가져올 수 있다.

이후, 컴퓨팅 장치(100)는 로컬 또는 원격 데이터베이스로부터 가져온 복수의 특징점 정보(예: 거리, 각도 정보)와 영상 데이터로부터 추출된 제1 마커에 대한 특징점을 각각 비교할 수 있고, 영상 데이터로부터 추출된 복수의 특징점과 기 저장된 복수의 특징점 간의 유사도(예: 전체 특징점 개수 대비 동일한 특징점의 개수)를 산출할 수 있다.

여기서, 마커와 매칭되어 기 저장된 복수의 특징점 정보는 소정의 공간에 포함된 복수의 마커 각각을 기준으로 추출된 하나 이상의 특징점을 각각의 기준이 되는 마커와 매칭하여 저장된 정보를 의미할 수 있다. 이하, 도 4를 참조하여 복수의 마커 각각에 대한 특징점 정보를 추출 및 저장하는 구성에 대하여 설명하도록 한다.

도 4는 다양한 실시예에서, 마커를 중심으로 추출된 하나 이상의 특징점에 대한 정보와 마커를 매칭하여 저장하는 방법의 순서도이다.

도 4를 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 소정의 공간에 포함된 복수의 마커 각각에 대하여, 복수의 마커 각각을 중심으로 소정의 영역 내에 포함된 하나 이상의 특징점을 추출할 수 있다.

먼저, 컴퓨팅 장치(100)는 도 5에 도시된 바와 같이, 복수의 마커 각각을 중심(0)으로 하여, 기 설정된 거리(d) 및 기 설정된 각도(θ)를 가지는 특징점 추출 영역을 설정할 수 있다.

이후, 컴퓨팅 장치(100)는 특징점 추출 영역의 기 설정된 각도(θ)를 사전에 설정된 각도 분할 개수(m)에 따라 분할하여 상호 제1 각도(ω)를 갖는 복수의 특징점 추출선을 생성할 수 있다.

이후, 컴퓨팅 장치(100)는 복수의 특징점 추출선 각각을 사전에 설정된 거리 분할 개수(n)에 따라 제1 길이(ι) 단위로 분할함으로써, 복수의 포인트를 생성할 수 있고, 생성된 복수의 포인트 각각을 특징점으로 추출할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 마커 각각을 중심(0)으로 하여, 기 설정된 거리(d) 및 기 설정된 각도(θ)를 가지는 특징점 추출 영역을 설정하고, 설정된 특징점 추출 영역 내에 임의의 복수의 포인트를 설정할 수 있으며, 설정된 임의의 복수의 포인트 각각을 특징점으로 추출할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 공간에 포함된 복수의 마커 각각을 촬영함으로써 생성된 영상 데이터를 이용하여 복수의 마커 각각에 대한 하나 이상의 특징점을 추출할 수 있다.

이때, 영상 데이터가 특정 마커 및 특정 마커를 중심으로 기 설정된 거리 및 기 설정된 각도를 가지는 특징점 추출 영역을 모두 포함하도록 촬영되지 못할 경우, 특정 마커에 대한 모든 특징점을 추출할 수 없다는 문제가 있다. 예를 들어, 특정 마커가 영상 데이터 내의 상하좌우 측에 치우쳐진 상태로 촬영된 경우, 특징점 추출 영역이 영상 프레임 내에 전부 출력되지 못하고 특징점 추출 영역의 적어도 일부가 누락되기 때문에, 특징점 추출 영역에 대한 모든 특징점을 추출할 수 없다.

이를 고려하여, 컴퓨팅 장치(100)는 영상 데이터를 이용하여 마커를 기준으로 하나 이상의 특징점을 추출하되, 특정 마커를 여러 위치 및 각도에서 촬영한 복수의 영상 데이터를 이용하여 특정 마커에 대한 하나 이상의 특징점을 추출하고, 추출된 하나 이상의 특징점을 조합(예: 복수의 영상 데이터 각각으로부터 추출된 복수의 특징점 결합 및 중복 특징점 제거 등)함으로써, 마커를 기준으로 설정된 특징점 추출 영역(기 설정된 거리(d) 및 기 설정된 각도(θ)를 가지는 영역)에서 모든 특징점이 추출될 수 있도록 할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 하나의 마커에 대하여, 해당 마커를 기준으로, 좌측, 정면, 우측에서 촬영한 3개의 영상 데이터를 수집할 수 있고, 3개의 영상 데이터 각각을 이용하여 추출된 복수의 특징점을 조합함으로써, 해당 마커 주변 영역에 대한 모든 특징점을 추출할 수 있다. 그러나, 이에 한정되지 않고, 하나 이상의 특징점은 마커에 대한 검증을 위한 것임을 고려하여, 컴퓨팅 장치(100)는 마커에 대한 모든 특징점을 추출하지 않고, 시스템의 성능에 따라 적어도 일부의 특징점만을 추출하거나, 추출하고자 하는 특징점의 개수를 선택하여 선택된 개수만큼의 특징점만을 추출할 수 있다.

S220 단계에서, 컴퓨팅 장치(100)는 S210 단계에서 추출한 하나 이상의 특징점에 대한 정보를 수집할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 추출한 하나 이상의 특징점에 대한 정보를 사용자로부터 직접 입력받거나, 외부 서버(300)로부터 하나 이상의 특징점에 대한 정보를 수집할 수 있다.

여기서, 하나 이상의 특징점에 대한 정보는 하나 이상의 특징점의 위치, 하나 이상의 특징점과 마커 사이의 거리, 각도 및 방향 정보를 의미할 수 있으나, 이에 한정되지 않는다.

S230 단계에서, 컴퓨팅 장치(100)는 S220 단계에서 수집한 하나 이상의 특징점에 대한 정보를 저장할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 추출된 하나 이상의 특징점에 대한 정보를 하나 이상의 특징점에 대응되는 마커에 부여된 마커 번호와 매칭하여 저장할 수 있다(예: 도 7). 그러나, 이에 한정되지 않는다.

다양한 실시예에서, 컴퓨팅 장치(100)는 특정 마커를 촬영한 영상 데이터를 이용하여 하나 이상의 특징점을 추출하고, 추출한 하나 이상의 특징점을 영상 데이터를 기준으로 저장할 수 있다(예: 도 8 및 9).

이때, 컴퓨팅 장치(100)는 특정 마커에 대한 특징점을 추출하기 위하여 복수의 영상 데이터를 이용한 경우(예: 하나의 영상 데이터만으로 특정 마커에 대한 모든 특징점을 추출할 수 없어, 모든 특징점을 추출하기 위해 복수의 영상 데이터를 이용한 경우), 복수의 영상 데이터를 이용하여 추출된 특징점 각각을 추출한 영상 데이터를 기준으로 저장하고, 저장된 복수의 영상 데이터를 하나의 그룹으로 하여 특정 마커와 매칭하여 저장할 수 있다.

다시 도 3을 참조하면, S140 단계에서, 컴퓨팅 장치(100)는 S130 단계를 거쳐 산출된 유사도를 이용하여 마커에 대한 무결성을 검증할 수 있다.

여기서, 무결성을 검증하는 것은 마커에 대하여 추출된 특징점과 해당 마커에 대하여 기 저장된 특징점을 비교한 유사도가 기 설정된 유효성 기준 점수 이상인지를 판단하여 마커가 유효한 마커인지 여부를 판단하는 것을 의미할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 산출된 유사도가 하기의 수학식 1을 만족하는지 여부에 따라 마커가 유효한지 여부를 판단할 수 있다.

<수학식 1>

여기서,

는 소정의 공간을 무결성을 검증할 마커를 포함하는 제1 영상 데이터를 촬영한 위치와 동일한 위치에서 촬영된 제2 영상 데이터를 기준으로 저장된 복수의 특징점과 제1 영상 데이터로부터 추출된 하나 이상의 특징점 간의 유사도, w는 가중치(여기서, 가중치(w)는 관리자에 의해 사전에 설정된 값일 수 있음),

은 제2 영상 데이터 외의 다른 N개의 영상 데이터를 기준으로 저장된 복수의 특징점과 제1 영상 데이터로부터 추출된 하나 이상의 특징점 각각의 유사도 및

는 기 설정된 유효성 기준 점수일 수 있으나, 이에 한정되지 않는다.

다양한 실시예에서, 컴퓨팅 장치(100)는 무결성을 검증할 마커를 포함하는 제1 영상 데이터로부터 추출된 하나 이상의 특징점과 N개의 영상 데이터를 기준으로 저장된 복수의 특징점 각각에 대한 유사도 중 가장 큰 값을 가지는 유사도가 기 설정된 유효성 기준 점수 이상인 경우 무결성을 검증할 마커가 유효한 것으로 판단할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 무결성을 검증할 마커를 포함하는 제1 영상 데이터로부터 추출된 하나 이상의 특징점과 N개의 영상 데이터를 기준으로 저장된 복수의 특징점 각각에 대한 유사도의 평균값을 산출하고, 산출된 유사도의 평균값이 기 설정된 유효성 기준 점수 이상인 경우 무결성을 검증할 마커가 유효한 것으로 판단할 수 있다. 이하, 도 10를 참조하여 컴퓨팅 장치(100)가 수행하는 마커의 무결성 검증 방법의 다양한 형태에 대해 설명하도록 한다.

도 10은 다양한 실시예에서, 마커에 대한 무결성을 검증하는 구성을 설명하기 위한 도면이다.

도 10을 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 공간을 촬영함으로써 생성된 복수의 영상 데이터(예: 제1 영상 데이터(도 10(A)) 및 제1 영상 데이터 이후에 촬영된 제2 영상 데이터(도 10(B)) 각각을 이용하여, 복수의 영상 데이터 각각에 포함된 마커에 대한 무결성을 개별적으로 검증할 수 있다.

또한, 컴퓨팅 장치(100)는 하나의 영상 데이터가 복수의 영상 프레임을 포함하는 경우(예: 동영상 데이터), 하나의 영상에 포함된 복수의 영상 프레임 각각에 대해서도 개별적인 무결성 검증을 수행할 수 있다.

이때, 컴퓨팅 장치(100)는 마커에 대한 무결성을 검증하여 마커가 유효한 것으로 판단되는 경우, 마커가 유효한 것으로 판단된 시점부터 소정의 기간 동안 마커에 대한 무결성을 재검증하지 않고 마커가 유효한 것으로 판단할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 제1 영상 데이터에 포함된 제1 마커(11)에 대한 무결성 검증을 진행하여 제1 마커(11)가 유효한 것으로 판단되는 경우, 다른 영상 데이터로부터 제1 마커(11)가 유효한 것으로 판단된 시점부터 약 30분 내에 제1 마커(11)가 인식되더라도 제1 마커에 대한 무결성 검증을 진행하지 않고, 제1 마커(11)가 유효할 것으로 판단할 수 있다.

즉, 제1 영상 데이터에 제1 마커(11)가 포함되고, 제2 영상 데이터에 제1 마커(11) 및 제2 마커(12)가 포함된 경우, 컴퓨팅 장치(100)는 제1 영상 데이터를 이용하여 제1 마커(11)에 대한 무결성 검증을 수행하고, 제2 영상 데이터를 이용하여 제1 마커(11) 및 제2 마커(12)에 대한 무결성을 검증할 수 있다. 이때, 제1 마커(11)가 유효한 것으로 판단되며, 제1 마커(11)가 유효한 것으로 판단된 시점부터 약 30분 내에 제2 영상 데이터로부터 제1 마커(11)가 인식되는 경우, 제1 마커(11)에 대한 무결성 검증을 수행하지 않더라도 제1 마커(11)가 유효한 것으로 판단할 수 있고, 제2 마커(12)에 대한 무결성 검증만을 수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하나의 영상 데이터 내에 포함된 제1 영상 프레임에 포함된 제1 마커(11)가 유효한 것으로 판단되는 경우, 동일한 영상 데이터 내의 다른 영상 프레임에 포함된 제1 마커(11)에 대해서는 무결성 검증을 수행하지 않고 제1 마커(11)가 유효한 것으로 판단할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하나의 영상 데이터 내에 포함된 복수의 영상 프레임 각각에 대하여 개별적으로 무결성 검증을 수행하되, 서로 연결된 영상 프레임 내에 동일한 마커가 인식되는 경우(예: 제1 영상 프레임에 제1 마커(11)가 포함되고, 제1 영상 프레임 이후의 제2 영상 프레임에서도 제1 마커(11)가 포함된 경우), 동일한 마커에 대해서는 별도의 무결성 검증을 수행하지 않더라도 해당 마커가 유효한 것으로 판단할 수 있다.

즉, 컴퓨팅 장치(100)는 하나의 영상 데이터에 포함된 복수의 프레임 중 서로 연결된 영상 프레임에 대해서는 영상 프레임 상에 새롭게 인식되는 마커에 대해서만 무결성 검증을 수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 제1 영상 데이터 내에 포함된 복수의 영상 프레임 각각에 대하여 개별적인 무결성 검증을 수행하되, 복수의 영상 프레임 간에 중복적으로 인식되는 마커에 대해서는 한번의 무결성 검증 절차만을 수행할 수 있다. 이후, 컴퓨팅 장치(100)는 제2 영상 데이터 내에 포함된 복수의 영상 프레임 각각에 대한 개별적인 무결성 검증을 수행하되, 제1 영상 데이터에 대한 무결성 검증을 수행함에 따라 도출된 복수의 마커 각각에 대해 무결성 검증 결과를 리셋하고, 새롭게 제2 영상 데이터에 포함된 복수의 마커에 대한 무결성 검증을 수행할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 제1 마커(11)에 대한 무결성을 검증하여 제1 마커(11)가 유효한 것으로 판단되고, 제1 마커(11)가 인식된 후 제1 마커(11) 이후에 위치할 것으로 예측되는 제2 마커(12)가 인식되는 경우, 제2 마커(12)에 대해서는 무결성을 검증하지 않고 제2 마커(12)가 유효한 것으로 판단할 수 있다.

예를 들어, 컴퓨팅 장치(100)는 소정의 공간을 주행하는 자율주행 차량의 이동 경로에 기초하여, 자율주행 차량의 이동 경로 상에 위치할 것으로 예측되는 N개의 마커(예: 제1 마커(11) 및 제2 마커(12))를 하나의 그룹으로 그룹화할 수 있다

이때, 컴퓨팅 장치(100)는 자율주행 차량의 현재 위치 및 자율주행 차량의 이동 경로에 기초하여, 하나의 그룹으로 그룹화된 N개의 마커 중 가장 먼저 인식될 것으로 예측되는 마커부터 순차적으로 정렬할 수 있다.

이후, 컴퓨팅 장치(100)는 자율주행 차량으로부터 가장 처음 인식될 것으로 예측되는 제1 마커(11)가 인식되고, 제1 마커(11)가 유효한 것으로 판단된 경우, 제1 마커(11)가 속한 마커 그룹을 식별하여 제1 마커(11) 이후에 인식될 것으로 예측되는 마커(예: 제2 마커(12))를 판단할 수 있다.

이후, 컴퓨팅 장치(100)는 제1 마커(11)가 인식된 이후, 제1 마커(11) 이후에 인식될 것으로 예측되는 제2 마커(12)가 실제로 인식되는 경우, 제2 마커에 대해서는 무결성 검증을 수행하지 않고 제2 마커(12)가 유효한 것으로 판단할 수 있다.

즉, 컴퓨팅 장치(100)는 제1 마커(11)가 유효한 것으로 판단되는 경우, 제1 마커를 포함하는 마커 그룹 내에 포함된 모든 마커에 대해서는 별도의 무결성 검증을 수행하지 않고 유효한 것으로 판단할 수 있다. 이때, 하나의 그룹에 몇 개의 마커를 그룹화 할 것인지(N의 값)는 사용자에 따라 사전에 설정될 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 하나의 마커 그룹에 복수의 마커가 포함된 경우, 동일한 그룹 내에 포함된 복수의 마커 중 과반수 이상의 마커가 유효한 것으로 판단되는 경우에만 동일한 그룹 내에 포함된 모든 마커에 대해 별도의 무결성 검증을 수행하지 않고 유효한 것으로 판단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 하나의 그룹에 포함된 5개의 마커 중 3개의 마커가 유효한 것으로 판단되는 시점에 하나의 그룹에 포함된 나머지 2개의 마커에 대해서도 유효한 것으로 판단할 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 마커 중 이상이 있는 것으로 판단되는 마커에 대해서만 무결성 검증을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 영상 데이터를 분석하여 제1 마커(11)가 인식되는 경우, 인식된 제1 마커(11)에 대한 이상을 진단(제1 단계)할 수 있다.

여기서, 제1 마커에 대한 이상을 진단하는 것은, 기 저장된 마커별 위치 정보에 기초하여, 인식된 제1 마커가 기 저장된 제1 마커의 위치에 대응하는 영역에 설치되어 있는지 여부를 판단하는 것이나 제1 마커(11) 자체의 형태 제1 마커(11)에 부착된 리플렉터의 형태가 사전에 설치된 형태(원본의 상태) 그대로인지 여부를 판단하는 것을 의미할 수 있으나, 이에 한정되지 않는다.

이후, 컴퓨팅 장치(100)는 제1 마커(11)가 이상이 있는 것으로 판단되는 경우, 제1 마커에 대한 무결성을 검증(제2 단계)할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 마커(11)가 이상이 있는 것으로 판단되는 경우, 상기의 방법에 따라 제1 마커(11)에 대해 추출된 하나 이상의 특징점과 기 저장된 제1 마커(11)에 대한 복수의 특징점을 비교하여 유사도를 산출하고, 산출된 유사도에 따라 제1 마커(11)가 유효한지 여부를 판단할 수 있다.

만약, 컴퓨팅 장치(100)는 제1 단계를 거쳐 제1 마커(11)에 이상이 없는 것으로 판단되는 경우, 제2 단계를 수행하지 않고 제1 마커(11)가 유효한 것으로 판단할 수 있다.

즉, 컴퓨팅 장치(100)는 소정의 공간에 포함된 모든 마커에 대하여 무결성 검증을 수행하지 않고, 1차적으로 이상이 있는 것으로 판단되는 마커에 대해서만 무결성 검증을 수행함으로써, 무결성 검증 동작의 속도를 향상시킬 수 있다.

다양한 실시예에서, 컴퓨팅 장치(100)는 제1 단계를 거쳐 이상이 없는 것으로 판단되는 복수의 마커에 대하여, 복수의 마커 중 적어도 하나의 마커를 임의적으로 선택하고, 선택한 적어도 하나의 마커에 대한 무결성을 검증(제2 단계)할 수 있다.

이때, 컴퓨팅 장치(100)는 임의적으로 선택한 적어도 하나의 마커에 대한 무결성 검증 결과를 이용하여 컴퓨팅 장치(100)가 수행하는 제1 단계 동작에 대한 신뢰도 점수를 산출할 수 있고, 산출된 제1 단계 동작에 대한 신뢰도 점수가 기준 점수 미만인 경우, 제1 단계 동작을 수행하지 않고, 모든 마커에 대해 제2 단계 동작을 수행할 수 있다.

전술한 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 마커의 무결성 검증 서버
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크

Claims (10)

1. 컴퓨팅 장치에 의해 수행되는 방법으로,
   소정의 공간을 촬영한 영상 데이터로부터 마커를 인식하는 단계;
   상기 영상 데이터를 이용하여 상기 마커의 주변 영역 - 상기 마커의 주변 영역은 상기 마커를 중심으로 기 설정된 거리 및 기 설정된 각도를 가지는 영역임 - 에 대한 하나 이상의 특징점을 추출하는 단계;
   상기 마커와 매칭되어 기 저장된 복수의 특징점 정보 - 상기 기 저장된 복수의 특징점 정보는 상기 복수의 특징점 각각의 위치, 상기 복수의 특징점과 상기 마커 사이의 거리, 각도 및 방향 정보를 포함함 - 와 상기 추출된 하나 이상의 특징점을 비교하여 유사도를 산출하는 단계; 및
   상기 산출된 유사도를 이용하여 상기 마커에 대한 무결성을 검증하는 단계를 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 방법.
2. 제1항에 있어서,
   상기 소정의 공간에 포함된 복수의 마커 각각에 대하여, 상기 복수의 마커 각각을 중심으로 상기 기 설정된 거리 및 상기 기 설정된 각도를 가지는 영역 내에 포함된 하나 이상의 특징점을 추출하는 단계; 및
   상기 추출된 하나 이상의 특징점에 대한 정보를 상기 복수의 마커 각각에 부여된 마커 번호와 매칭하여 저장하는 단계를 더 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 방법.
3. 제1항에 있어서,
   상기 하나 이상의 특징점을 추출하는 단계는,
   상기 영상 데이터에 포함된 하나 이상의 특징점을 추출하되, 상기 마커를 기준으로 상기 마커의 상단 전체 영역, 상기 마커의 좌우측 적어도 일부 영역 및 상기 마커의 하단 적어도 일부 영역을 상기 하나 이상의 특징점을 추출하기 위한 영역에서 제외시키는 단계를 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 방법.
4. 제1항에 있어서,
   상기 마커에 대한 무결성을 검증하는 단계는,
   상기 마커에 대한 무결성을 검증하여 상기 마커가 유효한 것으로 판단되는 경우, 상기 마커가 유효한 것으로 판단된 시점부터 소정의 기간 동안 상기 마커에 대한 무결성을 재검증하지 않고 상기 마커가 유효한 것으로 판단하는 단계를 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 방법.
5. 제1항에 있어서,
   상기 마커에 대한 무결성을 검증하는 단계는,
   제1 영상 데이터 및 상기 제1 영상 데이터 이후에 촬영된 제2 영상 데이터 각각을 이용하여 상기 제1 영상 데이터 및 상기 제2 영상 데이터 각각에 포함된 마커에 대한 무결성을 개별적으로 검증하되,
   상기 제1 영상 데이터 및 상기 제2 영상 데이터가 동일한 제1 마커를 포함하고, 상기 제1 영상 데이터를 기반으로 상기 제1 마커가 유효한 것으로 판단된 경우, 상기 제2 영상 데이터에 포함된 상기 제1 마커에 대해서는 무결성을 재검증하지 않고 상기 제1 마커가 유효한 것으로 판단하는 단계를 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 방법.
6. 제1항에 있어서,
   상기 마커에 대한 무결성을 검증하는 단계는,
   제1 마커에 대한 무결성을 검증하여 상기 제1 마커가 유효한 것으로 판단되고, 상기 제1 마커가 인식된 후 상기 제1 마커 이후에 위치할 것으로 예측되는 제2 마커가 인식되는 경우, 상기 제2 마커에 대해서는 무결성을 검증하지 않고 상기 제2 마커가 유효한 것으로 판단하는 단계를 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 방법.
7. 제1항에 있어서,
   상기 마커에 대한 무결성을 검증하는 단계는,
   상기 산출된 유사도가 하기의 수학식 1을 만족하는지 여부에 따라 상기 마커가 유효한지 여부를 판단하는 단계를 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 방법.
   <수학식 1>
   

   

   
   여기서, 상기

   

   는 상기 소정의 공간을 무결성을 검증할 마커를 포함하는 제1 영상 데이터를 촬영한 위치와 동일한 위치에서 촬영된 제2 영상 데이터를 기준으로 저장된 복수의 특징점과 상기 제1 영상 데이터로부터 추출된 하나 이상의 특징점 간의 유사도, 상기 w는 가중치, 상기

   

   은 상기 제2 영상 데이터 외의 다른 N개의 영상 데이터를 기준으로 저장된 복수의 특징점과 상기 제1 영상 데이터로부터 추출된 하나 이상의 특징점 각각의 유사도 및 상기

   

   는 기 설정된 유효성 기준 점수
8. 제1항에 있어서,
   상기 마커에 대한 무결성을 검증하는 단계는,
   무결성을 검증할 마커를 포함하는 제1 영상 데이터로부터 추출된 하나 이상의 특징점과 N개의 영상 데이터를 기준으로 저장된 복수의 특징점 간의 유사도 중 가장 큰 값을 가지는 유사도가 기 설정된 유효성 기준 점수 이상인 경우 상기 무결성을 검증할 마커가 유효한 것으로 판단하는 단계를 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 방법.
9. 프로세서;
   네트워크 인터페이스;
   메모리; 및
   상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
   상기 컴퓨터 프로그램은,
   소정의 공간을 촬영한 영상 데이터를 이용하여 마커를 인식하는 인스트럭션(instruction); 및
   상기 영상 데이터로부터 상기 마커의 주변 영역 - 상기 마커의 주변 영역은 상기 마커를 중심으로 기 설정된 거리 및 기 설정된 각도를 가지는 영역임 - 에 대한 하나 이상의 특징점을 추출하는 인스트럭션;
   상기 마커와 매칭되어 기 저장된 복수의 특징점 정보 - 상기 기 저장된 복수의 특징점 정보는 상기 복수의 특징점 각각의 위치, 상기 복수의 특징점과 상기 마커 사이의 거리, 각도 및 방향 정보를 포함함 - 와 상기 추출된 하나 이상의 특징점을 비교하여 유사도를 산출하는 인스트럭션; 및
   상기 산출된 유사도를 이용하여 상기 마커에 대한 무결성을 검증하는 인스트럭션을 포함하는,
   자율주행 차량의 제어를 위한 마커의 무결성 검증 서버.
10. 컴퓨팅 장치와 결합되어,
    소정의 공간을 촬영한 영상 데이터를 이용하여 마커를 인식하는 단계;
    상기 영상 데이터로부터 상기 마커의 주변 영역 - 상기 마커의 주변 영역은 상기 마커를 중심으로 기 설정된 거리 및 기 설정된 각도를 가지는 영역임 - 에 대한 하나 이상의 특징점을 추출하는 단계;
    상기 마커와 매칭되어 기 저장된 복수의 특징점 정보 - 상기 기 저장된 복수의 특징점 정보는 상기 복수의 특징점 각각의 위치, 상기 복수의 특징점과 상기 마커 사이의 거리, 각도 및 방향 정보를 포함함 - 와 상기 추출된 하나 이상의 특징점을 비교하여 유사도를 산출하는 단계; 및
    상기 산출된 유사도를 이용하여 상기 마커에 대한 무결성을 검증하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
    컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램.

Images