KR20140061156A

KR20140061156A - 도로표지판의 위치검출 방법

Info

Publication number: KR20140061156A
Application number: KR1020120128394A
Authority: KR
Inventors: 윤덕근; 성정곤; 이준석
Original assignee: 한국건설기술연구원
Priority date: 2012-11-13
Filing date: 2012-11-13
Publication date: 2014-05-21
Also published as: KR101445739B1

Abstract

본 발명은 영상처리를 통하여 자동으로 인식된 도로표지판의 종류와 사진 찍은 점을 이용한 대략적인 위치와 반사도 전용 레이저 포인트 클라우드를 이용하여 보다 정밀한 도로표지판의 위치를 검출하는 방법을 제공하기 위한 것으로서, 도로시설물 데이터의 자동 위치삽입에 관하여 레이저센서의 반사도 데이터를 이용하여 표지판 위치데이터만을 자동으로 추출하여 저장하는 단계와, GPS, IMU, 레이저의 데이터를 이용하여 센서기준의 상대적인 도로시설물의 위치를 직각좌표계의 절대좌표로 변환하는 단계와, GPS, IMU, DMI, 카메라, 레이저센서를 이용하여 시설물의 위치를 취득하는 것에 관하여 GPS, IMU, DMI, 카메라, 레이저센서를 이용하여 영상을 일정간격으로 촬영하고 차량의 궤도 데이터를 이용하여 위치를 삽입하는 단계와, 영상 촬영시점의 이미지와 촬영당시의 좌표를 자동으로 동기화하고 기록하는 단계와, 토탈스테이션을 이용하여 차량에 부착된 각각의 센서들의 위치와 자세를 측정하는 단계와, 상기 측정된 차량에 부착된 각각의 센서 위치와 자세를 이용하여 실제로 측정되는 표지판과의 GPS의 경위도, 높이 좌표와, IMU의 롤, 피치, 헤딩을 이용한 3차원 회전 변환을 통해 절대위치로 좌표변환을 수행하여 도로상에 위치하는 인식된 도로표지판의 위치를 검출하는 단계를 포함하여 이루어지는데 있다.

Description

도로표지판의 위치검출 방법{Position Detecting Method of Road Traffic Sign}

본 발명은 도로표지판의 위치를 검출하기 위한 방법에 관한 것으로, 특히 차량과 같은 이동수단(이하 ‘차량’이라함)에 GPS(Global Positioning System), IMU(Inertial Measurement Unit), DMI(Distance Measurement Instrument), 카메라, 레이저센서를 부착하고, 이것을 이용하여 도로표지판을 인식하여 도로표지판의 정확한 위치를 자동으로 검출하기 위한 방법에 관한 것이다.

도로시설물 정보는 도로관리나 안전측면에 중요한 요소이다. 이 중 도로표지는 운전자에게 정보를 제공하는 중요한 시설물로, 도로표지는 적절한 내용을 가지고 적정한 곳에 위치해야 한다. 이러한 도로표지가 중복설치, 잘못된 곳에 설치 혹은 손실, 망실이 발생할 경우 도로는 운전자에게 적정한 정보를 제공하지 못하므로 교통안전에도 영향을 줄 뿐 아니라 도로관리 측면에서도 도로의 자산을 효율적으로 관리한다는데 중요한 의미가 있다. 도로안전측면에서는 도로의 제한속도 연속성을 파악하는 것이 필요하며 이것을 제한속도 표지판 인식 등을 통하여 자동으로 파악할 수 있다면 도로안전점검에 많은 도움을 줄 수 있다.

따라서 도로관리자는 정기적으로 이러한 도로표지판과 안전시설의 오류가 없는지 정기적으로 점검을 해야 한다. 그러나 도로표지판의 점검을 사람의 인력으로 진행한다는 것은 위험하고 힘든 작업이 되며, 하루에 할 수 있는 분량도 수 Km에 불과하다.

이러한 문제점을 해결하기 위해, 기존의 도로표지판 인식에 대한 방법으로는 도로를 주행하는 차량에 카메라를 설치하고, 카메라에서 촬영된 영상을 이용하여 도로의 표지판을 인식하는 방법을 이용하였다. 그러나 기존의 도로표지판 인식 방법에서 인식된 결과에 대한 도로표지판의 위치를 검출하는 방법에 대해서는 GPS를 이용하여 영상을 촬영할 당시 차량의 위치를 대략적으로 삽입하거나 스테레오 영상을 이용하여 수동으로 공액점을 이용하는 방법 등이 이용되었다

도로관리청에서 도로표지를 빠른 속도로 표지의 설치위치에 따른 표지 조사 여부를 파악하기 위해서는 기존의 대략적인 도로표지판의 위치가 아닌 자동으로 도로표지판을 인식하고 보다 정확한 도로표지판의 위치를 정확하기 위한 방법이 요구되고 있다. 또한 조사를 통해 자동으로 도로의 관리도면을 생성시 표지의 종류와 더불어 위치를 생성하는 방법은 더욱 요구되고 있다.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 영상처리를 통하여 자동으로 인식된 도로표지판의 종류와 사진 찍은 점을 이용한 대략적인 위치와 반사도 전용 레이저 포인트 클라우드를 이용하여 보다 정밀한 도로표지판의 위치를 검출하는 방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 도로표지판의 위치검출 방법의 특징은 (A) 도로를 주행하는 이동수단(이하 ‘차량’이라함)에 설치된 카메라에서 촬영된 영상을 입력받는 단계와, (B) 상기 입력된 영상을 HSV(Hue Saturation Value) 색상분리를 수행하여 대상 교통표지의 색상적 특성에 따른 도로표지판 영상을 검출하는 단계와, (C) 상기 입력된 영상을 대상 교통표지의 형태적 특성을 이용하여 교통표지 영역과 그 외 영역(교통표지가 아닌 영역)으로 분류하여 형태적 특성에 따른 도로표지판 영상을 검출하는 단계와, (D) 상기 형태학적 특성을 통해 검출한 도로표지판 영상과 상기 색상적 특성을 통해 검출한 도로표지판 영상을 기반으로 도로표지판의 종류를 분류하여 하나의 도로표지판을 검출하여 인식하는 단계와, (E) 토탈스테이션을 이용하여 차량에 부착된 각각의 센서들의 위치와 자세를 측정하는 단계와, (F) 상기 측정된 차량에 부착된 각각의 센서 위치와 자세를 이용하여 실제로 측정되는 표지판과의 GPS의 경위도, 높이 좌표와, IMU의 롤(roll), 피치(pitch), 헤딩(heading)을 이용한 3차원 회전 변환을 통해 절대위치로 좌표변환을 수행하여 도로상에 위치하는 인식된 도로표지판의 위치를 검출하는 단계를 포함하여 이루어지는데 있다.

바람직하게 상기 (B) 단계는 입력된 원 영상을 색상의 채널별로 각각 분리하는 단계와, 상기 색상의 채널별로 분리된 영상에서 일부분(관심영역) 만을 확대하여 색상적 특성에 따른 도로표지판 영상을 검출하는 단계를 포함하는 것을 특징으로 한다.

바람직하게 상기 (D) 단계는 검출된 형태학적 특성에 따른 도로표지판 영역의 영상의 도로표지판 영역에 대해 왜곡이 발생된 경우 왜곡을 보정하는 단계와, 상기 왜곡이 보정된 영상을 이용하여 설정된 동일한 영상의 크기로 영상 크기를 변경하는 단계와, 동일한 영상 크기로 변경된 영상의 밝기를 미리 설정되어 있는 밝기 값으로 조절하는 단계와, 상기 밝기 값이 조절된 영상에서 배경영상을 제거하여 도로표시판 영역만을 추출하는 단계와, 상기 추출된 도로표시판 영역 및 상기 색상적 특성에 따른 도로표지판 영상을 기반으로 SVM(Support Vector Machine)을 이용한 패턴분류 방법을 통하여 미리 저장되어 있는 도로표지판과 비교하여 도로표지판을 검출하는 단계와, 상기 검출된 도로표지만을 최종 도로표지판으로 인식하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 (E) 단계는 CAD 상에서 GPS점을 UCS(User Coordinate System)의 원점 0, 0, 0으로 두고 차량의 방향을 차량 외곽선을 참고하면서 UCS축을 회전하여 차량의 축과 일치시키는 단계와, 상기 설정된 UCS를 GPS로부터 상대위치를 측정할 수 있는데 CAD의 list 명령을 통하여 UCS x, y, z의 위치를 확인하여 센서들의 위치를 측정하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게 상기 (F) 단계는 GPS-INS 통합 처리한 데이터와 극 좌표계로 구성된 회전식 레이저 스캐너 데이터를 이용하여 상기 실제로 측정되는 표지판과의 GPS의 경위도, 높이 좌표와, IMU의 롤(roll), 피치(pitch), 헤딩(heading)을 3차원 절대 좌표계로 변환하는 것을 특징으로 한다.

바람직하게 상기 롤(Roll)은 진행방향인 Y축을 기준으로, 상기 피치(Pitch)는 진행방향의 직각인 X축을 기준으로, 상기 헤딩(Heading)은 Z축을 기준으로한 회전각이며, 회전각도의 순서는 피치(pitch), 롤(roll), 헤딩(heading)인 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 도로표지판의 위치검출 방법은 다음과 같은 효과가 있다.

첫째, 도로안전관리를 위한 도로표지판의 정보를 맑은 날 기준으로 90% 이상 자동으로 기록할 수 있으며, 토탈스테이션의 측량을 통하여 정밀하게 측정한 도로표지판의 위치를 이용하여 도로안전점검의 데이터로 활용할 수 있다.

둘째, 이러한 도로표지판의 정확한 위치검출을 이용하여 도로 안전점검을 위한 도로표지판의 분석, 잘못된 설치, 안전속도의 일관성 등에 대한 분석 등이 자동화될 수 있다.

도 1 은 본 발명의 실시예에 따른 도로표지판의 위치검출 방법을 설명하기 위한 흐름도
도 2 는 본 발명에서 HSV(Hue Saturation Value) 색상 공간을 이용한 원 영상을 중심으로 색상에 따른 특성을 추출한 실시예
도 3 은 본 발명에서 영상 내 교통표지의 검출 이후 정규화하는 과정을 설명한 도면
도 4 는 본 발명에 따른 정규화된 영상에 대한 결과값을 도출하는 과정을 설명하기 위한 도면
도 5 는 본 발명에 따른 토탈스테이션을 이용하여 차량에 부착된 각각의 센서 위치와 자세를 측정하는 방법을 설명하기 위한 도면
도 6 은 본 발명에 따른 회전식 레이저 스캐너 좌표변환 과정을 설명하기 위한 도면
도 7 은 본 발명에 따른 도로표지판의 위치검출 방법을 이용하여 노선측량을 실시한 결과를 나타낸 도면
도 8 은 본 발명에 따른 도로표지판의 위치검출 방법을 이용한 표지판 위치 측량결과와 실제 측량한 좌표와의 비교도

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 도로표지판의 위치검출 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1 은 본 발명의 실시예에 따른 도로표지판의 위치검출 방법을 설명하기 위한 흐름도이다.

도 1을 참조하여 설명하면, 먼저 차량 등과 같은 도로를 주행하는 이동수단(이하 ‘차량’이라함)에 설치된 카메라에서 촬영된 영상을 불러온다(S10).

그리고 상기 불러온 촬영된 영상을 HSV(Hue Saturation Value) 색상분리를 수행하여 대상 교통표지(주의, 규제, 지시, 시선유도 등)의 색상적 특성에 따른 도로표지판 영상을 검출한다(S20). 이때, 도로에 위치하는 도로표지판은 주의, 규제, 지시, 시설유도 표지를 대상으로 하는 색상적 특성에 따라 표 1에서 기재하고 있는 것과 같이 빨강, 노랑, 파랑 등의 색이 존재하게 된다.

구분	테두리 색상	내부배경 색상
주의표지	빨강	노랑
규제표지	빨강	백색, 파랑
지시표지	파랑	흰색
시선유도표지	노랑	검정

즉, 빨강, 파랑, 노랑 등 다양한 색상으로 구분되는 교통표지의 색상적인 특성을 이용하여 영상 내 교통표지를 검출하기 위해 HSV 색 공간을 이용한다. 이때, HSV 색 공간은 세밀한 색의 표현이 가능하여 영상처리 등에 많이 사용되며, 색상(Hue), 채도(Saturation), 명도(Value)를 기준으로 색을 구성하는 방식이다. 감산혼합이나 가산혼합보다 색상의 지정이 직관적이기 때문에 검출을 위한 색 공간으로 적합하다.

도 2 는 본 발명에서 HSV(Hue Saturation Value) 색상 공간을 이용한 원 영상을 중심으로 색상에 따른 특성을 추출한 실시예이다.

도 2를 참조하여 설명하면, 도 2(a)에서 나타내고 있는 원 영상을 도 2(b), 2(c)에서 나타내고 있는 것과 같이 파랑(blue), 빨강(red), 노랑(yellow), 흰색(white) 채널별로 각각 분리하고, 도 2(d), 도 2(e)에서 나타내고 있는 것과 같이 상기 색상의 채널별로 분리된 영상에서 일부분(관심영역) 만을 확대하여 색상적 특성에 따른 도로표지판 영상을 검출한다.

또한, 상기 불러온 촬영된 영상을 대상 교통표지(주의, 규제, 지시, 시선유도표지 등)의 형태적 특성을 이용하여 교통표지 영역과 그 외 영역(교통표지가 아닌 영역)으로 분류하여 형태적 특성에 따른 도로표지판 영상을 검출한다(S30).

이때, 도로에 위치하는 도로표지판은 주의, 규제, 지시, 시설유도 표지를 대상으로 하는 형태학적 특성에 따라 표 2에서 기재하고 있는 것과 같이 삼각형, 원형, 역삼각형, 사각형, 팔각형 등의 형태가 존재하게 된다.

구분	테두리 색상
주의표지	삼각형
규제표지	원형, 역삼각형, 팔각형
지시표지	원형, 삼각형, 사각형
시선유도표지	사각형

즉, 주의표지에서는 삼각형의 형태만 존재하며, 규제표지에서는 원형, 역삼각형, 팔각형이 존재한다. 또한 지시표지는 원형, 삼각형, 사각형의 형태를 보이며, 시선유도표지는 사각형의 형태학적 특성을 가지고 있다.

이러한 형태학적 특성을 통해 검출한 도로표지판 영상을 상기 색상적 특성을 통해 검출한 도로표지판 영상과 함께 적용하면 보다 정확한 도로표지판의 종류가 분류 가능하다.

이때, 차량에 설치된 카메라와 촬영되는 도로표지판 간의 거리에 따라 촬영되는 영상 내의 도로표지판의 크기는 동일하지 않다. 또한 영상취득 당시의 주변 환경 등에 따른 영상 밝기의 정도 또한 각각 다를 것이다. 이와 같이, 밝기와 크기, 그리고 카메라 위치 또는 대상 도로표지판의 설치 위치에 따른 왜곡 등이 발생된 경우(S40), 왜곡의 보정이 필요하며(S50), 또한 통일된 영상 형태를 가지도록 하는 정규화 과정이 필요하다(S60).

도 3 은 본 발명에서 영상 내 교통표지의 검출 이후 정규화하는 과정을 설명한 도면이다.

도 3을 참조하여 설명하면, 먼저 도 3(a)에서 도시하고 있는 것과 같이 촬영된 영상이 입력되면, 도 3(b), 3(c)에서 도시하고 있는 것과 같이 형태학적 특성에 따른 도로표지판 영역의 영상을 검출하고, 상기 검출된 영상의 도로표지판 영역에 대해 왜곡이 발생된 경우 도 3(d)와 같이 왜곡을 보정한다. 이때, 상기 왜곡은 도로표지판의 기울어짐이나 비스듬한 촬영을 통해 형태의 변형 등을 포함한다. 따라서 왜곡의 보정은 기울어진 도로표지판을 평행하게 위치시키거나 또는 변형된 형태를 정면에서 본 모양으로 올바르게 조정하는 것을 말한다.

이후, 왜곡이 보정된 영상을 이용하여 도 3(e)에서 도시하고 있는 것과 같이 동일한 영상의 크기로 영상 크기를 변경하고, 또한 밝기를 미리 설정되어 있는 밝기 값으로 조절한다. 이어 도 3(f)에서 도시하고 있는 것과 같이 배경영상을 제거하여 도로표시판 영역만을 추출한다.

이처럼, 정규화 과정을 통해 배경 영상이 제거된 동일 크기를 갖는 도로표지판 영역을 추출하게 된다.

그리고 이렇게 정규화된 영상 및 색상적 특성에 따른 도로표지판 영상을 기반으로 SVM(Support Vector Machine)을 이용한 패턴분류 방법을 통하여 미리 저장되어 있는 도로표지판과 비교하여 정규화된 영상에 대한 도로표지판의 자동인식을 수행한다(S70). 이때, 상기 패턴분류를 위한 SVM의 개념에 대해 설명하면 다음 수학식 1과 같다.

상기 수학식 1에서 학습데이터 D가 주어졌을 때, Ci는 1이나 -1의 값을 갖는 변수가 Xi에 속한 클래스를 의미하며, Xi는 P차원의 실수벡터이다. 이때, 신경망을 포함하여 많은 학습 알고리즘은, 이러한 학습데이터가 주어졌을 때 Ci = 1인 점들과 Ci = -1인 점들을 분리하는 초평면(hyperplane)을 찾아내는 것이 공통의 목표인데, 상기 SVM이 다른 알고리즘과 차별되는 특징은 단지 점들을 분리하는 초평면(hyperplane)을 찾는 것으로 끝나는 것이 아니라 점들을 분리할 수 있는 수많은 후보평면들 가운데 마진(margine)이 최소가 되는 초평면을 찾는 것이다.

여기서 마진이란 초평면으로부터 각 점들에 이르는 거리의 최소값을 말하는데 이 마진을 최대로 하면서 점들을 두 클래스로 분류하려면 결국 클래스 1에 속하는 점들과의 거리 중 최소값과 클래스 -1에 속하는 점들과의 거리 중 최소값이 같도록 초평면이 위치해야 하며, 이러한 초평면을 최대-마진 초평면(maximum-margine hyperplane)이라고 한다.

결론적으로 SVM은 두 클래스의 점들과 거리를 유지하는 것을 찾아내는 알고리즘이라 할 수 있다.

따라서 상기 정규화된 영상에 대한 도로표지판의 자동인식 결과를 도출하는 방법은 도 4에서 도시하고 있는 것과 같이, 정규화 과정을 통해 추출된 도로표지판 영상(10)을 미리 저장하고 있는 도로표지판 이미지들(20)과 비교를 통한 패턴매칭 확률을 이용하여, 확률이 가장 높게 나온 것을 미리 저장하고 있는 도로표지판 이미지(30)를 결과값으로 한다. 이때, 상기 결과값을 도출하기 위해서 정규화 이후 SVM을 통해 각각 확률이 가장 높은 것을 결과값으로 도출한다.

그리고 이렇게 도출된 인식 결과값을 최종 도로표지판으로 인식하여 인식 결과를 사용자에게 제공한다(S80).

이어 상기 인식된 도로표지판의 위치를 정밀하게 검출하기 위하여 토탈스테이션(광파기)을 이용하여 차량에 부착된 각각의 센서 위치와 자세를 정밀하게 측정한다(S90). 이때, 상기 토탈스테이션은 레이저를 이용하여 반사되어 오는 점을 파악하여 거리, 각도 등을 잴 수 있는 기계로서, 이를 통해 차량에 부착된 각각의 센서 위치와 자세를 측정하기 위해서 차량의 위치를 360도 돌아가면서 최소한 3곳 이상에 토탈스테이션을 세워야 한다. 이는 도로 안전성 조사 분석 차량 전방에 설치된 시설물인식용 레이저의 상대위치를 직각좌표계의 절대위치로 바꾸기 위하여 각 센서의 위치를 정밀하게 측정하여야 하기 때문이다.

상기 토탈스테이션을 이용하여 차량에 부착된 각각의 센서 위치와 자세를 측정하는 방법을 상세히 설명하면 다음과 같다. 한편, 차량에 4개의 레이어를 가진 반사도 전용 레이저를 차량 전방, 좌, 우편에 부착하여 사용하는 경우를 실시예로 설명한다.

먼저, 차량의 센서 위치는 GPS로부터의 상대 위치와 차량 진행방향을 y축으로 하는 것이 중요하므로 도 5에서 도시하고 있는 것과 같이, CAD 상에서 GPS점을 UCS(User Coordinate System)의 원점 0, 0, 0으로 두고 차량의 방향을 차량 외곽선을 참고하면서 UCS축을 회전하여 차량의 축과 일치시킨다. 이렇게 UCS를 설정했으면 GPS로부터 상대위치를 측정할 수 있는데 CAD의 list 명령을 통하여 UCS x, y, z의 위치를 확인하여 센서들의 위치를 측정한다. 이를 정리하면 다음 표 3과 같이 표시된다. 표 3은 실제 본 발명에서 개발된 차량의 센서 위치를 정리한 표이다.

이때, 전방레이저의 자세를 측정하기 위하여 전방레이저 센서의 y가 0이 되는 지점을 찾으면 그 방향이 레이저가 바라보는 방향이며, 레이저의 위치와 y가 0인 점의 위치를 토탈스테이션에 의하여 측량하여 레이저의 방향을 측정하였다. 이 때 y가 0이 되는 지점을 찾기 위하여 지점에 반사 프리즘을 설치하고 차량 내부의 레이저 상대 위치 창을 통하여 확인하면서 0이 되는 지점으로 조금씩 이동하여 최종적으로 확정한다.

그리고 이렇게 측정된 차량에 부착된 각각의 센서 위치와 자세를 이용하여 실제로 측정되는 표지판과의 GPS의 경위도, 높이 좌표와, IMU의 롤(roll), 피치(pitch), 헤딩(heading)을 이용한 3차원 회전 변환을 통해 절대위치로 좌표변환을 수행하여 도로상에 위치하는 인식된 도로표지판의 위치를 검출한다(S100).

이때, 실제로 측정되는 표지판과의 정확한 위치를 검출하는 방법을 상세히 설명하면 다음과 같다.

도로 안전성 조사 분석 차량 전방에 설치된 시설물인식용 레이저를 사용한 데이터 처리를 위해서는 GPS-INS 통합 처리한 데이터와 극 좌표계로 구성된 회전식 레이저 스캐너 데이터를 이용하여 3차원 절대 좌표계로 변환한다. 이때의 변환과정을 수식으로 표현하면 다음 수학식 2와 같다.

이때, 회전식 레이저 스캐너 데이터는 INS 기준의 좌표계와 일치 시켜주어야 하며, GPS-INS 통합처리에서 차량에 설치된 INS를 기준으로 위치와 회전각을 계산한다. 도 6을 참조하여 설명하면, 3차원 공간상에서 X, Y, Z축의 순서대로 회전을 시켜야 하며 이때 사용되는 회전행렬은 다음 수학식 3과 같다.

여기서 롤(Roll)은 진행방향인 Y축을 기준으로, 피치(Pitch)는 진행방향의 직각인 X축을 기준으로, 헤딩(Heading)은 Z축을 기준으로한 회전각이다. 따라서 회전 순서가 X, Y, Z이므로, 이때의 회전각도의 순서는 피치(pitch), 롤(roll), 헤딩(heading)이 된다.

최종적으로 실제의 3차원 좌표계로 변환된 회전식 레이저 스캐너의 3차원 포인트 데이터 위치(

)는 다음 수학식 4와 같이 간략하게 계산이 된다.

여기서

는 레이저 스캐너의 3차원 포인트 데이터의 위치이며,

는 X, Y, Z축의 회전행렬이며, INS의 회전각으로부터 계산이 된다.

는 IMU로부터 회전식 레이저 스캐너까지의 이격거리이며, East, North, Height는 GPS의 위치이다.

본 발명에서는 레이저스캐너의 단위는 m이며, GPS의 좌표는 경위도이기 때문에 경위도를 직각 TM 좌표계로 바꾸는 작업을 하였다. 본 발명에서 사용한 직각 TM좌표계는 GRS80 타원체의 신중부 좌표계를 사용하였으며 대상이 되는 지점은 국도 37호선 가평~현리 구간의 4차로 국도를 대상으로 검증을 실시하였다. 도 7은 본 구간에 대하여 노선측량을 실시한 결과로서, 도 7(a)가 실제 검증 구간을 나타낸 영상이며, 도 7(b)가 노선측량 결과로서 각 구간의 도로표지판의 위치를 정밀하게 측정하였다.

도 8 은 본 발명에 따른 도로표지판의 위치검출 방법을 이용한 표지판 위치 측량결과와 실제 측량한 좌표와 비교한 도면으로서, 도 8에서 도시하고 있는 것과 같이 실체 측량한 좌표와 큰 차이가 없음을 알 수 있다.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

(A) 차량의 위치 및 자세 정보 중 적어도 하나를 취득하는 센서, 카메라, 레이저, 거리를 잴 수 있는 거리계(Distance Measurement Instrument, DMI) 중 적어도 하나를 장착한 차량이 이동하면서 거리계로부터 차량의 차륜 회전수를 계산하여 일정거리마다 카메라로 촬영된 영상 및 측정정보를 입력받는 단계와,
(B) 상기 입력되는 레이저의 위치정보를 분석하기 위해 토탈스테이션을 이용하여 차량에 부착된 각각의 센서들의 위치와 자세를 측정하는 단계와,
(C) 상기 측정된 차량에 부착된 각각의 센서 위치와 자세를 이용하여 실제로 측정되는 표지판과의 GPS의 경위도, 높이 좌표와, IMU의 롤(roll), 피치(pitch), 헤딩(heading)을 이용한 3차원 회전 변환을 통해 절대위치로 좌표변환을 수행하여 도로상에 위치하는 인식된 도로표지판의 위치를 검출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 도로표지판의 위치검출 방법.
제 1 항에 있어서, 상기 (A) 단계는
GPS, IMU, DMI, 카메라, 레이저센서를 이용하여 시설물의 위치를 취득하고, 영상을 일정간격으로 촬영하며, 표지판의 위치 삽입을 위한 차량의 궤도 데이터를 입력받는 단계와,
영상 촬영시점의 이미지와 촬영당시의 좌표를 동기화하고 기록하는 단계를 포함하는 것을 특징으로 하는 도로표지판의 위치검출 방법.
제 1 항에 있어서, 상기 (B) 단계는
레이저센서의 반사도 데이터를 이용하여 도로시설물 데이터의 자동 위치삽입을 위한 표지판 위치데이터만을 추출하여 저장하는 것을 특징으로 하는 도로표지판의 위치검출 방법.
제 1 항에 있어서, 상기 (B) 단계는
GPS, IMU, 레이저의 데이터를 이용하여 센서기준의 상대적인 도로시설물의 위치를 직각좌표계의 절대좌표로 변환하는 것을 특징으로 하는 도로표지판의 위치검출 방법.
제 1 항에 있어서, 상기 (B) 단계는
CAD 상에서 GPS점을 UCS(User Coordinate System)의 원점 0, 0, 0으로 두고 차량의 방향을 차량 외곽선을 참고하면서 UCS축을 회전하여 차량의 축과 일치시키는 단계와,
상기 설정된 UCS를 GPS로부터 상대위치를 측정할 수 있는데 CAD를 통하여 UCS x, y, z의 위치를 확인하여 센서들의 위치를 측정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 도로표지판의 위치검출 방법.
제 1 항에 있어서, 상기 (C) 단계는
GPS-INS 통합 처리한 데이터와 극 좌표계로 구성된 레이저 스캐너 데이터를 이용하여 상기 실제로 측정되는 표지판과의 GPS의 경위도, 높이 좌표와, IMU의 롤(roll), 피치(pitch), 헤딩(heading)을 3차원 절대 좌표계로 변환하는 것을 특징으로 하는 도로표지판의 위치검출 방법.
제 6 항에 있어서,
상기 롤(Roll)은 진행방향인 Y축을 기준으로, 상기 피치(Pitch)는 진행방향의 직각인 X축을 기준으로, 상기 헤딩(Heading)은 Z축을 기준으로한 회전각이며, 회전각도의 순서는 피치(pitch), 롤(roll), 헤딩(heading)인 것을 특징으로 하는 도로표지판의 위치검출 방법.
제 1 항에 있어서, 상기 (C) 단계는
차량의 영상인식과 인식 당시에 동기화된 차량 자체의 GPS 위치와 반사도 레이저와 GPS-IMU로부터 얻은 표지판의 포인트 좌표 중 적어도 하나 이상에서 가장 근접점을 삽입하므로 표지판의 종류와 정확한 위치를 지정하는 것을 특징으로 하는 도로표지판의 위치검출 방법.
도로를 주행하는 이동수단(이하 ‘차량’이라함)에 설치된 카메라에서 촬영된 영상을 입력받는 단계와,
상기 입력된 영상을 HSV(Hue Saturation Value) 색상분리를 수행하여 대상 교통표지의 색상적 특성에 따른 도로표지판 영상을 검출하는 단계와, (C) 상기 입력된 영상을 대상 교통표지의 형태적 특성을 이용하여 교통표지 영역과 그 외 영역(교통표지가 아닌 영역)으로 분류하여 형태적 특성에 따른 도로표지판 영상을 검출하는 단계와,
상기 형태학적 특성을 통해 검출한 도로표지판 영상과 상기 색상적 특성을 통해 검출한 도로표지판 영상을 기반으로 도로표지판의 종류를 분류하여 하나의 도로표지판을 검출하여 인식하는 단계와,
토탈스테이션을 이용하여 차량에 부착된 각각의 센서들의 위치와 자세를 측정하는 단계와,
상기 측정된 차량에 부착된 각각의 센서 위치와 자세를 이용하여 실제로 측정되는 표지판과의 GPS의 경위도, 높이 좌표와, IMU의 롤(roll), 피치(pitch), 헤딩(heading)을 이용한 3차원 회전 변환을 통해 절대위치로 좌표변환을 수행하여 도로상에 위치하는 인식된 도로표지판의 위치를 검출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 도로표지판의 위치검출 방법.