KR101392357B1

KR101392357B1 - 2차원 및 3차원 정보를 이용한 표지판 검출 시스템

Info

Publication number: KR101392357B1
Application number: KR1020120148144A
Authority: KR
Inventors: 이상웅; 황경조
Original assignee: 조선대학교산학협력단
Priority date: 2012-12-18
Filing date: 2012-12-18
Publication date: 2014-05-12

Abstract

본 발명은 2차원 및 3차원 정보를 이용한 표지판 검출 시스템에 관한 것으로서, 검출하고자 하는 객체가 포함된 2차원 영상 및 3차원 깊이 영상을 획득하고, 획득한 상기 3차원 깊이 영상에서 카메라와 객체 사이의 거리정보를 추출하는 거리정보 추출부; 상기 거리정보 추출부를 통해 추출된 거리정보를 사전에 측정된 유효거리에 적용시켜, 3차원 깊이 영상에서 불필요한 영역을 제거하고, 유효거리 안의 로우 데이터 값을 그레이 스케일 영상으로 변환하는 필터링부; 상기 필터링부를 통해 필터링이 수행된 3차원 깊이 영상을 영역별로 분할한 후, 분할된 영역들을 레이블링 기법을 이용하여 관심영역으로 지정하는 거리별 영역 분할부; 및 상기 거리별 영역 분할부를 통해 지정된 관심영역들을 2차원 정보인 RGB 영상으로 변환하고, 변환된 RGB 영상을 HSI 컬러 모델로 변환 후, 색상과 채도정보를 사용하여 표지판의 컬러에 해당되는 영역을 이진화 영상으로 검출하며, 표지판을 검출하기 위해 분할된 영역에서 최소 및 최대 좌표를 구하여 중심점을 구하고, 구해진 중심점에서 추출된 최소 및 최대 좌표를 확장시키는 거리별 영역 분할부; 를 포함한다.

Description

2차원 및 3차원 정보를 이용한 표지판 검출 시스템{SYSTEM FOR DETECTING SIGN USING 2D AND 3D INFORMATION}

본 발명은 표지판 검출 시스템에 관한 것으로서, 더욱 상세하게는 2차원 정보에 나타나는 특징들만을 이용한 표지판 검출 및 인식 방식에서 벗어나, 3차원 깊이 정보를 이용하여 표지판을 검출하는 2차원 및 3차원 정보를 이용한 표지판 검출 시스템에 관한 것이다.

표지판 검출 방법에 관한 기술과 관련해서는, 한국공개특허 제10-2010-0064140호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.

선행문헌에 따른 방법은, 입력 영상에서 색상 정보를 포함한 색상 대비 특징 맵과 윤곽선 정보를 포함한 윤곽선 특징 맵을 산출하는 단계; 상기 색상 대비 특징 맵과 윤곽선 특징 맵을 이용하여 영상 강화 맵을 생성하는 단계; 및, 상기 영상 강화 맵을 이용하여 상기 입력 영상 내의 교통 표지판을 검출하는 단계; 를 포함한다.

한편, 거리를 걷다보면 길가나 건물의 안팎에 설치된 표지판들을 볼 수 있다. 이러한 표지판들은 사람들에게 길을 알려주는 등의 여러 가지 유용한 정보를 제공한다. 이와 같이 유용한 정보를 제공하는 표지판들을 효과적으로 사용하기 위해서는 표지판 인식이 필요하다. 이에 일환으로 지능형 교통시스템의 한 분야인 교통 표지판 인식은 운전자의 시각 및 지각의 한계를 보완하여 운전 부주의나 운전 미숙 등으로 인한 과실을 사전에 방지함으로써 교통사고 발생을 줄일 수 있다. 또한, 안내 표지판 인식은 도로방향과 지명에 대한 정보를 사용자에게 전달함으로써 지명까지의 길을 안내하여 사용자가 편리하게 길을 찾아갈 수 있도록 한다.

이와 같이, 표지판을 인식하는 것은 지능형 및 기타 보조 시스템의 중요한 요소이다. 이러한 표지판들은 대부분 사용자가 쉽게 판별할 수 있도록 색상과 모양이 정해져 있다. 이에 따라 기존 표지판 인식에 관한 연구들은 색상 기반, 형태 기반, 색상과 형태를 결합한 방법들이 주류를 이루고 있다.

먼저, 색상 기반은 RGB 및 HSI 와 같은 칼라 모델을 기반으로 표지판의 색상 정보를 이용하여 표지판과 유사한 영역을 영상 분할 방법을 적용하여 표지판을 검출한다.

또한, 형태 기반은 에지 정보를 기반으로 표지판 후보 영역을 검출하고 사전에 정의한 표지판의 모양과 검출된 표지판 모양의 유사성을 비교하여 최종적으로 표지판을 검출한다.

그리고, 색상과 형태를 결합한 방법은 색상 기반으로 표지판 후보 영역을 검출한 후 학습된 형태 정보를 색상 기반에서 검출된 후보 영역에 매칭시켜 가장 유사한 영역을 표지판 영역으로 검출한다.

이러한 표지판 연구들의 공통점은 2차원 정보의 특징만을 사용하여 표지판들을 검출하거나 인식한다는 것이다. 하지만 2차원 정보의 특징만을 사용하는 연구들은 거리정보인 3차원 정보를 알 수 없기 때문에 3차원 정보를 필요로 하는 지능형 로봇, 시각장애인 보조 시스템 등과 같은 다양한 분야에 적용하는데 제한적이다.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 2차원 정보뿐만 아니라, 3차원 깊이 정보를 이용하여 표지판을 검출함으로써, 다양한 환경 및 종류의 표지판 검출이 가능한 시스템을 제공함에 그 목적이 있다.

이러한 기술적 과제를 달성하기 위한 본 발명은 2차원 및 3차원 정보를 이용한 표지판 검출 시스템에 관한 것으로서, 검출하고자 하는 객체가 포함된 2차원 영상 및 3차원 깊이 영상을 획득하고, 획득한 상기 3차원 깊이 영상에서 카메라와 객체 사이의 거리정보를 추출하는 거리정보 추출부; 상기 거리정보 추출부를 통해 추출된 거리정보를 사전에 측정된 유효거리에 적용시켜, 3차원 깊이 영상에서 불필요한 영역을 제거하고, 유효거리 안의 로우 데이터(Raw Data) 값을 그레이 스케일(Gray-scale) 영상으로 변환하는 필터링부; 상기 필터링부를 통해 필터링이 수행된 3차원 깊이 영상을 영역별로 분할한 후, 분할된 영역들을 레이블링 기법을 이용하여 관심영역으로 지정하는 거리별 영역 분할부; 및 상기 거리별 영역 분할부를 통해 지정된 관심영역들을 2차원 정보인 RGB 영상으로 변환하고, 변환된 RGB 영상을 HSI 컬러 모델로 변환 후, 색상(Hue)과 채도(Saturation) 정보를 사용하여 표지판의 컬러에 해당되는 영역을 이진화 영상으로 검출하며, 표지판을 검출하기 위해 분할된 영역에서 최소 및 최대 좌표를 구하여 중심점을 구하고, 구해진 중심점에서 추출된 최소 및 최대 좌표(x, y)를 확장시킴으로써, 표지판을 검출하는 표지판 검출부; 를 포함한다.

또한 상기 거리정보 추출부는, 3차원 깊이 영상을 획득하기 위해, 두 대의 카메라가 적용된 평행식 스테레오 카메라와, RGB 카메라 및 3차원 깊이 센서가 적용된 키넥트 카메라를 이용하는 영상 입력모듈; 및 상기 스테레오 카메라 및 키넥트 카메라를 통해 획득하여 상기 영상 입력모듈을 통해 입력된 3차원 깊이 영상으로부터 카메라와 객체 사이의 거리정보를 추출하는 거리정보 추출모듈; 를 포함하는 것을 특징으로 한다.

또한 상기 영상 입력모듈은, 스테레오 카메라를 통해 획득한 2차원 영상 및 3차원 깊이 영상을 입력받으며, 키넥트 카메라를 통해 획득한 2차원 정보를 입력받고, 상기 키넥트 카메라의 3차원 정보인 로우 데이터(Raw data)를 영상으로 표현하기 위해, 로우 데이터(Raw data)를 0~2048의 그레이 스케일(Gray-Scale)로 변환함으로써, 3차원 깊이 영상으로 변환하는 것을 특징으로 한다.

또한 상기 거리정보 추출모듈은, 상기 스테레오 카메라의 3차원 깊이 영상으로부터 거리별 화소 값 측정을 통해 거리정보를 추출하는 것을 특징으로 한다.

또한 상기 필터링부는, 상기 거리정보 추출부를 통해 추출된 거리정보를 사전에 측정된 유효거리에 적용시켜, 3차원 깊이 영상에서 불필요한 영역을 제거하는 필터링 모듈; 및 영역 분할에 적합한 3차원 깊이 영상을 구하기 위해, 유효거리 안의 로우 데이터(Raw Data) 값을 0∼255의 그레이 스케일(Gray-scale) 영상으로 변환하는 변환모듈; 을 포함하는 것을 특징으로 한다.

또한 상기 필터링 모듈은, 유효거리의 최소 및 최대거리를 3차원 깊이 영상에서 적용시켜, 불필요한 영역을 제거하는 것을 특징으로 한다.

또한 상기 거리별 영역 분할부는, 3차원 깊이 영상에서 연결성이 있는 영역을 분할하기 위해 Mean Shift 분할을 이용하여, 영역을 분할하는 거리별 영역 분할모듈; 및 분할된 색상 영역들을 레이블링 기법을 통해 각각 관심영역으로 지정하는 관심영역 지정모듈; 를 포함하는 것을 특징으로 한다.

그리고 상기 거리별 영역 분할부는, 3차원 정보인 관심영역들을 2차원 정보인 RGB 영상으로 변환하고, 변환된 RGB 영상을 HSI 컬러 모델로 변환 후, 색상(Hue)과 채도(Saturation) 정보를 사용하여 표지판의 컬러에 해당되는 영역을 이진화 영상으로 검출하는 영상 변환모듈; 및 표지판을 검출하기 위해, 분할된 영역에서 최소 및 최대 좌표를 구하여 중심점을 구하고, 구해진 중심점에서 추출된 최소 및 최대 좌표(x, y)를 확장시킴으로써, 표지판을 검출하되, 추출된 최소 좌표 값은 더 낮은 값으로 변환하고, 최대 좌표는 더 높은 값으로 변환하는 표지판 검출모듈; 을 포함하는 것을 특징으로 한다.

상기와 같은 본 발명에 따르면, 3차원 정보를 필요로 하는 다양한 환경 및 종류의 표지판 검출이 가능하므로, 지능형 교통시스템, 지능형 로봇, 시각장애인 보행 보조 시스템 등과 같은 다양한 분야에 적용 가능한 효과가 있다.

도 1 은 본 발명에 따른 2차원 및 3차원 정보를 이용한 표지판 검출 시스템을 개념적으로 도시한 전체 구성도.
도 2 는 본 발명에 따른 스테레오 카메라 및 키넥트 카메라를 보이는 일예시도.
도 3 은 본 발명에 따른 스테레오 카메라 및 키넥트 카메라를 통해 2차원 및 3차원 영상을 보이는 일예시도.
도 4 는 본 발명에 따른 거리정보를 측정하기 위한 조건을 보이는 일예시도.
도 5 는 본 발명에 따른 거리별 화소 값을 이용하여 거리정보를 추출하는 방법을 보이는 일예시도.
도 6 은 본 발명에 따른 거리정보 추출 결과를 보이는 그래프.
도 7 은 본 발명에 따른 유효거리 필터링 결과를 보이는 일예시도.
도 8 은 본 발명에 따른 Mean Shift 를 적용하여 분할한 결과 및 관심영역을 보이는 일예시도.
도 9 는 본 발명에 따른 3차원 정보를 2차원 정보인 RGB 영상으로 변환한 모습을 보이는 일예시도.
도 10 은 본 발명에 따른 HSI 컬러 기반의 이진화 영상 및 표지판 검출을 위해 최소 및 최대 좌표를 구하는 모습을 보이는 일예시도.
도 11 은 본 발명에 따른 실제 2차원 및 3차원 정보를 융합하여 표지판을 검출한 결과를 보이는 일예시도.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

본 발명의 일실시예에 따른 2차원 및 3차원 정보를 이용한 표지판 검출 시스템에 관하여 도 1 내지 도 11 을 참조하여 설명하면 다음과 같다.

도 1 은 본 발명의 일실시예에 따른 2차원 및 3차원 정보를 이용한 표지판 검출 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 거리정보 추출부(100), 필터링부(200), 거리별 영역 분할부(300) 및 표지판 검출부(400)를 포함하여 이루어진다.

거리정보 추출부(100)는 검출하고자 하는 객체가 포함된 2차원 영상 및 3차원 깊이 영상을 획득하고, 3차원 깊이 영상에서 거리정보를 추출하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 영상 입력모듈(110) 및 거리정보 추출모듈(120)을 포함한다.

구체적으로, 영상 입력모듈(110)은 3차원 깊이 영상을 획득하기 위해, 도 2 에 도시된 바와 같이 두 대의 카메라가 적용된 평행식 스테레오 카메라(111)(도 2 의 (a))와, RGB 카메라 및 3차원 깊이 센서가 적용된 키넥트 카메라(112)(도 2 의 (b))를 이용한다.

스테레오 카메라(111)는 두 대의 카메라로부터 입력된 좌, 우 RGB 영상의 정합을 통해 3차원 깊이 영상을 획득할 수 있다. 이와 같이 획득한 스테레오 카메라(111)의 3차원 깊이 영상은, 카메라와 색체 사이의 거리를 나타내는 정보로서, 0~255까지의 그레이 스케일(Gray-Scale)로 표현된다.

반면, 키넥트 카메라(112)는 RGB 카메라로부터 RGB 영상을 획득하고, 3차원 깊이 센서로부터 3차원 깊이 정보인 로우 데이터(Raw data)를 획득할 수 있다.

획득한 로우 데이터(Raw data)는 카메라와 객체 사이의 거리를 나타내는 정보로서, 0~2048의 값을 가지고 있지만, 영상으로는 표현할 수 없다.

따라서, 영상 입력모듈(110)은 스테레오 카메라(111)를 통해 획득한 2차원 영상 및 3차원 깊이 영상을 입력받으며, 키넥트 카메라(112)를 통해 획득한 2차원 정보를 입력받고, 키넥트 카메라(112)의 3차원 정보인 로우 데이터(Raw data)를 영상으로 표현하기 위해, 0~2048의 로우 데이터(Raw data)를 그레이 스케일(Gray-Scale)로 변환함으로써, 3차원 깊이 영상으로 변환한다.

[수식 1] 은 키넥트 카메라(112)의 로우 데이터(Raw data)를 그레이 스케일(Gray-Scale)로 변환하는 방법을 보여준다.

[수식 1]

여기서,

는 로우 데이터(Raw data)가 그레이 스케일(Gray-Scale)로 변환된 영상이고, 255의 값은 0~255까지의 범위 중 최대값이다. 그리고, 2048은 로우 데이터(Raw data)의 범위 중 최대 값을 나타낸다.

이와 같이, 그레이 스케일(Gray-Scale)로 표현된 3차원 깊이 영상은 흰색에 가까울수록 카메라와 객체 사이의 거리가 가까운 것을 나타내고, 검정색에 가까울수록 카메라와 객체 사이의 거리가 멀다는 것을 나타낸다.

도 3 의 (a) 는 스테레오 카메라(111)를 통해 획득한 2차원 RGB 영상과 3차원 깊이 영상이며, (b) 는 키넥트 카메라(112)를 통해 획득한 2차원 RGB 영상과, 획득한 로우 데이터(Raw data)를 [수식 1] 을 이용하여 3차원 깊이 영상으로 변환한 결과를 보여준다.

도 3 의 (a) 를 살피면, 스테레오 영상에서 획득한 3차원 깊이 영상은 가까운 거리에 있는 부분과 점점 멀어지는 부분의 화소 값의 변화가 뚜렷하게 보이는 반면, (b) 를 살피면, 키넥트 영상에서 획득한 로우 데이터(Raw data)를 [수식 1] 에 의해 변환된 3차원 깊이 영상이 화소 값의 변화가 거의 없다는 것을 알 수 있다. 이는, 0~2048의 넓이를 가지는 로우 데이터(Raw data)를 영상으로 표현하기 위해 0~255까지의 좁은 범위로 변환하였기 때문이다.

이와 같이, 획득한 3차원 깊이 영상으로부터 카메라와 객체 사이의 거리정보를 알 수 있다. 따라서, 본 발명에 따른 거리정보 추출모듈(120)은 스테레오 카메라(111) 및 키넥트 카메라(112)를 통해 획득하여 상기 영상 입력모듈(110)을 통해 입력된 3차원 깊이 영상으로부터 카메라와 객체 사이의 거리정보를 추출한다.

이러한 거리정보는, 3차원 깊이 영상의 화소 값에 따라 추출할 수 있다.

한편, 키넥트 카메라(112)에서는 로우 데이터(Raw data)에 따른 거리정보가 제공되기 때문에, 3차원 깊이 영상으로부터 거리정보를 따로 추출할 필요가 없다. 반면에, 스테레오 카메라(111)에서는 화소 값에 따른 거리정보가 제공되지 않는다.

즉, 거리정보 추출부(120)는 스테레오 카메라(111)의 3차원 깊이 영상으로부터 거리별 화소 값 측정을 통해 거리정보를 추출한다.

정확한 거리를 추출하기 위해서는 도 4 에 도시된 바와 같이 평탄한 바닥을 기준으로 카메라와 객체에 해당하는 체크보드가 동일한 높이어야 한다. 이는, 평탄한 바닥을 기준으로 거리를 측정하기 때문에 카메라와 객체의 높이가 다를 경우 측정한 거리정보의 결과가 잘못될 수 있기 때문이다.

도 5 (a) 에 도시된 바와 같이, 스테레오 카메라(111)와 체크보드를 조건에 만족하게 설치하고, 체크보드를 가까운 지점에서 멀어지는 방향으로 50cm씩 이동한다. 이때, 거리정보 추출부(120)는 3차원 깊이 영상을 캡처한 후(도 5 의 (b) 참조), 체크보드에 해당하는 화소 값을 샘플링하고, 샘플링한 거리별 화소 값을 이용하여 거리정보를 추출한다.

이와 같이, 스테레오 카메라(111)를 통해 획득한 3차원 깊이 영상으로부터 추출한 거리정보와, 키넥트 카메라(112)로부터 제공된 거리정보는 도 6 에 도시된 바와 같다.

도 6 의 (a) 는 스테레오 카메라(111)를 통해 획득한 3차원 깊이 영상의 거리별 화소 값 결과이고, (b) 는 제공된 키넥트 카메라(112)를 통해 획득한 3차원 깊이 영상의 거리별 로우 데이터(Raw data) 값을 나타낸다. 도 6 에서 x축은 cm 단위의 거리를 나타내며, (a) 의 y축은 0~255의 화소 값을 나타내며, (b) 의 y축은 0~2048의 로우 데이터(Raw data) 값을 나타낸다.

도 6 의 결과를 살피면, 일정거리 동안 화소 값이 변하지 않지만, 일정거리 이상 멀어질수록 화소 값이 점점 낮아지는 것을 알 수 있다. 여기서, 일정거리의 화고 값이 동일한 경우에는 거리를 판별할 수 없다. 즉, 거리는 다르지만 화소 값이 동일하기 때문에 사용할 수 없는 영역이 된다.

이와 같이, 스테레오 카메라(111)를 통해 획득한 3차원 깊이 영상으로부터 추출한 거리정보 결과는 화소 값이 변하는 지점인 약 6m 50cm가 최소거리가 되고, 최대거리는 11m로 측정되었다. 최대거리가 11m로 측정된 이유는, 이후 유효거리 측정에서 최대거리가 11m로서 측정되었기 때문이다. 반대로, (b) 는 거리가 멀어질수록 로우 데이터(Raw data) 값이 급격하게 커지다가 일정거리 이후부터 근소하게 값이 변하는 것을 알 수 있다.

이는 로우 데이터(Raw data)를 그레이 스케일(Gray-Scale) 영상으로 변환하지 않았기 때문이다. 이와 같이 제공된 키넥트 카메라(112)의 거리정보 결과는 최소거리는 약 46cm, 최대거리는 약 6m 50cm로 나타났다.

추출된 거리정보에는 거리별 화소 값거리 정보는 거리별 화소 값이 포함되어 있으며, 추출된 거리정보를 사전에 측정된 유효거리에 적용시켜, 3차원 깊이 영상에서 불필요한 영역을 제거할 수 있다.

따라서, 본 발명에 따른 필터링부(200)는 상기 거리정보 추출부(100)를 통해 추출된 거리정보를 바탕으로 유효거리 필터링을 수행하되, 추출된 거리정보를 사전에 측정된 유효거리에 적용시켜, 3차원 깊이 영상에서 불필요한 영역을 제거하고, 유효거리 안의 로우 데이터(Raw Data) 값을 그레이 스케일(Gray-scale) 영상으로 변환하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 필터링 모듈(210) 및 변환모듈(220)을 포함한다.

구체적으로, 필터링 모듈(210)은 상기 거리정보 추출부(100)를 통해 추출된 거리정보를 사전에 측정된 유효거리에 적용시켜, 3차원 깊이 영상에서 불필요한 영역을 제거한다.

본 발명에서 사용한 평행식 스테레오 카메라로 측정된 유효거리는, 약 6m50cm∼11m, 키넥트는 약3m∼6.5m로 측정되었다. 이와 같이 측정된 이유는 키넥트의 거리별 로우 데이터(Raw Data) 값 측정 결과에서 최소거리는 약 46cm이지만 실제 환경의 표지판들은 규격에 의해 일정한 높이에 설치되기 때문에 최소거리는 약 3m로 한다. 또한, 실제 키넥트의 RGB영상에서 6.5m이상 표지판을 인식할 수 있지만 제공된 최대 거리는 6.5m이기 때문에 최대거리는 6.5m가 된다. 스테레오 카메라의 유효거리는 거리별 화소 값 측정에서 최소거리가 약 6m50cm이고 최대거리가 11m 이상이지만 RGB 영상에서 표지판을 인식할 수 있는 최대거리는 약 11m이기 때문에 유효거리는 약 6m50cm∼11m로 측정된다. 이와 같이 측정된 유효거리를 3차원 깊이 영상에 적용시켜 불필요 영역을 제거 할 수 있다.

이를 유효거리 필터링이라 하며, 유효거리 필터링 방법은 [수식 2] 와 같다.

[수식 2]

여기서,

은 유효거리의 최소거리에 해당하는 데이터 값이고,

는 유효거리의 최대거리에 해당하는 데이터 값이다. 따라서, 3차원 깊이(Depth) 영상의 화소 값이

보다 작거나

보다 크면, 유효거리 밖의 영역이므로 불필요한 영역이다.

따라서, 불필요한 영역은 검정색인 0으로 나타내어 제거하고, 유효거리 안에 포함되는 3차원 깊이(

) 영상의 data 값은 본래의 3차원 깊이(

) 영상 영상의 data 값으로 표시한다.

도 7 은 스테레오 카메라 및 키넥트 카메라의 유효거리 필터링 결과를 보여주는 일예시도로서, (a) 는 스테레오 카메라(좌) 및 키넥트 카메라(우)를 통해 획득한 RGB 영상이며, (b) 는 스테레오 카메라(좌) 및 키넥트 카메라(우)를 통해 획득한 3차원 깊이 영상이며, (c) 는 스테레오 카메라(좌) 및 키넥트 카메라(우)를 통해 획득한 유효거리 필터링 결과를 보인다.

도 7 에서 (c) 의 유효거리 필터링 결과를 보면, (b) 의 3차원 깊이 영상에서 유효거리 밖의 영상은 불필요 영역으로 제거됨을 알 수 있다. 여기서, (b) 의 키넥트 영상은 3차원 깊이 영상과 유효거리 필터링 결과 영상의 화소 값이 다르다는 것을 알 수 있다. 이는 키넥트의 로우 데이터(Raw Data)의 범위가 넓어 영상으로 표현하지 못하기 때문에, [수식 1] 을 통해 영상으로 표현되었다. 하지만, 변환된 키넥트의 3차원 깊이 영상은 화소 값의 변화가 거의 없기 때문에, 연결성이 있는 영역 분할에 적합하지 않다.

그러므로, 영역 분할에 적합한 3차원 깊이 영상을 구하기 위해, 변환모듈(220)은 [수식 3] 을 이용하여 유효거리 안의 로우 데이터(Raw Data) 값을 0∼255의 그레이 스케일(Gray-scale) 영상으로 변환한다.

[수식 3]

여기서,

은 유효거리 안의 로우 데이터(Raw Data) 값을 0∼255의 그레이 스케일(Gray-scale) 영상으로 변환한 3차원 깊이 영상을 나타낸다.

이와 같은 이유로, 키넥트 카메라에서 (b) 의 3차원 깊이 영상과, (c)의 유효거리 필터링 결과 영상은 화소 값이 다르게 나타난다. 이 유효거리 필터링 결과 영상들은 거리별 영역 분할에 사용될 수 있다.

유효거리 필터링을 거친 3차원 깊이 영상은 유사한 거리에 있는 객체 영역을 분할할 수 있다. 이는 비슷한 색상들을 묶어 영역화 하는 군집화 단계를 말한다.

하지만, 실제 유사한 거리에 있는 객체에 대한 영역을 판단하기는 어렵다. 즉, 3차원 깊이 영상에서 서로 이웃하는 픽셀에 대하여 동일한 영역에 속하는지 판단하기는 쉽지 않다. 이는 이웃하는 픽셀들이 연속적으로 이어져 있기 때문이다.

따라서, 본 발명에 따른 거리별 영역 분할부(300)는 상기 필터링부(200)를 통해 필터링이 수행된 3차원 깊이 영상을 영역별로 분할한 후, 분할된 영역들을 레이블링 기법을 이용하여 관심영역으로 지정하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 거리별 영역 분할모듈(310) 및 관심영역 지정모듈(320)을 포함한다.

구체적으로, 거리별 영역 분할모듈(310)은 3차원 깊이 영상에서 연결성이 있는 영역을 분할하기 위해 Mean Shift 분할을 이용하여, 영역을 분할한다.

여기서, Mean Shift 분할은, 영상의 특징 공간을 분석하고 확률 밀도 함수를 사용하여 클러스터링을 하는 non-parametric한 방법으로서, 컬러 영상을 분할하는데 많이 사용된다. 여기서, 확률 밀도 함수는 픽셀의 컬러분포가 가장 많이 모여 있는 위치를 말한다. 이 Mean Shift 알고리즘은, 다차원(x, y, R, G, B) 공간에 존재하는 컬러 값들 중에서 윈도우를 스캔하면서 현재 위치 픽셀과 유사한 컬러분포를 갖는 픽셀들의 평균적인 위치와 컬러공간에서의 평균값을 계산하고, 이 점으로 다시 이동하여 같은 작업을 반복하면서 윈도우의 크기 내에 최대 밀도를 갖는 덩어리(clumps)를 찾는다. 이때, 위치를 표현하는 (x, y)와 색상을 표현하는 (R, G, B) 값의 범위가 다르다. 따라서, 각각의 차원에서 크기가 다른 윈도우를 사용해야한다. 이와 같이 색상 공간에서 이웃 픽셀은 [수식 4] 에 의해 결정된다.

[수식 4]

[수식 4] 에서 sp(spatial radius)는 공간 좌표의 윈도우 크기를 나타내고, sr(color radius)은 색상 공간에서의 윈도우 크기를 나타낸다.

와

는 색상 벡터로서 각각 입력 영상의 모든 픽셀 좌표

와 현재 위치를 나타내는 좌표

를 나타낸다.

도 8 의 (a) 는 실제 유효거리 필터링을 거친 3차원 깊이 영상에서 Mean Shift를 적용하여 분할(Segmentation)된 결과를 보여준다. 이는, 연결성이 있는 영역에 대해 동일한 색상으로 분할된 것을 알 수 있다.

이와 같이 영역을 분할하는 이유는 서로 겹쳐있는 영역이 동일한 색상을 갖고 있을 때 색상 정보만을 이용하여 영역을 추출하면 겹쳐있는 영역을 하나의 영역으로 간주하기 때문이다.

즉, 3차원 깊이 영상에서는 거리에 따라 연결성이 있는 영역을 분할하기 때문에 색상 정보를 이용하더라도, 하나의 영역이 아닌 각각의 영역으로 추출한다.

관심영역 지정모듈(320)은 이와 같이 분할된 색상 영역들을 8방향 레이블링을 통해 도 8 의 (b) 와 같이 각각 관심영역으로 지정한다. 이때, 표지판의 크기에 해당될 수 없는 작은 크기의 영역들은 잡음으로 간주되어 관심영역으로 지정되지 않는다.

이와 같이, 관심영역으로 지정된 영역들은 2차원 정보와 융합을 통해 표지판을 검출하는데 사용된다.

지정된 각 관심영역들은, 표지판 영역을 검출하기 위해 2차원 정보에 해당하는 컬러 정보를 사용한다. 따라서, 2차원 정보에서 컬러 정보를 사용하기 위해서는 각각의 3차원 정보인 관심영역들을 2차원 정보인 RGB 영상으로 변환해야한다.

따라서, 본 발명에 따른 표지판 검출부(400)는 거리별 영역 분할부(300)를 통해 지정된 각각의 관심영역들을 이용하여 표지판 영역을 검출하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 영상 변환모듈(410) 및 표지판 검출모듈(420)을 포함한다.

구체적으로, 영상 변환모듈(410)은 3차원 정보인 관심영역들을 2차원 정보인 RGB 영상으로 변환하고, 변환된 RGB 영상을 HSI 컬러 모델로 변환 후, 색상(Hue)과 채도(Saturation) 정보를 사용하여 표지판의 컬러에 해당되는 영역을 이진화 영상으로 검출한다.

도 9 는 3차원 정보를 2차원 정보인 RGB 영상으로 변환한 모습을 보여준다. 도 9 의 (a) 를 보면 3차원 깊이 영상에서 추출된 각각의 관심영역들이다.

이 관심영역들은 각각의 마스크(mask)가 되어 RGB 영상으로 변환한다. 예를 들면, (a) 의 오른쪽에 녹색으로 표시된 관심영역에서 값이 있는 영역은 RGB 컬러 값으로 변환되고, 값이 0(검정색)인 영역은 변환되지 않는다. (b) 는 (a) 의 관심영역을 마스크로 하여 변환된 RGB 영상을 보여준다. 변환된 RGB 영상은 HSI 컬러 모델로 변환 후, 색상(Hue)과 채도(Saturation) 정보를 사용하여 표지판의 컬러에 해당되는 영역을 이진화 영상으로 검출한다.

색상(Hue)과 채도(Saturation) 정보는 최소 및 최대 평균을 기반으로 결정하였다. 도 10 의 (a) 는 HSI 컬러 정보를 이용하여 검출된 이진화 영상을 보여준다.

이때, 영상 변환모듈(410)은 이와 같이 검출된 이진화 영상을 레이블링을 수행하여, 영역을 분할하는데 잡음에 해당하는 영역은 제거한다.

표지판 검출모듈(420)은 표지판을 검출하기 위해, 분할된 영역에서 최소 및 최대 좌표를 구하여 중심점을 구하고, 구해진 중심점에서 추출된 최소 및 최대 좌표(x, y)를 확장시킨다.

더욱 구체적으로, 이와 같이 중심점을 구하는 이유는, 3차원 깊이 영상에서 검출된 표지판 영역이 RGB 영상에서 표지판 영역을 모두 포함하고 있지 않기 때문이다. 즉, 도 10 의 (b) 의 최소 및 최대 좌표(x, y)를 구하여 RGB 영상에서 표지판을 검출하는게 아니라, 최소 및 최대 좌표(x, y)를 구하여 중심점을 구한다.

중심점을 구하는 방법은 [수식 5] 와 같이 간단한 방법으로 구할 수 있다.

[수식 5]

3차원 깊이 영상에서 검출된 표지판 영역은 RGB 영상에서 표지판 영역을 모두 포함하고 있지 않기 때문에, 표지판 인식 단계에 영향을 끼칠 수 있다.

따라서, 표지판 검출모듈(420)은 [수식 5] 에 의해 구해진 중심점에서 추출된 최소 및 최대 좌표(x, y)를 확장시킴으로써, 표지판을 검출한다.

즉, 추출된 최소 좌표 값은 더 낮은 값으로 변환하고, 최대 좌표는 더 높은 값으로 변환한다. 좌표 값의 변환은 실제 환경에 따라 표지판 영역을 검출해야 하므로 동적인 방법을 사용해야한다.

따라서, 동적으로 좌표 값의 변환하기 위해 RGB 영역에서 포함하지 못한 3차원 영상의 영역들의 특징을 관찰하여 평균 %를 구한다.

본 발명에서는, 구해진 평균 %는 약 15%로서, 이를 이용하여 좌표 값을 확장하였다. 도 11 은 실제 2차원 및 3차원 정보를 융합하여 표지판을 검출한 결과를 보여준다.

한편, 본 발명에서는 2차원 및 3차원 정보를 획득하기 위해 스테레오 카메라와 키넥트 카메라를 사용하였다. 이 스테레오 및 키넥트 카메라는 서로 연동하여 사용될 수 있다. 이는 스테레오 및 키넥트 카메라가 표지판을 검출하는 과정에서 RGB 영상과 3차원 깊이 영상을 추출하는 방법을 제외하고 동일한 과정을 수행하기 때문이다. 즉, 키넥트 카메라는 가까운 거리에 있는 표지판을 검출하는 목적으로서 사용되고 스테레오 카메라는 키넥트 카메라의 범위를 벗어난 먼 거리의 표지판을 검출하는데 사용된다. 이 중 스테레오 카메라는 표지판 검출하는 주 카메라로서 키넥트 카메라는 보조 카메라로서 사용된다. 이와 같은 이유는 키넥트 카메라가 3차원 깊이 영상을 검출하기 위해 적외선 센서를 사용하는데 햇빛이 강한 낮에는 적외선의 양이 늘어나 3차원 깊이 영상의 검출률이 현저하게 저하되기 때문이다.

이에 반면에 햇빛이 약한 곳의 표지판은 키넥트 카메라를 이용하여 3차원 깊이 영상을 추출할 수 있는데, 이는 스테레오 카메라로 추출한 3차원 깊이 영상보다 표지판의 영역을 거의 손상 없이 표현한다. 따라서, 키넥트 카메라는 표지판 검출을 위한 보조용으로 사용한다. 스테레오 카메라는 두 대의 카메라에서 입력된 영상을 정합하여 3차원 정보를 추출하기 때문에 키넥트와 같은 문제가 발생하지 않는다. 또한, 키넥트 카메라는 너무 짧은 거리를 측정하기 때문에 설치된 표지판의 높이를 고려하면 표지판을 검출하기 위해서는 거리가 매우 가까워진다. 따라서, 먼 거리의 표지판을 검출할 수 있는 스테레오 카메라는 주 카메라로서의 역할을 수행하고, 키넥트 카메라는 보조 카메라로서의 역할을 수행한다. 이와 같이 스테레오 및 키넥트 카메라는 연동되어 사용할 수 있다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

S: 2차원 및 3차원 정보를 이용한 표지판 검출 시스템
100: 거리정보 추출부 200: 필터링부
300: 거리별 영역 분할부 400: 표지판 검출부
110: 영상 입력모듈 120: 거리정보 추출모듈
210: 필터링 모듈 220: 변환모듈
310: 거리별 영역 분할모듈 320: 관심영역 지정모듈
410: 영상 변환모듈 420: 표지판 검출모듈
111: 스테레오 카메라 112: 키넥트 카메라

Claims

검출하고자 하는 객체가 포함된 2차원 영상 및 3차원 깊이 영상을 획득하고, 획득한 상기 3차원 깊이 영상에서 카메라와 객체 사이의 거리정보를 추출하는 거리정보 추출부(100);
상기 거리정보 추출부(100)를 통해 추출된 거리정보를 사전에 측정된 유효거리에 적용시켜, 3차원 깊이 영상에서 불필요한 영역을 제거하고, 유효거리 안의 로우 데이터(Raw Data) 값을 그레이 스케일(Gray-scale) 영상으로 변환하는 필터링부(200);
상기 필터링부(200)를 통해 필터링이 수행된 3차원 깊이 영상을 영역별로 분할한 후, 분할된 영역들을 레이블링 기법을 이용하여 관심영역으로 지정하는 거리별 영역 분할부(300); 및
상기 거리별 영역 분할부(400)를 통해 지정된 관심영역들을 2차원 정보인 RGB 영상으로 변환하고, 변환된 RGB 영상을 HSI 컬러 모델로 변환 후, 색상(Hue)과 채도(Saturation) 정보를 사용하여 표지판의 컬러에 해당되는 영역을 이진화 영상으로 검출하며, 표지판을 검출하기 위해 분할된 영역에서 최소 및 최대 좌표를 구하여 중심점을 구하고, 구해진 중심점에서 추출된 최소 및 최대 좌표(x, y)를 확장시킴으로써, 표지판을 검출하는 표지판 검출부(400); 를 포함하는 2차원 및 3차원 정보를 이용한 표지판 검출 시스템.
제 1 항에 있어서,
상기 거리정보 추출부(100)는,
3차원 깊이 영상을 획득하기 위해, 두 대의 카메라가 적용된 평행식 스테레오 카메라(111)와, RGB 카메라 및 3차원 깊이 센서가 적용된 키넥트 카메라(112)를 이용하는 영상 입력모듈(110); 및
상기 스테레오 카메라(111) 및 키넥트 카메라(112)를 통해 획득하여 상기 영상 입력모듈(110)을 통해 입력된 3차원 깊이 영상으로부터 카메라와 객체 사이의 거리정보를 추출하는 거리정보 추출모듈(120); 를 포함하는 것을 특징으로 하는 2차원 및 3차원 정보를 이용한 표지판 검출 시스템.
제 2 항에 있어서,
상기 영상 입력모듈(110)은,
스테레오 카메라(111)를 통해 획득한 2차원 영상 및 3차원 깊이 영상을 입력받으며, 키넥트 카메라(112)를 통해 획득한 2차원 정보를 입력받고, 상기 키넥트 카메라(112)의 3차원 정보인 로우 데이터(Raw data)를 영상으로 표현하기 위해, 로우 데이터(Raw data)를 0~2048의 그레이 스케일(Gray-Scale)로 변환함으로써, 3차원 깊이 영상으로 변환하는 것을 특징으로 하는 2차원 및 3차원 정보를 이용한 표지판 검출 시스템.
제 2 항에 있어서,
상기 거리정보 추출모듈(120)은,
상기 스테레오 카메라(111)의 3차원 깊이 영상으로부터 거리별 화소 값 측정을 통해 거리정보를 추출하는 것을 특징으로 하는 2차원 및 3차원 정보를 이용한 표지판 검출 시스템.
제 1 항에 있어서,
상기 필터링부(200)는,
상기 거리정보 추출부(100)를 통해 추출된 거리정보를 사전에 측정된 유효거리에 적용시켜, 3차원 깊이 영상에서 불필요한 영역을 제거하는 필터링 모듈(210); 및
영역 분할에 적합한 3차원 깊이 영상을 구하기 위해, 유효거리 안의 로우 데이터(Raw Data) 값을 0∼255의 그레이 스케일(Gray-scale) 영상으로 변환하는 변환모듈(220); 을 포함하는 것을 특징으로 하는 2차원 및 3차원 정보를 이용한 표지판 검출 시스템.
제 5 항에 있어서,
상기 필터링 모듈(210)은,
유효거리의 최소 및 최대거리를 3차원 깊이 영상에서 적용시켜, 불필요한 영역을 제거하는 것을 특징으로 하는 2차원 및 3차원 정보를 이용한 표지판 검출 시스템.
제 1 항에 있어서,
상기 거리별 영역 분할부(300)는,
3차원 깊이 영상에서 연결성이 있는 영역을 분할하기 위해 Mean Shift 분할을 이용하여, 영역을 분할하는 거리별 영역 분할모듈(310); 및
분할된 색상 영역들을 레이블링 기법을 통해 각각 관심영역으로 지정하는 관심영역 지정모듈(320); 를 포함하는 것을 특징으로 하는 2차원 및 3차원 정보를 이용한 표지판 검출 시스템.
삭제