KR101373854B1 - 센서 기반 영상 개선방법을 이용한 주차유도 시스템 - Google Patents

Abstract

본 발명은 센서 기반 영상 개선방법을 이용한 주차유도 시스템에 관한 것이다. 구체적으로 본 발명은 센서가 적용된 디블러링(Debluring) 기법과 영상밝기 조정 기법을 통해 개선된 영상을 이용하는 주차유도 시스템에 관한 것이다. 본 발명의 일예와 관련된 센서 기반 영상 개선방법을 이용한 주차유도 시스템은, 적어도 하나의 객체를 포함하는 영상을 촬영하는 카메라; 및 영상밝기 조정방법 및 디블러링(Debluring) 방법을 상기 영상에 적용하고, 상기 영상에 포함된 적어도 하나의 객체 중 차량을 추출하며, 상기 추출한 차량의 번호판 정보를 검출하는 제어부;를 포함하되, 상기 영상밝기 조정방법은, 상기 영상을 상기 번호판 정보 검출에 이용하는 제 1 영역과 상기 번호판 정보 검출에 이용하지 않는 제 2 영역으로 분할하고, 상기 제 1 영역에 대해서만 영상밝기를 조정하는 방법이고, 상기 디블러링 방법은, 상기 영상에 포함된 적어도 하나의 객체에 의한 에지 정보를 추정하고, 상기 추정된 에지 정보와 상기 촬영된 영상을 서로 비교하여 상기 영상을 촬영하는 과정에서 발생된 모션블러(motion blur)를 제거하는 방법일 수 있다.

Description

센서 기반 영상 개선방법을 이용한 주차유도 시스템{Parking guidance system using image improvement technique based on sensor}

본 발명은 센서 기반 영상 개선방법을 이용한 주차유도 시스템에 관한 것이다. 구체적으로 본 발명은 센서가 적용된 디블러링(Debluring) 기법과 영상밝기 조정 기법을 통해 개선된 영상을 이용하는 주차유도 시스템에 관한 것이다.

현재 시장에서 각광을 받고 있는 지하주차장 영상방식 주차유도 위치확인시스템은, 섹터당 1대의 카메라를 설치하여 영상을 촬영하고 있다.

즉, 섹터당 1대의 카메라를 이용한 차량번호인식을 통해 주차위치찾기 및 신속한 차량을 유도하고 촬영된 영상을 저장하여 주차장내 사고발생시 근거자료를 확보하는 안전한 주차장이 제안되고 있다.

현재 고객이 보다 안심하고 편리하게 주차장을 이용할 수 있도록 가능한 설비로 영상을 이용한 주차유도시스템 시간이 갈수록 시장은 커지고 있다.

그러나 지상주차장인 경우 많은 수의 카메라를 설치할 수 없는 현장상황과 외부적인 조건에 의한 문제로, 설비를 구축할 수 없어 바닥에 센서를 설치하는 방식을 이용한 차량유도 서비스만 제공되고 있고, 이에 따른 고객불만은 시간이 지날수록 증가하고 있으므로, 해결방안이 요구되고 있는 실정이다.

대한민국 공개번호 제 10-2012-0108837호

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 센서 기반 영상 개선방법을 이용한 주차유도 시스템을 사용자에게 제공하는데 그 목적이 있다.

구체적으로 본 발명은 센서가 적용된 디블러링(Debluring) 기법과 영상밝기 조정 기법을 통해 개선된 영상을 이용하는 주차유도 시스템을 사용자에게 제공하고자 한다.

또한, 본 발명은 전방위 카메라를 이용하여 주차면의 상태를 파악함으로써 신속한 주차유도와 실시간 영상을 센터에 표출하여 통합관리가 가능하게 하고, 촬영된 영상을 저장하여 사고발생시 근거자료 활용하여 민원을 해결할 수 있는 안전한 주차유도 시스템을 사용자에게 제공하고자 한다.

또한, 본 발명은 번호인식을 통해 내차 위치 찾기 서비스 등을 제공하여 지하주차장과의 동일한 서비스를 제공하고, 시스템을 일원화하여 주차장 운영을 효율적으로 관리할 수 있도록 함으로써, 사용자 및 운영자의 비용절감과 편의성을 향상시키고자 한다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 센서 기반 영상 개선방법을 이용한 주차유도 시스템은, 적어도 하나의 객체를 포함하는 영상을 촬영하는 카메라; 및 영상밝기 조정방법 및 디블러링(Debluring) 방법을 상기 영상에 적용하고, 상기 영상에 포함된 적어도 하나의 객체 중 차량을 추출하며, 상기 추출한 차량의 번호판 정보를 검출하는 제어부;를 포함하되, 상기 영상밝기 조정방법은, 상기 영상을 상기 번호판 정보 검출에 이용하는 제 1 영역과 상기 번호판 정보 검출에 이용하지 않는 제 2 영역으로 분할하고, 상기 제 1 영역에 대해서만 영상밝기를 조정하는 방법이고, 상기 디블러링 방법은, 상기 영상에 포함된 적어도 하나의 객체에 의한 에지 정보를 추정하고, 상기 추정된 에지 정보와 상기 촬영된 영상을 서로 비교하여 상기 영상을 촬영하는 과정에서 발생된 모션블러(motion blur)를 제거하는 방법일 수 있다.

또한, 상기 카메라는 복수이고, 상기 복수의 카메라는, 전방위를 촬영할 수 있는 어안렌즈가 장착된 전방위 카메라 및 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 영상을 촬영하는 PTZ 카메라를 포함할 수 있다.

또한, 상기 제어부는, 상기 전방위 카메라를 통해 촬영된 제 1 영상을 이용하여 상기 적어도 하나의 객체 유무를 판별하고, 상기 제 1 영상만을 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출하며, 상기 제 1 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우, 상기 PTZ 카메라를 통해 촬영된 제 2 영상을 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출할 수 있다.

또한, 상기 제어부는, 상기 제 1 영상을 통해 상기 차량 추출 또는 상기 상기 차량의 번호판 정보 검출이 실패하는 경우, 상기 PTZ 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 차량의 번호판 영역에 대한 제 2 영상을 촬영하도록 제어할 수 있다.

또한, 상기 제 2 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우, 상기 제어부는, 상기 제 1 영상과 제 2 영상을 함께 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출할 수 있다.

또한, 상기 번호판 정보는, 상기 차량의 종류 정보, 상기 차량의 용도 정보 및 상기 차량의 식별정보를 포함하고, 상기 차량의 종류 정보는 2개의 숫자로 표현되고, 상기 차량의 용도 정보는 1개의 한글로 표현되며, 상기 차량의 식별정보는 4개의 숫자로 표현될 수 있다.

또한, 상기 전방위 카메라는 주차장의 천정에 설치되고, 상기 전방위 카메라의 어안렌즈는 주차면 및 입출차로를 포함하는 천정 하부의 전방위를 촬영할 수 있으며, 상기 주차면은 상기 입출차로 양측에 위치하는 다수의 주차면 수 있다.

또한, 상기 전방위 카메라는 주차구역에 설치되어 장애인주차면에 주차 또는 정차하는 차량 및 탑승객의 영상을 촬영하고, 상기 PTZ 카메라는 상기 주차구역의 배경영상을 촬영하며, 상기 제어부는 상기 차량의 영상 및 상기 탑승객의 영상을 분석하여 상기 장애인주차면에 주차 또는 정차 가능 차량인지 여부를 판단하고, 상기 제어부는 아다부스트 알고리즘을 이용하여 얼굴을 검출하고, 주성분 분석 알고리즘을 이용하여 상기 탑승객의 얼굴을 인식할 수 있다.

또한, 상기 복수의 카메라 중 적어도 일부는 상기 차량의 전면 번호판을 촬영하는 전면 카메라 모듈이고, 나머지는 상기 차량의 후면 번호판을 촬영하는 후면 카메라 모듈이며, 상기 후면 카메라모듈은 상기 전면 카메라모듈을 지지하는 지지대의 일 측면에 구비되어 상기 전면 카메라모듈과 반대 방향을 촬영할 수 있다.

또한, 상기 제어부는, 상기 전면 카메라 모듈을 통해 획득된 제 1 텍스트 및 상기 후면 카메라 모듈을 통해 획득된 제 2 텍스트 상호 간에 대응되는 문자 또는 대응되는 숫자가 동일한 경우, 상기 동일한 문자 또는 상기 동일한 숫자를 선택하여 상기 차량의 번호판 정보를 검출하고, 상기 문자 또는 상기 숫자가 상호 다른 경우, 문자별 매칭율 또는 숫자별 매칭율을 비교하여 상기 문자별 매칭율이 높은 문자 또는 상기 숫자별 매칭율이 높은 숫자를 선택함으로써 상기 차량의 번호판 정보를 검출할 수 있다.

또한, 상기 제어부는 상기 전면 카메라 모듈을 통해 획득된 제 1 텍스트 및 상기 후면 카메라 모듈을 통해 획득된 제 2 텍스트 중 어느 하나의 텍스트만 인식된 경우, 상기 인식된 하나의 텍스트를 선택함으로써 상기 차량의 번호판 정보를 검출할 수 있다.

한편, 상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 센서 기반 영상 개선방법을 이용한 주차유도방법은, 카메라를 통해 적어도 하나의 객체를 포함하는 영상을 촬영하는 제 1 단계; 영상밝기 조정방법 및 디블러링(Debluring) 방법을 상기 영상에 적용하는 제 2 단계; 상기 영상에 포함된 적어도 하나의 객체 중 차량을 추출하는 제 3 단계; 및 상기 추출한 차량의 번호판 정보를 검출하는 제 4 단계;를 포함하되, 상기 영상밝기 조정방법은, 상기 영상을 상기 번호판 정보 검출에 이용하는 제 1 영역과 상기 번호판 정보 검출에 이용하지 않는 제 2 영역으로 분할하고, 상기 제 1 영역에 대해서만 영상밝기를 조정하는 방법이고, 상기 디블러링 방법은, 상기 영상에 포함된 적어도 하나의 객체에 의한 에지 정보를 추정하고, 상기 추정된 에지 정보와 상기 촬영된 영상을 서로 비교하여 상기 영상을 촬영하는 과정에서 발생된 모션블러(motion blur)를 제거하는 방법일 수 있다.

또한, 상기 카메라는 복수이고, 상기 복수의 카메라는, 전방위를 촬영할 수 있는 어안렌즈가 장착된 전방위 카메라 및 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 영상을 촬영하는 PTZ 카메라를 포함하며, 상기 제 1 단계 이전에, 상기 전방위 카메라를 통해 촬영된 제 1 영상을 이용하여 상기 적어도 하나의 객체 유무를 판별하는 단계;를 더 포함하고, 상기 제 3 단계 및 제4단계에서는, 상기 제 1 영상만을 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출하며, 상기 제 1 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우, 상기 제 3 단계 및 제4단계에서는, 상기 PTZ 카메라를 통해 촬영된 제 2 영상을 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출할 수 있다.

또한, 상기 제 1 영상을 통해 상기 차량 추출 또는 상기 상기 차량의 번호판 정보 검출이 실패하는 경우, 상기 PTZ 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 차량의 번호판 영역에 대한 제 2 영상을 촬영할 수 있다.

또한, 상기 제 2 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우, 상기 제 3 단계 및 제4단계에서는, 상기 제 1 영상과 제 2 영상을 함께 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출할 수 있다.

본 발명은 센서 기반 영상 개선방법을 이용한 주차유도 시스템을 사용자에게 제공할 수 있다.

구체적으로 본 발명은 센서가 적용된 디블러링(Debluring) 기법과 영상밝기 조정 기법을 통해 개선된 영상을 이용하는 주차유도 시스템을 사용자에게 제공할 수 있다.

또한, 본 발명은 전방위 카메라를 이용하여 주차면의 상태를 파악함으로써 신속한 주차유도와 실시간 영상을 센터에 표출하여 통합관리가 가능하게 하고, 촬영된 영상을 저장하여 사고발생시 근거자료 활용하여 민원을 해결할 수 있는 안전한 주차유도 시스템을 사용자에게 제공할 수 있다.

또한, 본 발명은 번호인식을 통해 내차 위치 찾기 서비스 등을 제공하여 지하주차장과의 동일한 서비스를 제공하고, 시스템을 일원화하여 주차장 운영을 효율적으로 관리할 수 있도록 함으로써, 사용자 및 운영자의 비용절감과 편의성을 향상시킬 수 있다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시례를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명에 적용되는 센서 기반 영상 개선방법을 이용한 주차유도 시스템의 블록 구성도의 일례를 나타낸 것이다.
도 2는 본 발명과 관련하여, 일반적인 카메라 모델에 캘리브레이션 (camera calibration)이 적용된 변환관계를 식으로 표현한 것이다.
도 3은 본 발명과 관련하여, 좌표계 상에 도 2의 수식을 표현한 것이다.
도 4는 본 발명과 관련하여, Camera Perspective Projection Model에 적용되는 투영 변환식을 도시한 것이다.
도 5는 본 발명과 관련하여, 도 4의 수식에 적용될 수 있는 오차함수의 구체적인 일례를 도시한 것이다.
도 6a 및 도 6b는 본 발명과 관련하여, 카메라 캘리브레이션 및 카메라 투영 및 회전변환이 적용되는 카메라모델링 과정의 구체적인 일례를 도시한 것이다.
도 7은 본 발명과 관련하여, 좌표 할당된 구체적인 일례를 도시한 것이다.
도 8은 본 발명과 관련하여, 초기할당 및 재할당 영역(좌표)의 구체적인 적용 일례를 도시한 것이다.
도 9a 내지 도9c는 본 발명과 관련하여, 에지검출 및 외곽선 정보를 이용한 특징점 추출하는 방법을 도시한 것이다.
도 10은 도 9에서의 특징점 위치를 이용하여 동일 객체인지 여부를 판단하는 기준과 관련된 수식을 도시한 것이다.
도 11은 본 발명과 관련하여, 입력된 영상간의 영역을 정의하는 구체적인 일례를 도시한 것이다.
도 12는 도 11을 통해 두 점간의 거리를 이용하여 유도된 원의 방정식의 구체적인 일례를 도시한 것이다.
도 13은 본 발명과 관련하여, 영상영역을 분할하는 방법을 구체적으로 설명하기 위한 도면이다.
도 14a 및 도14b는 본 발명과 관련하여, 밝기 분포 변화 결과를 비교한 결과를 도시한 것이다.
도 15a 내지 도15f는 본 발명과 관련하여, 디블러링(Debluring) 방식을 설명하기 위한 도면이다.
도 16은 본 발명과 관련하여, 센서 기반 영상 개선방법을 이용한 주차유도 방법을 구체적으로 설명하기 위한 전체 시스템 흐름도이다.
도 17은 본 발명과 관련하여, 센서 기반 영상 개선방법을 이용한 주차유도 방법을 구체적으로 설명하기 위한 흐름도의 구체적인 일례를 도시한 것이다.
도 18은 본 발명과 관련하여, 센서 기반 영상 개선방법을 이용한 주차유도 시스템의 구성도를 구체적으로 도시한 것이다.
도 19는 본 발명의 일 실시예에 따른 주차면 관리 방법을 나타낸 순서도이다.
도 20은 본 발명의 일 실시예에 따른 주차면 관리 방법 중 제어부에 의해 발광다이오드 램프가 제어되는 과정을 나타낸 순서도이다.
도 21은 본 발명의 일실시예로서 전방위 카메라(10)를 이용한 주차면 관리 방법을 순차적으로 나타낸 순서도이다.
도 22는 본 발명의 일실시예에 따른 지능형 장애인 주차면 관리 시스템의 전체 동작을 순차적으로 나타낸 순서도이다.
도 23은 본 발명인 차량번호 인식 방법의 일 실시예를 순차적으로 나타낸 도면이다.

현재 빈번하게 이용되는 주차장의 경우, 많은 수의 카메라를 설치할 수 없는 현장상황과 외부적인 조건에 의한 문제로, 설비를 구축할 수 없어 바닥에 센서를 설치하는 방식을 이용한 차량유도 서비스만 제공되고 있고, 이에 따른 고객불만은 시간이 지날수록 증가하고 있다.

따라서 본 발명에서는 센서가 적용된 디블러링(Debluring) 기법과 영상밝기 조정 기법을 통해 개선된 영상을 이용하는 주차유도 시스템을 사용자에게 제공하고자 한다.

또한, 본 발명은 전방위 카메라를 이용하여 주차면의 상태를 파악함으로써 신속한 주차유도와 실시간 영상을 센터에 표출하여 통합관리가 가능하게 하고, 촬영된 영상을 저장하여 사고발생시 근거자료 활용하여 민원을 해결할 수 있는 안전한 주차유도 시스템을 사용자에게 제공하고자 한다.

또한, 본 발명은 번호인식을 통해 내차 위치 찾기 서비스 등을 제공하여 지하주차장과의 동일한 서비스를 제공하고, 시스템을 일원화하여 주차장 운영을 효율적으로 관리할 수 있도록 함으로써, 사용자 및 운영자의 비용절감과 편의성을 향상시키고자 한다.

본 발명의 구체적인 설명에 앞서, 본 발명에 적용되는 센서 기반 영상 개선방법을 이용한 주차유도 시스템에 대해 설명한다.

도 1은 본 발명에 적용되는 센서 기반 영상 개선방법을 이용한 주차유도 시스템의 블록 구성도의 일례를 나타낸 것이다.

주차유도 시스템(1100)은 무선 통신부(1110), A/V(Audio/Video) 입력부(1120), 사용자 입력부(1130), 센싱부(1140), 출력부(1150), 메모리(1160), 인터페이스부(1170), 제어부(1180) 및 배터리(1190) 등을 포함할 수 있다.

단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 주차유도 시스템이 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

무선 통신부(1110)는 주차유도 시스템(1100)과 무선 통신 시스템 사이 또는 주차유도 시스템(1100)과 주차유도 시스템(1100)이 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(1110)는 방송 수신 모듈(111), 이동통신 모듈(1112), 무선 인터넷 모듈(1113), 근거리 통신 모듈(1114) 및 위치정보 모듈(1115) 등을 포함할 수 있다.

방송 수신 모듈(1111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 주차유도 시스템에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(1112)에 의해 수신될 수 있다.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

상기 방송 수신 모듈(1111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS, OMA-BCAST, ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(1111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.

방송 수신 모듈(1111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(1160)에 저장될 수 있다.

이동통신 모듈(1112)은, 이동 통신망 상에서 기지국, 외부의 주차유도 시스템, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 인터넷 모듈(1113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 주차유도 시스템(1100)에 내장되거나 외장될 수 있다.

상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(1114)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

위치 정보 모듈(1115)은 주차유도 시스템(1100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(1115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(1115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.

도 1을 참조하면, A/V(Audio/Video) 입력부(1120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1121)와 마이크(1122) 등이 포함될 수 있다. 카메라(1121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(1151)에 표시될 수 있다.

카메라(1121)에서 처리된 화상 프레임은 메모리(1160)에 저장되거나 무선 통신부(1110)를 통하여 외부로 전송될 수 있다.

이때, 카메라(1121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

일 예로, 상기 카메라(1121)는 주차유도 시스템(100)의 디스플레이부(1151)가 구비된 반대면에 3D 영상 촬영을 위한 제1 및 제2 카메라(1121a, 1121b)가 구비될 수 있고, 상기 주차유도 시스템(1100)의 디스플레이부(1151)가 구비된 면의 일부 영역에 사용자의 셀프 촬영을 위한 제3 카메라(1121c)가 구비될 수 있다.

이때, 제1 카메라(1121a)는 3D 영상의 소스 영상인 좌안 영상 촬영을 위한 것이고, 제2 카메라(1121b)는 우안 영상 촬영을 위한 것이 될 수 있다.

마이크(1122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다.

마이크(1122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(1130)는 사용자가 주차유도 시스템의 동작 제어를 위한 입력 데이터를 발생시킨다.

사용자 입력부(1130)는 본 발명에 따라 표시되는 컨텐트들 중 두 개 이상의 컨텐트를 지정하는 신호를 사용자로부터 수신할 수 있다. 그리고, 두 개 이상의 컨텐트를 지정하는 신호는, 터치입력을 통하여 수신되거나, 하드키 및 소프트 키입력을 통하여 수신될 수 있다.

사용자 입력부(1130)는 상기 하나 또는 둘 이상의 컨텐트들을 선택하는 입력을 사용자로부터 수신할 수 있다. 또한, 사용자로부터 주차유도 시스템(1100)이 수행할 수 있는 기능과 관련된 아이콘을 생성하는 입력을 수신할 수 있다.

상기와 같은, 사용자 입력부(1130)는 방향키, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

한편, 본 발명에 따른 음성 인식 기능은 상시로 적용되거나 선택적으로 적용될 수 있다.

상시 적용 또는 선택 적용은 사용자 입력부(1130)를 통해 결정될 수 있다.

또한, 센싱부(140)는 주차유도 시스템(1100)의 개폐 상태, 주차유도 시스템(1100)의 위치, 사용자 접촉 유무, 주차유도 시스템의 방위, 주차유도 시스템의 가속/감속 등과 같이 주차유도 시스템(1100)의 현 상태를 감지하여 주차유도 시스템(1100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 배터리(1190)의 전원 공급 여부, 인터페이스부(1170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(1140)는 근접 센서(1141)를 포함할 수 있다.

센싱부(140)는 사용자로부터 입력되는 음성을 모두 차량 단속을 위한 음성으로 인식하지 않고, 특정 기준을 만족하는 음성에 대해서만 단속을 위한 음성으로 인식할 수 있다.

예를 들어, 센싱부(140)는 기 설정된 dB 이상의 음성에 대해서만 사용자의 음성으로 인식할 수 있다.

또한, 센싱부(140)는 미리 설정된 음성 패턴에 대응되는 음성에 대해서만 사용자의 음성으로 인식할 수 있다. 여기서 미리 설정된 음성 패턴은 메모리(1160)에 별도로 저장될 수 있다.

출력부(1150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(1151), 음향 출력 모듈(1152), 알람부(1153), 햅틱 모듈(154) 및 프로젝터 모듈(1155) 등이 포함될 수 있다.

디스플레이부(1151)는 주차유도 시스템(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 주차유도 시스템이 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 주차유도 시스템(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.

또한, 본 발명에 따른 디스플레이부(1151)는 2D 및 3D 표시 모드를 지원한다.

즉, 본 발명에 따른 디스플레이부(1151)는 이하의 도 3에 도시된 바와 같이, 일반적인 디스플레이 장치(1151a)에 스위치 액정(1151b)을 조합하는 구성을 가질 수 있다. 그리고, 스위치 액정(1151b)을 이용하여 광학 시차 장벽(50)을 작동시켜 광의 진행 방향을 제어하여 좌우의 눈에 각기 다른 광이 도달하도록 분리할 수 있다. 때문에 우안용 영상과 좌안용 영상이 조합된 영상이 디스플레이 장치(1151a)에 표시되는 경우 사용자의 입장에서는 각각의 눈에 대응한 화상이 보여 마치 입체로 표시된 것처럼 느끼게 된다.

즉, 디스플레이부(1151)는 제어부(1180)의 제어에 따라, 2D 표시 모드인 상태에서는 상기 스위치 액정(1151b) 및 광학 시차 장벽(50)을 구동시키지 않고, 상기 디스플레이 장치(1151a)만을 구동시켜 일반적인 2D 표시 동작을 수행한다.

또한, 디스플레이부(1151)는 제어부(1180)의 제어에 따라, 3D 표시 모드인 상태에서는 상기 스위치 액정(1151b)과, 광학 시차 장벽(50) 및 디스플레이 장치(1151a)를 구동시켜 상기 디스플레이 장치(1151a)만을 구동시켜 3D 표시 동작을 수행한다.

한편, 상기와 같은 디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(1151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 주차유도 시스템 바디의 디스플레이부(1151)가 차지하는 영역을 통해 주차유도 시스템 바디의 후방에 위치한 사물을 볼 수 있다.

주차유도 시스템(1100)의 구현 형태에 따라 디스플레이부(1151)이 2개 이상 존재할 수 있다. 예를 들어, 주차유도 시스템(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(1151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(1151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(1151)의 특정 부위에 가해진 압력 또는 디스플레이부(1151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(1180)로 전송한다. 이로써, 제어부(1180)는 디스플레이부(1151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

상기 근접 센서(1141)는 상기 터치스크린에 의해 감싸지는 주차유도 시스템의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

음향 출력 모듈(1152)은 호신호 수신, 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(1110)로부터 수신되거나 메모리(1160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(1152)은 주차유도 시스템(1100)에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(1152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(1153)는 주차유도 시스템(1100)의 이벤트 발생을 알리기 위한 신호를 출력한다.

알람부(1153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(1151)나 음성 출력 모듈(1152)을 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(1151) 및 음성출력모듈(152)은 알람부(1153)의 일종으로 분류될 수도 있다.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(1154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(1154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(1154)은 주차유도 시스템(1100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

프로젝터 모듈(1155)은, 주차유도 시스템(1100)를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(1180)의 제어 신호에 따라 디스플레이부(1151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.

구체적으로, 프로젝터 모듈(1155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(1155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.

프로젝터 모듈(1155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(1151)의 소형화에 유리할 수 있다.

바람직하게, 프로젝터 모듈(1155)은, 주차유도 시스템(1100)의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(1155)은, 필요에 따라 주차유도 시스템(1100)의 어느 위치에라도 구비될 수 있음은 당연하다.

메모리(1160)는 제어부(1180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(1160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(1160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

상기와 같은 메모리(1160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 주차유도 시스템(1100)은 인터넷(internet)상에서 상기 메모리(1160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

전술한 것과 같이, 센싱부(140)는 사용자로부터 입력되는 음성을 모두 차량 단속을 위한 음성으로 인식하지 않고, 특정 기준을 만족하는 음성에 대해서만 단속을 위한 음성으로 인식할 수 있고, 센싱부(140)는 미리 설정된 음성 패턴에 대응되는 음성에 대해서만 사용자의 음성으로 인식할 수 있다.

여기서 적용되는 미리 설정된 음성 패턴은 메모리(1160)에 별도로 저장될 수 있다.

인터페이스부(1170)는 주차유도 시스템(1100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(1170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 주차유도 시스템(1100) 내부의 각 구성 요소에 전달하거나, 주차유도 시스템(1100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 주차유도 시스템(1100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identity Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 주차유도 시스템(1100)과 연결될 수 있다.

상기 인터페이스부는 주차유도 시스템(1100)이 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 주차유도 시스템(1100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 주차유도 시스템으로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 주차유도 시스템이 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

제어부(controller)(1180)는 통상적으로 주차유도 시스템의 전반적인 동작을 제어한다.

제어부(1180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(1181)을 구비할 수도 있다. 멀티미디어 모듈(1181)은 제어부(1180) 내에 구현될 수도 있고, 제어부(1180)와 별도로 구현될 수도 있다.

제어부(1180)는 센싱부(1140)를 이용하여 미리 설정된 음성 패턴에 대응되는 음성에 대해서만 사용자의 음성으로 인식되도록 제어할 수 있다.

또한, 제어부(1180)는 센싱부(1140)를 이용하여 기 설정된 dB 이상의 음성에 대해서만 사용자의 음성으로 인식되도록 제어할 수도 있다.

또한, 제어부(1180)는 음성인식을 통해 1회/2회 단속전환 적용을 수행하거나 음성인식을 통해 어린이보호구역, 버스전용차로 단속전환 적용을 수행하도록 전체 시스템을 제어할 수 있다.

또한, 제어부(1180)는 추가적으로 실선, 점선, 색상판별, GPS를 통해 어린이보호구역, 버스전용차로 단속전환 적용을 수행할 수도 있다.

또한, 제어부(1180)는 음성인식을 통해 카메라의 세팅값 제어 및 라이트의 조명제어(밝기 등)를 수행할 수도 있다.

이에 대한 제어부(1180)의 구체적인 동작 내용은 도 4 및 도5를 참조하여 후술한다.

또한, 전원 공급부(1190)는 제어부(1180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시례는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시례는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시례들이 제어부(1180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시례들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(1160)에 저장되고, 제어부(1180)에 의해 실행될 수 있다.

한편, 일반적인 경우 한대의 카메라는 시각적 범위가 한정되어 있어 광범위한 지역에서 대상의 움직임이나 패턴 검출이 어렵다.

이러한 문제점은 복수개의 카메라를 이용하여 시각적 범위(FOV: Field of View)가 겹치거나(Overlapping), 겹치지 않게(Non-overlapping) 재배치하여 해결한다.

또는, 단일 카메라와 특수 목적을 갖는 카메라 즉 적외선 카메라(IR), 전방위 카메라, PTZ 카메라, 스테레오 카메라(Stereo)간의 조합을 이용하여 단일에서 획득된 영상과 특수 목적 카메라에서 획득된 영상간의 융합으로 대상을 찾거나 검출한다.

앞서 단일 카메라의 시각적 범위 한계를 해결하기 위해 PTZ(펜틸트) 카메라 혹은 전방위 카메라를 가지고 해결이 가능하다.

특히, PTZ 카메라의 기능중에 360도 전 방향에 대해 효과적이고 넓은 시각을 확보 할 수 있다. 하지만 PTZ 카메라는 움직이는 특성으로 인해서 영상내의 대상 물체 이외의 다른 물체가 있을 경우 하나의 후보 물체에 대해서만 검지가 가능하다. 이를 보안하기 위해 전방위 카메라와 PTZ카메라간의 센서 융합으로 해결이 가능하다.

따라서 본 발명이 제안하는 기술은 멀티(이종)센서 및 다중영상의 삼각측량을 보다 신속하게 수행하여 3차원 공간정보를 활용하는데 있다.

일반적으로 3차원 공간정보에서 가장 많이 사용되는 고정으로 설치된 영상(어안렌즈)과 PTZ(Pen-tilt-zoom) 영상을 이용한 공간상의 위치결정에 가장 필수적인 프로세스로 카메라의 위치, 초점거리, 카메라 모델링 등의 이종센서로 취득되는 다중 해상도 영상들의 블록 구성, 퓨전(융합) 센서 모델링, 3차원 모형 생성 등과 같은 프로세스를 자동화 또는 고도화 하여 기존의 매핑 기술이 가질 수 없었던 신속성과 효율성을 도모할 수 있는 기술이다.

대부분의 멀티(이종)센서시스템의 경우 카메라 모델링을 사전에 학습하고 이를 기반으로 센서간의 좌표계를 동일한 성질을 유도하는 방식을 채택하고 있다. 카메라 모델링을 하기 위해서 영상의 기하하적 방법으로 카메라 캘리브레이션, 스테레오 매칭, 모션 구조, 모션 추정, 지역특징매칭 등 다양한 분야에서 기본으로 되는 요소이다.

이하에서는 본 발명에 적용될 수 있는 카메라 보정 기술인 1) Camera Calibration, 2) Camera Perspective Projection Model 등과 객체검출 및 영상밝기 조정 기술 등에 대해 구체적으로 설명한다.

먼저, 카메라 보정 기술에 대해 도 2 내지 도 8을 참조하여 구체적으로 설명한다.

여기서 도 2는 본 발명과 관련하여, 일반적인 카메라 모델에 캘리브레이션 (camera calibration)이 적용된 변환관계를 식으로 표현한 것이며, 도 3은 본 발명과 관련하여, 좌표계 상에 도 2의 수식을 표현한 것이고, 도 4는 본 발명과 관련하여, Camera Perspective Projection Model에 적용되는 투영 변환식을 도시한 것이며, 도 5는 본 발명과 관련하여, 도 4의 수식에 적용될 수 있는 오차함수의 구체적인 일례를 도시한 것이고, 도 6a 및 도 6b는 본 발명과 관련하여, 카메라 캘리브레이션 및 카메라 투영 및 회전변환이 적용되는 카메라모델링 과정의 구체적인 일례를 도시한 것이며, 도 7은 본 발명과 관련하여, 좌표 할당된 구체적인 일례를 도시한 것이고, 도 8은 본 발명과 관련하여, 초기할당 및 재할당 영역(좌표)의 구체적인 적용 일례를 도시한 것이다.

Camera Calibration에 대해 설명한다.

카메라 캘리브레이션(camera calibration)은 영상처리, 컴퓨터비전 분야에서 번거롭지만 꼭 필요한 과정중의 하나이며 카메라 영상은 3차원 공간상의 점들을 2차원 이미지 평면에 투사(perspective projection)함으로써 얻어진다. 일반적인 경우 카메라 모델에서 이러한 변환 관계는 도 2과 같이 모델링 된다.

여기서 (X, Y, Z)는 월드 좌표계를 카메라 좌표계(world coordinate system)상의 3D점의 좌표,[R/t]는 월드좌표계를 카메라 좌표계로 변환시키기 위한 회전/이동변환 행렬이며 A는 camera matrix이다.

카메라 캘리브레이션(camera calibration)은 위와 같은 3D 공간좌표와 2D 영상좌표 사이의 변환관계 또는 이 변환관계를 설명하는 파라미터를 찾는 과정이다. 도 2의 수학식에서 [R/t]를 카메라 외부 파라미터(extrinsis parameter), A를 내부 파라미터(intrinsic parameter)이고, 도 3은 본 발명과 관련하여, 좌표계 상에 도 2의 수식을 표현한 것이다.

또한, Camera Perspective Projection Model에 대해 설명한다.

비 보정 카메라(uncalibrated camera)로부터 입력된 영상은 카메라의 초점거리와 움직임 요소를 찾는 방법으로 크게 두 가지로 나누어진다.

첫 번째는 영상의 기하학적인 정보(geometrical information), 예를 들면, 코너(corner), 에지(edge), 라인(line)등의 정보를 이용하는 방법이다.

이 방법은 영상의 기하학적인 정보를 이용하기 때문에 두 영상간의 투영 변환식(projective transform)을 정확히 찾을 수 있다.

그러나 특징 점들 간의 대응관계(correspondence)를 찾기가 어렵다.

그 이유는 기준 영상(reference frame)과 목표 영상(target frame)의 대응점 투영 변환식으로 유도하기 위한 방법들은 많은 반복 연산을 통해서 최적화된 투영 변환식을 계산하기 때문에 실시간 구현에 적합하지 못하다.

반면, 영상 모자익(Mosaic) 방법은 크게 특징점 기반과 화소 기반으로 나눈다.

특징점 기반은 연속된 두 영상간의 투영 관계식을 유도하기 위한 가장 일반적인 방법으로 기존의 스테레오 비전에 많이 이용되었다.

이 방법은 입력된 영상의 기하학적인 특징들, 예를 들면 코너(corner), 에지(edge), 라인(line)등을 추출하여 기준 영상과 대상 영상간의 대응점을 찾는다.

그러나 추출된 특징점의 개수가 많기 때문에 모든 특징점에 대한 대응점을 찾기 위해서는 많은 반복적인 계산이 필요하다.

특징점을 이용한 또 다른 방법은 기준 영상과 대상 영상으로부터 6개에서 12개의 특징점을 찾아 4쌍의 대응점으로 조합을 만든 후, 도 4에 도시된 수학식과 같이 이용해서 각각의 투영 변환식을 계산한다.

계산된 투영 변환식을 이용해서 얻어진 영상에 대해서 도 5에 도시된 수학식과 같은 오차함수를 적용해서 오차를 최소로 하는 대응점을 최적의 대응점으로 간주한다.

이와 같은 과정에서 정확한 대응점 유도가 가능하고, 대응점에 대해서 투영 변환식을 계산하고 오차함수를 적용한다

도 6a 및 도 6b는 본 발명과 관련하여, 카메라 캘리브레이션 및 카메라 투영 및 회전변환이 적용되는 카메라모델링 과정의 구체적인 일례를 도시되어 있다.

또한, 도 7은 카메라 모델링에 대한 결과이며 이를 기반으로 멀티센서간의 카메라 좌표를 정의한다. 이때 좌표 할당은 기준 카메라(reference camera)와 목표 카메라 (target camera)간의 매핑 관계식으로부터 설정한다. 기준 카메라의 영역 좌표를 목표 카메라에게 전달하고, 해당 좌표로 목표 카메라의 위치 변환한다. 이러한 과정을 좌표 재할당으로 정의한다.

도 8은 전술한 내용에 따라 초기할당 및 재할당 영역(좌표)의 구체적인 적용 일례를 도시한 것이다.

다음으로, 객체검출 기술에 대해 도 9a 내지 도 10을 이용하여 구체적으로 설명한다.

여기서 도 9a 내지 도9c는 본 발명과 관련하여, 에지검출 및 외곽선 정보를 이용한 특징점 추출하는 방법을 도시한 것이고, 도 10은 도 9에서의 특징점 위치를 이용하여 동일 객체인지 여부를 판단하는 기준과 관련된 수식을 도시한 것이다.

객체 검출방법은 카메라로부터 입력된 영상에서 형태학적 모델과 특징점을 추출하여 저장된 패턴간의 비교분석하여 판단한다.

이때 형태학적 모델은 객체의 에지 정보를 이용하고, 해당 특징점들간의 일정거리만큼의 특징점을 정의한다.

형태학적 모델은 객체의 에지를 추출하고 이를 외곽정보로 활용한다.

객체의 외곽정보에서 일정 범위만큼 해당 위치를 특징점으로 선택한다.

선택된 특징점과 점들간의 간격은 일정한 임의의 크기이거나 일정한 비율의 특징점 분포로 활용하여 저장된 패턴간의 동일 형태로 판단하고 해당 객체를 인식한다.

도 9a는 객체 에지검출 결과를 보인 것이고, 도 9b는 에지기반 객체 외곽선 및 특징점 추출 결과를 보인 것이다.

또한, 도 9c의 수학식에서

는

까지의 범위이고 객체의 외곽선 정보를 표현한다. K는 임의의 일정 구간까지의 선택된 특징점 위치이다. 이를 활용하여 동일 객체 판단 기준은 도 10의 수학식과 같다.

여기서

는 에러(오차)를 말하고, 설정된 오차범위 이하인 경우 동일한 형태를 갖는 객체로 판단된다.

는 저장되는 패턴이고,

는 검출된 객체이다

한편, 영상밝기 조정 기술에 대해 도 11 내지 도 15를 이용하여 구체적으로 설명한다.

여기서 도 11은 본 발명과 관련하여, 입력된 영상간의 영역을 정의하는 구체적인 일례를 도시한 것이고, 도 12는 도 11을 통해 두 점간의 거리를 이용하여 유도된 원의 방정식의 구체적인 일례를 도시한 것이며, 도 13은 본 발명과 관련하여, 영상영역을 분할하는 방법을 구체적으로 설명하기 위한 도면이고, 도 14a 및 도14b는 본 발명과 관련하여, 밝기 분포 변화 결과를 비교한 결과를 도시한 것이다.

전술한 것과 같이, 카메라 모델링 처리가 되고, 다양한 환경에서 물체 검출 및 번호인식을 하기 위해서는 영상밝기 분포, 잡음, 열화초점, 주변 환경의 제약조건 등등의 원인으로 인해 정확한 결과를 얻을 수 없다.

우선, 영상 밝기변화는 입력된 카메라 인터페이스에서 전체 영상분포를 파악해야 하고, 영상표현부분과 이외의 영역으로 구분이 되어야 한다. 즉 카메라의 특성을 고려하지 않으면 영상분포를 측정할 수 없기 때문이다.

도 11은 카메라 특성에 따라 영상 영역과 이외의 영역으로 표현하였다.

도 11에서 밝기분포 측정은 영상영역과 영상 이외의 영역을 구분되어 계산이 되어야 한다.

이는 영상 이외의 영역분포들은 저조도 값들이 존재하고 실제 입력된 영상영역에 대해 밝기 변화를 둔감하게 변화시키는 요인이 된다.

따라서 영상 영역에 해당되는 값만을 이용하여 영상 밝기를 조정한다.

카메라의 중심은 도 11에서 가운데 위치하게 되고, 이를 바탕으로 임의의 한점을 영상 영역의 끝 위치에 설정함으로써 두 점간의 거리를 이용한 도 12에 도시된 원의 방정식을 유도할 수 있다.

도 12에서 카메라의 중심C(x,y)이고, 임의의 한 점P(x',y')이면 r은 두 점간의 반지름이다. 이때 반지름 r에 대해서 임의의 값으로 설정되어 영상영역과 이외의 영역으로 분할된다.

도 12는 도 11을 통해 두 점간의 거리를 이용하여 유도된 원의 방정식의 구체적인 일례를 도시한 것이다.

한편, 도 13은 밝기분포 변화를 측정한 결과이고, 도 14a 및 도14b는 밝기 분포 변화 결과를 비교한 결과를 도시한 것이다.

도 14a는 입력된 영상으로부터 밝기 변화를 측정하였고, 저조도 영역이 많이 포함된 결과를 확인 할 수 있다.

반면, 도14b는 영역 정의후 영상영역에 대해서만 밝기 분포를 측정하였고, 측정결과 영역 이외의 부분에서 문제점을 파악할 수 있었으며, 저조도 영역의 분포가 적게 분포된 것을 확인 할 수 있다.

한편, 디블러링(Debluring) 방식에 대해 구체적으로 설명한다.

모션블러현상은 카메라로 영상을 획득하는 과정에서 흔히 발생할수 있는 영상품질저하 요인중 하나로서 어두운 실내나 저녁 야외에서처럼 광량이 부족한 환경에서 센서 노출시간이 길어진 상황에서 센서의 흔들림이 영상에 치명적인 모션 블러 현상을 일으키게 된다.

또한, 야외에 설치된 CCTV의 경우 바람 또는 진동과 같은 외적인 요인으로 인해 모션 블러가 발생 할 수 있으며 물체의 움직임에 따라 부분적으로 모션 블러가 발생될 수도 있다.

이러한 경우 소프트웨어 후처리를 통한 영상복원 기술인 디블러링이 필수적이다.

디블러링 기술은 블러가 있는 영상 내의 중요한 에지들이 블러가 있기전에 어떤 형태를 띠었는지를 블러영상의 에지와 비교하여 블러를 추정하고, 완전히 복원된 선명한 영상이 없더라도 중요한 에지의 형태만 알수 있다면 모션블러를 추정하고 영상필터와 임계값을 이요하여 선명한 영상의 에지를 예측함으로써 블러를 추정하고 제거할 수 있다

디블러링 기술은 크게 세 단계로 이루어져 있다. 우선 (1) 선명한 영상의 에지 정보를 예측해 내는 선명한 영상 예측 단계와 (2) 예측된 선명한 영상과 블러가 있는 영상을 비교하여 블러 커널을 추정해 내는 블러 커널 추정 단계, 그리고 (3) 추정된 블러 커널을 이용하여 선명한 영상을 복원해 내는 영상 복원 단계이다. 　

영상 복원 단계의 결과는 다시 선명한 영상 예측 단계의 입력으로 사용되며, 이 세 단계를 블러 커널이 더 이상 개선되지 않을 때까지 반복하여 수행한다. 또한 모션의 크기가 큰 블러를 효과적으로 추정하기 위하여 다운샘플링 (Downsampling)된 영상으로부터 결과를 얻은 후, 이를 다시 큰 영상에 적용하여 결과를 얻는 다중 스케일 처리 방법을 이용한다. 다시 말해서, 작은 크기의 영상으로부터 블러가 제거된 영상을 얻은 후, 이를 이중선형 보간법(Bilinear Interpolation)을 이용하여 그 다음 단계의 큰 입력 영상으로 사용한다.

앞에서 언급한 세 단계를 반복적으로 수행한 후에는 입력 블러 영상이 포함하는 모션 블러 정보를 획득하게 되며, 이렇게 추정된 블러 커널과 입력 블러 영상을 이용하여 마지막 단계에서 시각적으로 좋은 품질을 갖는 선명한 영상을 복원하게 된다

커널 추정의 세 단계를 수행하면서 복원된 영상은 시각적으로 좋은 품질을 가질 필요가 없고 블러 커널 추정에 필요한 에지 정보만 제공할 수 있도록 복원되기 때문에 사용자가 원하는 품질 기준을 만족시키기가 어려우며, 이를 해결하기 위해서 최종 영상 복원 단계가 필요하다. 최종 영상 복원 단계에서는 기존의 좋은 품질을 내는 복원 방법들 중의 하나를 사용하여 복원을 수행한다.

여기서 모션 블러는 한 방향만 이동한 것처럼 초점을 약하게 만드는 모션 블러(motion blur)를 의미하고, 래디얼 블러는 방사 방향이나 회전 방향에 블러를 만드는 래디얼 블러(radial blur)를 의미할 수 있다.

도 15는 본 발명과 관련하여, 디블러링(Debluring) 방식이 적용되기 전의 결과와 적용된 이후의 결과를 비교하는 도면이다.

구체적으로 도 15a 내지 도15c는 블러링(Debluring)이 발생된 번호판의 구체적인 일례를 도시한 것이다.

또한, 도15d 내지 도15f는 도 15a 내지 도15c 각각에 대해 디블러링(Debluring) 방식을 적용한 결과의 구체적인 일례를 도시한 것이다.

이하에서는 전술한 본 발명의 구성 및 보정 기법 등을 이용한 구체적인 실시례에 대해 서술한다.

제 1 실시례

본 발명의 제 1 실시례에 따르면, 복수의 카메라를 통해 획득된 영상을 선별적으로 이용하여 개선된 영상을 통한 주차 유도 방법이 제공될 수 있다.

도 16은 본 발명과 관련하여, 센서 기반 영상 개선방법을 이용한 주차유도 방법을 구체적으로 설명하기 위한 전체 시스템 흐름도이다.

도 16을 참조하면, 제 1 카메라와 제 2 카메라가 차량을 포함하는 영상을 획득하는 단계(S1, S2)가 진행된다.

이때, 제 1 카메라가 전방위 카메라인 경우, 전방위 카메라를 통해 차량이 존재하는지 여부를 먼저 판단하는 방법이 함께 적용될 수 있다.

이후, 전술한 카메라 캘리브레이션이 적용되고(S3), 투영변환되며(S4), 좌표가 할당되고(S5), 좌표매핑이 이루어지며(S6), 객체를 검출(S7)하는 과정이 순차적으로 진행된다.

이후, 번호 인식을 하는 과정이 진행(S8)되는데, 이때, 제 1 카메라를 통해 획득된 영상만을 이용할 수 있다.

즉, 제 1 카메라를 통해 획득된 영상을 통해 번호 인식이 가능한 경우에는 바로 저장 및 데이터 베이스를 분류하는 작업(S9)이 진행된다.

단, S8 단계에서 제 1 카메라를 통해 획득된 영상을 통해 번호인식이 이루어지지 않는 경우에는 제 2 카메라에서 획득된 영상이 추가적으로 이용된다.

즉, 좌표재할당 작업(S10)이 추가적으로 진행되고, 제 1 카메라와 제 2 카메라 모두에서 획득된 영상을 이용하여 번호를 인식하는 구체적인 단계(S11)가 진행된다.

도 17은 본 발명과 관련하여, 센서 기반 영상 개선방법을 이용한 주차유도 방법을 구체적으로 설명하기 위한 흐름도의 구체적인 일례를 도시한 것이다.

도 17을 참조하면, 차량의 주차에 대응하여 S1 단계에서 전방위 카메라가 차량의 존재유무를 판단하게 된다.

이후, S2 단계 내지 S8 단계를 통해 전방위 카메라에서 획득한 영상을 이용하여 주차된 차량의 번호를 인식하는 과정이 진행된다.

성공하는 경우에는 입차확정이 되어 다음 단계로 진행되지만, 성공하지 못하는 경우에는 PLZ 카메라에서 획득한 영상을 추가적으로 이용하여 차량의 번호를 인식하고, 입차를 확정하는 단계가 진행된다.

또한, 도 18은 본 발명과 관련하여, 센서 기반 영상 개선방법을 이용한 주차유도 시스템의 구성도를 구체적으로 도시한 것이다.

도 18을 참조하면, 실시간 영상을 촬영하여 전송하는 구체적인 단계, 전송된 영상을 분석하여 차량형태, 차량번호 인식 후 DB서버에 전송하는 단계 및 전송된 영상을 분석하였으나 차량번호인식 불가시, 전방위 카메라와 PLZ 카메라의 영상을 이용하여 차량형태 및 번호인식을 수행하는 단계 등이 도시되어 있다.

이러한 제 1 실시례를 통해, 실시간 영상을 저장하여 사고근거자료를 확보하는 것이 가능하고, 번호인식 통해 내차위치찾기가 가능하며, 전방위카메라 1대와 PTZ카메라 1대로 최대16주차면 인식이 가능하고, 영상분석장치 1대당 16대의 카메라 연동가능(주차면기준 256면 운영가능)하며, 전방위카메라는 객체검지 카메라 및 보안영상으로 사용가능하고, PTZ카메라는 번호인식 및 객체검지 보완용으로 사용 가능해진다.

제 2 실시례

한편, 본 발명의 제 2 실시례에 따르면, 주차면을 관리하는 방법이 제공될 수 있다.

도 19는 본 발명의 일 실시예에 따른 주차면 관리 방법을 나타낸 순서도이다.

도 19에 도시된 바와 같이 카메라가 하나 이상의 주차면을 촬영한다(S100).

다음, 제어부가 촬영한 동영상에 차량검지 알고리즘 적용으로 각 주차면의 공차 상태 또는 주차 상태를 판단한다(S110).

다음, 제어부가 하나 이상의 주차면의 공차 상태 정보 또는 만차 상태 정보를 출력한다(S120).

다음, 제어부가 주차면 동영상의 복수 프레임 중 정지 영상에 대응하는 하나 이상의 정지 영상 정보를 추출한다(S130).

다음, 제어부가 추출된 하나 이상의 정지 영상 정보를 압축한다(S140).

다음, 제어부가 주차면 동영상 정보를 스트리밍 동영상 정보로 변환한다(S142).

다음, 무선통신부가 정지 영상 정보 및 스트리밍 동영상 정보를 각각 번호인식 서버(40)와 스트리밍 영상 서버(20)로 전송한다(S150).

다음, 제어부가 번호인식 알고리즘을 적용하여 주차 상태 차량의 차량 번호를 인식하고(S160), 메모리가 스트리밍 동영상 정보를 저장한다(S170).

상기와 같은 과정을 통해 주차면에 차량 주차 여부 및 주차한 차량의 차량 번호를 알 수 있다. 또한 주차면 주위의 상황을 파악하여 보안 기능을 수행할 수 있다.

도 20은 본 발명의 일 실시예에 따른 주차면 관리 방법 중 제어부에 의해 발광다이오드 램프가 제어되는 과정을 나타낸 순서도이다.

제어부가 만차 상태 정보 또는 공차 상태 정보를 수신한다(S122).

다음, 제어부가 하나 이상의 발광다이오드 램프의 색깔 변화를 제어하여 적색, 녹색 및 청색 중 적어도 어느 하나를 갖는 빛을 조사한다(S124).

다음, 제어부가 하나 이상의 발광다이오드 램프의 상태 정보를 관제센터 컴퓨터로 전송한다(S126).

이렇게 하여 제어부가 하나 이상의 발광다이오드 램프(700)의 색깔 변화(예: 만차시 적색 및 공차시 녹색)라는 방법으로 하나 이상의 주차면의 공차 상태 정보 또는 만차 상태 정보를 출력하게 된다. 그리고 관제센터 컴퓨터(60)가 각각의 주차면의 상태를 파악하고 관리할 수 있게 된다.

제 3 실시례

본 발명의 제 3 실시례에 따르면, 전방위 카메라를 이용한 주차면 관리 방법이 제공될 수 있다.

도 21은 본 발명의 일실시예로서 전방위 카메라(10)를 이용한 주차면 관리 방법을 순차적으로 나타낸 순서도이다.

도 21를 참조하면, 우선 어안렌즈가 장착된 전방위 카메라가 주차장의 천정에 설치되어 주차면 및 입출차로를 포함하는 천정 하부의 전방위를 촬영한다(S200).

다음, 제어부가 촬영으로 생성된 원본영상정보를 수신하여 왜곡을 보정하고 원본영상정보를 주차면 및 입출차로를 포함한 4 개 이상의 분할된 영역에 대응하는 분할영상정보로 복원한다(S210).

다음, 보안을 목적으로 영상정보의 저장이 필요하며, 따라서, 메모리가 전방위 카메라 및 영상복원수단과 연결되어 원본영상정보 및 분할영상정보를 저장하는 단계를 수행한다(S212).

다음, 제어부가 분할영상정보 중 주차면에 대응하는 주차면 영상정보를 기초로 각 주차면의 만차 또는 공차 상태를 판단하기 위해 차량을 검지한다(S220).

다음, 제어부가 주차면 영상정보 중 검지된 차량의 번호판 영상정보를 추출하고 소정의 번호인식 알고리즘을 적용하여 검지된 차량의 차량번호를 인식한다(S230).

다음, 디스플레이부가 분할영상정보와 검지된 차량의 차량번호를 화면상으로 표시한다(S240)

상기와 같은 전방위 카메라의 촬영단계(S200) 내지 화면상 표시단계(S240)가 수행됨으로써 전방위 카메라를 이용한 주차면 관리 방법이 행하여 진다.

그리고, 주차장 이용자로 하여금 주차면 만공차 상태를 용이하게 파악토록 할 목적으로 차량 검지단계(S220)와 차량번호 인식단계(S230) 사이에 제어부(1180)가 만공차 상태 정보를 수신하는 단계(S222)가 추가 수행될 수 있다.

이어서 만공차 램프가 건물기둥으로 구획되는 일정 수의 주차면을 하나의 주차섹터로 하여 전방위 카메라가 위치한 입출차로 양측의 각 주차섹터에 대해 일정 수의 주차면 중 적어도 하나의 주차면이 공차일 경우 공차 알림 표시를 하는 단계 및 주차섹터가 만차일 경우 만차 알림 표시를 하는 단계가 택일적으로 수행되는 단계(S224)가 더 수행될 수 있다.

여기서 만공차 램프의 표시 방법은 그 형태에 따라 달라질 수 있는데, 전방위 카메라에 장착된 만공차 램프가 전체적으로 녹색 및 빨간색 중 어느 하나의 단일 색만을 조사하는 형태에 있어서는 만공차 램프가 위치한 입출차로 양측 주차섹터 모두에 대해 하나의 주차면이라도 공차면 녹색의 빛을, 모든 주차면이 만차면 빨간색의 빛을 조사하게 된다.

이와 달리, 전방위 카메라에 장착된 만공차 램프가 양측 주차섹터 각각에 대해 만공차 상태를 알리는 형태에 있어서는 각각의 주차섹터에 대한 만공차 상태 정보를 수신하고 만공차 램프로 하여금 만차인 경우의 주차섹터는 빨간색 빛을 조사하고 공차인 주차섹터는 녹색 빛을 조사할 수 있게 된다.

제 4 실시례

한편, 본 발명의 제 4 실시례에 따르면, 차량번호를 복수의 카메라를 통해 인식하는 추가적인 방법이 제공될 수 있다.

도 22는 본 발명의 일실시예에 따른 지능형 장애인 주차면 관리 시스템의 전체 동작을 순차적으로 나타낸 순서도이다.

도 22을 참조하면, 우선 전면 카메라모듈이 차량의 입출차로 진입에 대응하여 차량의 전면 번호판을 촬영한다(S3100).

다음, 제어부가 촬영된 전면 번호판을 기초로 제 1텍스트를 인식한다(S3200).

다음, 후면 카메라모듈이 차량의 후면 번호판을 촬영한다(S3300).

다음, 제어부가 촬영된 후면 번호판을 기초로 제 2텍스트를 인식한다(S3400).

다음, 제어부가 인식된 제 1텍스트와 인식된 제 2텍스트의 동일 여부를 비교한다(S3500).

마지막으로 제어부가 인식된 제 1텍스트와 인식된 제 2텍스트를 조합하여 차량번호를 완성함으로써(S3600) 전후면 카메라모듈을 이용한 차량번호 인식 방법이 수행된다.

여기서, 제어부의 제 1인식단계(S3200) 및 제 2인식단계(S3400)는 제어부가 각 텍스트를 문자별 매칭율 또는 숫자별 매칭율로 인식하며, 제어부가 각 텍스트의 개별 문자 또는 개별 숫자가 인식되지 않는 경우 문자별 매칭율 또는 숫자별 매칭율을 0%로 인식하여 여전히 매칭율 비교 대상으로 하는 것이 바람직하다.

제어부의 차량번호 완성단계(S3600)는 제어부가 제 1텍스트와 제 2텍스트 상호 간에 대응되는 문자 또는 대응되는 숫자가 동일한 경우 동일한 문자 또는 동일한 숫자를 선택하고(S3610), 제어부가 선택된 문자 또는 선택된 숫자로서 차량번호를 완성함으로써(S3620) 전후면 카메라모듈을 이용한 차량번호 인식 방법이 수행될 수 있다.

반면, 제어부의 차량번호 완성단계(S3600)는 제어부가 제 1텍스트와 제 2텍스트 상호 간에 대응되는 문자 또는 대응되는 숫자가 다른 경우 문자별 매칭율 또는 숫자별 매칭율을 비교하고(S3630), 문자별 매칭율이 높은 문자 또는 숫자별 매칭율이 높은 숫자를 선택한다(S3640). 그리고, 제어부가 선택된 문자 또는 선택된 숫자로서 차량번호를 완성함으로써(S3650) 전후면 카메라모듈을 이용한 차량번호 인식 방법이 수행될 수 있다.

전후면 카메라모듈을 이용한 차량번호 인식 방법을 적용하여 차량번호를 완성한 일예를 아래의 표 1로 나타내었다. 표 1에서 x로 표시한 것은 미인식 상태의 문자 또는 숫자로서 매칭율이 0%이다.

한편, 제어부의 차량번호 완성단계(S3600) 이후에는 디스플레이수단이 완성된 차량번호를 디스플레이함으로써(S3700) 본 시스템의 이용자에게 인식된 차량번호를 알려주게 된다.

물론, 디스플레이수단은 완성된 차량번호 이외에도 전후면 카메라모듈 각각이 인식한 제 1, 2텍스트를 함께 디스플레이할 수 있으며, 이 경우 문자별 매칭율, 숫자별 매칭율을 함께 디스플레이할 수 있다.

제 5 실시례

본 발명의 제 5 실시례에 따르면, 지능형 장애인 주차면 관리 방법이 사용자에게 제공될 수 있다.

도 23은 본 발명인 차량번호 인식 방법의 일 실시예를 순차적으로 나타낸 도면이다.

먼저, 도 23 에 도시된 바와 같이, 제어부가 주차면카메라로부터 획득된 차량번호 또는 장애인 마크에 기초하여 장애인주차면에 주차 또는 정차 가능한 차량인지 여부를 판단하는 제 1 단계를 수행한다(S1610).

세부적으로 제 1 단계는 다음과 같은 과정을 수행한다.

차량검출수단이 장애인주차면에 차량의 주차 또는 정차 여부를 판단하는 단계를 수행한다(S1110).

차량이 주차 또는 정차한 경우에 단속 대상이 되기 때문에 주차 또는 정차 여부를 확인하여야 한다. 이러한 주차 또는 정차 여부는 디지털 이미지 프로세싱에 의해 가능함은 자명하다.

다음으로, 차량번호검출수단이 차량의 차량번호 또는 차량에 부착된 장애인 마크(10)를 인식하는 단계를 수행한다(S1113). 이때 단속차량의 증거자료를 확보하기 위하여 입차차량의 동영상을 저장하는 단계를 수행할 수도 있다(S1115). 다만 이러한 동영상 저장 단계는 필요에 따라 그 순서를 바꾸어 수행할 수도 있다.

마지막으로, 제어부는 장애인 마크가 부착되어 있는 차량이면 1차적으로 주차가능 차량이라고 판단한다(S1117). 또한, 제어부는 인식된 차량번호에 기반하여 장애인 차량등록 현황을 검색함으로써 1차적으로 장애인주차면에 주차 또는 정차 가능한 차량인지를 확인한다(S1117).

한편, 제 1 단계를 수행한 후, 장애인주차면에 주차할 수 없는 차량인 경우 제 3 단계를 수행한다. 반면에 장애인주차면에 주차 또는 정차 가능한 차량인 경우, 제어기가 탑승객의 얼굴인식에 기초하여 장애인주차면에 주차 또는 정차 가능한 차량인지 여부를 판단하는 제 2 단계를 수행한다(S11620).

세부적으로 제 2 단계는 다음과 같은 과정을 수행한다. 먼저, 얼굴인식수단이 탑승객의 얼굴을 인식하는 단계를 수행한다(S1121).

다음으로, 얼굴인식수단이 차량번호에 기반하여 장애인 차량등록 현황에서 검색된 장애인 얼굴을 인식하는 단계를 수행한다(S1123). 다만 S1121 단계와 S1123 단계는 그 순서를 바꾸어 수행할 수 있음은 자명하다.

다음으로, 제어부가 탑승객의 얼굴과 장애인 차량등록 현황에서 검색된 장애인 얼굴을 비교하며(S1125), 비교결과 동일인인 경우 장애인주차면에 주차 또는 정차 가능한 차량이라고 판단한다. 만약 동일인이 아닌 경우에는 장애인 마크가 부착된 차량 또는 차량번호 조회결과 주차 가능 차량이라 하더라도 실질적으로 등록된 장애인이 탑승하지 않아서 단속대상이 된다.

한편, 제 2 단계를 수행한 후, 장애인주차면에 주차 또는 정차할 수 없는 차량의 경우에는, 제어부가 차량을 불법 주차 또는 정차 위반차량으로 단속하는 제 3 단계를 수행한다(S11630).

세부적으로 제 3 단계는 다음과 같은 과정을 수행한다. 먼저, 경고방송수단이 주차위반 또는 정차위반 차량에 대하여 안내방송을 하는 단계를 수행한다(S1131).

다음으로, 제어부가 안내방송을 받은 차량이 이동하였는지 여부를 판단하는 단계를 수행한다(S1133).

이때 차량이 이동한 경우에는 단속하지 않는다.

반면에, 차량이 이동하지 않은 경우에는 제어부가 1차적으로 차량의 단속영상을 획득하는 단계를 수행한다(S1135). 이때 단속영상은 증거자료를 위하여 스틸영상 또는 동영상으로 저장한다. 그리고 단속영상은 위반 차량이 포함된 배경영상 또는 차량번호가 포함된 배경영상 등이다.

다음으로, 제어부가 기 설정된 시간이 경과하였는지 여부를 판단하는 단계를 수행한다(S1137). 이때 설정되는 시간은 현장에 따라 자유롭게 설정 가능하며, 기 설정된 시간이 지나지 않은 경우 계속 대기한다.

다음으로, 기 설정된 시간이 지난 경우에는 제어부가 2차적으로 차량의 단속영상을 획득하는 단계를 수행한다(S1139). 이때 단속영상은 증거자료를 위하여 스틸영상 또는 동영상으로 저장한다. 그리고 단속영상은 위반 차량이 포함된 배경영상 또는 차량번호가 포함된 배경영상 등이다.

다음으로, 단속차량의 증거자료를 확보하기 위하여 출차차량의 동영상을 저장하는 단계를 수행할 수도 있다(S1141). 다만 이러한 출차차량의 동영상 저장 단계는 필요에 따라 그 순서를 바꾸어 수행할 수 있음은 자명하다.

마지막으로, 제어부가 차량의 단속 데이터를 생성하는 단계를 수행한다(S1143). 이때 생성되는 단속 데이터는 상술한 1차 및 2차 단속영상, 탑승객의 영상을 시간에 따라 저장한 데이터이다. 한편, 필요에 따라 입차차량 및 출차차량의 동영상도 이에 포함될 수 있다.

상술한 내용에 부가하여, 생성된 단속 데이터를 운영시스템에 전송하여 주차 또는 정차 위반 차량에 대하여 고지서를 출력하고 이를 발송한다.

전술한 본 발명의 구성이 적용되는 경우, 센서가 적용된 디블러링(Debluring) 기법과 영상밝기 조정 기법을 통해 개선된 영상을 이용하는 주차유도 시스템을 사용자에게 제공할 수 있다.

또한, 전방위 카메라를 이용하여 주차면의 상태를 파악함으로써 신속한 주차유도와 실시간 영상을 센터에 표출하여 통합관리가 가능하게 하고, 촬영된 영상을 저장하여 사고발생시 근거자료 활용하여 민원을 해결할 수 있는 안전한 주차유도 시스템을 사용자에게 제공할 수 있다.

또한, PTZ카메라를 이용한 번호인식을 통해 내차 위치 찾기 서비스 등을 제공하여 지하주차장과의 동일한 서비스를 제공하고, 시스템을 일원화하여 주차장 운영을 효율적으로 관리할 수 있도록 함으로써, 사용자 및 운영자의 비용절감과 편의성을 향상시킬 수 있다.

한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시례들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시례들은 다양한 변형이 이루어질 수 있도록 각 실시례들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

1. 적어도 하나의 객체를 포함하는 영상을 촬영하는 카메라; 및
   영상밝기 조정방법 및 디블러링(Debluring) 방법을 상기 영상에 적용하고, 상기 영상에 포함된 적어도 하나의 객체 중 차량을 추출하며, 상기 추출한 차량의 번호판 정보를 검출하는 제어부;를 포함하되,
   상기 영상밝기 조정방법은, 상기 영상을 상기 번호판 정보 검출에 이용하는 제 1 영역과 상기 번호판 정보 검출에 이용하지 않는 제 2 영역으로 분할하고, 상기 제 1 영역에 대해서만 영상밝기를 조정하는 방법이고,
   상기 디블러링 방법은, 상기 영상에 포함된 적어도 하나의 객체에 의한 에지 정보를 추정하고, 상기 추정된 에지 정보와 상기 촬영된 영상을 서로 비교하여 상기 영상을 촬영하는 과정에서 발생된 모션블러(motion blur)를 제거하는 방법인 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
2. 제 1항에 있어서,
   상기 카메라는 복수이고,
   상기 복수의 카메라는, 전방위를 촬영할 수 있는 어안렌즈가 장착된 전방위 카메라 및 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 영상을 촬영하는 PTZ 카메라를 포함하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
3. 제 2항에 있어서,
   상기 제어부는,
   상기 전방위 카메라를 통해 촬영된 제 1 영상을 이용하여 상기 적어도 하나의 객체 유무를 판별하고,
   상기 제 1 영상만을 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출하며,
   상기 제 1 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우, 상기 PTZ 카메라를 통해 촬영된 제 2 영상을 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
4. 제 3항에 있어서,
   상기 제어부는,
   상기 제 1 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우,
   상기 PTZ 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 차량의 번호판 영역에 대한 제 2 영상을 촬영하도록 제어하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
5. 제 3항에 있어서,
   상기 제 2 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우,
   상기 제어부는, 상기 제 1 영상과 제 2 영상을 함께 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
6. 제 1항에 있어서,
   상기 번호판 정보는, 상기 차량의 종류 정보, 상기 차량의 용도 정보 및 상기 차량의 식별정보를 포함하고,
   상기 차량의 종류 정보는 2개의 숫자로 표현되고, 상기 차량의 용도 정보는 1개의 한글로 표현되며, 상기 차량의 식별정보는 4개의 숫자로 표현되는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
7. 제 2항에 있어서,
   상기 전방위 카메라는 주차장의 천정에 설치되고, 상기 전방위 카메라의 어안렌즈는 주차면 및 입출차로를 포함하는 천정 하부의 전방위를 촬영할 수 있으며, 상기 주차면은 상기 입출차로 양측에 위치하는 다수의 주차면인 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
8. 제 2항에 있어서,
   상기 전방위 카메라는 주차구역에 설치되어 장애인주차면에 주차 또는 정차하는 차량 및 탑승객의 영상을 촬영하고,
   상기 PTZ 카메라는 상기 주차구역의 배경영상을 촬영하며,
   상기 제어부는 상기 차량의 영상 및 상기 탑승객의 영상을 분석하여 상기 장애인주차면에 주차 또는 정차 가능 차량인지 여부를 판단하고,
   상기 제어부는 아다부스트 알고리즘을 이용하여 얼굴을 검출하고, 주성분 분석 알고리즘을 이용하여 상기 탑승객의 얼굴을 인식하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
9. 제 2항에 있어서,
   상기 복수의 카메라 중 적어도 일부는 상기 차량의 전면 번호판을 촬영하는 전면 카메라 모듈이고, 나머지는 상기 차량의 후면 번호판을 촬영하는 후면 카메라 모듈이며,
   상기 후면 카메라모듈은 상기 전면 카메라모듈을 지지하는 지지대의 일 측면에 구비되어 상기 전면 카메라모듈과 반대 방향을 촬영하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
10. 제 9항에 있어서,
    상기 제어부는,
    상기 전면 카메라 모듈을 통해 획득된 제 1 텍스트 및 상기 후면 카메라 모듈을 통해 획득된 제 2 텍스트 상호 간에 대응되는 문자 또는 대응되는 숫자가 동일한 경우, 상기 동일한 문자 또는 상기 동일한 숫자를 선택하여 상기 차량의 번호판 정보를 검출하고,
    상기 문자 또는 상기 숫자가 상호 다른 경우, 문자별 매칭율 또는 숫자별 매칭율을 비교하여 상기 문자별 매칭율이 높은 문자 또는 상기 숫자별 매칭율이 높은 숫자를 선택함으로써 상기 차량의 번호판 정보를 검출하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
11. 제 9항에 있어서,
    상기 제어부는 상기 전면 카메라 모듈을 통해 획득된 제 1 텍스트 및 상기 후면 카메라 모듈을 통해 획득된 제 2 텍스트 중 어느 하나의 텍스트만 인식된 경우, 상기 인식된 하나의 텍스트를 선택함으로써 상기 차량의 번호판 정보를 검출하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도 시스템.
12. 카메라를 통해 적어도 하나의 객체를 포함하는 영상을 촬영하는 제 1 단계;
    영상밝기 조정방법 및 디블러링(Debluring) 방법을 상기 영상에 적용하는 제 2 단계;
    상기 영상에 포함된 적어도 하나의 객체 중 차량을 추출하는 제 3 단계; 및
    상기 추출한 차량의 번호판 정보를 검출하는 제 4 단계;를 포함하되,
    상기 영상밝기 조정방법은, 상기 영상을 상기 번호판 정보 검출에 이용하는 제 1 영역과 상기 번호판 정보 검출에 이용하지 않는 제 2 영역으로 분할하고, 상기 제 1 영역에 대해서만 영상밝기를 조정하는 방법이고,
    상기 디블러링 방법은, 상기 영상에 포함된 적어도 하나의 객체에 의한 에지 정보를 추정하고, 상기 추정된 에지 정보와 상기 촬영된 영상을 서로 비교하여 상기 영상을 촬영하는 과정에서 발생된 모션블러(motion blur)를 제거하는 방법인 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도방법.
13. 제 12항에 있어서,
    상기 카메라는 복수이고,
    상기 복수의 카메라는, 전방위를 촬영할 수 있는 어안렌즈가 장착된 전방위 카메라 및 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 영상을 촬영하는 PTZ 카메라를 포함하며,
    상기 제 1 단계와 제 2 단계 사이에는, 상기 전방위 카메라를 통해 촬영된 제 1 영상을 이용하여 상기 적어도 하나의 객체 유무를 판별하는 단계;를 더 포함하고,
    상기 제 3 단계 및 제4단계에서는, 상기 제 1 영상만을 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출하며,
    상기 제 1 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우, 상기 제 3 단계 및 제4단계에서는, 상기 PTZ 카메라를 통해 촬영된 제 2 영상을 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도방법.
14. 제 13항에 있어서,
    상기 제 1 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우,
    상기 PTZ 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 차량의 번호판 영역에 대한 제 2 영상을 촬영하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도방법.
15. 제 13항에 있어서,
    상기 제 2 영상을 통해 상기 차량 추출 또는 상기 차량의 번호판 정보 검출이 실패하는 경우,
    상기 제 3 단계 및 제4단계에서는, 상기 제 1 영상과 제 2 영상을 함께 이용하여 상기 차량 추출 및 상기 차량의 번호판 정보를 검출하는 것을 특징으로 하는, 센서 기반 영상 개선방법을 이용한 주차유도방법.

Images