KR101714131B1 - 주차구획 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 차량의 주차시에 상기 차량 주변의 주차구획을 인식하는 방법 및 이를 수행하는 장치에 관한 것이다.
본 발명에 따른 주차구획 검출 방법은, 차량 주변의 영상을 획득하는 단계 상기 영상으로부터 제1 오리엔테이션(orientation) 및 제2 오리엔테이션에 따라 에지(edge)영상을 획득하는 단계, 상기 에지 영상들로부터 복수의 직선을 추출하는 단계, 및 상기 복수의 직선에 기초하여 주차구획을 특정하는 단계를 포함할 수 있다.

Description

주차구획 인식 장치 및 방법{DEVICE AND METHOD FOR RECOGNIZING PARKING STALL}

본 발명은 차량의 주차시에 상기 차량 주변의 주차구획을 인식하는 방법 및 이를 수행하는 장치에 관한 것이다.

통상적으로 초보 운전자와 같은 운전에 미숙한 운전자들은 주차장에 주차된 차량들 사이의 위치에 주차하는데 많은 어려움을 느낀다. 이를 위해, 미숙한 운전자들이 기 주차된 다른 차량, 사람, 장애물 등을 회피할 수 있도록 상당수의 차량들은 정지 거리를 운전자에게 경고하는 초음파 주차 보조 시스템을 채용하고 있다.

한편, 운전자에게 더욱 편의를 제공하기 위하여 주차 보조 시스템보다 진보한 자동 주차 시스템이 개발되고 있다. 자동 주차 시스템에 있어서는 주차구획 인식이 가장 먼저 수행되어야 하는데, 카메라 등을 이용한 영상 기반의 주차구획 인식 방법이 주로 이용된다.

하지만, 종래의 영상 기반 주차구획 인식 기술에 의하면, 그림자, 비 또는 눈으로 인하여 주차구획선을 정확히 인식하는데 어려움이 있었다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 특정 방향에 따라서 에지를 검출하고 이를 기초로 주차구획을 인식할 수 있는 장치 및 방법을 제공할 수 있다.

본 발명의 일 실시예에 따른 주차구획 검출 장치는, 차량 주변의 영상을 획득하는 영상획득부, 상기 영상으로부터 제1 오리엔테이션 및 제2 오리엔테이션에 따라 에지 영상을 획득하는 영상 전처리부, 상기 에지 영상들로부터 복수의 직선을 추출하는 직선추출부, 및 상기 복수의 직선에 기초하여 주차구획을 특정하는 주차구획 특정부를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 주차구획 검출 장치에 있어서, 제1 오리엔테이션과 제2 오리엔테이션은 180도의 각도차를 가질 수 있다.

또한, 본 발명의 일 실시예에 따른 주차구획 검출 장치에 있어서, 직선추출부는, 상기 에지 영상에 허프 변환을 적용하는 것에 의하여 상기 복수의 직선을 추출할 수 있다.

또한, 본 발명의 일 실시예에 따른 주차구획 검출 장치에 있어서, 주차구획 특정부는, 상기 복수의 직선 중 서로 평행하고 소정의 너비만큼 이격되어 있는 직선 쌍으로부터 제1 방향 구획선을 획득하고, 상기 제1 방향 구획선에 기초하여 상기 주차구획을 특정하는 제1 방향 구획선 획득부를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 주차구획 검출 장치에 있어서, 상기 제1 방향 구획선은 복수 획득되고, 상기 주차구획 특정부는 상기 복수의 제1 방향 구획선을 따라 밝기를 측정하고, 상기 밝기가 급격하게 변화하는 지점을 추출하여, 상기 지점을 포함한 제2 방향 구획선을 획득하는 제2 방향 구획선 획득부를 더 포함하고, 상기 주차구획 특정부는 상기 복수의 제1 방향 구획선 및 상기 제2 방향 구획선에 기초하여 상기 주차구획을 특정하는 단계를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 주차구획 검출 장치에 있어서, 상기 제2 방향 구획선 획득부는 상기 복수의 제1 방향 구획선에 대한 밝기차 프로파일 그래프의 국소최소값 중 밝기차 값이 소정의 값보다 작은 위치를 추출할 수 있다.

또한, 본 발명의 일 실시예에 따른 주차구획 검출 장치에 있어서, 상기 제2 방향 구획선 획득부는 상기 지점에 대하여 란삭 알고리즘을 적용한 결과로서의 직선을 상기 제2 방향 구획선으로 획득할 수 있다.

본 발명의 다양한 실시예에 따른 주차구획 인식 방법에 의하면, 특정 방향에 따라서 에지를 검출하고 이를 기초로 주차구획을 인식하므로, 모든 방향에 따라 에지를 검출하는 경우보다 처리량이 한층 저감시킬 수 있다. 또한, 특정 방향에 따라서 에지를 검출하므로 다양한 노이즈에 대하여 강건하게 주차구획의 구획선을 인식할 수 있다.

도 1은 본 발명의 일 실시예에 따른 주차구획 인식 장치가 탑재되는 차량 및 인식 환경을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 주차구획 인식 장치의 구성을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 주차구획 인식 방법의 흐름도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 주차구획 인식 방법의 상세 흐름도를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 주차구획 인식 장치의 영상획득부가 획득한 영상을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 주차구획 인식 장치의 영상 전처리부가 검출한 에지의 영상을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 주차구획 인식 장치의 직선추출부가 허프 변환을 수행한 그래프를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 추출된 직선을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서의 제1 방향 구획선을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서의 주차구획 후보를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 폐쇄형 직사각형 주차구획의 주차구획 후보를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 개방형 직사각형 주차구획의 주차구획 후보를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 사선형 주차구획의 주차구획 후보를 나타낸다.
도 14는 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 계단형 주차구획의 주차구획 후보를 나타낸다.
도 15는 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 제2 방향 구획선이 특정되기 위한 조건을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 제1 방향 구획선 상에서 밝기가 급변하는 지점을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 제2 방향 구획선을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 다양한 주차구획 유형에 있어서 제2 방향 구획선을 획득한 영상을 나타낸다.
도 19는 본 발명의 일 실시예에 따른 다양한 주차구획 유형에 있어서 주차구획 후보와 제2 방향 구획선을 추가로 고려한 주차구획을 나타낸다.
도 20은 본 발명의 일 실시예에 따른 계단형 주차구획을 인식하는 방법을 설명하기 위한 도면이다.
도 21은 본 발명의 다양한 실시예에 따른 주차구획 유형을 인식하는 방법을 설명하기 위한 도면이다.
도 22는 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 유형별로 인식된 폐쇄형 직사각형 주차구획을 나타낸다.
도 23은 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 유형별로 인식된 개방형 직사각형 주차구획을 나타낸다.
도 24는 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 유형별로 인식된 사선형 주차구획을 나타낸다.
도 25는 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 유형별로 인식된 계단형 주차구획을 나타낸다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따른 주차구획 인식 장치가 탑재되는 차량 및 인식 환경을 나타낸다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 주차구획 인식 장치(1000)는 차량에 탑재될 수 있다. 주차구획 인식 장치(1000)는 복수의 카메라를 구비한 AVM(Around View Monitoring) 장치를 포함하거나, 적어도 연결될 수 있다. AVM 장치는 도 1에 도시된 바와 같이 차량 주변의 영상을 복수 획득할 수 있고, 소정의 처리를 통해 복수의 영상을 1개의 영상으로 디스플레이할 수 있다. 주차구획 인식 장치(1000)는 이러한 AVM 장치를 통하여 영상을 획득하고 본 발명에 따른 주차구획 인식 방법을 수행할 수 있다.

도 2는 본 발명의 일 실시예에 따른 주차구획 인식 장치의 구성을 나타낸다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 주차구획 인식 장치(1000)는 영상획득부(101), 영상 전처리부(102), 직선추출부(103), 및 주차구획 특정부(104)를 포함할 수 있다.

영상획득부(101)는 차량 주변의 영상을 획득할 수 있다. 영상획득부(101)는 예를 들어 전방 카메라, 후방 카메라, 및 양측의 사이드 미러 카메라로부터 촬영된 영상을 전송받을 수 있다. 또한, 영상획득부(101)는 상기 복수의 카메라로부터 전송된 영상을 조합하여 차량 주위의 영상(이른바 Around View 영상)을 획득할 수도 있다.

영상 전처리부(102)는 영상획득부(101)가 획득한 영상으로부터 제1 오리엔테이션 및 제2 오리엔테이션에 따라 에지 영상을 획득할 수 있다. 오리엔테이션이란 에지를 검출하기 위한 소정의 방향을 의미할 수 있으며, 각도로써 표현될 수 있다. 영상 전처리부(102)는 에지 검출 시에, 중간값 필터링(median filtering)을 수행한 연후에 비교적 낮은 임계치(역치)를 적용함으로써 오검출 또는 검출 누락을 줄여 검출 정밀도를 높일 수도 있다.

한편, 본 발명의 다양한 실시예에 있어서 영상 전처리부(102)는 차량의 전방을 0도로 하여 반시계방향으로 6개의 방향(-90도/90도/-45도/135도/45도/-135도)에 따라 에지를 검출할 수 있다. 즉, 제1 및 제2 오리엔테이션은 상기 6개의 방향 각도 중 어느 하나일 수 있다.

영상 전처리부(102)는 제1 및 제2 오리엔테이션에 따라 주차구획의 구획선을 다른 불필요한 직선과 구분하여 검출할 수 있다. 아울러, 에지를 미리 정해진 오리엔테이션에 따라 검출하므로 모든 방향에 따라 에지를 검출하는 경우보다 처리량을 저감할 수 있고, 처리 속도 또한 높일 수 있다. 상기 제1 오리엔테이션과 상기 제2 오리엔테이션은 180도의 각도차를 가지는 것이 바람직할 수 있다.

또한, 영상 전처리부(102)는 상기 에지 검출에 더하여 차량 주변의 영상을 흑백영상으로 변환할 수도 있다. 다만 영상획득부(101)에서 획득되는 영상이 흑백 영상인 경우 영상 전처리부(102)에 의한 흑백 영상으로의 변환은 수행되지 않을 수도 있다.

직선추출부(103)는 예를 들어 영상 전처리부(102)가 획득한 에지 영상에 허프 변환(Hough Transform)을 적용하는 것에 의하여 복수의 직선을 추출(획득)할 수 있다. 이때 직선추출부(103)에 의하여 추출된 복수의 직선은 선분과 같은 직선의 일부일 수 있다. 본 명세서에서 '직선'이라 함은 양 끝단이 무한정으로 연장되는 직선의 의미로 한정적으로 이해되어서는 아니 될 것이다. 또한, 직선 추출부(103)가 복수의 직선을 추출하는 기법은 상기 허프 변환에 제한되는 것이 아니며 다른 직선 추출 기법에 의해 추출될 수 있다.

주차구획 특정부(104)는 직선추출부(103)에 의해 추출된 복수의 직선에 기초하여 주차구획을 특정할 수 있다. 주차구획 특정부(104)는 제1 방향 구획선 및/또는 제2 방향 구획선에 기초하여 주차구획을 특정할 수 있다. 주차구획 특정부(104)는 제1 방향 구획선 획득부(111) 및 제2 방향 구획선 획득부(112)를 포함할 수 있다.

제1 방향 구획선 획득부(111)는 추출된 복수의 직선 중 서로 평행하고 소정의 너비만큼 이격되어 있는 직선 쌍에 기초하여 제1 방향 구획선을 획득할 수 있다. 본 명세서에서 제1 방향이라 함은 주차구획의 길이 방향, 또는 차량의 주행방향과 수직인 방향을 의미할 수 있다. 상기 직선 쌍 간의 소정의 너비는 주차구획의 구획선의 폭을 의미하며, 통상적으로 10~20cm의 값을 가질 수 있다. 예를 들어, 제1 방향 구획선 획득부(111)는 상기 직선 쌍의 중앙선을 제1 방향 구획선으로 획득할 수 있다.

제2 방향 구획선 획득부(112)는 상기 복수의 제1 방향 구획선을 따라 밝기를 측정하고, 상기 밝기가 급격하게 변화하는 지점을 추출하며, 상기 밝기가 급격하게 변화하는 지점을 포함한 제2 방향 구획선을 획득할 수 있다. 본 명세서에 있어서 제2 방향이라 함은 주차구획의 너비 방향, 또는 차량의 주행방향과 같은 방향을 의미할 수 있다.

예를 들어 상기 밝기가 급격하게 변화하는 지점은, 복수의 제1 방향 구획선에 대한 밝기차 프로파일 그래프의 국소최소값(local minima) 중 밝기차(intensity difference profile) 값이 소정의 값보다 작은 위치를 추출할 수 있다. 제2 방향 구획선 획득부(112)는 상기 밝기가 급격하게 변화하는 지점에 대해 란삭을 적용한 결과로서의 직선을 상기 제2 방향 구획선으로 획득할 수 있다. 제2 방향 구획선 획득부(112)가 제2 방향 구획선을 획득하는 방법은 전술한 예에 제한되지 않으며, 제2 방향 구획선을 획득하기 위하여 다양한 방법이 적용될 수 있다.

본 발명의 일 실시예에 따른 주차구획 인식 장치(1000)의 구성은 상기와 같다. 이하에서는 본 발명의 일 실시예에 따른 주차구획 인식 방법에 대하여 도 3 내지 도 25를 참조하여 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 주차구획 인식 방법의 흐름도를 나타낸다.

도 3을 참조하면 본 발명의 일 실시예에 따른 주차구획 인식 방법은, 영상 획득부(101)가 차량 주변의 영상을 획득하는 단계(S301), 단계 S301에서 획득한 영상으로부터 영상 전처리부(102)가 제1 오리엔테이션 및 제2 오리엔테이션에 따라 에지 영상을 획득하는 단계(S302), 상기 에지 영상들로부터 직선추출부(103)가 복수의 직선을 추출하는 단계(S303), 및 주차구획 특정부(104)가 상기 복수의 직선에 기초하여 주차구획을 특정하는 단계(S304)를 포함할 수 있다.

도 4는 본 발명의 일 실시예에 따른 주차구획 인식 방법의 상세 흐름도를 나타낸다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 주차구획 인식 방법은, 차량 주변의 영상을 획득하는 단계(S401), 단계 S401에서 획득한 영상으로부터 영상 전처리부(102)가 제1 오리엔테이션 및 제2 오리엔테이션에 따라 에지 영상을 획득하는 단계(S402), 에지 영상마다 허프 변환을 수행하여 직선을 추출하는 단계(S403), 단계 S403에서 추출한 직선으로부터 제1 방향 구획선을 획득하는 단계(S404), 제1 방향 구획선에 기초하여 주차구획 후보를 생성하는 단계(S405), 제1 구획선들의 밝기를 측정하는 단계(S406), 밝기가 급변하는 지점을 추출하는 단계(S407), 밝기가 급변하는 지점으로부터 제2 방향 구획선을 회득하는 단계(S408), 제1 및 제2 방향 구획선으로 형성되는 주차구획을 특정하는 단계(S409)를 포함할 수 있다.

단계 S401에서, 영상획득부(101)는 차량 주변의 영상을 획득할 수 있다. 전술한 바와 같이 차량 주변의 영상은 전방 카메라, 후방 카메라, 및 양측의 사이드 미러 카메라에 의하여 촬영되어 수신될 수 있다. 또한, 영상획득부(101)는 복수의 카메라로부터 획득된 영상들을 조합하여 이른바 Around View 영상을 형성할 수도 있다. 예를 들어 본 단계 S401에서 영상획득부(101)가 획득한 영상은 도 5에 도시된 영상일 수 있다. 도 5를 참조하면 전후 및 양 측면의 4개 영상이 조합된 영상이 나타내어져 있다. 영상 한가운데의 검은색 사각형은 카메라들로부터 얻어질 수 없는 차량 자체에 해당하는 영역일 수 있다.

단계 S402에서 영상 전처리부(102)는, 단계 S401에서 획득한 영상으로부터 제1 오리엔테이션 및 제2 오리엔테이션에 따라 에지 영상을 획득할 수 있다. 에지 영상을 획득함에 있어서는 예를 들어 소벨 오퍼레이터(Sobel operator)를 사용할 수 있다. 영상 전처리부(102)는 에지 검출 시에, 중간값 필터링(median filtering)을 수행한 연후에 비교적 낮은 임계치(역치)를 적용함으로써 오검출 또는 검출 누락을 줄여 검출 정밀도를 높일 수도 있다.

영상 전처리부(102)는 차량의 전방을 0도로 하여 반시계방향으로 6개의 방향(-90도/+90도/-45도/+135도/+45도/-135도)에 따라 에지를 검출할 수 있다. 예를 들어 도 6을 참조하면 영상 610은 모든 오리엔테이션(각도)에 따라 에지를 검출한 영상을 나타내고, 영상 601 내지 606는 각각 오리엔테이션을 -90도/+90도/-45도/+135도/+45도/-135도로 설정하여 에지를 검출한 영상을 나타낸다. 도 6의 영상 610에서는 모든 방향의 에지가 검출되므로 주차구획선의 윤곽이 대부분 나타내어진다. 반면, 영상 601 및 602에서는 차량의 전방을 0도로 하여 반시계방향으로 -90도 및 +90도의 오리엔테이션을 가진 에지만이 검출되었다. -45도/+135도/+45도/-135도의 오리엔테이션을 각각 가진 에지 영상 603 내지 606에는 유의미한 에지가 검출되지 않은 것을 알 수 있다. 본 발명의 일 실시예에 따른 주차구획 인식 장치(1000) 및 방법에 따르면, 후술하는 바와 같이 주차구획을 인식하는데 있어서 주행방향과 직각 또는 45도(또는 135도)의 기울기를 가진 에지가 유의미할 수 있다.

따라서, 본 발명의 일 실시예에 따른 주차구획 인식 장치(1000) 및 방법에 있어서는 예를 들어, 도 6의 에지를 나타낸 영상 601 및 602만을 획득하여 주차구획 인식에 이용할 수 있다. 이것에 의하여 주차구획의 구획선을 다른 불필요한 직선과 구분하여 검출 가능해진다. 또한 에지를 미리 정해진 오리엔테이션에 따라 검출하므로, 모든 방향에 따라 에지를 검출하는 경우(예: 영상 610의 경우)보다 처리량을 저감할 수 있고, 처리 속도를 높일 수도 있다. 특히, 제1 오리엔테이션과 상기 제2 오리엔테이션은 도 6의 영상 601 및 602와 같이 180도의 각도차(=+90-(-90))를 가질 수 있다.

단계 S403에서, 직선추출부(103)는 에지 영상마다 허프 변환을 수행하여 직선을 추출할 수 있다. 예를 들면, 직선추출부(103)는 도 6의 영상 601 내지 606의 각각의 에지 픽셀에 대하여 허프 변환을 수행할 수 있고, 그 결과로서 도 7의 파라미터 공간 701 내지 706와 같이 변환된 그래프를 얻을 수 있다. 도 7의 파라미터 공간 701 및 702를 참조하면, 도 6의 영상 601 내지 606의 에지 각각에 대한 그래프가 파라미터 공간상에 도시되어 있다. 직선추출부(103)는 파라미터 공간 701 및 702의 각각의 그래프들이 소정의 횟수 이상 교차하는 지점(파라미터 공간 701 및 702의 "+" 표시)을 특정할 수 있다. 파라미터 공간 701 및 702에서 "+"표시는 동일한 가로축값을 가지는데, 이것은 주차구획에 대한 에지들이 평행한 직선(즉, 동일한 기울기를 가짐)을 형성하기 때문이다.

예를 들어, 직선추출부(103)는 파라미터 공간 701 및 702에서 "+"표시된 지점의 파라미터 값에 기초하여 획득한 영상 상의 직선을 추출할 수 있다. 한편, 파라미터 공간 703 내지 706에는 유의미한 에지가 영상 603 내지 606에 존재하지 않았으므로 유의미한 그래프가 존재하지 않는다.

도 8은 본 발명의 일 실시예에 따른 주차구획 인식 방법에 있어서 추출된 직선을 나타낸 영상이다. 예를 들어, 도 8(a)는 도 6의 영상 610에 도시된 모든 방에 대한 에지에 허프 변환을 적용하여 직선을 추출한 영상이다. 모든 오리엔테이션(각도)에 따라 에지를 검출하고(예: 영상 610), 검출된 모든 에지에 대해 허프 변환을 수행하면, 노이즈 등에 의해 주차구획의 구획선과 연관된 직선을 추출하기 곤란해진다. 예를 들어 도 8(a)의 첫 번째 및 세 번째 구획선에 있어서 검출된 직선에는 오검출(직선 801) 및 검출 누락(점선 802)이 발생하였다.

이에 비하여, 도 8(b)는, 도 6의 영상 601 및 602의 에지에 허프 변환을 적용하고 도 7의 파라미터 공간 701 및 702의 그래프들에 기초하여 나타낸 직선을 추출한 영상이다. 도 8(b)를 참조하면, 모든 주차구획의 구획선과 연관된 직선이 올바르게(정밀도 높게) 추출된 것을 확인할 수 있다. 도 8(b)에서 초록색 직선은 오리엔테이션이 -90도인 에지에 기초하여 추출된 직선(즉, 도 6의 601, 도 7의 701의 경우)이고, 파란색 직선은 오리엔테이션이 +90도인 에지에 기초하여 추출된 직선(즉, 도 6의 602, 도 7의 702의 경우)일 수 있다.

나아가 도 8(b)의 경우는 도 8(a)의 경우와 달리 모든 오리엔테이션에 대하여 에지 영상을 획득하지 않았고, 모든 에지에 대하여 허프변환 및 직선 추출을 수행하지도 않았기 때문에 직선 추출의 처리 속도가 도 8(a)의 경우보다 현저히 빠르다.

단계 S404에서, 주차구획 특정부(104)의 제1 방향 구획선 추출부(111)는 단계 S403에서 추출한 직선으로부터 제1 방향 구획선을 획득할 수 있다. 구체적으로, 제1 방향 구획선 추출부(111)는 단계 S403에서 추출한 직선들 가운데 직선 상호간 오리엔테이션이 180도의 각도차를 가지고, 서로 평행하며, 소정의 너비만큼 이격되어 있는 직선 쌍을 추출할 수 있다. 제1 방향 구획선 추출부(111)는 상기 직선 쌍 사이의 중간선을 제1 방향 구획선으로서 획득할 수 있다. 이때 소정의 너비는 전술한 바와 같이 주차구획의 구획선의 폭을 의미하며, 통상적으로 10~20cm 사이의 값을 가질 수 있다.

예를 들어, 도 8(b)의 영상에 있어서 초록색 및 파란색 직선은 서로 180도의 각도차를 가진 에지로부터 도출된 직선이고, 서로 평행하며, 소정의 너비만큼 이격되어 있다. 제1 방향 구획선 추출부(111)는 초록색 및 파란색 직선의 중간선을 추출할 수 있고, 이것을 주차구획을 구성할 수 있는 제1 방향 구획선으로 획득할 수 있다. 예를 들어 도 9를 참조하면 횐색 주차구획선 상의 빨간색 직선이 제1 방향 구획선에 대응한다.

단계 S405에서 주차구획 특정부(104)는 제1 방향 구획선에 기초하여 주차구획 후보를 생성할 수 있다. 예를 들어, 주차구획 특정부(104)는 단계 S404에서 추출한 제1 방향 구획선과, 차량의 측면(검은색 상자의 길이 방향 선분)을 연장한 가상의 직선이 교차하여 형성되는 영역을 주차구획 후보로서 생성할 수 있다. 이때, 주차구획 후보를 형성하는 제1 방향 구획선은 이웃하는 다른 제1 방향 구획선과 서로 평행하고, 서로 소정의 주차구획 너비(2~3m)만큼 이격되는 것이 일반적이다.

예를 들어, 도 9의 빨간색 직선으로 표시된 제1 방향 구획선은 영상 한가운데의 검은색 사각형 영역(카메라에 의하여 인식되지 않는 차량 영역에 해당)의 측면 연장선과 함께 주차구획 후보를 생성할 수 있다. 생성된 주차구획 후보는 도 10의 점선으로 둘러싼 영역으로부터 파악할 수 있다.

도 11 내지 도 14는 주차구획의 유형마다 주차구획 후보를 생성하는 단계를 나타낸다. 도 11을 참조하면 단계 S401에 의하여 획득될 수 있는 영상 1111 및 1121과, 단계 S402, S403에서 추출된 직선이 도시된 영상 1112 및 1122와, 단계 S404에서 획득된 제1 방향 구획선이 나타내어진 영상 1113 및 1123과, 단계 S405에서 제1 방향 구획선에 기초하여 생성된 주차구획 후보(폐쇄형 직사각형 주차구획)가 나타내어진 영상 1114 및 1124가 도시되어 있다. 도 12는 개방 직사각형 주차구획인 경우를 나타내고, 도 13은 사선형 주차구획인 경우를 나타내며, 도 14는 계단형 주차구획인 경우를 나타낸다.

상기 단계 S401 내지 S405에 의하여 주차구획 후보가 특정될 수 있다. 주차구획의 인식은 생성한 주차구획 후보를 주차구획으로 인정하는 것으로 족한 경우도 있으나, 상기 제1 방향 구획선과 수직한 제2 방향 구획선이 특정되면 더욱 정밀도 높은 주차구획의 인식이 가능해진다.

도 15는 제2 방향 구획선이 특정되기 위한 조건을 설명하기 위한 도면이다.

도 15를 참조하면, 빨간색 직선은 제1 방향 구획선을 나타내고, 초록색 지점은 제2 방향 구획선을 획득하기 위한, 이른바 구획선의 시작점을 나타낸다. 제2 방향 구획선은 상기와 같은 구획선의 시작점을 연결하는 것에 의하여 획득될 수 있다.

본 발명의 다양한 실시예에 있어서 제2 방향 구획선을 획득하기 위하여는, 상기 시작점(초록색 지점)에서의 "밝기"가 급변하고, 상기 시작점들은 일 직선상에 존재한다는 것을 이용할 수 있다. 따라서, 도 15(a) 내지 (d)에 도시된 바와 같은 다양한 유형의 주차구획에 있어서 주차구획을 특정하기 위하여는 초록색 지점(구획선의 시작점)의 검출 및 이들을 연결한 제2 방향 구획선이 획득되어야 할 것이다.

도 4로 되돌아와, 단계 S406에서, 주차구획 특정부(104)는 제1 구획선을 따라 밝기를 측정할 수 있다. 이때 "밝기"란, 영상에서의 픽셀을 그레이스케일로 변환하였을 때의 값을 지칭할 수 있다. 통상 "밝기"는 0에서 255의 값을 가지며, 값이 255인 경우가 가장 밝다. 예를 들어 도 16(a)에 있어서 선분ab는 제1 방향 구획선의 일부를 나타낸다. 도 16(b)는 a지점에서 b지점까지에 이르는 동안의 밝기 프로파일(intensity profile)의 그래프를 나타낸다.

단계 S407에서, 주차구획 특정부(104)의 제2 방향 구획선 획득부(112)는 단계 S406에서 측정한 밝기가 급변하는 지점을 추출할 수 있다. 예를 들어 제1 방향 구획선에 대한 밝기차 프로파일 그래프(intensity difference profile graph)의 국소최소값(local minima) 중 밝기차(intensity difference) 값이 소정의 값보다 작은 위치를 밝기가 급변하는 지점으로서 추출할 수 있다. 이때, 측정한 밝기가 급변하는 지점으로 밝기차 프로파일 그래프의 국소최소값 중 밝기차 값이 가장 작은 위치를 추출하는 것을 고려할 수 있다. 그러한 경우 그림자 등의 외부 영향에 의해 잘못된 지점을 추출할 우려가 있으므로 밝기차 프로파일 그래프의 국소최소값 중 밝기차 값이 소정의 값보다 작은 위치를 추출할 수 있다.

예를 들어, 도 16(c)를 참조하면, ab구간에 있어서의 도 16(b)의 밝기 그래프에 대한 밝기차 프로파일 그래프가 도시되어 있다. 주차구획 인식 장치(1000)는 예를 들어, 도 16(c)의 지점 1603 및 1604의 지점을 밝기가 급변하는 지점으로서 추출할 수 있다. 지점 1603 및 1604는 도 16(a)의 영상에 있어서 지점 1601 및 1602에 대응할 수 있다.

단계 S408에서 주차구획 특정부(104)는 상기 단계 S408에서 추출한 밝기가 급변하는 지점에 기초하여 제2 방향 구획선을 획득할 수 있다. 예를 들어 주차구획 특정부(104)는 상기 밝기가 급변하는 지점들에 대하여 란삭(RANSAC: RANdom SAmple Consensus)을 적용한 결과로 도출되는 직선을 상기 제2 방향 구획선으로 획득할 수 있다. 한편, 제2 방향 구획선을 도출함에 있어서는 란삭이 아닌 최소제곱법(Least Mean Square; LMS)을 이용하여도 좋다.

예를 들어 도 17(a)을 참조하면, 주차구획 특정부(104)는 단계 S408에서 추출한 밝기가 급변하는 지점(1701~1708)에 란삭을 적용할 수 있다. 그 결과, 인라이어(inlier)로서 지점(1701, 1703, 1704, 1706)이 추출될 수 있다. 주차구획 특정부(104)는 이들 인라이어 지점으로부터 도 17(b)에 도시된 제2 방향 구획선(1710)을 획득할 수 있다. 도 18(a) 내지 도 18(d)는 다양한 주차구획 유형에 있어서 제2 방향 구획선을 획득한 영상을 나타낸다.

단계 S409에서 주차구획 특정부(104)는 제1 및 제2 방향 구획선으로 형성되는 주차구획을 특정할 수 있다. 상기 단계 S406 내지 S409에 의하여 주차구획 특정부(104)는 주차구획 후보와 제2 방향 구획선을 고려하여 상기 주차구획 후보보다 정밀도 높은 주차구획을 특정할 수 있다. 예를 들어 도 19(a) 내지 (d)는 다양한 주차구획 유형에 있어서 주차구획 후보와 제2 방향 구획선을 추가로 고려한 주차구획을 나타낸다. 다만, 계단형 주차구획을 나타낸 도 19(d)를 참조하면 다른 주차구획 유형과는 달리, 특정된 주차구획들이 90도의 각도차를 가진 상태로 중첩되어 다소 불명확하다. 따라서, 계단형 주차구획을 인식하려는 경우에는 추가적인 처리를 요한다.

도 20은 본 발명의 일 실시예에 따른 계단형 주차구획을 인식하는 방법을 설명하기 위한 도면이다.

도 20을 참조하면, 도 20(a)는 도 4의 단계 S401 내지 S409에 의하여 특정된 주차구획을 나타낸다. 주차구획 특정부(104)는 도 20(a)의 영상과 도 20(a)의 영상의 에지 영상에 기초하여 도 20(b)에 나타낸 것과 같은 주차구획을 특정할 수 있다.

구체적으로, 주차구획 특정부(104)는 제1 방향 구획선 및 제2 방향 구획선 상의 에지 픽셀의 개수를 카운팅할 수 있다. 구획선 상에 에지 픽셀이 상대적으로 적다는 것은 당해 구획선이 실제 주차구획선일 가능성이 낮다는 것을 의미할 수 있다.

또한, 주차구획 특정부(104)는 예를 들어 도 20(a)의 영상에 도시된 주차구획의 제1 방향 구획선 및 제2 방향 구획선 상의 밝기를 측정하고 평균 밝기값을 산출할 수 있다. 구획선 상에 평균 밝기가 상대적으로 높다는 것은 당해 구획선이 실제 주차구획선일 가능성이 높다는 것을 의미할 수 있다.

주차구획 특정부(104)는 구획선마다 상기 카운팅한 에지 픽셀의 개수 및 평균 밝기값을 정규화(normalization)하고, 정규화된 두 값을 합친 값 중에서 상대적으로 높은 값을 가진 구획선을 선택함으로써 도 20(b)에 나타낸 것과 같은 주차구획을 특정할 수 있다.

한편, 도 20(c)는 계단형 주차구획을 인식하는 또다른 방법을 설명하기 위한 도면이다. 주차구획 특정부(104)는 도 20(b)의 경우와 달리, 방향 및 유형이 동일한 주차구획들을 클러스터링한 후, 각 클러스터의 적합도를 해당 클러스터에 소속된 주차구획의 적합도 중 가장 우수한 값으로 설정하여 클러스터 간의 비교를 수행할 수 있다. 예를 들어 도 20(c)에서 파란색 영역과 초록색 영역은 하나의 클러스터로 묶을 수 있고, 상기 하나의 클러스터는 빨간색 점선 영역만을 포함하는 클러스터와 비교될 수 있다.

본 발명의 다양한 실시예에 따른 주차구획 인식 방법에 의하면, 특정 방향에 따라서 에지를 검출하고 이를 기초로 주차구획을 인식하므로, 모든 방향에 따라 에지를 검출하는 경우보다 처리량이 한층 저감시킬 수 있다. 또한, 특정 방향에 따라서 에지를 검출하므로 야간에 발생하는 화질 열화, 그림자로 인한 구획선의 밝기 차이, 손상된 주차구획선, 비나 눈에 의한 얼룩, 실내주차장에서 발생하는 난반사 등의 다양한 노이즈에 강건하게 주차구획의 구획선을 인식할 수 있다.

또한, 본 발명의 다양한 실시예에 따른 주차구획 인식 방법에 의하면, 주차구획의 제1 방향 구획선의 밝기가 급변하는 지점으로부터 제2 방향 구획선을 획득하여 주차구획 인식에 이용하므로 보다 정확한 주차구획 인식이 가능해진다.

한편, 다양한 실시형태에 의하면 본 발명의 다양한 실시예에 따른 주차구획 인식 방법은 인식된 주차구획의 유형을 인식하는 방법을 포함할 수 있다.

주차구획의 유형을 인식하는 방법은 주차구획 특정부(104)가 먼저 제1 방향 구획선과 차량의 전면 방향(혹은 주행 방향)의 사이각을 판단하는 단계, 및 제2 방향 구획선의 밝기값, 에지에 기초하여 유형을 판단하는 단계를 포함할 수 있다.

주차구획 특정부(104)는 사이각이 약 90도를 가지는 경우 특정된 주차구획을 폐쇄 또는 개방형 직사각형 주차구획으로 판단할 수 있다. 이어서 주차구획 특정부(104)는 예를 들어, 제2 방향 구획선(도 21(a)의 초록색 직선)의 밝기를 측정하고 평균을 산출할 수 있다. 주차구획 특정부(104)는 밝기의 평균값이 소정의 임계치 이상이면 폐쇄형 직사각형 주차구획으로, 소정의 임계치 미만이면 개방 직사각형 주차구획으로 판단할 수 있다.

다른 예로서, 주차구획 특정부(104)는 폐쇄 또는 개방형 직사각형 주차구획으로 판단한 이후 제2 방향 구획선의 에지에 기초하여 유형을 판단할 수도 있다. 즉, 주차구획 특정부(104)는 도 21(b)와 같은 에지 영상에 거리 변환(distance transform)을 적용하여 도 21(c)와 같은 영상을 얻고, 제2 방향 구획선의 밝기값의 평균값을 이용함으로써 폐쇄형 직사각형 주차구획 인지 또는 개방형 직사각형 주차구획인지 판단할 수 있다. 이것에 의해, 단지 밝기값만을 고려한 경우 발생할 수 있는 조명 상황의 변화에 대응할 수 있게 된다.

한편, 주차구획 특정부(104)는 사이각이 약 45도(혹은 135도)를 가지는 경우 특정된 주차구획을 사선형 또는 계단형 주차구획으로 판단할 수 있다. 주차구획 특정부(104)는 예를 들어, 제2 방향 구획선(도 21(d)의 초록색 직선 및 파란색 직선)의 밝기를 측정하고 평균을 산출할 수 있다. 주차구획 특정부(104)는 예를 들어 도 21(d)에 도시된 초록색 직선 및 파란색 직선의 밝기를 측정하고, 초록색 직선에 대한 밝기의 평균값이 파란색 직선에 대한 밝기의 평균값보다 크면 사선형 주차구획으로, 그 반대의 경우 계단형 주차구획으로 판단할 수 있다.

마찬가지로, 주차구획 특정부(104)는 사선형 또는 계단형 주차구획으로 판단한 이후 제2 방향 구획선의 에지에 기초하여 유형을 판단할 수도 있다. 즉, 주차구획 특정부(104)는 도 21(e)와 같은 에지 영상에 거리 변환을 적용하여 도 21(f)와 같은 영상을 얻고, 제2 방향 구획선의 밝기값의 평균값을 이용함으로써 사선형 주차구획 인지 또는 계단형 주차구획인지 판단할 수 있다.

도 22 내지 도 25는 본 발명의 다양한 실시예에 따라 유형별로 인식된 주차구획을 나타낸다. 도 22 내지 도 25는 각각 폐쇄형 직사각형 주차구획, 개방형 직사각형 주차구획, 사선형 주차구획, 및 계단형 주차구획을 인식한 결과를 나타낸다.

전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로도 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.

본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래의 회로 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (14)

1. 주차구획을 검출하는 방법에 있어서,
   차량 주변의 영상을 획득하는 단계;
   상기 영상으로부터 제1 오리엔테이션(orientation) 및 제2 오리엔테이션을 가지는 에지(edge)영상만을 획득하는 단계;
   각 오리엔테이션별 에지 영상에 대해 허프 변환(Hough Transform)을 수행하여 복수의 직선을 추출하는 단계;
   상기 복수의 직선에 기초하여 제1 방향 구획선 및 제2 방향 구획선을 획득하고 획득한 제1 방향 구획선 및 제2 방향 구획선에 기초하여 주차구획을 특정하는 단계;
   상기 제1 방향 구획선과 차량의 전면 방향의 사이각을 판단하는 단계; 및
   상기 사이각과 상기 제2 방향 구획선의 밝기값 및 에지에 기초하여 상기 주차구획의 유형을 판단하는 단계를 포함하는 방법.
2. 청구항 1에 있어서,
   상기 제1 오리엔테이션과 상기 제2 오리엔테이션은 180도의 각도차를 가지는 것을 특징으로 하는 방법.
3. 삭제
4. 청구항 1에 있어서,
   상기 주차구획을 특정하는 단계는 상기 복수의 직선 중 서로 평행하고 소정의 너비만큼 이격되어 있는 직선 쌍으로부터 제1 방향 구획선을 획득하는 단계; 및
   상기 제1 방향 구획선에 기초하여 상기 주차구획을 특정하는 단계를 포함하는 것을 특징으로 하는 방법.
5. 청구항 4에 있어서,
   상기 제1 방향 구획선은 복수 획득되며,
   상기 주차구획을 특정하는 단계는, 상기 복수의 제1 방향 구획선을 따라 밝기를 측정하는 단계;
   상기 밝기가 급격하게 변화하는 지점을 추출하는 단계;
   상기 지점을 포함한 제2 방향 구획선을 획득하는 단계;
   상기 복수의 제1 방향 구획선 및 상기 제2 방향 구획선에 기초하여 상기 주차구획을 특정하는 단계를 포함하는 것을 특징으로 하는 방법.
6. 청구항 5에 있어서,
   상기 밝기가 급격하게 변화하는 지점을 추출하는 단계는, 상기 복수의 제1 방향 구획선에 대한 밝기차 프로파일 그래프(intensity difference profile graph)의 국소최소값(local minima) 중 밝기차(intensity difference) 값이 소정의 값보다 작은 지점을 추출하는 단계를 포함하는 것을 특징으로 하는 방법.
7. 청구항 5에 있어서,
   상기 제2 방향 구획선을 획득하는 단계는, 상기 지점에 대하여 란삭(RANSAC: RANdom SAmple Consensus) 알고리즘을 적용한 결과로서의 직선을 상기 제2 방향 구획선으로 획득하는 단계인 것을 특징으로 하는 방법.
8. 차량 주변의 영상을 획득하는 영상획득부;
   상기 영상으로부터 제1 오리엔테이션 및 제2 오리엔테이션을 가지는 에지 영상만을 획득하는 영상 전처리부;
   각 오리엔테이션별 에지 영상에 대해 허프 변환을 수행하여 복수의 직선을 추출하는 직선추출부; 및
   상기 복수의 직선에 기초하여 제1 방향 구획선 및 제2 방향 구획선을 획득하고 획득한 제1 방향 구획선 및 제2 방향 구획선에 기초하여 주차구획을 특정하는 주차구획 특정부를 포함하되,
   상기 주차구획 특정부는 상기 제1 방향 구획선과 차량의 전면 방향의 사이각을 판단하고, 상기 사이각과 상기 제2 방향 구획선의 밝기값 및 에지에 기초하여 상기 주차구획의 유형을 판단하는 것을 특징으로 하는 주차구획 검출 장치.
9. 청구항 8에 있어서,
   상기 제1 오리엔테이션과 상기 제2 오리엔테이션은 180도의 각도차를 가지는 것을 특징으로 하는 주차구획 검출 장치.
10. 삭제
11. 청구항 8에 있어서,
    주차구획 특정부는, 상기 복수의 직선 중 서로 평행하고 소정의 너비만큼 이격되어 있는 직선 쌍으로부터 제1 방향 구획선을 획득하고, 상기 제1 방향 구획선에 기초하여 상기 주차구획을 특정하는 제1 방향 구획선 획득부를 포함하는 것을 특징으로 하는 주차구획 검출 장치.
12. 청구항 11에 있어서,
    상기 제1 방향 구획선은 복수 획득되고,
    상기 주차구획 특정부는, 상기 복수의 제1 방향 구획선을 따라 밝기를 측정하고, 상기 밝기가 급격하게 변화하는 지점을 추출하여, 상기 지점을 포함한 제2 방향 구획선을 획득하는 제2 방향 구획선 획득부를 더 포함하고,
    상기 주차구획 특정부는 상기 복수의 제1 방향 구획선 및 상기 제2 방향 구획선에 기초하여 상기 주차구획을 특정하는 단계를 포함하는 것을 특징으로 하는 주차구획 검출 장치.
13. 청구항 12에 있어서,
    상기 제2 방향 구획선 획득부는, 상기 복수의 제1 방향 구획선에 대한 밝기차 프로파일 그래프의 국소최소값 중 밝기차 값이 소정의 값보다 작은 지점을 추출하는 것을 특징으로 하는 주차구획 검출 장치.
14. 청구항 12에 있어서,
    상기 제2 방향 구획선 획득부는, 상기 지점에 대하여 란삭 알고리즘을 적용한 결과로서의 직선을 상기 제2 방향 구획선으로 획득하는 것을 특징으로 하는 주차구획 검출 장치.

Images