KR102360158B1 - 주차구획 인식 장치 및 방법 - Google Patents

주차구획 인식 장치 및 방법 Download PDF

Info

Publication number
KR102360158B1
KR102360158B1 KR1020170028980A KR20170028980A KR102360158B1 KR 102360158 B1 KR102360158 B1 KR 102360158B1 KR 1020170028980 A KR1020170028980 A KR 1020170028980A KR 20170028980 A KR20170028980 A KR 20170028980A KR 102360158 B1 KR102360158 B1 KR 102360158B1
Authority
KR
South Korea
Prior art keywords
parking
interest
region
dividing line
recognized
Prior art date
Application number
KR1020170028980A
Other languages
English (en)
Other versions
KR20180102397A (ko
Inventor
윤대중
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170028980A priority Critical patent/KR102360158B1/ko
Publication of KR20180102397A publication Critical patent/KR20180102397A/ko
Application granted granted Critical
Publication of KR102360158B1 publication Critical patent/KR102360158B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Abstract

본 발명은 차량의 주차구획을 인식하기 위한 장치 및 그 방법에 관한 것으로, AVM 영상으로부터 제 1 관심영역 또는 제 2 관심영역 내에서 인식된 주차구획선들을 이용하여 주차구획의 사용가능여부를 판단함으로써, 노면 구배에 대한 영상 왜곡을 최소화한 상태에서 주차구획선을 인식하기 때문에 적은 연산량으로도 정확하게 주차구획의 사용가능 여부를 판단할 수 있다.

Description

주차구획 인식 장치 및 방법{DEVICE AND METHOD FOR RECOGNIZING PARKING STALL}
본 발명은 주차구획 인식 장치 및 방법에 관한 것으로, 보다 자세하게는 차량 주변의 영상 이미지로부터 이용 가능한 주차구획을 인식 및 판단하는 방법에 관한 것이다.
운전자의 주차를 지원하는 장치들이 개발되고 있다. 차량에 장착된 초음파 센서를 이용하여 주차할 공간을 스캔하는 방법이 있으나, 소정의 빔 폭을 갖는 초음파 센서의 특성상 좌/우 주차된 차량의 경계를 정밀하게 인식하지 못하여 주차할 공간이 정확하게 인지되지 못하는 단점이 있다.
영상처리를 통한 주차지원 방법은 촬영된 영상 내에서 주차선으로 추정되는 직선 성분을 추출하고 추출된 선들의 조합을 통해 주차선을 인식하게 된다. 그러나, 주차선이 일부 가려져 보이지 않을 때에는 인식률이 떨어지고, 또한 장애물 감지를 위해 추가적으로 영상 처리를 해야만 하는 한계가 있다.
본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로, 기존에 주차된 차량의 유무, 차선을 인지하기 위한 별도의 수단과 추가적인 영상처리 없이 차량 주변의 영상 이미지로 이용가능한 주차구획을 인지하는 장치 및 방법을 제공하고자 한다.
본 발명의 주차구획 인식 장치는 차량이 진행방향으로 이동함에 따라 차량주변을 촬영하여 영상을 획득하는 영상 획득부와, 상기 영상을 합성하여 AVM(Around View Monitoring) 영상을 획득하는 AVM 처리부와, 상기 AVM 영상으로부터 제 1 관심영역 및 제 2 관심영역을 설정하고, 상기 제 1 관심영역 및 상기 제 2 관심영역 각각에서 주차구획선을 인식하는 주차구획선 인식부 및 상기 제 1 관심영역 내에서 인식된 상기 주차구획선을 소정의 시간 이후에 상기 제 2 관심영역 내에서 인식하고, 상기 인식된 주차구획선의 길이를 이용하여 주차구획의 사용가능 여부를 판단하는 주차구획 판단부를 포함하는 것을 특징으로 한다.
그리고, 상기 제 1 관심영역은 상기 차량의 사이드 미러에 부착된 카메라의 광축으로부터 좌우로 소정간격을 갖는 영역을 포함하는 것을 특징으로 한다.
그리고, 상기 광축은 상기 차량의 진행방향과 수직한 것을 특징으로 한다.
그리고, 상기 제 2 관심영역은 상기 제 1 관심영역으로부터 차량의 후미방향으로 인접하며 소정간격을 갖는 영역을 포함하는 것을 특징으로 한다.
그리고, 상기 주차구획선의 길이는 상기 AVM 영상으로 출력되는 주차구획선의 길이만을 고려하는 것을 특징으로 한다.
그리고, 상기 주차구획 판단부는 상기 제 1 관심영역 내에서 인식된 상기 주차구획선의 길이가 판단기준치보다 작은 경우 상기 주차구획선을 공유하는 양측의 주차구획은 사용불가능함으로 판단하는 것을 특징으로 한다.
그리고, 상기 판단기준치는 상기 주차구획선 인식부가 상기 제 1 관심영역에서 인식한 주차구획선들 길이의 최대값에 허용오차를 곱한 값으로, 기 저장된 값인 것을 특징으로 한다.
그리고, 상기 주차구획 판단부는 상기 제 1 관심영역 내에서 인식된 상기 주차구획선의 길이와 상기 제 2 관심영역 내에서 인식된 상기 주차구획선의 길이를 비교하여 길이변화가 있는 경우 주차구획이 사용불가능함으로 판단하는 것을 특징으로 한다.
그리고, 상기 주차구획 판단부는 상기 제 1 관심영역 내에서 인식된 상기 주차구획선의 길이와 상기 제 2 관심영역 내에서 인식된 상기 주차구획선의 길이를 비교하여 길이변화가 없는 경우 주차구획이 사용가능함으로 판단하는 것을 특징으로 한다.
그리고, 상기 주차구획은 상기 차량의 진행방향으로 상기 주차구획선과 인접한 것을 특징으로 한다.
그리고, 휠 펄스, 기어단 또는 조향각 중 어느 하나를 측정하는 차량 데이터 추출부 및 상기 차량 데이터를 이용하여 주차구획의 너비를 산출하는 주차구획 연산부를 더 포함하는 것을 특징으로 한다.
그리고, 상기 주차구획 연산부는 상기 제 1 관심영역에서 인식된 제 1 주차구획선을 시작으로 상기 제 1 관심영역에서 인식된 제 2 주차구획선까지 상기 휠 펄스를 카운트하여 상기 제 1 주차구획선과 상기 제 2 주차구획선이 이격된 거리를 산출하는 것을 특징으로 한다.
그리고, 상기 제 2 주차구획선은 상기 차량의 진행방향으로 상기 제 1 주차구획선과 이격된 것을 특징으로 한다.
본 발명의 실시예에 따른 주차구획 인식 방법은 차량 주변으로부터 촬영된 영상을 합성하여 AVM(Around View Monitoring) 영상을 획득하는 단계와, 제 1 관심영역에서 주차구획선이 인식되면 상기 AVM 영상을 캡쳐하는 단계와, 상기 제 1 관심영역 내 상기 주차구획선 길이값을 추출하는 단계와, 상기 주차구획선의 길이값을 판단기준치와 비교하는 단계와, 제 2 관심영역에서 주차구획선이 인식되면 상기 AVM 영상을 캡쳐하는 단계와, 상기 제 2 관심영역 내 상기 주차구획선 길이값을 추출하는 단계 및 상기 제 1 관심영역 내 주차구획선과 상기 제 2 관심영역 내 주차구획선의 길이변화를 확인하는 단계를 포함하는 것을 특징으로 한다.
그리고, 상기 제 1 관심영역은 상기 차량의 사이드 미러에 부착된 카메라의 광축으로부터 좌우로 소정간격을 갖는 영역을 포함하는 것을 특징으로 한다.
그리고, 상기 광축은 상기 차량의 진행방향과 수직한 것을 특징으로 한다.
그리고, 상기 제 2 관심영역은 상기 제 1 관심영역으로부터 차량의 후미방향으로 인접하며 소정간격을 갖는 영역을 포함하는 것을 특징으로 한다.
그리고, 상기 주차구획선의 길이는 상기 AVM 영상으로 출력되는 주차구획선의 길이만을 고려하는 것을 특징으로 한다.
그리고, 상기 주차구획선의 길이값을 판단기준치와 비교하는 단계에서, 상기 제 1 관심영역 내에서 인식된 상기 주차구획선의 길이가 상기 판단기준치보다 작은 경우 상기 주차구획선을 공유하는 양측의 주차구획은 사용불가능함으로 판단하는 것을 특징으로 한다.
그리고, 상기 판단기준치는 상기 제 1 관심영역에서 인식한 주차구획선들 길이의 최대값에 허용오차를 곱한 값으로, 기 저장된 값인 것을 특징으로 한다.
그리고, 상기 제 1 관심영역 내 주차구획선과 상기 제 2 관심영역 내 주차구획선의 길이변화를 확인하는 단계에서, 길이변화가 있는 경우 주차구획이 사용불가능함으로 판단하는 것을 특징으로 한다.
그리고, 상기 제 1 관심영역 내 주차구획선과 상기 제 2 관심영역 내 주차구획선의 길이변화를 확인하는 단계에서, 길이변화가 없는 경우 주차구획이 사용가능함으로 판단하는 것을 특징으로 한다.
그리고, 상기 주차구획은 상기 차량의 진행방향으로 상기 주차구획선과 인접한 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 주차구획 인식 방법은 차량 주변으로부터 촬영된 영상을 합성하여 AVM(Around View Monitoring) 영상을 획득하는 단계와, 제 1 관심영역에서 제 1 주차구획선이 인식되면 상기 AVM 영상을 캡쳐하는 단계와, 상기 제 1 관심영역의 제 1 주차구획선이 인식된 시점부터 휠 펄스 카운트를 시작하는 단계와, 상기 차량이 진행방향으로 이동함에 따라 상기 제 1 관심영역에서 제 2 주차구획선이 인식되면 상기 AVM 영상을 캡쳐하는 단계와, 상기 제 1 관심영역의 상기 제 2 주차구획선이 인식된 시점까지 휠 펄스 카운트를 종료하는 단계 및 상기 제 1 주차구획선과 상기 제 2 주차구획선 사이의 거리를 산출하는 단계를 포함하는 것을 특징으로 한다.
그리고, 상기 제 1 관심영역은 상기 차량의 사이드 미러에 부착된 카메라의 광축으로부터 좌우로 소정간격을 갖는 영역을 포함하는 것을 특징으로 한다.
그리고, 상기 광축은 상기 차량의 진행방향과 수직한 것을 특징으로 한다.
그리고, 상기 제 2 관심영역은 상기 제 1 관심영역으로부터 차량의 후미방향으로 인접하며 소정간격을 갖는 영역을 포함하는 것을 특징으로 한다.
그리고, 상기 제 2 주차구획선은 상기 차량의 진행방향으로 상기 제 1 주차구획선과 이격된 것을 특징으로 한다.
본 발명에 따른 주차구획 인지 장치 및 방법은 다음의 효과를 제공한다.
첫째, 차량 주변의 AVM 영상으로부터 주차구획을 인지함으로써 주차 가용 여부 판단함과 동시에 주차구획의 너비를 계산할 수 있다.
둘째, 차량의 사이드 미러 카메라로부터 일직선 상에 위치한 영역에서 인식된 주차구획선을 이용하기 때문에 노면 구배에 의한 영상 왜곡을 최소화할 수 있으며, 노면 구배에 의해 영상왜곡이 발생하는 환경에서도 정확하게 주차구획을 인식할 수 있다.
셋째, 차량의 휠 펄스 값과 조향각을 이용하여 주차구획의 너비를 종래 기술에 비해 적은 연산량으로도 정확하게 계산할 수 있다.
도 1은 본 발명에 따른 주차구획 인식 장치를 나타낸 도면.
도 2 내지 도 8은 본 발명의 실시예에 따라 인식된 주차구획선을 나타낸 영상.
도 9는 본 발명의 일 실시예에 따른 주차구획 인식 방법을 나타낸 순서도.
도 10은 본 발명의 다른 실시예에 따른 주차구획 인식 방법을 나타낸 순서도.
도 11은 본 발명의 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 주차구획 인식 장치를 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 주차구획 인식 장치(10)는 영상 획득부(11), AVM 처리부(12), 주차구획선 인식부(13), 주차구획 판단부(14), 주차구획 연산부(15)를 포함한다.
영상 획득부(11)는 차량이 진행방향으로 이동함에 따라 변하는 차량 주변의 영상을 획득할 수 있다. 영상 획득부(11)는 차량의 좌,우 양측의 사이드 미러에 부착된 카메라로부터 촬영된 차량의 좌,우 양측방에 대한 영상과, 전방 카메라를 통하여 차량 전방에 대한 영상과, 전방카메라, 후방카메라 및 좌, 우 양측의 사이드 미러에 부착된 카메라로부터 획득된 영상을 획득할 수 있다.
AVM 처리부(12)는 영상 획득부(11)로부터 획득된 차량주변의 영상을 합성하여 AVM(Around View Monitoring) 영상을 획득할 수 있다. AVM 영상은 탑 뷰(Top-view) 형태로 차량 주변의 360°에 대한 이미지를 나타낼 수 있다.
주차구획선 인식부(13)는 AVM 처리부(12)로부터 획득된 AVM 영상을 이용하여, 차량 진행방향으로 이동함에 따라 관심영역(ROI, region of interest)내에서 인식된 주차구획선을 캡쳐할 수 있다. 실시예에 따르면 관심영역은 사이드 미러에 부착된 카메라의 광축(도 2의 'A' 참조)으로부터 좌우로 소정간격을 갖는 제 1 관심영역과, 제 1 관심영역으로부터 차량의 후미방향으로 인접하며 소정간격을 갖는 제 2 관심영역을 포함할 수 있다. 또한, 실시예에 따라 사이드 미러에 부착된 카메라의 광축은 차량의 진행방향과 수직한 방향으로 이해될 수 있다. 여기서 제 1 관심영역은 사이드 미러 카메라와 일직선 상에 위치하기 때문에 노면 구배에 의한 영상 왜곡이 최소화된 영역일 수 있다. 그러므로, 제 1 관심영역에서 인식된 주차구획선은 실제 차선형태와 가장 유사한 모습으로 판단할 수 있다.
주차구획 판단부(14)는 주차구획선 인식부(13)에서 인식된 주차구획선들의 이미지를 이용하여 주차구획의 사용여부를 판단할 수 있다.
먼저, 도 2 및 도 3을 참조하여 일 실시예에 따라 주차구획을 사용할 수 없는 경우에 대해 설명한다.
도 2에 도시된 바와 같이, 주차구획선 인식부(13)가 제 1 관심영역(ROI#1) 내에서 주차구획선을 캡쳐하면, 주차구획 판단부(14)는 주차구획선의 길이값을 추출할 수 있다. 주차구획선의 길이값은 AVM 영상으로 출력되는 주차구획선의 길이만을 고려한 값으로 이해될 수 있다. 그리고, 주차구획선의 길이를 판단기준치보다 큰값을 갖는지 판단한다. 주차구획선이 판단기준치보다 작은값을 갖는 경우 도 4를 참조하여 설명한다. 여기서 판단기준치는 주차구획선 인식부(13)가 제 1 관심영역(ROI#1)에서 인식한 주차구획선들 길이의 최대값에 허용오차를 곱한 값으로 이해될 수 있으며, 이 판단기준치들은 기 저장된 값일 수 있다.
주차구획선이 판단기준치보다 큰 값을 갖는 경우 도 3에 도시된 바와 같이, 주차구획선 인식부(13)는 제 2 관심영역(ROI#2)내에서 인식된 주차구획선을 캡처한다. 도 3의 시점은 차량이 진행방향으로 더 이동함에 따라 소정의 시간이 지난 이후로 이해될 수 있다.
이때, 제 2 관심영역(ROI#2) 내에서 인식된 주차구획선의 길이는 제 1 관심영역(ROI#1)에서 인식된 주차구획선의 길이보다 작은 값을 갖는다. 이는 주차구획 내 주차되어 있는 차량의 이미지가 방사형태 왜곡됨으로 인해서 주차구획선의 일부가 가려지게 되어 주차구획선이 작은 값을 갖는 것으로 이해될 수 있다.
즉, 제 1 관심영역(ROI#1)에서 인식되었을때와 제 2 관심영역(ROI#2)에서 인식되었을 때 주차구획선이 길이변화가 있는 경우 주차구획 제 1 관심영역(ROI#1)과 차량의 진행방향으로 인접한 주차구획은 다른차량에 의해 점유되어 주차구획을 사용할 수 없음으로 판단할 수 있다.
그리고, 도 4를 참조하여 또 다른 실시예에 따라 주차구획을 사용할 수 없는 경우를 설명한다.
도 4는 주차구획선이 판단기준치보다 작은값을 갖는 경우를 나타낸다. 주차구획 판단부(14)가 제 1 관심영역(ROI#1) 내에서 인식된 주차구획선의 길이값이 판단기준치보다 작다고 판단하면, 이 주차구획선을 침범한 장애물이 있다고 이해할 수 있으며, 이 주차구획선이 포함된 양측의 주차구획은 사용불가능함으로 판단될 수 있다.
그 다음, 도 5 및 도 6을 참조하여 주차구획을 사용할 수 있는 경우를 설명한다.
도 5에 도시된 바와 같이, 주차구획선 인식부(13)가 제 1 관심영역(ROI#1) 내에서 주차구획선을 캡쳐하면, 주차구획 판단부(14)는 주차구획선의 길이값을 추출할 수 있다. 주차구획선의 길이값은 AVM 영상으로 출력되는 주차구획선의 길이만을 고려한 값으로 이해될 수 있다. 그리고, 주차구획선의 길이를 판단기준치보다 큰값을 갖는지 판단한다.
주차구획선이 판단기준치보다 큰 값을 갖는 경우 도 6에 도시된 바와 같이, 주차구획선 인식부(13)는 제 2 관심영역(ROI#2)내에서 인식된 주차구획선을 캡처한다. 도 6의 시점은 차량이 진행방향으로 더 이동함에 따라 소정의 시간이 지난 이후로 이해될 수 있다.
이때, 제 2 관심영역(ROI#2) 내에서 인식된 주차구획선의 길이는 제 1 관심영역(ROI#1)에서 인식된 주차구획선의 길이와 차이가 있을 수 있다. 그러나, 도 3에서와 같이 주차된 차량에 의한 가림으로 발생하는 길이변화의 차이에 비하면 매우 작은 값이기 때문에 그 차이값은 무시할 수 있다.
즉, 제 1 관심영역(ROI#1)에서 인식되었을때와 제 2 관심영역(ROI#2)에서 인식되었을 때 주차구획선이 길이변화가 미비한 경우 길이변화가 없다고 판단하고, 주차구획 제 1 관심영역(ROI#1)과 차량의 진행방향으로 인접한 주차구획은 비어있어 주차구획을 사용할 수 있음으로 판단할 수 있다.
주차구획 연산부(15)는 차량의 휠 펄스, 기어단, 조향각을 이용하여 주차구획선의 너비를 계산한다.
도 7 및 도 8을 참조하여 설명하면, 주차구획 연산부(15)는 도 7의 주차구획선 인식부(13)가 제 1 관심영역(ROI#1) 내에서 제 1 주차구획선(①)을 인식한 시점부터 시작하여 도 8의 제 1 관심영역(ROI#1) 내에서 제 2 주차구획선(②)을 인식한 시점까지의 휠 펄스를 카운트한다. 이를 통해 제 1 주차구획선(①)과 제 2 주차구획선(②)의 사이 거리를 산출할 수 있다. 이때 제 2 주차구획선(②)은 차량의 진행방향으로 제 1 주차구획선(①)과 이격된 주차구획선을 의미할 수 있다. 차량이 선회한 경우에는 휠 펄스를 카운트한 값과 조향각이 변화한 값을 이용하여 서로 이격된 주차구획선의 너비와 위치를 산출할 수 있다.
도 9는 본 발명에 일 실시예에 따른 주차구획 인식 방법을 나타낸 순서도이다.
먼저, AVM 처리부(12)는 차량이 진행방향으로 이동함에 따라 차량주변을 촬영하여 영상을 합성하여 AVM 영상을 획득한다(S100). AVM 영상은 탑 뷰(Top-view) 형태로 차량 주변의 360°에 대한 이미지를 나타낼 수 있다.
주차구획선 인식부(13)가 제 1 관심영역에서 주차구획선을 인식하는 경우 AVM 영상을 캡쳐한다(S110). 주차구획 판단부(14)는 제 1 관심영역의 주차구획선의 길이값을 추출한다(S120). S110 단계에서 주차구획선의 길이값은 AVM 영상으로 출력되는 주차구획선의 길이만 이용하여 추출될 수 있다.
주차구획 판단부(14)는 주차구획선의 길이와 판단기준치를 비교한다(S130). 주차구획선이 판단기준치보다 큰 값을 갖으면(Y) S140 단계를 진행하고, 주차구획선의 길이가 판단기준치보다 작은 값을 갖으면(N) 주차구획선이 장애물에 의해 침범된 상태로 이해될 수 있으며, 주차구획선을 공유하는 양측의 주차구획은 사용불가능함으로 판단된다.
S140 단계는 차량이 진행방향으로 더 이동함에 따라 소정의 시간이 지난 후 주차구획선 인식부(13)가 제 2 관심영역에서 주차구획선을 인식하는 경우 AVM 영상을 캡쳐한다. 주차구획 판단부(14)는 제 2 관심영역의 주차구획선의 길이값을 추출한다(S150). S150 단계에서 주차구획선의 길이값은 AVM 영상으로 출력되는 주차구획선의 길이만 이용하여 추출될 수 있다.
주차구획 판단부(14)는 제 1 관심영역 내에서 추출된 주차구획선의 길이값과 제 2 관심영역 내에서 추출된 주차구획선의 길이값을 비교하여 길이변화를 확인한다(S160). S160 단계에서 주차구획선의 길이변화가 없는 경우(N) 주차구획선과 차량의 진행방향으로 인접한 주차구획은 사용가능함으로 판단한다. S160 단계에서 주차구획선의 길이변화가 있는 경우(Y) 주차구획선과 차량의 진행방향으로 인접한 주차구획은 사용불가능함으로 판단한다.
상술한 설명에서는 본 발명의 실시예에 따라 차량의 진행방향과 수직한 주차구획선에 대한 기술내용이 포함될 뿐 이에 한정되는 것은 아니고, 차량의 진행방향과 평행한 주차구획선, 차량의 진행방향과 사선을 이루는 주차구획선을 인식하는 범위 내에서도 본 발명의 기술적 사상이 적용될 수 있다.
도 10은 본 발명의 다른 실시예에 따른 주차구획 인식 방법을 나타낸 순서도이다.
도 10에 도시된 바와 같이, AVM 처리부(12)는 차량이 진행방향으로 이동함에 따라 차량주변을 촬영하여 영상을 합성하여 AVM 영상을 획득한다(S200). AVM 영상은 탑 뷰(Top-view) 형태로 차량 주변의 360°에 대한 이미지를 나타낼 수 있다. 주차구획선 인식부(13)가 제 1 관심영역에서 제 1 주차구획선을 인식하는 경우 AVM 영상을 캡쳐한다(S210). 주차구획 연산부(15)는 제 1 관심영역에서 제 1 주차구획선이 인식된 시점부터 휠 펄스 카운트를 시작한다(S220). 차량이 진행방향으로 더 이동함에 따라 소정의 시간이 지난 후 주차구획선 인식부가(13)가 제 1 관심영역에서 제 2 주차구획선을 인식하는 경우 AVM 영상을 캡쳐한다(S230). 이때 제 2 주차구획선은 차량의 진행방향으로 제 1 주차구획선과 이격된 주차구획선을 의미할 수 있다. 주차구획 연산부(15)는 제 1 관심영역에서 제 2 주차구획선이 인식된 시점에서 휠 펄스 카운트를 종료한다(S240). 아울러 주차구획 연산부(15)는 제 1 주차구획선과 제 2 주차구획선 사이 거리를 산출한다(250).
상술한 바와 같이, 본 발명은 AVM 영상으로부터 제 1 관심영역 및 제 2 관심영역에서 인식된 주차구획선을 이용하여 주차구획의 사용가능 여부를 판단한다. 이는 노면 구배에 대한 영상 왜곡을 최소화한 상태에서 주차구획선을 인식하는 것이기 때문에 종래에 비하여 적은 연산량으로도 주차구획의 이용가능 여부를 정확하게 판단할 수 있다.
아울러, 본 발명의 주차구획 인식 장치 및 방법은 주차구획 유형, 주차구획 점유 판단 및 제어를 자동으로 처리할 수 있는 주차보조 시스템, 주차가이드 시스템 내에 적용될 수 있다.
도 11은 본 발명의 일 실시예에 따른 방법을 실행하는 컴퓨팅 시스템의 구성을 도시한 도면이다.
도 11을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
주차구획 인식 장치 10 주차구획선 인식부 13
영상 획득부 11 주차구획 판단부 14
AVM 처리부 12 주차구획 연산부 15

Claims (28)

  1. 차량이 진행방향으로 이동함에 따라 차량주변을 촬영하여 영상을 획득하는 영상 획득부;
    상기 영상을 합성하여 AVM(Around View Monitoring) 영상을 획득하는 AVM 처리부;
    상기 AVM 영상으로부터 제 1 관심영역 및 제 2 관심영역을 설정하고, 상기 제 1 관심영역 및 상기 제 2 관심영역 각각에서 주차구획선을 인식하는 주차구획선 인식부; 및
    상기 제 1 관심영역 내에서 인식된 상기 주차구획선을 소정의 시간 이후에 상기 제 2 관심영역 내에서 인식하고, 상기 인식된 주차구획선의 길이를 이용하여 주차구획의 사용가능 여부를 판단하는 주차구획 판단부를 포함하되,
    상기 제2 관심영역은 상기 제1 관심영역에서 상기 주차구획선이 인식된 후 상기 소정의 시간 이후에 다시 상기 주차구획선을 인식할 수 있도록 상기 제1 관심영역으로부터 상기 차량의 후미방향으로 인접하여 소정간격을 갖는 영역을 포함하는 것을 특징으로 하는 주차구획 인식 장치.
  2. 청구항 1에 있어서,
    상기 제 1 관심영역은
    상기 차량의 사이드 미러에 부착된 카메라의 광축으로부터 좌우로 소정간격을 갖는 영역을 포함하는 것을 특징으로 하는 주차구획 인식 장치.
  3. 청구항 2에 있어서,
    상기 광축은 상기 차량의 진행방향과 수직한 것을 특징으로 하는 주차구획 인식 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 주차구획선의 길이는
    상기 AVM 영상으로 출력되는 주차구획선의 길이만을 고려하는 것을 특징으로 하는 주차구획 인식 장치.
  6. 청구항 1에 있어서,
    상기 주차구획 판단부는
    상기 제 1 관심영역 내에서 인식된 상기 주차구획선의 길이가 판단기준치보다 작은 경우 상기 주차구획선을 공유하는 양측의 주차구획은 사용불가능함으로 판단하는 것을 특징으로 하는 주차구획 인식 장치.
  7. 청구항 6에 있어서,
    상기 판단기준치는
    상기 주차구획선 인식부가 상기 제 1 관심영역에서 인식한 주차구획선들 길이의 최대값에 허용오차를 곱한 값으로, 기 저장된 값인 것을 특징으로 하는 주차구획 인식 장치.
  8. 청구항 1에 있어서,
    상기 주차구획 판단부는
    상기 제 1 관심영역 내에서 인식된 상기 주차구획선의 길이와 상기 제 2 관심영역 내에서 인식된 상기 주차구획선의 길이를 비교하여 길이변화가 있는 경우 주차구획이 사용불가능함으로 판단하는 것을 특징으로 하는 주차구획 인식 장치.
  9. 청구항 1에 있어서,
    상기 주차구획 판단부는
    상기 제 1 관심영역 내에서 인식된 상기 주차구획선의 길이와 상기 제 2 관심영역 내에서 인식된 상기 주차구획선의 길이를 비교하여 길이변화가 없는 경우 주차구획이 사용가능함으로 판단하는 것을 특징으로 하는 주차구획 인식 장치.
  10. 청구항 8 또는 청구항 9에 있어서,
    상기 주차구획은
    상기 차량의 진행방향으로 상기 주차구획선과 인접한 것을 특징으로 하는 주차구획 인식 장치.
  11. 청구항 1에 있어서,
    휠 펄스, 기어단 또는 조향각 중 어느 하나를 측정하는 차량 데이터 추출부; 및
    상기 차량 데이터를 이용하여 주차구획의 너비를 산출하는 주차구획 연산부를 더 포함하는 것을 특징으로 하는 주차구획 인식 장치.
  12. 청구항 11에 있어서,
    상기 주차구획 연산부는
    상기 제 1 관심영역에서 인식된 제 1 주차구획선을 시작으로 상기 제 1 관심영역에서 인식된 제 2 주차구획선까지 상기 휠 펄스를 카운트하여 상기 제 1 주차구획선과 상기 제 2 주차구획선이 이격된 거리를 산출하는 것을 특징으로 하는 주차구획 인식 장치.
  13. 청구항 12에 있어서,
    상기 제 2 주차구획선은
    상기 차량의 진행방향으로 상기 제 1 주차구획선과 이격된 것을 특징으로 하는 주차구획 인식 장치.
  14. 차량 주변으로부터 촬영된 영상을 합성하여 AVM(Around View Monitoring) 영상을 획득하는 단계;
    제 1 관심영역에서 주차구획선이 인식되면 상기 AVM 영상을 캡쳐하는 단계;
    상기 제 1 관심영역 내 상기 주차구획선 길이값을 추출하는 단계;
    상기 주차구획선의 길이값을 판단기준치와 비교하는 단계;
    제 2 관심영역에서 주차구획선이 인식되면 상기 AVM 영상을 캡쳐하는 단계;
    상기 제 2 관심영역 내 상기 주차구획선 길이값을 추출하는 단계; 및
    상기 제 1 관심영역 내 주차구획선과 상기 제 2 관심영역 내 주차구획선의 길이변화를 확인하는 단계를 포함하되,
    상기 제2 관심영역은 상기 제1 관심영역에서 상기 주차구획선이 인식된 후 소정의 시간 이후에 다시 상기 주차구획선을 인식할 수 있도록 상기 제1 관심영역으로부터 상기 차량의 후미방향으로 인접하여 소정간격을 갖는 영역을 포함하는 것을 특징으로 하는 주차구획 인식 방법.
  15. 청구항 14에 있어서,
    상기 제 1 관심영역은
    상기 차량의 사이드 미러에 부착된 카메라의 광축으로부터 좌우로 소정간격을 갖는 영역을 포함하는 것을 특징으로 하는 주차구획 인식 방법.
  16. 청구항 15에 있어서,
    상기 광축은 상기 차량의 진행방향과 수직한 것을 특징으로 하는 주차구획 인식 방법.
  17. 삭제
  18. 청구항 14에 있어서,
    상기 주차구획선의 길이는
    상기 AVM 영상으로 출력되는 주차구획선의 길이만을 고려하는 것을 특징으로 하는 주차구획 인식 방법.
  19. 청구항 14에 있어서,
    상기 주차구획선의 길이값을 판단기준치와 비교하는 단계에서,
    상기 제 1 관심영역 내에서 인식된 상기 주차구획선의 길이가 상기 판단기준치보다 작은 경우 상기 주차구획선을 공유하는 양측의 주차구획은 사용불가능함으로 판단하는 것을 특징으로 하는 주차구획 인식 방법.
  20. 청구항 14에 있어서,
    상기 판단기준치는
    상기 제 1 관심영역에서 인식한 주차구획선들 길이의 최대값에 허용오차를 곱한 값으로, 기 저장된 값인 것을 특징으로 하는 주차구획 인식 방법.
  21. 청구항 14에 있어서,
    상기 제 1 관심영역 내 주차구획선과 상기 제 2 관심영역 내 주차구획선의 길이변화를 확인하는 단계에서,
    길이변화가 있는 경우 주차구획이 사용불가능함으로 판단하는 것을 특징으로 하는 주차구획 인식 방법.
  22. 청구항 14에 있어서,
    상기 제 1 관심영역 내 주차구획선과 상기 제 2 관심영역 내 주차구획선의 길이변화를 확인하는 단계에서,
    길이변화가 없는 경우 주차구획이 사용가능함으로 판단하는 것을 특징으로 하는 주차구획 인식 방법.
  23. 청구항 21 또는 청구항 22항에 있어서,
    상기 주차구획은
    상기 차량의 진행방향으로 상기 주차구획선과 인접한 것을 특징으로 하는 주차구획 인식 방법.
  24. 차량 주변으로부터 촬영된 영상을 합성하여 AVM(Around View Monitoring) 영상을 획득하는 단계;
    제 1 관심영역에서 제 1 주차구획선이 인식되면 상기 AVM 영상을 캡쳐하는 단계;
    상기 제 1 관심영역의 제 1 주차구획선이 인식된 시점부터 휠 펄스 카운트를 시작하는 단계;
    상기 차량이 진행방향으로 이동함에 따라 상기 제 1 관심영역에서 제 2 주차구획선이 인식되면 상기 AVM 영상을 캡쳐하는 단계;
    상기 제 1 관심영역의 상기 제 2 주차구획선이 인식된 시점까지 휠 펄스 카운트를 종료하는 단계; 및
    상기 제 1 주차구획선과 상기 제 2 주차구획선 사이의 거리를 산출하는 단계를 포함하되,
    상기 제2 주차구획선은 상기 차량의 진행방향으로 상기 제1 주차구획선과 이격되는 것을 특징으로 하는 주차구획 인식 방법.
  25. 청구항 24에 있어서,
    상기 제 1 관심영역은
    상기 차량의 사이드 미러에 부착된 카메라의 광축으로부터 좌우로 소정간격을 갖는 영역을 포함하는 것을 특징으로 하는 주차구획 인식 방법.
  26. 청구항 25에 있어서,
    상기 광축은 상기 차량의 진행방향과 수직한 것을 특징으로 하는 주차구획 인식 방법.
  27. 삭제
  28. 삭제
KR1020170028980A 2017-03-07 2017-03-07 주차구획 인식 장치 및 방법 KR102360158B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170028980A KR102360158B1 (ko) 2017-03-07 2017-03-07 주차구획 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170028980A KR102360158B1 (ko) 2017-03-07 2017-03-07 주차구획 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180102397A KR20180102397A (ko) 2018-09-17
KR102360158B1 true KR102360158B1 (ko) 2022-02-09

Family

ID=63721848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170028980A KR102360158B1 (ko) 2017-03-07 2017-03-07 주차구획 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102360158B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174423B1 (ko) * 2018-11-30 2020-11-05 충북대학교 산학협력단 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치
JP7466324B2 (ja) 2020-02-12 2024-04-12 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
KR102254195B1 (ko) * 2020-12-03 2021-05-21 렉스젠(주) 교통 감응 신호에 대한 안내를 제공하기 위한 교통 제어 시스템 및 그에 관한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428373B1 (ko) * 2013-03-19 2014-08-07 현대자동차주식회사 주차가능구획 판단 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101624124B1 (ko) * 2012-08-20 2016-06-07 주식회사 만도 자동주차보조시스템의 동작신뢰성 향상 방법
KR101714131B1 (ko) * 2014-12-26 2017-03-08 현대자동차주식회사 주차구획 인식 장치 및 방법
KR102326058B1 (ko) * 2015-08-10 2021-11-12 현대모비스 주식회사 운전자 보조 장치 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428373B1 (ko) * 2013-03-19 2014-08-07 현대자동차주식회사 주차가능구획 판단 장치 및 방법

Also Published As

Publication number Publication date
KR20180102397A (ko) 2018-09-17

Similar Documents

Publication Publication Date Title
US10937181B2 (en) Information processing apparatus, object recognition apparatus, device control system, movable body, image processing method, and computer-readable recording medium
US9656691B2 (en) Method for performing an at least semi-autonomous parking process of a motor vehicle in a garage, parking assistance system and motor vehicle
US9792506B2 (en) Lane change determining apparatus, junction entry determining apparatus and method thereof
KR100941271B1 (ko) 자동차용 차선이탈 방지 방법
CN109891262B (zh) 物体探测装置
KR102360158B1 (ko) 주차구획 인식 장치 및 방법
JP6564346B2 (ja) 駐車支援装置及び駐車支援方法
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
CN107750213B (zh) 前方车辆碰撞报警装置及报警方法
JP2005182303A (ja) 車線認識画像処理装置
CN107787496B (zh) 消失点修正装置及方法
US11157757B2 (en) Image processing device and image processing method
WO2017036927A1 (en) Vision system for a motor vehicle and method of controlling a vision system
KR101190789B1 (ko) 차량의 거리 측정 장치 및 방법
US11256933B2 (en) Image processing device and image processing method
JP6601336B2 (ja) 区画線認識装置
CN104697491A (zh) 在车辆中使用单视场成像器的距离确定
JP5717416B2 (ja) 運転支援制御装置
CN109923586A (zh) 停车框识别装置
KR20130036806A (ko) 블랙박스를 이용한 사고판단시스템 및 그 구동방법
JP7027006B2 (ja) 走行車線認識装置、走行車線認識方法及びプログラム
CN112141084A (zh) 停车支援装置及停车支援方法
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
EP2919191B1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method
JP7322651B2 (ja) 障害物認識装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right