KR20240027600A - 주차 구역 검출 방법 및 시스템 - Google Patents

주차 구역 검출 방법 및 시스템 Download PDF

Info

Publication number
KR20240027600A
KR20240027600A KR1020237043561A KR20237043561A KR20240027600A KR 20240027600 A KR20240027600 A KR 20240027600A KR 1020237043561 A KR1020237043561 A KR 1020237043561A KR 20237043561 A KR20237043561 A KR 20237043561A KR 20240027600 A KR20240027600 A KR 20240027600A
Authority
KR
South Korea
Prior art keywords
dvs
bird
eye view
output image
view images
Prior art date
Application number
KR1020237043561A
Other languages
English (en)
Inventor
런가오 조우
민 슈
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20240027600A publication Critical patent/KR20240027600A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)

Abstract

주차 구역 검출 방법 및 시스템이 개시된다. 방법은 차량에 탑재된 DVS로부터 수신된 DVS 픽셀들을 통합함으로써 각각 생성된 복수의 DVS 프레임을 생성하는 단계; 복수의 조감도 이미지를 형성하기 위해 DVS 프레임 중 적어도 일부를 조감도 이미지로 변환하는 단계; 복수의 정렬된 조감도 이미지를 형성하기 위해 조감도 이미지의 캡처 시에 차량의 상대적인 위치 및/또는 배향에 따라서 복수의 조감도 이미지를 정렬하는 단계; 복수의 정렬된 조감도 이미지를 하나의 출력 이미지에 합성하는 단계를 포함한다. 시스템은 DVS 픽셀을 캡처하도록 구성된, 차량에 탑재된 DVS; 및 DVS로부터 DVS 픽셀을 수신하고 방법을 수행하도록 구성된 프로세서를 포함한다.

Description

주차 구역 검출 방법 및 시스템
본 개시내용은 일반적으로 주차 구역 검출(parking slot detection) 방법 및 시스템에 관한 것으로, 특히 DVS(Dynamic Vision Sensor: 동적 비전 센서)를 사용함으로써 어두운 조명 조건하에서의 주차 구역 검출 방법 및 시스템에 관한 것이다.
현재, 자동차의 APA(Auto Parking Assist: 자동 주차 지원) 시스템은 통상적으로 주차 구역을 검출하기 위해 종래의 카메라와 초음파 레이더의 조합을 사용한다. 낮 시간이나 광이 충분할 때, 종래의 카메라와 초음파 레이더는 적절하게 작동하여 만족스럽거나 허용 가능한 주차 구역 검출 결과를 얻을 수 있다. 그러나, 종래의 카메라는 어두운 조명 조건에서 선명하지 않고/않거나 너무 많은 노이즈를 포함할 수 있는 열악한 이미지를 제공할 수 있다. 초음파 레이더가 조명 조건에 의해 영향을 받지 않더라도, 그 범위 자체만으로는 주차 구역을 신뢰 가능하게 검출할 수 있을 만큼 정확하지 않다. 따라서, 종래의 카메라와 초음파 레이더의 조합은 어두운 조명 조건에서는 적절하게 기능하지 않을 수 있다.
DVS라는 새로운 최첨단 센서가 있다. DVS는 광의 강도 변화만 캡처하고, 이어서 비동기 DVS 픽셀(픽셀 이벤트)을 생성한다. 종래의 카메라와 비교하여, DVS는 대기 시간이 짧고, 모션 블러(motion blur)가 없으며, 동적 범위가 높고, 전력 소비가 낮다는 장점을 갖는다. DVS는 그 높은 동적 범위로 인해 상대적으로 낮은 노이즈의 DVS 픽셀을 생성할 수 있더라도, 어두운 조명 조건에서 주차 구역 검출을 위해 허용 가능한 프레임을 생성하는 데 충분한 DVS 픽셀을 직접 생성하지 못할 수 있다.
따라서, 어두운 조명 조건에서 신뢰 가능한 주차 구역 검출이 필요하다.
본 개시내용의 일 양태에 따르면, 차량에 탑재된 DVS로부터 수신된 DVS 픽셀들을 통합함으로써 각각 생성된 복수의 DVS 프레임을 생성하는 단계; 복수의 조감도 이미지(bird-eye view image)를 형성하기 위해 DVS 프레임 중 적어도 일부를 조감도 이미지로 변환하는 단계; 복수의 정렬된 조감도 이미지를 형성하기 위해 상기 조감도 이미지의 캡처 시에 차량의 상대적인 위치 및/또는 배향에 따라서 상기 복수의 조감도 이미지를 정렬하는 단계; 복수의 정렬된 조감도 이미지를 하나의 출력 이미지에 합성하는(combing) 단계를 포함하는 주차 구역 검출 방법이 제공된다.
본 개시내용의 다른 양태에 따르면, DVS 픽셀을 캡처하도록 구성된, 차량에 탑재된 DVS; 상기 방법을 수행하도록 구성된 프로세서를 포함하는 주차 구역 검출 시스템이 제공된다.
본 개시내용의 다른 양태에 따르면, 상기 주차 구역 검출 시스템을 포함하는 차량이 제공된다.
본 개시내용의 다른 양태에 따르면, 컴퓨터 프로그램이 프로세서에 의해 실행되어 상기 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체가 제공된다.
본 개시내용의 다른 시스템, 방법, 특징 및 이점은 다음의 도면 및 상세한 설명을 검토하면 당업자에게 자명하거나 자명해질 것이다. 이러한 모든 추가 시스템, 방법, 특징 및 이점은 본 상세한 설명 내에 포함되고, 본 개시내용의 범위 내에 속하며, 다음의 청구범위에 의해 보호되도록 의도된다.
본 개시내용은 거침없이 이어지는 도면 및 설명을 참조하여 더 잘 이해될 수 있다. 도면에서의 구성요소는 반드시 축척으로 도시된 것은 아니며, 대신 본 개시내용의 원리를 설명할 때 강조된다. 또한, 도면에서, 동일한 도면 부호는 상이한 도면 전체에 걸쳐 대응하는 부분을 지시한다.
도 1은 차량이 주차 구역을 지나면서 이용 가능한 주차 구역을 검색하는, 본 개시내용의 하나 이상의 실시형태에 따른 주차 구역 검출 시스템을 가지는 차량을 도시한 개략도이고;
도 2는 도 1의 DVS에 의해 캡처되거나 촬영된 예시적인 DVS 프레임을 도시하고;
도 3은 DVS 프레임을 조감도 이미지로 변환하는 개략도를 도시하고;
도 4는 좌측이 주차 구역을 지나갈 때 4개의 예시적인 시간(t1, t2, t3, t4)에서의 차량의 사진을 도시하는 한편, 우측이 시간(t1, t2, t3, t4)에서 차량(110)에 의해 촬영된 DVS 프레임으로부터 변환된 4개의 조감도 이미지를 도시하고;
도 5는 2개의 조감도 이미지가 하나의 출력 이미지에 합성될 수 있는 방법을 도시하는 개략도이고;
도 6은 조감도 이미지가 하나의 출력 이미지에 합성될 수 있는 방법을 도시하는 개략도이고;
도 7은 본 개시내용의 하나 이상의 실시형태에 따른 방법의 흐름도를 도시하고;
도 8은 본 개시내용의 하나 이상의 실시형태에 따라서 정렬된 조감도 이미지를 합성하는 예시적인 프로세스를 도시하고; 그리고
도 9는 본 개시내용의 하나 이상의 실시형태에 따라서 하나의 조감도 이미지를 출력 이미지에 합성하는 예시적인 프로세스를 도시한다.
이하, 본 개시내용의 바람직한 실시형태가 첨부된 도면을 참조하여 더욱 상세하게 설명될 것이다.
본 명세서에 사용된 바와 같이, 단수형 표현은 문맥상 명백하게 달리 나타내지 않는 한 복수형을 또한 포함하도록 의도된다. 본 명세서에 사용된 바와 같이, "포함하다", "포함하는", "구비하다" 및/또는 "구비하는"이라는 용어는 언급된 특징, 정수, 단계, 동작, 요소 및/또는 구성요소의 존재를 지정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다. 본 명세서에 사용된 바와 같이, "및/또는" 및 기호 "/"와 같은 용어는 관련 나열된 항목 중 하나 이상의 임의의 것 및 모든 조합을 포함한다는 것을 의미한다. 추가적으로, "제1", "제2" 등과 같은 용어는 다양한 요소, 구성요소, 단계 또는 계산을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이러한 요소, 구성요소, 단계 또는 계산은 이러한 용어에 의해 제한되어서는 안 되며, 오히려 이러한 용어는 하나의 요소, 구성요소, 단계 또는 계산을 다른 것과 구별하는 데에만 사용된다. 예를 들어, 모두 본 개시내용의 범위를 벗어남이 없이, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제1 계산은 제2 계산으로 명명될 수 있으며; 마찬가지로 제1 단계는 제2 단계로 명명될 수 있다.
본 명세서에서 사용된 바와 같이, "DVS 픽셀", "픽셀 이벤트", "이벤트"라는 용어는 상호 교환적으로 사용될 수 있으며, DVS에 의해 캡처된 광 강도 변화를 지칭할 수 있다. DVS 픽셀 또는 픽셀 이벤트 또는 이벤트는 통상적으로 [x, y, t, p]의 형식을 취하는 픽셀 또는 이벤트 데이터로 표현될 수 있고, 여기서 x와 y는 x 좌표와 y 좌표를 나타내고, t는 이러한 이벤트의 타임 스탬프를 나타내고, p는 이벤트의 극성을 나타내며, 광 강도 변화는 더 밝아지거나 어두워지는 것을 의미한다. DVS의 "프레임" 또는 "DVS 프레임"이라는 용어는 일정 기간 내에 DVS에 의해 촬영된 모든 픽셀이 통합되는 이미지 또는 프레임을 지칭한다. DVS 프레임 또는 조감도 이미지의 "캡처 시점"이라는 용어는, DVS 픽셀이 실제로 DVS 프레임에 통합되는 시간에도 불구하고, DVS 프레임의 시간 범위의 중간 시간과 같이 DVS 프레임이 캡처되거나 촬영되는 시간을 의미한다. "어두운 조명 조건"이라는 용어는 종래의 카메라와 초음파 레이더의 조합으로는 달빛이 있든 없든 야간에 가로등이 없고 개방형 지상 주차 구역과 같은 주차 구역을 적절하게 검출하기에는 광 또는 환경 조명이 충분하지 않은 조건을 의미한다.
계류 중인 청구항에서의 사용을 명확히 하고 이에 의해 대중에게 알리기 위해, "<A>, <B>, ... 및 <N> 중 적어도 하나" 또는 "<A>, <B>, ... 및 <N> 중 적어도 하나, 또는 이들의 조합"이라는 문구는, A, B, ... 및 N을 포함하는 그룹으로부터 선택된 하나 이상의 요소, 즉 단독으로, 또는 나열되지 않은 추가 요소를 포함할 수 있는 다른 요소 중 하나 이상과 조합하여 임의의 하나의 원소를 포함하는 요소 A, B, ... 또는 N 중 하나 이상의 임의의 조합을 의미하도록, 출원인에 의해 명시적으로 달리 주장하지 않는 한, 이전 또는 이후의 다른 묵시적 정의를 대체하며 가장 넓은 의미로 신청인에 의해 정의된다.
DVS는 광 강도 변화만을 캡처하고, 이어서 비동기 DVS 픽셀(픽셀 이벤트)을 생성한다. 연속된 픽셀을 포함하는 완전한 이미지나 프레임을 생성하는 종래의 카메라와 달리, DVS는 시공간적으로 별개이고 불연속적일 수 있는 비동기 DVS 픽셀만을 생성하고, 그러므로 이미지 또는 프레임을 생성하기 위해 일정 기간 내에 DVS에 의해 캡처된 DVS 픽셀(픽셀 이벤트)을 통합할 필요가 있다. 종래의 카메라와 비교하여, DVS는 대기 시간이 짧고, 모션 블러가 없으며, 동적 범위가 높고, 전력 소비가 낮다는 장점을 갖는다.
높은 동적 범위로 인해, DVS는 상대적으로 노이즈가 적은 DVS 픽셀을 생성하고, 그러므로 보다 신뢰 가능한 DVS 프레임 또는 이미지가 어두운 조명 조건에서도 시간 범위 내에 DVS 픽셀을 통합함으로써 생성될 수 있다. 그러나, DVS가 어두운 조명 조건에서 인식 가능하거나 검출 가능한 프레임 또는 이미지에 대해 충분한 DVS 픽셀을 생성할 만큼 충분한 광 강도 변화를 캡처할 수 없기 때문에, 종래의 카메라를 대체하기 위해 DVS를 직접 사용하는 것은 적용할 수 없다.
본 개시내용은 차량에 탑재된 DVS를 사용하는 것에 의해 어두운 조명 조건에서 주차 구역 검출을 위한 방법 및 시스템을 제공한다. 방법 및 시스템에서, 복수의 DVS 프레임은 조감도 이미지로 변환된다. 이어서, 조감도 이미지는 조감도 이미지의 캡처 시에서의 차량의 상대적인 위치 및/또는 배향에 따라서 서로 정렬되도록 병진 및/또는 회전된다. 이어서, 정렬된 조감도 이미지가 하나의 출력 이미지에 합성된다.
통상적으로, 차량은 DVS 프레임이 촬영되는 동안 이동하고 있으며, DVS에 의해 촬영된 복수의 DVS 프레임은 적어도 부분적으로 서로 중첩되며, 각각의 DVS 프레임은 전체 주차 구역의 작은 영역 또는 일부의 특정 이미지만을 포함할 수 있다.
출원인은 각각의 DVS 프레임이 충분한 DVS 픽셀을 포함하지 않을 수 있고, 따라서 어두운 조명 조건으로 인해 주차 구역 검출 또는 인식하기에 충분히 선명하지 않을 수 있음을 알았다. 또한, 출원인은 DVS의 높은 동적 범위로 인해 낮은 어두운 조명 조건에도 불구하고 각각의 DVS 프레임이 상대적으로 낮은 레벨의 노이즈를 포함한다는 사실도 알았다. 따라서, 각각의 DVS 프레임이 충분한 DVS 픽셀을 포함하지 않을 수 있더라도, 본 개시내용의 출력 이미지는 충분한 DVS 픽셀을 포함할 수 있으며, 따라서 다수의 DVS 프레임(정렬된 조감도 이미지)에서의 DVS 픽셀이 출력 이미지에 합성되었기 때문에 주차 구역 검출 또는 인식에 충분할 만큼 선명할 수 있다. 또한, 합성된 출력 이미지의 노이즈 레벨이 다수의 DVS 프레임(정렬된 조감도 이미지)의 합성 동작으로 인해 배가될 수 있더라도, 합성된 출력 이미지의 노이즈 레벨은 각각의 DVS 프레임의 낮은 노이즈 레벨로 인하여 여전히 허용 가능한 범위 내에 있을 수 있다.
또한, 본 개시내용의 방법을 사용하는 것에 의해, 출력 이미지는 주차 구역 검출을 위하여 전체 주차 구역의 이미지를 포함할 수 있다.
도 1은 본 개시내용의 하나 이상의 실시형태에 따른 주차 구역 검출 시스템을 가지는 차량(110)을 도시한 개략도이다. 주차 구역 검출 시스템은 차량에 탑재된 DVS(112)를 포함한다. 도시된 바와 같이, 도로 가장자리(130)를 따라서 위치된 복수의 연속 주차 구역(120)이 있고, 차량(110)은 주차 구역(120)을 따라서 화살표(A)로 표시된 방향으로 이동하여, 이용 가능한 주차 구역을 탐색한다. 각각의 주차 구역은 주차 구역 라인(122)에 의해 정의된다.
도 2는 어두운 조명 조건에서 도 1의 DVS(112)에 의해 캡처되거나 촬영된 예시적인 DVS 프레임을 도시한다. 본 명세서에서 사용된 바와 같이, "DVS에 의해 캡처된 DVS 프레임" 또는 "DVS에 의해 촬영된 DVS 프레임"이라는 용어는 시간 범위 내에서 DVS에 의해 캡처된 DVS 픽셀들을 통합함으로써 생성된 DVS 프레임을 의미한다. 본 개시내용의 발명자는 어두운 조명 조건에서, DVS가 일반적으로 주차 구역 라인의 전체 묘사를 생성할 수 없다는 것을 알았다. 예를 들어, 도 2에 도시된 바와 같이, DVS 프레임에서, 원(232)에 의해 둘러싸인 주차 구역 라인(222)의 일부는 상대적으로 모호할 수 있는 원(234, 236, 238)에 의해 둘러싸인 부분과 같은 다른 부분보다 더 선명할 수 있다. 통상적으로, DVS에 더 가까운 주차 구역 라인(222)은 비교적 선명할 수 있는 반면에, DVS에 더 먼 주차 구역 라인은 상대적으로 모호할 수 있다. 이러한 것은 주차 구역 라인으로부터의 난반사가 잘 확산되고, DVS에 가까운 주차 구역 라인의 반사가 DVS에 캡처되기 쉽기 때문이다. 즉, 어두운 조명 조건으로 인해, DVS는 주차 구역 검출에 충분한 DVS 프레임에 대한 충분한 광 강도 변화를 캡처할 수 없다.
주차 구역 검출을 위해 DVS 프레임을 사용하기 위해, 먼저 다수의 DVS 프레임이 조감도 이미지로 변환되고, 이어서 병진, 회전되어 합성된 출력 이미지에 합성된다.
도 3은 DVS 프레임을 조감도 이미지로 변환하는 개략도를 도시한다. 좌측 사진은 차량(110)에 의해 캡처된 DVS 프레임인 한편, 우측 사진(340)은 DVS 프레임으로부터 변환된 조감도 이미지이다. 명확성을 위해, 우측 사진(340)에서의 주차 구역 라인은 라인으로 표현되었으며, 실선은 상대적으로 선명한 주차 구역 라인을 나타내며, 점선은 상대적으로 모호한 주차 구역 라인을 나타내며, 파선은 실선으로 표시된 것만큼 선명하지는 않지만 점선으로 표시된 것보다 더 선명한 주차 구역 라인을 나타낸다. 도시된 바와 같이, 전체 주차 구역의 일부만이 DVS 프레임 또는 조감도 이미지에 도시된다. 변환 프로세스는 DVS 프레임으로부터 조감도 이미지를 생성하기 위해, DVS의 초점 거리 및 광확 중심 등의 내재적 요소와, DVS의 센서 좌표로부터 세계 좌표로의 회전 및 병진과 같은 외재적 요소를 사용하는 호모그래피 변환(homography Transformation)과 같은 당업계에 공지된 알고리즘에 의해 수행된다. 알고리즘의 자세한 설명은 명확성을 위해 생략된다. 본 개시내용의 하나 이상의 실시형태에서, 메디안 필터(median filter)와 같은 노이즈 필터가 백색 노이즈를 감소시키기 위해 변환 전의 DVS 프레임에 적용될 수 있다.
도 4는 좌측이 주차 구역(120)을 지나갈 때 4개의 예시적인 시간(t1, t2, t3, t4)에서의 차량(110)의 사진을 도시하는 한편, 우측이 시간(t1, t2, t3, t4)에서 차량(110)에 의해 촬영된 DVS 프레임으로부터 변환된 4개의 조감도 이미지, 즉 이미지(442), 이미지(444), 이미지(446) 및 이미지(448)를 도시한 개략도를 도시한다. 도시된 바와 같이, 차량(110)은 시간(t1)에 (R1, T1)에 있고, 시간(t2)에 (R2, T2)에 있고, 시간(t3)에 (R3, T3)에 있고, 시간(t4)에 (R4, T4)에 있으며, 여기서 R1, R2, R3 및 R4는 시간(t1, t2, t3, t4)에서 차량(110)의 각각의 회전 위치를 나타내는 한편, T1, T2, T3, T4는 시간(t1, t2, t3, t4)에서 차량(110)의 각각의 병진 위치를 나타낸다. 도 4에 도시된 예에서, 차량(110)은 회전 없이 선형적으로 이동하며, 그러므로 R1 = R2 = R3 = R4이다. 그러나, 본 개시내용은 이에 제한되지 않으며, 차량은 병진 이동과 회전 이동의 임의의 적절한 조합으로 이동할 수 있다. 도 4가 4개의 예시적인 시간(t1, t2, t3, t4)에서의 차량(110)의 4개의 사진뿐만 아니라 4개의 대응하는 조감도 이미지만을 도시하더라도, 이들 사진은 단지 예시일 뿐이며 주차 구역 검출 프로세스에 있으며, 차량(110)이 임의의 적절한 수의 DVS 프레임을 촬영할 수 있고, 이에 대응하는 수의 조감도 이미지가 DVS 프레임을 변환함으로써 생성될 수 있다는 것이 이해될 수 있다.
도 5는 2개의 조감도 이미지(442, 444)가 하나의 출력 이미지에 합성될 수 있는 방법을 도시하는 개략도이다. 도 4에 도시된 바와 같이, 조감도 이미지(442)에 대응하는 DVS 프레임은 차량(110)이 (R1, T1)에 있는 시간(t1)에 촬영되고, 조감도 이미지(444)에 대응하는 DVS 프레임은 차량(110)이 (R2, T2)에 있는 시간(t2)에 촬영된다. (R1, T1)이 (R2, T2)와 동일하지 않기 때문에, 조감도 이미지(444)에서의 주차 구역 라인은 조감도 이미지(442)에서의 대응하는 주차 구역 라인과 정렬될 수 있도록 병진 및/또는 회전될 필요가 있다. 도 5에 도시된 바와 같이, 조감도 이미지(444)에서의 주차 구역 라인은 조감도 이미지(442)에서의 대응하는 주차 구역 라인과 정렬될 수 있도록 화살표(D1)로 표시된 방향으로 병진될 필요가 있다. 이어서, 2개의 정렬된 이미지는 조감도 이미지(444)에서의 각각의 DVS 픽셀을 조감도 이미지(442)로 합성하는 것에 의해 합성될 수 있다. 또는 대안적으로, 2개의 정렬된 이미지는 조감도 이미지(444)에서의 모든 DVS 픽셀과 조감도 이미지(442)에서의 모든 DVS 픽셀을 출력 이미지에 합성하는 것에 의해 합성될 수 있다. 도시된 바와 같이, 조감도 이미지(442)들이 함께 합성되기 전에 조감도 이미지(444)와 정렬되어 있기 때문에, 조감도 이미지(442)와 조감도 이미지(444)에서의 상대적으로 선명한 영역은 합성된 출력 이미지(실선으로 도시됨)에서의 상대적으로 선명한 영역이 조감도 이미지(442) 및 조감도 이미지(444)에서의 상대적으로 선명한 영역과 비교하여 확대되도록 합성된다. 인식되는 바와 같이, 이미지(442)에서의 영역(B1)은 이미지(444)가 화살표(D1)로 표시된 바와 같이 병진된 후 이미지(444)에서의 영역(B2)과 정렬되어 중첩될 것이다. 본 개시내용의 발명자는 사람의 눈에는 DVS 프레임에서의 DVS 픽셀이 연속적인 것처럼 보일지라도, 도 2에 도시된 것과 같이 DVS 프레임의 상대적으로 선명한 영역에서도 DVS 픽셀이 실제로는 불연속적이라는 것을 알았다. 따라서, 조감도 이미지에서의 DVS 픽셀은 또한 불연속적이다. 추가적으로, 본 개시내용의 발명자는 정렬된 이미지(442) 및 이미지(444)와 같은 정렬된 조감도 이미지에 대해, 정렬된 이미지(442)에서의 불연속 DVS 픽셀 중 임의의 것이 정렬된 이미지(444)에서의 임의의 DVS 픽셀과 다른 좌표 위치를 가질 좋은 기회를 가질 수 있다는 것을 또한 알았다. 따라서, 정렬된 조감도 이미지를 함께 합성하는 것에 의해, 합성된 출력 이미지는 이미지(442) 및 이미지(444) 중 상대적으로 선명한 영역에 대응하는 영역 또는 이미지(442)와 이미지(444) 중 상대적으로 모호한 영역에 대응하는 영역에 상관없이 이미지 전체에 걸쳐 더욱 선명할 수 있다. 또한, 충분한 수의 정렬된 조감도 이미지가 함께 합성되는 한, 정렬된 조감도 이미지의 상대적으로 모호한 영역으로부터 합성된 출력 이미지에서 상대적으로 선명한 결과를 얻는 것이 가능하다.
본 개시내용의 하나 이상의 실시형태에서, DVS 프레임 또는 조감도 이미지는 그레이 스케일(greyscale)로서 시각화될 수 있으며, DVS 프레임 또는 조감도 이미지에서의 각각의 픽셀은 다수의 가능한 그레이 레벨을 가질 수 있다. 통상적으로, 그레이 스케일의 각각의 픽셀은 256개의 가능한 그레이 레벨, 즉 그레이 레벨 0으로부터 그레이 레벨 255까지 가질 수 있으며, 여기서 그레이 레벨 0은 흰색인 한편, 그레이 레벨 255는 검정색이고, 그레이 레벨 1-254는 흰색과 검정색 사이의 그레이 레벨이다. 그러나, 본 개시내용은 이에 제한되지 않고, 본 개시내용의 DVS 프레임 또는 조감도 이미지는 임의의 적절한 그레이 레벨을 가진 그레이 스케일일 수도 있다. 본 개시내용의 하나 이상의 실시형태에서, 배경색은 그레이 레벨 0과 그레이 레벨 255 사이의 중간 그레이 레벨이다. 본 개시내용의 하나 이상의 실시형태에서, 배경색은 그레이 레벨 128일 수 있다. 본 개시내용의 하나 이상의 실시형태에서, 광 강도가 어두워지는 것을 DVS 픽셀의 [x, y, t, p]에서의 p가 나타낼 때, DVS 프레임에서의 대응하는 DVS 픽셀의 그레이 레벨은 그레이 레벨 255로 설정될 수 있으며, 광 강도가 밝아지는 것을 DVS 픽셀의 [x, y, t, p]에서의 p가 나타낼 때, DVS 프레임에서의 대응하는 DVS 픽셀의 그레이 스케일은 그레이 스케일 0으로 설정될 수 있다. 이러한 실시형태에서, DVS 프레임 또는 조감도 이미지에서의 임의의 픽셀은 3개의 가능한 그레이 레벨, 즉 그레이 레벨 0, 그레이 레벨 128, 및 그레이 레벨 255 중 하나에 있을 수 있다. 본 개시내용의 일부 다른 실시형태에서, 3개의 가능한 그레이 레벨은 3개의 가능한 그레이 레벨이 서로 쉽게 구별되는 한, 그레이 레벨 0, 그레이 레벨 128, 및 그레이 레벨 255 이외의 그레이 레벨일 수 있다.
도 6은 조감도 이미지가 하나의 출력 이미지에 합성될 수 있는 방법을 도시하는 개략도이다. 도 6에 단지 4개의 조감도 이미지(442, 444, 446, 448)가 도시되어 있더라도, 임의의 적절한 수의 조감도 이미지가 있을 수 있음이 이해될 수 있다. 조감도 이미지를 하나의 출력 이미지에 합성하는 프로세스는 도 5에 도시된 것과 유사할 수 있다. 특히, 조감도 이미지(442)와 다른 각각의 조감도 이미지는 조감도 이미지(442)와 정렬되도록 병진 및/또는 회전되고, 이어서 각각의 병진 및/또는 회전된 조감도 이미지는 조감도 이미지(442)로 합성된다. 합성된 출력 이미지(650)에 도시된 바와 같이, 거의 전체 주차 구역이 실선으로 표시되며, 이는 거의 전체 주차 구역이 상대적으로 선명하다는 것을 의미한다. 즉, 합성된 출력 이미지(650)는 전체 주차 구역에 대한 상대적으로 선명한 이미지를 포함하며, 그러므로, 주차 구역 검출을 위해 사용될 수 있다.
본 개시내용에서, DVS에 의해 촬영된 복수의 DVS 프레임은 적어도 부분적으로 서로 중첩된다. 본 개시내용의 하나 이상의 실시형태에서, 임의의 2개의 연속적인 DVS 프레임 또는 조감도 이미지의 대부분은 서로 중첩할 수 있으며, 예를 들어 2개의 연속된 DVS 프레임 또는 조감도 이미지의 적어도 95%, 적어도 90%, 적어도 85%, 적어도 80%, 적어도 75% 또는 적어도 70%가 서로 중첩할 수 있다.
전술한 바와 같이, DVS 프레임 또는 조감도 이미지에서의 DVS 픽셀은 상대적으로 선명한 영역에서도 실제로 불연속적일 수 있다. 따라서, 합성된 출력 이미지에서, 상이한 DVS 프레임 또는 조감도 이미지의 중첩 영역으로부터의 DVS 픽셀은 서로 보완되어, 중첩 영역에서 더 조밀한 DVS 픽셀을 초래하고, 따라서 더욱 선명하거나 더욱 인식 가능한 출력 이미지를 초래한다. 이는 정렬된 조감도 이미지의 상대적으로 선명한 영역과 상대적으로 모호한 영역 모두에 적용된다. 발명자는 DVS 프레임 또는 정렬된 조감도 이미지의 상대적으로 선명한 영역의 경우에도, 어두운 조명 조건으로 인해 DVS 픽셀 밀도가 높지 않다는 것을 알았다. 따라서, 2개의 상대적으로 선명한 영역이 함께 합성될 때, 하나의 상대적으로 선명한 영역으로부터의 DVS 픽셀이 다른 영역으로부터의 DVS 픽셀을 보완할 양호한 기회가 여전히 있다. 2개의 상대적으로 모호한 영역을 함께 합성하면, 하나의 상대적으로 모호한 영역으로부터의 DVS 픽셀이 다른 영역으로부터의 DVS 픽셀을 보완할 한층 더 양호한 기회가 있다. 따라서, 합성된 출력 이미지는 상대적으로 선명한 영역과 상대적으로 모호한 영역 모두에서 더욱 선명해질 것이다. 그리고 더 중요하게는, 상대적으로 모호한 영역의 경우, 충분한 수의 중첩된 상대적으로 모호한 영역이 함께 합성되는 한, 합성된 출력 이미지는 충분히 선명할 수 있다. 다른 한편으로, 위에서 논의된 바와 같이, DVS는 높은 동적 범위의 기술적 이점을 가지며, 이는 어두운 조명 조건에서도 DVS 프레임 또는 조감도 이미지의 낮은 노이즈 레벨을 유발한다. 따라서, 다수의 조감도 이미지가 함께 합성되더라도, 합성된 출력 이미지는 여전히 상대적으로 낮은 노이즈 레벨을 가진다.
본 개시내용의 하나 이상의 실시형태에서, DVS(110)는 약 100 Hz의 주파수에서 동작한다. 즉, DVS(110)의 DVS 프레임은 약 100 Hz의 주파수에서 생성될 수 있다. 본 개시내용은 이에 제한되지 않고, 본 개시내용의 DVS는 임의의 적절한 주파수에서 동작할 수 있다.
도 6에 도시된 실시형태에서, 각각의 정렬된 조감도 이미지(442, 444, 446, 448)는 전체적으로 출력 이미지에 합성된다. 그러나, 본 개시내용은 이에 제한되지 않는다. 본 개시내용의 하나 이상의 실시형태에서, 정렬된 조감도 이미지 중 일부에 대해, 이미지의 상대적으로 모호한 영역과 같은 정렬된 조감도 이미지의 일부만이 출력 이미지에 합성된다. 예를 들어, 도 6에 도시된 예에서, 각각의 정렬된 조감도 이미지의 상부 부분은 상대적으로 모호할 수 있다. 전체적으로 선명한 출력 이미지를 얻기 위해, 일부 정렬된 조감도 이미지의 상부 부분만을 출력 이미지에 합성하는 것이 유리할 수 있다.
본 명세서에서 사용된 바와 같이, "시간 간격"이라는 용어는 조감도 이미지로 변환되어 출력 이미지에 합성될 수 있는 2개의 연속적인 DVS 프레임 사이의 시간 간격 또는 기간을 의미한다. 본 개시내용의 하나 이상의 실시형태에서, 각각의 DVS 프레임은 조감도 이미지로 변환되고, 이어서 출력 이미지에 합성될 수 있다. 즉, 조감도 이미지로 변환되어 출력 이미지에 합성될 수 있는 2개의 연속적인 DVS 프레임 사이에는 어떠한 시간 간격도 없을 수 있다. 본 개시내용의 일부 실시형태에서, DVS 프레임 중 일부만이 조감도 이미지로 변환되고, 이어서 출력 이미지에 합성될 수 있다. 본 개시내용의 일부 실시형태에서, 조감도 이미지로 변환되어 출력 이미지에 합성될 수 있는 2개의 연속적인 DVS 프레임 사이에 시간 간격이 존재하며, 시간 간격은 출력 이미지 내 합성된 영역에서의 DVS 픽셀의 수 또는 밀도에 따라 조정될 수 있다. 본 개시내용의 일부 실시형태에서, 시간 간격은 합성된 영역에서의 DVS 픽셀의 수, 밀도 또는 최대 밀도가 제1 임계값을 초과할 때 증가될 수 있고, 시간 간격은 합성된 영역에서의 DVS 픽셀의 수, 밀도 또는 최대 밀도가 제1 임계값보다 작은 제2 임계값보다 낮을 때 감소될 수 있다. 본 개시내용의 하나 이상의 실시형태에서, 제1 임계값은 약 70% 또는 80%일 수 있고, 제2 임계값은 약 30% 또는 40%일 수 있다. 조정된 시간 간격을 사용하여, 전체 합성된 출력 이미지는 적절하게 합성될 수 있으며, 상대적으로 낮은 노이즈 레벨을 여전히 가지면서 주차 구역 검출을 위해 충분히 선명할 수 있다.
본 명세서에서 사용된 바와 같이, "합성된 영역"이라는 용어는 합성 동작이 완료된 출력 이미지에서의 영역을 의미한다. 예를 들어, 조감도 이미지(446)를 출력 이미지(650)로 합성할 때, (조감도 이미지(446)의 경계에 대응하는) 파선(662, 664)들 사이의 영역(652)은 현재 이미지(조감도 이미지(446))가 합성되는 "합성된 영역"일 수 있다. 파선(664)의 우측 영역(654)은 "합성된 영역"일 수 있는 반면, 파선(662)의 좌측 영역은 "합성될 영역"일 수 있다.
도 7은 본 개시내용의 하나 이상의 실시형태에 따른 방법의 흐름도를 도시한다. 프로세스는 S01에서 시작하고, 이어서 S02로 진행한다. S02에서, DVS 프레임 또는 DVS 프레임들이 생성되며, 각각의 DVS 프레임은 시간 범위 내에서 DVS에 의해 캡처된 DVS 픽셀을 통합함으로써 생성된다. 이어서, 프로세스는 S03으로 진행하여, DVS 프레임(들)이 조감도 이미지(들)로 변환된다. 이어서, 프로세스는 S04로 진행하여, 조감도 이미지(들)가 서로 정렬된다. 정렬 단계는 현재 조감도 이미지가 첫 번째 이미지이면 생략될 수 있다. 이어서, 프로세스는 S05로 진행하여, 정렬된 조감도 이미지는 하나의 출력 이미지에 합성된다. 이어서, 프로세스는 S06으로 진행하여, 이용 가능한 주차 구역이 출력 이미지로부터 검출되는지의 여부가 결정된다. 이용 가능한 주차 구역이 검출되면, 프로세스는 종료되고, APA(자동 주차 지원) 프로세스와 같은 추가 프로세스로 진행할 수 있다. 이용 가능한 주차 구역이 검출되지 않으면, 프로세스는 단계 S02로 돌아가, 추가 DVS 프레임 또는 DVS 프레임이 생성되고, 각각의 DVS 프레임은 시간 범위 내에서 DVS에 의해 캡처된 DVS 픽셀을 통합함으로써 생성된다.
본 개시내용의 하나 이상의 실시형태에서, 본 개시내용의 방법은 조감도 이미지로 변환되고/되거나 출력 이미지의 합성된 영역에서의 DVS 픽셀의 최대 밀도와 같은 출력 이미지에 합성된 영역에 기초하여 출력 이미지에 합성될 수 있는 연속적인 DVS 프레임 사이의 시간 간격을 조정하는 단계를 더 포함한다. 본 개시내용의 일부 실시형태에서, 시간 간격은 합성된 영역에서의 DVS 픽셀 중 DVS 픽셀의 최대 밀도가 제1 임계값을 초과할 때 증가될 수 있고, 시간 간격은 합성된 영역에서의 DVS 픽셀의 최대 밀도가 제1 임계값보다 작은 제2 임계값보다 낮을 때 감소될 수 있다.
도 8은 본 개시내용의 하나 이상의 실시형태에 따른 도 7의 단계 S05의 예시적인 프로세스를 도시한다. 프로세스는 S51에서 시작하여 S52로 진행되어, 출력 이미지가 아직 존재하지 않으면 출력 이미지에서의 모든 픽셀을 배경색(그레이 레벨)으로 설정하는 것에 의해 출력 이미지가 초기화된다. 또는 대안적으로, 출력 이미지가 이미 존재하면, 출력 이미지는 합성될 새로운 조감도 이미지를 수용할 수 있도록 필요에 따라 확장될 수 있다. 이어서, 프로세스는 S53으로 진행하여, 하나의 조감도 이미지가 출력 이미지에 합성된다. 이어서, 프로세스는 S54로 진행하여, 모든 조감도 이미지가 출력 이미지에 합성되었는지의 여부가 결정된다. 모든 복수의 연속적인 프레임이 출력 이미지에 합성되었다고 결정되면, 프로세스는 S55로 진행한다. 그렇지 않으면, 프로세스는 S53으로 돌아가, 하나의 다음 조감도 이미지가 출력 이미지에 합성된다.
도 8이 도 7의 단계 S05의 예시적인 프로세스를 도시하더라도, 본 개시내용은 이에 제한되지 않는다. 예를 들어, 일부 다른 실시형태에서, 조감도 이미지 중 하나, 예를 들어, 제1 조감도 이미지는 출력 이미지로서 설정될 수 있고, 조감도 이미지 중 다른 것(들)의 각각은 출력 이미지에 합성될 수 있다. 본 개시내용의 하나 이상의 실시형태에서, 단계 S05는 정렬된 하나의 조감도 이미지만을 출력 이미지에 합성하고, 그러므로 도 8에서의 단계 S54는 생략될 수 있다.
도 9는 본 개시내용의 하나 이상의 실시형태에 따른 도 8의 단계 S53의 예시적인 프로세스를 도시한다. 프로세스는 S531에서 시작하여 S532로 진행되어, 현재 조감도 이미지로부터의 하나의 DVS 픽셀이 출력 이미지에 합성된다. 이어서, 프로세스는 S533으로 진행하여, 현재 조감도 이미지에서의 모든 DVS 픽셀이 출력 이미지에 합성되었는지의 여부가 결정된다. 현재 조감도 이미지에서의 모든 DVS 픽셀이 출력 이미지에 합성되었다고 결정되면, 프로세스는 종료된다. 그렇지 않으면, 프로세스는 S532로 돌아가, 현재 조감도 이미지에서의 DVS 픽셀 중 하나의 다음 픽셀이 출력 이미지에 합성된다.
도 9가 도 8의 S53 단계의 예시적인 프로세스를 도시더라도, 본 개시내용은 이에 제한되지 않는다. 본 개시내용의 하나 이상의 실시형태에서, 하나의 조감도 이미지를 출력 이미지에 합성하는 단계는 적어도 하나의 정렬된 조감도 이미지의 일부를 출력 이미지에 합성하는 단계를 포함한다.
본 개시내용의 일부 실시형태에 따르면, 본 개시내용은 다음과 같이 구현될 수 있다.
항목 1: 하기를 포함하는, 주차 구역 검출 방법:
복수의 DVS 프레임을 생성하는 단계로서, 각각의 프레임은 차량에 탑재된 DVS로부터 수신된 DVS 픽셀들을 통합함으로써 생성되는, 상기 복수의 DVS 프레임을 생성하는 단계;
복수의 조감도 이미지(bird-eye view image)를 형성하기 위해, 상기 DVS 프레임 중 적어도 일부를 조감도 이미지로 변환하는 단계;
복수의 정렬된 조감도 이미지를 형성하기 위해, 상기 조감도 이미지의 캡처 시에 차량의 상대적인 위치 및/또는 배향에 따라서 상기 복수의 조감도 이미지를 정렬하는 단계;
상기 복수의 정렬된 조감도 이미지를 하나의 출력 이미지에 합성하는(combing) 단계.
항목 2: 항목 1에 있어서, 상기 출력 이미지가 이용 가능한 주차 구역을 포함하는지 아닌지의 여부를 검출하는 단계를 더 포함하는, 방법.
항목 3: 항목 1 내지 2 중 어느 하나에 있어서, 상기 DVS 프레임 중 적어도 일부는 주차 구역의 적어도 일부의 이미지를 포함하는, 방법.
항목 4: 항목 1 내지 3 중 어느 하나에 있어서, 상기 출력 이미지는 전체 주차 구역의 이미지를 포함하는, 방법.
항목 5: 항목 1 내지 4 중 어느 하나에 있어서, 상기 조감도 이미지를 정렬하는 단계는 상기 조감도 이미지를 병진 및/또는 회전시키는 것을 포함하는, 방법.
항목 6: 항목 1 내지 5 중 어느 하나에 있어서, 상기 정렬된 조감도 이미지를 하나의 출력 이미지에 합성하는 단계는 상기 정렬된 조감도 이미지의 각각을 하나씩 상기 출력 이미지에 합성하는 것을 포함하는, 방법.
항목 7: 항목 1 내지 6 중 어느 하나에 있어서, 상기 정렬된 조감도 이미지를 상기 출력 이미지에 합성하는 단계는 정렬된 조감도 이미지에서의 각각의 DVS 픽셀을 상기 출력 이미지에 합성하는 것을 포함하는, 방법.
항목 8: 항목 1 내지 7 중 어느 하나에 있어서, 상기 출력 이미지에서의 각각의 픽셀을 배경색으로 초기화하는 단계를 더 포함하는, 방법.
항목 9: 항목 1 내지 8 중 어느 하나에 있어서, 상기 DVS 픽셀을 출력 이미지에 합성하는 것은 상기 DVS 픽셀의 그레이 레벨을 상기 출력 이미지에서의 대응하는 픽셀에 복사하는 것을 포함하는, 방법.
항목 10: 항목 1 내지 9 중 어느 하나에 있어서, 상기 출력 이미지의 적어도 일부에서의 DVS 픽셀의 수 또는 밀도에 기초하여, 합성될 상기 정렬된 조감도 이미지 사이의 시간 간격을 조정하는 단계를 더 포함하는, 방법.
항목 11: 항목 1 내지 10 중 어느 하나에 있어서, 상기 시간 간격은 상기 출력 이미지 내 합성된 영역에서의 DVS 픽셀의 수 또는 밀도에 기초하여 조정되는, 방법.
항목 12: 항목 1 내지 11 중 어느 하나에 있어서, 상기 복수의 정렬된 조감도 이미지를 하나의 출력 이미지에 합성하는 단계는 적어도 하나의 정렬된 조감도 이미지의 일부를 상기 출력 이미지에 합성하는 것을 포함하는, 방법.
항목 13: 항목 1 내지 12 중 어느 하나에 있어서, 상기 복수의 조감도 이미지는 적어도 부분적으로 서로 중첩하는, 방법.
항목 14: 하기를 포함하는, 주차 구역 검출 시스템:
DVS 픽셀을 캡처하도록 구성된, 차량에 탑재된 DVS;
항목 1 내지 13 중 어느 하나의 방법을 수행하도록 구성된 프로세서.
항목 15: 항목 14의 주차 구역 검출 시스템을 포함하는, 차량.
항목 16: 항목 1 내지 13 중 어느 하나의 방법을 수행하도록 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램을 저장하는, 컴퓨터 판독 가능 저장 매체.
본 개시내용의 양태는 완전한 하드웨어 실시형태, 완전한 소프트웨어 실시형태(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함함) 또는 소프트웨어와 일반적으로 본 명세서에서 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 하드웨어 양태를 조합한 실시형태의 형태를 취할 수 있다.
본 개시내용은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서가 본 개시내용의 양태를 수행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령어를 가진 컴퓨터 판독 가능 저장 매체(또는 매체)를 포함할 수 있다.
컴퓨터 판독 가능 저장 매체는 명령어 실행 디바이스에 의해 사용되는 명령어를 보유하고 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전자 저장 디바이스, 자기 저장 디바이스, 광학 저장 디바이스, 전자기 저장 디바이스, 반도체 저장 디바이스 또는 이들의 임의의 적절한 조합일 수 있지만 이에 제한되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예의 비포괄적인 목록은 다음과 같은 것을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능 프로그래밍 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 기계적으로 인코딩된 디바이스, 예컨대, 펀치 카드 또는 지침이 기록된 그루브의 융기 구조, 및 전술한 항목의 적절한 조합. 본 명세서에 사용된 컴퓨터 판독 가능 저장 매체는 라디오파 또는 기타 자유롭게 전파되는 전자기파, 도파관을 통해 전파되는 전자기파, 또는 기타 전송 매체(예를 들어, 광섬유 케이블을 통해 전송도는 광 펄스) 또는 전선을 통해 전송되는 전기 신호와 같은 일시적인 신호 자체로서 해석되어서는 안 된다.
이들 컴퓨터 판독 가능 프로그램 명령어는, 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서를 통해 실행되는 명령어가 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/행위를 구현하기 위한 수단을 생성하도록, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 기계를 생산하기 위한 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공될 수 있다. 이들 컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터 판독 가능 저장 매체에 저장되어, 명령어가 저장된 컴퓨터 판독 가능 저장 매체가 흐름도 및/또는 블록도 블록 또는 블록들에 명시된 기능/동작의 양태를 구현하는 명령어를 포함하는 제조품을 포함하기 위해 특정 방식으로 기능하도록 컴퓨터, 프로그래밍 가능한 데이터 처리 장치 및/또는 기타 디바이스에 지시할 수 있다.
도면에서의 흐름도 및 블록도는 본 개시내용의 다양한 실시형태에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각각의 블록은 지정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함하는 명령어의 모듈, 세그먼트 또는 부분을 나타낼 수 있다. 일부 대안적인 구현예에서, 블록에서 언급된 기능은 도면에서 언급된 순서를 벗어나 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록은 실제로는 실질적으로 동시에 실행될 수 있거나, 또는 블록들은 관련된 기능에 따라 때때로 역순으로 실행될 수 있다. 블록도 및/또는 흐름도 예시의 각각의 블록과, 블록도 및/또는 흐름도 예시에서의 블록의 조합은 지정된 기능이나 동작을 수행하거나 또는 특수 목적의 하드웨어와 컴퓨터 명령어의 조합을 수행하는 특수 목적의 하드웨어 기반 시스템에 의해 구현될 수 있다는 점도 유의해야 할 것이다.
시스템 및 방법은 본 개시내용의 세부사항을 이해하는 데 도움이 되도록 일반적인 용어로 설명되었다. 일부 예에서, 널리 공지된 구조, 재료 및/또는 동작은 본 개시내용의 양태를 모호하게 하는 것을 피하기 위해 구체적으로 도시되거나 자세히 설명되지 않았다. 다른 예에서, 본 개시내용에 대한 철저한 이해를 제공하기 위해 특정 세부 사항이 제공되었다. 당업자는 본 개시내용이 그 사상이나 본질적인 특성을 벗어남이 없이 예를 들어 특정 시스템, 장치, 상황, 재료 또는 구성요소에 적응하기 위해 다른 특정 형태로 구현될 수 있다는 것을 인식할 것이다. 그러므로, 본 명세서에서의 개시내용 및 기술은 설명을 위한 것이지, 본 개시내용의 범위를 제한하려는 의도는 아니다. 따라서, 본 개시내용은 첨부된 청구범위 및 그 등가물을 고려하지 않고 제한되어서는 안 된다.

Claims (16)

  1. 주차 구역 검출(parking slot detection) 방법으로서,
    복수의 DVS 프레임을 생성하는 단계로서, 각각의 프레임은 차량에 탑재된 DVS로부터 수신된 DVS 픽셀들을 통합함으로써 생성되는, 상기 복수의 DVS 프레임을 생성하는 단계;
    복수의 조감도 이미지(bird-eye view image)를 형성하기 위해, 상기 DVS 프레임 중 적어도 일부를 조감도 이미지로 변환하는 단계;
    복수의 정렬된 조감도 이미지를 형성하기 위해, 상기 조감도 이미지의 캡처 시에 차량의 상대적인 위치 및/또는 배향에 따라서 상기 복수의 조감도 이미지를 정렬하는 단계;
    상기 복수의 정렬된 조감도 이미지를 하나의 출력 이미지에 합성하는(combing) 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 출력 이미지가 이용 가능한 주차 구역을 포함하는지 아닌지의 여부를 검출하는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서, 상기 DVS 프레임 중 적어도 일부는 주차 구역의 적어도 일부의 이미지를 포함하는, 방법.
  4. 제3항에 있어서, 상기 출력 이미지는 전체 주차 구역의 이미지를 포함하는, 방법.
  5. 제1항에 있어서, 상기 조감도 이미지를 정렬하는 단계는 상기 조감도 이미지를 병진 및/또는 회전시키는 것을 포함하는, 방법.
  6. 제1항에 있어서, 상기 정렬된 조감도 이미지를 하나의 출력 이미지에 합성하는 단계는 상기 정렬된 조감도 이미지의 각각을 하나씩 상기 출력 이미지에 합성하는 것을 포함하는, 방법.
  7. 제6항에 있어서, 상기 정렬된 조감도 이미지를 상기 출력 이미지에 합성하는 단계는 정렬된 조감도 이미지에서의 각각의 DVS 픽셀을 상기 출력 이미지에 합성하는 것을 포함하는, 방법.
  8. 제7항에 있어서, 상기 출력 이미지에서의 각각의 픽셀을 배경색으로 초기화하는 단계를 더 포함하는, 방법.
  9. 제7항에 있어서, 상기 DVS 픽셀을 상기 출력 이미지에 합성하는 것은 상기 DVS 픽셀의 그레이 레벨을 상기 출력 이미지에서의 대응하는 픽셀에 복사하는 것을 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 출력 이미지의 적어도 일부에서의 DVS 픽셀의 수 또는 밀도에 기초하여, 합성될 상기 정렬된 조감도 이미지 사이의 시간 간격을 조정하는 단계를 더 포함하는, 방법.
  11. 제10항에 있어서, 상기 시간 간격은 상기 출력 이미지 내 합성된 영역에서의 DVS 픽셀의 수 또는 밀도에 기초하여 조정되는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 복수의 정렬된 조감도 이미지를 하나의 출력 이미지에 합성하는 단계는 적어도 하나의 정렬된 조감도 이미지의 일부를 상기 출력 이미지에 합성하는 것을 포함하는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 복수의 조감도 이미지는 적어도 부분적으로 서로 중첩하는, 방법.
  14. 주차 구역 검출 시스템으로서,
    DVS 픽셀을 캡처하도록 구성된, 차량에 탑재된 DVS;
    제1항 내지 제13항 중 어느 한 항의 방법을 수행하도록 구성된 프로세서
    를 포함하는, 주차 구역 검출 시스템.
  15. 제14항의 주차 구역 검출 시스템을 포함하는, 차량.
  16. 제1항 내지 제13항 중 어느 한 항의 방법을 수행하도록 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램을 저장하는, 컴퓨터 판독 가능 저장 매체.
KR1020237043561A 2021-07-01 2021-07-01 주차 구역 검출 방법 및 시스템 KR20240027600A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/104032 WO2023272685A1 (en) 2021-07-01 2021-07-01 Method and system for parking slot detection

Publications (1)

Publication Number Publication Date
KR20240027600A true KR20240027600A (ko) 2024-03-04

Family

ID=84692196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237043561A KR20240027600A (ko) 2021-07-01 2021-07-01 주차 구역 검출 방법 및 시스템

Country Status (4)

Country Link
EP (1) EP4364085A1 (ko)
KR (1) KR20240027600A (ko)
CN (1) CN117677989A (ko)
WO (1) WO2023272685A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201100279A (en) * 2009-06-23 2011-01-01 Automotive Res & Testing Ct Composite-image-type parking auxiliary system
US10356337B2 (en) * 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
CN109697860A (zh) * 2017-10-20 2019-04-30 上海欧菲智能车联科技有限公司 车位检测和跟踪系统及方法及车辆
EP3624001B1 (en) * 2018-09-13 2024-05-01 Volvo Car Corporation Methods and systems for parking line marker detection and pairing and parking spot detection and classification
CN110971792B (zh) * 2018-09-29 2021-08-13 华为技术有限公司 一种动态视觉传感器

Also Published As

Publication number Publication date
CN117677989A (zh) 2024-03-08
WO2023272685A1 (en) 2023-01-05
EP4364085A1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
CA2680646C (en) Moving object noise elimination processing device and moving object noise elimination processing program
JP4258539B2 (ja) 複数画角カメラ
You et al. Adherent raindrop detection and removal in video
US8050459B2 (en) System and method for detecting pedestrians
O'malley et al. Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
JP5071198B2 (ja) 信号機認識装置,信号機認識方法および信号機認識プログラム
US10106126B2 (en) Apparatus and method for detecting precipitation for a motor vehicle
JP7072641B2 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
CN103770708A (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
JP5895448B2 (ja) 車両認識装置、車両認識方法、プログラム
JP2001023091A (ja) 車両の画像表示装置
KR20240027600A (ko) 주차 구역 검출 방법 및 시스템
JP2019001325A (ja) 車載用撮像装置
JP2021113767A (ja) 障害物検知装置、及び障害物検知システム
JP2007058282A (ja) 画像認識処理装置
US20240320989A1 (en) Method and system for parking slot detection
US20220014674A1 (en) Imaging system and image processing apparatus
CN116208721A (zh) 一种低光照环境下车辆抓拍方法、装置、介质及电子设备
JP2009077022A (ja) 運転支援システム及び車両
JP2006317193A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2005284471A (ja) 画像処理装置及び画像処理方法
JP4437532B2 (ja) 撮像装置及び画像処理方法
Bertozzi et al. Obstacle detection for start-inhibit and low speed driving
JP2876493B2 (ja) 車両動態計測方法

Legal Events

Date Code Title Description
A201 Request for examination