KR101728670B1 - 카메라 이물질 부착 확인 기능을 구비한 avm 시스템 및 카메라 이물질 부착 확인 방법 - Google Patents

Abstract

카메라 이물질 부착 확인 기능을 구비한 AVM 시스템 및 카메라 이물질 부착 확인 방법이 개시된다. AVM 시스템은, 차량에 구비된 복수의 카메라로부터 실시간 각각 입력되는 영상 신호를 각각의 카메라 영상 데이터로 저장부에 저장하는 영상 입력부; 상기 AVM 시스템이 구동 개시되어 최초 입력된 카메라 영상 데이터에 해당하는 픽셀들의 명도값을 평균하여 명도 기준값을 산출하고, 저장부에 미리 저장된 원시 명도 기준값과 비교하여 미리 지정된 제1 임계값 이상의 차이가 존재하면 상기 최초 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하여 상기 카메라에 이물질이 부착된 상태인지 여부에 대한 판단 정보를 생성하여 출력하는 영상 분석부; 및 상기 판단 정보를 출력하는 디스플레이부를 포함한다.

Description

카메라 이물질 부착 확인 기능을 구비한 AVM 시스템 및 카메라 이물질 부착 확인 방법{AVM system having a function of identifying foreign material on camera and method thereof}

본 발명은 카메라 이물질 부착 확인 기능을 구비한 AVM 시스템 및 카메라 이물질 부착 확인 방법에 관한 것이다.

일반적으로, 차량 내부에 탑승한 운전자의 시계는 주로 전방을 향하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당부분 가려지기 때문에 매우 한정된 시계를 가진다.

이러한 문제를 해결하기 위하여, 통상적으로 운전자의 한정된 범위의 시계를 보완하기 위한 사이드 미러 등의 시계 보조수단이 사용되고 있으며, 최근에는 차량의 외부 영상을 촬영하여 운전자에게 제공하는 카메라 수단을 포함하는 기술들이 차량에 적용되고 있는 추세이다.

그 중에서 현재 차량 주위에 복수의 카메라를 설치하여 차량 주변의 360°전방향의 영상을 보여주는 어라운드 뷰 모니터링(AVM, Around View Monitoring)(이하, AVM이라 칭함) 시스템이 있다. AVM 시스템은 차량 주변을 촬영하는 복수의 카메라를 통하여 촬상된 차량 주변의 영상을 조합하여 운전자가 하늘에서 차량을 바라보는 듯한 탑 뷰(Top View) 이미지를 제공함으로써, 차량 주변 장애물을 표시하고 사각지대를 해소할 수 있게 한다.

도 1에는 AVM 시스템의 개념이 개략적으로 도시되어 있다.

도 1을 참조하면, 차량(100)의 전후방, 좌우측면에는 각각 카메라(110a, 110b, 110c, 110d)(이하 110으로 통칭함)가 설치된다. 각 카메라들(110) 각각은 차량(100)의 전후방 및 좌우측면의 영상(A, B, C, D)를 촬영하고, 촬영된 영상을 차량(100)을 상방향에서 내려다보는 형태의 영상(도 1의 (b) 참조)으로 재구성하여 차량(100)에 장착된 각종 디스플레이 장치에 출력한다.

재구성된 AVM 영상은 차량의 전후방, 좌우측면에 설치된 카메라(110)에 의해 지면에 수평 방향으로 촬영된 영상을 지면에 수직 방향인 형태의 영상으로 변환시켜 생성되는 것으로, 변환 방법은 본 발명의 기술적 사상과는 거리가 있으므로 이에 대한 상세한 설명은 생략한다.

이와 같이, AVM 영상의 화질은 AVM 기능 향상에 절대적으로 중요한 요인이 되므로, 폭설, 우천 또는 AVM 카메라에 이물질(예를 들어, 먼지, 얼룩 등)이 부착된 경우에는 영상 판정을 제대로 할 수 없어 불량한 영상으로 합성될 우려가 있다. 참고로, 도 2의 (a)와 (b)에 는 우천시의 전방 카메라 영상과 우천시 합성된 AVM 영상이 예시되어 있다.

그러나 폭설이나 우천시와 달리, AVM 시스템용 카메라에 이물질이 묻은 경우로서 사용자가 직접 이물질을 제거하지 않는다면 AVM 영상은 깨지거나 알아볼 수 없게 되고, 경우에 따라서는 시스템 자체적으로 오류 발생 상황으로 처리하는 문제점이 있다.

또한, 이 경우 사용자가 영상을 육안으로 확인하여 카메라에 묻은 이물질의 존재를 판단해야 하지만, 이물질이 작은 경우 또는 육안으로 확인하기 어려운 경우에는 이물질의 존재 여부를 판별하기 어려운 문제점이 있다.

그러나 종래기술에 따른 AVM 시스템들은 복수의 카메라에 의해 촬영된 영상을 효과적으로 합성하여 운전자에게 차량 주변의 상황을 제시하는 측면에 치중할 뿐 AVM 영상을 합성하기 위한 개별 카메라가 생성하는 영상의 질, 즉 이물질 부착 여부에 관해서는 고려하지 않는 한계가 있었다.

한국공개특허 제2015-0041334호(AVM 시스템의 이미지 처리 방법)

본 발명은 차량에 구비된 AVM 시스템에 의해 카메라에 묻은 이물질의 존재가 판별될 수 있어 운전자의 편의가 증대되고, 잘못된 AVM 영상으로 인한 타 제어 시스템(예를 들어 주차 제어 시스템 등)의 오동작이 방지될 수 있도록 하는 카메라 이물질 부착 확인 기능을 구비한 AVM 시스템 및 카메라 이물질 부착 확인 방법을 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, AVM(Around View Monitoring) 시스템에 있어서, 차량에 구비된 복수의 카메라로부터 실시간 각각 입력되는 영상 신호를 각각의 카메라 영상 데이터로 저장부에 저장하는 영상 입력부; 상기 AVM 시스템이 구동 개시되어 최초 입력된 카메라 영상 데이터에 해당하는 픽셀들의 명도값을 평균하여 명도 기준값을 산출하고, 저장부에 미리 저장된 원시 명도 기준값과 비교하여 미리 지정된 제1 임계값 이상의 차이가 존재하면 상기 최초 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하여 상기 카메라에 이물질이 부착된 상태인지 여부에 대한 판단 정보를 생성하여 출력하는 영상 분석부; 및 상기 판단 정보를 출력하는 디스플레이부를 포함하는 AVM 시스템이 제공된다.

상기 영상 분석부는 상기 판단 정보를 생성하기 위하여, (a) 상기 AVM 시스템이 구동 개시되면, 각 카메라에 상응하여 최초 입력된 카메라 영상 데이터에 해당하는 픽셀들의 명도값을 평균하여 명도 기준값을 각각 산출하는 단계; (b) 미리 저장된 상기 원시 명도 기준값과 상기 산출된 명도 기준값을 비교하는 단계; (c) 상기 원시 명도 기준값과 상기 명도 기준값이 미리 지정된 제1 임계값 이상의 차이가 존재하면, 상기 최초 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하는 단계; (d) 상기 대상 영상에 해당되는 카메라 영상 데이터에 상응하는 프레임의 각 픽셀의 명도값을 이용하여 베지어 곡선을 생성하고, 생성된 베지어 곡선과 미리 지정된 제2 임계값 이상의 차이를 가지는 픽셀을 검출하는 단계; (e) 상기 분석 대상 영상 데이터에 상응하는 프레임에서 엣지(edge) 검출을 수행하는 단계; 및 (f) 상기 검출된 픽셀이 상기 검출된 엣지 상에 위치하지 않은 경우, 상기 분석 대상 영상 데이터에 상응하는 카메라에 이물질이 부착되었음을 나타내는 상기 판단 정보를 생성하는 단계를 수행할 수 있다.

상기 영상 분석부는, (g) 상기 검출된 픽셀이 상기 검출된 엣지 상에 위치하는 경우, 상기 엣지를 추종하여 이동되는 nxn 크기의 윈도우를 형성하는 단계; (h) 상기 검출된 픽셀의 위치에 상기 윈도우를 위치시킨 상태에서, 미리 지정된 제3 임계값 이상의 명도값을 가지는 픽셀의 수를 산출하는 단계; 및 (i) 상기 산출된 픽셀의 수가 미리 지정된 판별 조건을 만족하는 경우라면, 상기 분석 대상 영상 데이터에 상응하는 카메라에 이물질이 부착되었음을 나타내는 상기 판단 정보를 생성하는 단계를 더 수행할 수 있다. 여기서, 상기 n은 5이거나 5이상인 임의의 홀수일 수 있다.

상기 영상 분석부는, 상기 단계 (c)에서 상기 원시 명도 기준값과 상기 명도 기준값이 미리 지정된 제1 임계값 이상의 차이가 존재하지 않으면, 후속하여 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하여 상기 단계 (d) 내지 상기 단계 (i)를 수행할 수 있다.

본 발명의 다른 측면에 따르면, AVM(Around View Monitoring) 시스템에서 수행되는 카메라 이물질 부착 확인 방법에 있어서, (a) 상기 AVM 시스템이 구동 개시되면, 각 카메라에 상응하여 최초 입력된 카메라 영상 데이터에 해당하는 픽셀들의 명도값을 평균하여 명도 기준값을 각각 산출하는 단계; (b) 미리 저장된 상기 원시 명도 기준값과 상기 산출된 명도 기준값을 비교하는 단계; (c) 상기 원시 명도 기준값과 상기 명도 기준값이 미리 지정된 제1 임계값 이상의 차이가 존재하면, 상기 최초 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하는 단계; (d) 상기 대상 영상에 해당되는 카메라 영상 데이터에 상응하는 프레임의 각 픽셀의 명도값을 이용하여 베지어 곡선을 생성하고, 생성된 베지어 곡선과 미리 지정된 제2 임계값 이상의 차이를 가지는 픽셀을 검출하는 단계; (e) 상기 분석 대상 영상 데이터에 상응하는 프레임에서 엣지(edge) 검출을 수행하는 단계; 및 (f) 상기 검출된 픽셀이 상기 검출된 엣지 상에 위치하지 않은 경우, 상기 분석 대상 영상 데이터에 상응하는 카메라에 이물질이 부착되었음을 나타내는 상기 판단 정보를 생성하는 단계를 포함하되, 상기 판단 정보는 디스플레이부를 통해 출력되는 것을 특징으로 하는 카메라 이물질 부착 확인 방법이 제공된다.

상기 카메라 이물질 부착 확인 방법은, (g) 상기 검출된 픽셀이 상기 검출된 엣지 상에 위치하는 경우, 상기 엣지를 추종하여 이동되는 nxn 크기의 윈도우를 형성하는 단계; (h) 상기 검출된 픽셀의 위치에 상기 윈도우를 위치시킨 상태에서, 미리 지정된 제3 임계값 이상의 명도값을 가지는 픽셀의 수를 산출하는 단계; 및 (i) 상기 산출된 픽셀의 수가 미리 지정된 판별 조건을 만족하는 경우라면, 상기 분석 대상 영상 데이터에 상응하는 카메라에 이물질이 부착되었음을 나타내는 상기 판단 정보를 생성하는 단계를 더 포함하되, 상기 n은 5이거나 5이상인 임의의 홀수일 수 있다.

상기 카메라 이물질 부착 확인 방법은, 상기 단계 (c)에서 상기 원시 명도 기준값과 상기 명도 기준값이 미리 지정된 제1 임계값 이상의 차이가 존재하지 않으면, 후속하여 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하여 상기 단계 (d) 내지 상기 단계 (i)가 수행될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 차량에 구비된 AVM 시스템에 의해 카메라에 묻은 이물질의 존재가 판별될 수 있어 운전자의 편의가 증대되고, 잘못된 AVM 영상으로 인한 타 제어 시스템(예를 들어 주차 제어 시스템 등)의 오동작이 방지될 수 있는 효과가 있다.

도 1은 AVM(Around View Monitoring) 시스템의 개념을 개략적으로 나타낸 도면.
도 2는 우천시의 카메라 입력 영상 및 AVM 영상을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 AVM 시스템의 구성을 개략적으로 나타낸 블록 구성도.
도 4 및 도 5는 본 발명의 일 실시예에 따른 AVM 시스템의 카메라 이물질 부착 확인 방법을 나타낸 순서도.
도 6은 본 발명의 일 실시예에 따른 이물질 부착 여부의 판별 과정을 설명하기 위한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 3은 본 발명의 일 실시예에 따른 AVM 시스템의 구성을 개략적으로 나타낸 블록 구성도이다.

도 3을 참조하면, AVM 시스템은 영상 입력부(310), 저장부(315), 영상 합성부(320), 영상 분석부(325) 및 디스플레이부(330)를 포함할 수 있다. 도시되지는 않았으나, AVM 시스템에 포함된 하나 이상의 구성 요소의 동작을 제어하기 위한 제어부가 더 포함될 수도 있다.

영상 입력부(310)는 차량(100)의 복수 개소(예를 들어, 전방, 후방, 좌측 및 우측을 각각 촬영하도록 지정된 위치)에 각각 설치된 카메라(110)로부터 촬상되어 입력되는 각 카메라 영상 신호를 각각의 카메라 영상 데이터로 생성하여 저장부(315)에 저장한다. 여기서, 카메라(110)는 적은 수량으로 차량 주변 환경을 촬상할 수 있도록 하기 위해 광각 카메라로 구현될 수 있다.

저장부(315)에는 예를 들어 AVM 시스템의 운용 프로그램, 영상 입력부(310)에 의해 생성된 카메라 영상 데이터, 후술될 영상 합성부(320)에 의해 합성 처리된 AVM 영상 데이터, 후술될 영상 분석부(325)에 의해 생성된 명도 기준값 정보, 영상 분석부(325)의 영상 분석시 이용될 복수의 임계값 정보, 영상 분석부(325)에 의해 생성된 판단 정보 등이 저장될 수 있다. 저장부(315)는 데이터를 영구 저장하는 영구 저장 메모리와 동작시 필요한 데이터를 임시 저장하여 운용하는 임시 저장 메모리로 분리하여 운용될 수 있다.

영상 합성부(320)는 저장부(315)에 저장된 카메라 영상 데이터들을 이용하여 차량의 주변 환경을 차량의 위쪽에서 내려다보는 듯한 탑뷰(Top View) 이미지인 AVM 영상 데이터로 합성한다. 영상 합성부(320)에 의해 합성된 AVM 영상 데이터는 디스플레이부(330)를 통해 출력될 것이다.

영상 합성부(320)가 AVM 영상 정보, 즉 예를 들어 차량의 전후방, 좌우측면에 각각 설치된 카메라들(110)에 의해 지면에 수평 방향으로 촬영된 영상을 이용하여 지면에 수직 방향인 형태의 영상으로 변환시켜 생성하는 과정은 본 발명의 기술적 사상과는 거리가 있고, 또한 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.

영상 분석부(325)는 각 카메라(110)에 상응하는 카메라 영상 데이터를 이용하여 각 카메라(110)에 이물질(예를 들어, 먼지, 얼룩 등)이 부착된 상태인지 여부를 판단하고, 각 카메라(110)의 이물질 부착 여부에 대한 판단 정보를 생성하여 디스플레이부(330)를 통해 디스플레이되도록 한다.

즉, 차량이 시동 온(On)되어 AVM 시스템이 구동 개시된 이후 각 카메라(110)로부터 최초 입력된 영상 데이터를 이용하여 각 카메라(110)에 대한 명도 기준값을 산출한다. 여기서, 명도 기준값은 AVM 시스템이 정상 동작되기 이전에(예를 들어, AVM 시스템의 구동 개시 이전에, AVM 영상 데이터가 디스플레이부를 통해 디스플레이되기 이전에 등) 카메라에 이미 이물질이 부착된 상태를 판별하기 위해 이용되는 정보로서, 산출된 명도 기준값을 공장 출하시 해당 카메라(110)에 대해 측정된 원시 명도 기준값과 대비함으로써 AVM 시스템의 구동 개시 시점부터 카메라에 이미 이물질이 부착되어 있는지 확인될 수 있다.

만일 AVM 시스템의 구동 개시 시점부터 이미 카메라에 이물질이 부착된 상태로 확인된다면, 최초 입력된 영상 데이터를 대상 영상으로 하여 카메라의 어느 부위에 이물질이 부착되었는지에 관한 판별 처리를 수행한다.

그러나 만일 AVM 시스템의 구동 개시 시점에는 카메라에 이물질이 부착된 상태가 아닌 것으로 확인된다면, 후속하여 입력되는 영상 데이터를 대상 영상으로 하여 카메라의 어느 부위에 이물질이 부착되었는지에 관한 판별 처리를 수행한다.

AVM 영상 데이터를 생성하기 위해 각 카메라(110)로부터 입력된 카메라 영상 데이터로서 대상 영상으로 지정된 카메라 영상 데이터를 이용하여, 영상 분석부(325)는 카메라 영상 데이터의 각 픽셀의 명도값을 순차적으로 나열하여 베지에 곡선(Bezier Curve)을 생성한다. 베지에 곡선은 베지에 알고리즘에 의해 생성되며, 베지에 알고리즘은 n개의 점으로부터 n-1차 곡선을 얻기 위한 것이다. 대표적으로 Mid-point 방식과 B-spline 방식이 있다.

이후 영상 분석부(325)는 각 픽셀의 차이값과 베지에 곡선간의 수직 거리(예를 들어, 수치적 이격 간격값)가 미리 지정된 임계값 이상인 픽셀을 검출하고, 검출된 임계값 이상의 픽셀이 카메라에 이물질이 부착된 것으로 판단하였는지 여부에 대한 판단 정보를 생성하여 디스플레이부(330)를 통해 출력한다.

전술한 영상 분석부(325)의 동작에 관해서는 이후 도 4 내지 도 6을 참조하여 보다 상세히 설명한다.

도 4 및 도 5는 본 발명의 일 실시예에 따른 AVM 시스템의 카메라 이물질 부착 확인 방법을 나타낸 순서도이고, 도 6은 본 발명의 일 실시예에 따른 이물질 부착 여부의 판별 과정을 설명하기 위한 도면이다. 이하 설명되는 카메라 이물질 부착 확인 과정은 각각의 카메라(110)에 대해 개별적으로 수행될 수 있다.

도 4를 참조하면, 단계 410에서 AVM 시스템의 영상 분석부(325)는 차량이 시동 온(On)되어 AVM 시스템이 구동 개시되면, 각 카메라(110)로부터 최초 입력된 영상 데이터를 이용하여 각 카메라(110)에 대한 명도 기준값을 산출한다.

명도 기준값은 최초 입력된 영상 데이터에 상응하는 프레임(frame)의 각 픽셀들에 대한 RGB 영상이 YCbCr 색 모델로 변환된 Y(Luminance) 정보들을 이용하여 산출되며, 예를 들어 해당 프레임의 각 픽셀들의 Y 정보(즉, 명도값)가 평균된 평균값일 수 있다.

즉, 본 실시예에 따른 카메라 이물질 부착 확인 과정은 AVM 시스템이 동작되는 환경(예를 들어, 차량이 시속 30km 이하로 주행)에서 수행될 수 있으며, 차량(100)의 운행을 위해 시동 온 되는 시점부터 그 과정이 개시될 수 있다.

여기서, 영상 분석부(325)의 동작과 별개로, 단계 410 및 후술될 단계 420 등의 단계에서 입력되는 카메라 영상 데이터를 이용하여 영상 합성부(320)가 디스플레이부(330)를 통해 출력될 AVM 영상을 생성할 수 있음은 당연하다.

단계 420에서, 영상 분석부(325)는 단계 410에서 산출된 명도 기준값과 저장부(315)에 미리 저장된 원시 명도 기준값을 비교한다. 여기서, 원시 명도 기준값은 각 카메라(110)의 공장 출하시 해당 카메라(110)에 대해 측정된 명도 기준값일 수 있다.

단계 430에서 영상 분석부(325)는 명도 기준값과 원시 명도 기준값 간에 미리 지정된 제1 임계값 이상의 차이가 존재하는지 판단한다. 여기서, 제1 임계값은 예를 들어 각 명도 기준값들의 수치적 차이 또는 각 명도 기준값의 비율적 차이 등으로 미리 지정될 수 있다.

단계 430의 판단에 의해, 명도 기준값과 원시 명도 기준값 간에 미리 지정된 제1 임계값 이상의 차이가 존재한다면(즉, AVM 시스템의 구동 개시 시점부터 이미 카메라에 이물질이 부착된 상태로 판단된다면), 영상 분석부(325)는 단계 440으로 진행하여 최초 입력된 카메라 영상 데이터를 대상 영상으로 하여 상응하는 카메라(110)의 어느 부위에 이물질이 부착되었는지에 관한 판별 처리를 수행한다.

그러나 명도 기준값과 원시 명도 기준값 간에 미리 지정된 제1 임계값 이상의 차이가 존재하지 않는다면(즉, AVM 시스템의 구동 개시 시점에는 카메라에 이물질이 부착된 상태가 아닌 것으로 판단된다면), 영상 분석부(325)는 단계 450으로 진행하여 후속하여 입력된 카메라 영상 데이터를 대상 영상으로 하여 상응하는 카메라(110)의 어느 부위에 이물질이 부착되었는지에 관한 판별 처리를 수행한다.

전술한 단계 440과 단계 450은 카메라(110)의 어느 부위에 이물질이 부착되었는지를 판단하기 위한 것으로서, 판별 처리를 위한 대상 영상을 어떤 시점에서 입력된 카메라 영상 데이터로 지정할 것인지의 차이가 있을 뿐, 각 단계에서 처리하는 과정은 동일하다.

따라서, 이하에서는 도 5를 참조하여, 대상 영상을 이용하여 카메라(110)의 어떤 부위에 이물질이 부착되었는지 판별하는 과정에 대해 설명한다.

도 5를 참조하면, 단계 510에서, 영상 분석부(325)는 대상 영상으로 지정된 각 카메라 영상 데이터에 상응하는 프레임의 각 픽셀들의 명도값(즉, Y 정보)을 이용하여 베지어 곡선을 생성한다. 베지어 곡선의 생성을 위해 예를 들어, 각 픽셀들은 그 배치 순서를 고려한 나열 순서값과 산출된 차이값을 좌표 정보로 부여받을 수 있을 것이다.

단계 520에서 영상 분석부(325)는 각 픽셀의 차이값과 베지에 곡선간의 수직 거리(예를 들어, 수치적 이격 간격값)가 미리 지정된 제2 임계값 이상인 픽셀이 존재하는지 여부를 판단한다. 여기서, 제2 임계값은 확률적, 통계적 및/또는 실험적 분석에 의해 다양하게 지정될 수 있을 것이다.

만일 제2 임계값 이상인 픽셀이 존재하지 않으면, 차량(100)에 구비된 카메라들(110) 각각에 이물질이 부착되지 않은 것으로 판단하고, 후속하여 입력되는 카메라 영상 데이터를 이용한 분석을 수행하기 위해 단계 510으로 다시 진행한다. 이때, 카메라(110)에 이물질이 부착되었는지 여부의 판단은 매 프레임마다 반복되도록 설정될 수도 있으나, 미리 지정된 시간 간격마다 수행되도록 설정될 수도 있다.

그러나 만일 단계 520의 판단 결과로, 제2 임계값 이상인 픽셀이 존재하면 단계 530으로 진행하여, 영상 분석부(325)는 대상 영상으로 지정된 카메라 영상 데이터에 상응하는 프레임에서 엣지(Edge) 검출을 수행한다.

이미지인 해당 프레임에서 엣지는 영역의 경계를 나타내며, 명암비의 불연속점 혹은 픽셀 미분값의 불연속점을 의미한다. 프레임에서 엣지를 검출하는 방법은 예를 들어 소벨 필터(sobel filter), 프리윗 필터(prewitt filter), 라플라시안 필터(lapalacian filter), 가우시안 필터(Gaussian filter) 등의 필터를 이용하는 방법, 모폴로지(Morphology) 기법을 이용하는 방법 등으로 다양하며, 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.

단계 540에서, 영상 분석부(325)는 단계 520에서 제2 임계값 이상의 차이를 가지는 것으로 판단된 픽셀들 각각이 단계 530에서 검출된 엣지 상에 존재하는 픽셀인지 여부에 따라 미리 지정된 상이한 방식으로 이물질이 부착된 것에 해당되는지를 판별한다.

예를 들어, 해당 픽셀이 검출된 엣지 상에 존재하지 않는다면 영상 분석부(325)는 해당 픽셀에 상응하는 카메라(110) 상의 위치에 이물질이 부착된 것으로 판별할 수 있다.

또 다른 예로서, 만일 해당 픽셀이 엣지 상에 존재하는 픽셀이라면, 단계 530에서 검출된 엣지를 추종하여 이동되는 nxn 크기의 윈도우(610)를 형성한다(도 6의 (a) 및 (b) 참조). 여기서, n은 5이거나 5 이상인 홀수이고, 윈도우(610)의 중심 픽셀(도 6 (b)의 P)는 중심점으로서 엣지 상에 위치된다. 만일 윈도우(610) 내에서, 미리 지정된 제3 임계값 이상의 명도값을 가지므로 엣지로 판단된 픽셀이 복수로 존재하는 경우, 그 중심점은 예를 들어 가장 큰 명도값을 가지는 픽셀들을 이동 경로로 할 수 있을 것이다.

이후, 해당 픽셀이 존재하는 위치에 윈도우(610)가 위치된 상태에서, 영상 분석부(325)는 엣지로 판단되는 명도값을 가지는, 즉 미리 지정된 제3 임계값 이상의 명도값을 가지는 픽셀의 수를 산출한다.

만일 산출된 픽셀의 수가 미리 지정된 제4 임계값 이하인지, 또는 미리 지정된 수치적 범위인 제5 임계범위 내에 속하는지 등으로 지정된 판별 조건을 만족하는 경우라면 영상 분석부(325)는 해당 픽셀에 상응하는 카메라(110) 상의 위치에 이물질이 부착된 것으로 판별할 수 있다. 물론 이외에도 엣지 상에 전술한 제2 임계값 이상의 차이를 가지는 것으로 판단된 픽셀이 존재하는 경우, 해당 픽셀에 상응하는 카메라(110) 상의 위치에 이물질이 부착된 것으로 판별하기 위해 지정 가능한 조건은 다양할 것이다.

다시 도 5를 참조하면, 단계 550에서 영상 분석부(325)는 단계 540에서 제2 임계값 이상의 차이를 가지는 것으로 판단된 픽셀들 각각이 검출된 엣지 상에 존재하는 픽셀인지 여부에 따라 판별한 이물질 부착 여부에 관한 판단 정보를 생성하여 디스플레이부(330)를 통해 출력한다.

디스플레이부(330)를 통해 출력된 판단 정보는 예를 들어 차량(100)에 장착된 복수의 카메라들(110)이 모두 이물질이 부착되지 않은 상태임을 나타내거나, 하나 이상의 카메라(110)는 이물질이 부착된 상태로서 닦아내는 등의 청소 작업이 필요한 상태임을 나타내는 정보일 수 있다.

전술한 바와 같이, 본 실시예에 따른 AVM 시스템은 입력되는 카메라 영상 데이터만을 이용하여 각각의 카메라(110)에 이물질이 부착된 상태인지 여부에 관한 정보를 제공함으로써 사용자 편의와 보다 양질의 AVM 영상의 확보가 가능한 장점이 있다.

상술한 카메라 이물질 부착 확인 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체를 포함한다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 차량 110a, 110b, 110c, 110d : 카메라
310 : 영상 입력부 315 : 저장부
320 : 영상 합성부 325 : 영상 분석부
330 : 디스플레이부

Claims (8)

1. AVM(Around View Monitoring) 시스템에 있어서,
   차량에 구비된 복수의 카메라로부터 실시간 각각 입력되는 영상 신호를 각각의 카메라 영상 데이터로 저장부에 저장하는 영상 입력부;
   상기 AVM 시스템이 구동 개시되어 최초 입력된 카메라 영상 데이터에 해당하는 픽셀들의 명도값을 평균하여 명도 기준값을 산출하고, 저장부에 미리 저장된 원시 명도 기준값과 비교하여 미리 지정된 제1 임계값 이상의 차이가 존재하면 상기 최초 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하여 상기 카메라에 이물질이 부착된 상태인지 여부에 대한 판단 정보를 생성하여 출력하는 영상 분석부; 및
   상기 판단 정보를 출력하는 디스플레이부를 포함하되,
   상기 영상 분석부는 상기 판단 정보를 생성하기 위하여,
   (a) 상기 AVM 시스템이 구동 개시되면, 각 카메라에 상응하여 최초 입력된 카메라 영상 데이터에 해당하는 픽셀들의 명도값을 평균하여 명도 기준값을 각각 산출하는 단계;
   (b) 미리 저장된 상기 원시 명도 기준값과 상기 산출된 명도 기준값을 비교하는 단계;
   (c) 상기 원시 명도 기준값과 상기 명도 기준값이 미리 지정된 제1 임계값 이상의 차이가 존재하면, 상기 최초 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하는 단계;
   (d) 상기 대상 영상에 해당되는 카메라 영상 데이터인 분석 대상 영상 데이터에 상응하는 프레임의 각 픽셀의 명도값을 이용하여 베지어 곡선을 생성하고, 생성된 베지어 곡선과 미리 지정된 제2 임계값 이상의 차이를 가지는 픽셀을 검출하는 단계;
   (e) 상기 분석 대상 영상 데이터에 상응하는 프레임에서 엣지(edge) 검출을 수행하는 단계; 및
   (f) 상기 검출된 픽셀이 상기 검출된 엣지 상에 위치하지 않은 경우, 상기 분석 대상 영상 데이터에 상응하는 카메라에 이물질이 부착되었음을 나타내는 상기 판단 정보를 생성하는 단계를 수행하는 것을 특징으로 하는 AVM 시스템.
   
2. 삭제
3. 제1항에 있어서,
   (g) 상기 검출된 픽셀이 상기 검출된 엣지 상에 위치하는 경우, 상기 엣지를 추종하여 이동되는 nxn 크기의 윈도우를 형성하는 단계;
   (h) 상기 검출된 픽셀의 위치에 상기 윈도우를 위치시킨 상태에서, 미리 지정된 제3 임계값 이상의 명도값을 가지는 픽셀의 수를 산출하는 단계; 및
   (i) 상기 산출된 픽셀의 수가 미리 지정된 판별 조건을 만족하는 경우라면, 상기 분석 대상 영상 데이터에 상응하는 카메라에 이물질이 부착되었음을 나타내는 상기 판단 정보를 생성하는 단계를 더 수행하되,
   상기 n은 5이거나 5이상인 임의의 홀수인 것을 특징으로 하는 AVM 시스템.
   
4. 제3항에 있어서,
   상기 단계 (c)에서 상기 원시 명도 기준값과 상기 명도 기준값이 미리 지정된 제1 임계값 이상의 차이가 존재하지 않으면, 후속하여 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하여 상기 단계 (d) 내지 상기 단계 (i)를 수행하는 것을 특징으로 하는 AVM 시스템.
   
5. AVM(Around View Monitoring) 시스템에서 수행되는 카메라 이물질 부착 확인 방법에 있어서,
   (a) 상기 AVM 시스템이 구동 개시되면, 각 카메라에 상응하여 최초 입력된 카메라 영상 데이터에 해당하는 픽셀들의 명도값을 평균하여 명도 기준값을 각각 산출하는 단계;
   (b) 미리 저장된 원시 명도 기준값과 상기 산출된 명도 기준값을 비교하는 단계;
   (c) 상기 원시 명도 기준값과 상기 명도 기준값이 미리 지정된 제1 임계값 이상의 차이가 존재하면, 상기 최초 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하는 단계;
   (d) 상기 대상 영상에 해당되는 카메라 영상 데이터인 분석 대상 영상 데이터에 상응하는 프레임의 각 픽셀의 명도값을 이용하여 베지어 곡선을 생성하고, 생성된 베지어 곡선과 미리 지정된 제2 임계값 이상의 차이를 가지는 픽셀을 검출하는 단계;
   (e) 상기 분석 대상 영상 데이터에 상응하는 프레임에서 엣지(edge) 검출을 수행하는 단계; 및
   (f) 상기 검출된 픽셀이 상기 검출된 엣지 상에 위치하지 않은 경우, 상기 분석 대상 영상 데이터에 상응하는 카메라에 이물질이 부착되었음을 나타내는 판단 정보를 생성하는 단계를 포함하되,
   상기 판단 정보는 디스플레이부를 통해 출력되는 것을 특징으로 하는 카메라 이물질 부착 확인 방법.
   
6. 제5항에 있어서,
   (g) 상기 검출된 픽셀이 상기 검출된 엣지 상에 위치하는 경우, 상기 엣지를 추종하여 이동되는 nxn 크기의 윈도우를 형성하는 단계;
   (h) 상기 검출된 픽셀의 위치에 상기 윈도우를 위치시킨 상태에서, 미리 지정된 제3 임계값 이상의 명도값을 가지는 픽셀의 수를 산출하는 단계; 및
   (i) 상기 산출된 픽셀의 수가 미리 지정된 판별 조건을 만족하는 경우라면, 상기 분석 대상 영상 데이터에 상응하는 카메라에 이물질이 부착되었음을 나타내는 상기 판단 정보를 생성하는 단계를 더 포함하되,
   상기 n은 5이거나 5이상인 임의의 홀수인 것을 특징으로 하는 카메라 이물질 부착 확인 방법.
   
7. 제6항에 있어서,
   상기 단계 (c)에서 상기 원시 명도 기준값과 상기 명도 기준값이 미리 지정된 제1 임계값 이상의 차이가 존재하지 않으면, 후속하여 입력된 카메라 영상 데이터를 이물질 부착 여부의 판단을 위한 대상 영상으로 지정하여 상기 단계 (d) 내지 상기 단계 (i)가 수행되는 것을 특징으로 하는 특징으로 하는 카메라 이물질 부착 확인 방법.
   
8. 제5항 내지 제7항 중 어느 한 항에 기재된 카메라 이물질 부착 확인 방법을 수행하기 위하여 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.
   

Images