KR20220058843A

KR20220058843A - 카메라 렌즈의 상태 검출 방법, 장치, 기기 및 저장 매체

Info

Publication number: KR20220058843A
Application number: KR1020217037804A
Authority: KR
Inventors: 싱후아 야오; 싱유 젱
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2020-10-28
Filing date: 2021-04-19
Publication date: 2022-05-10
Also published as: WO2022088620A1; JP2023503749A; CN112348784A

Abstract

본 발명은 카메라 렌즈의 상태 검출 방법, 장치, 기기 및 저장 매체를 개시하고, 상기 방법은, 카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 타깃 이미지에서의 최종 이상 영역을 획득하는 단계; 및 최종 이상 영역을 분석하여, 카메라의 렌즈가 이상 상태인지 여부를 결정하는 단계를 포함한다. 상기 방안은, 카메라 렌즈에 대한 검출 난이도를 저하할 수 있고, 검출 비용도 저하할 수 있다.

Description

카메라 렌즈의 상태 검출 방법, 장치, 기기 및 저장 매체

본 발명은 2020년 10월 28일 중국 특허청에 제출한 출원 번호가 202011172425.2이고, 출원 명칭이 “카메라 렌즈의 상태 검출 방법, 장치, 기기 및 저장 매체”인 중국 특허 출원의 우선권을 요청하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 발명은 검출 기술 분야에 관한 것이고, 특히 카메라 렌즈의 상태 검출 방법, 장치, 기기 및 저장 매체에 관한 것이다.

카메라는 이미지 수집 기능을 구비하고, 촬영된 이미지 데이터는 스마트 시티, 스마트 교통, 스마트 공장, 스마트 캠퍼스, 스마트 커뮤니티, 자동 운전, 로봇인식 등 다양한 컴퓨터 비전 응용에 널리 적용될 수 있다. 일반적으로 카메라는 렌즈를 통해 외부 환경을 수집하여 이미지 데이터를 얻는다. 따라서 카메라의 렌즈는 전체 응용에서 데이터의 소스로 사용됨으로써, 매우 중요한 역할을 한다.

실제 응용에 있어서, 카메라의 렌즈는 실외 환경에 노출되고, 통상적으로 바람과 비, 먼지 오염, 이상 가림 등 정상 작동을 영향하는 이상 상황을 당하게 된다. 따라서, 카메라의 렌즈의 상태를 어떻게 감시하여, 카메라의 렌즈가 이상 상황이 존재하는 것을 즉시 발견하는 것은 매우 중요하다.

본 발명의 실시예는 적어도 카메라 렌즈의 상태 검출 방법, 장치, 기기 및 저장 매체를 제공한다.

본 발명의 실시예는 제1 측면에서 카메라 렌즈의 상태 검출 방법을 제공하고, 상기 방법은, 카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 타깃 이미지에서의 최종 이상 영역을 획득하는 단계; 및 최종 이상 영역을 분석하여, 카메라의 렌즈가 이상 상태인지 여부를 결정하는 단계를 포함한다.

따라서, 카메라를 통해 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하고, 직접 이미지 이상 영역을 이용하여 카메라 렌즈의 이상 상태에 대해 검출을 구현하며, 다른 센서를 의존할 필요 없으므로, 카메라 렌즈에 대한 검출 난이도를 저하하고, 검출 비용도 저하한다.

여기서, 상기 카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 타깃 이미지에서의 최종 이상 영역을 획득하는 단계는, 카메라로 촬영하여 얻은 타깃 이미지에 대해 흐림 검출을 수행하여, 타깃 이미지에서의 복수 개의 후보 이상 영역을 얻는 단계; 및 복수 개의 후보 이상 영역에서 적어도 하나의 후보 이상 영역을 선택하여, 최종 이상 영역으로 사용하는 단계를 포함한다.

따라서, 타깃 이미지에 대해 흐림 검출을 수행함으로써, 타깃 이미지의 흐림 상황에 따라 타깃 이미지에서 존재하는 이상 영역을 결정할 수 있도록 하여, 타깃 이미지에 대한 이상 영역 인식을 구현함으로써, 향후 얻은 최종 이상 영역에 따라 카메라 렌즈의 이상 상황을 판단할 수 있도록 한다. 그리고, 렌즈의 다양한 이상 상황은 물안개로 오염, 얼룩 오염, 가림 등일 수 있고, 타깃 이미지에서 일부 영역의 흐림을 일으킬 수 있으므로, 이미지의 흐림 검출을 통해, 상기 다양한 이상 상황이 모두 검출되도록 할 수 있음으로써, 검출 범위를 향상할 수 있다.

여기서, 상기 카메라로 촬영하여 얻은 타깃 이미지에 대해 흐림 검출을 수행하여, 타깃 이미지에서의 복수 개의 후보 이상 영역을 얻는 단계는, 카메라로 촬영하여 얻은 타깃 이미지에 대해 기설정 변환을 수행하여, 변환 이미지를 얻는 단계 - 여기서, 변환 이미지에서의 각 픽셀의 픽셀값은 변화 이미지의 흐린 정보를 반영할 수 있으며 - ; 및 변환 이미지의 픽셀값에 기반하여, 후보 이상 영역을 결정하는 단계를 포함한다.

따라서, 직접 타깃 이미지에 대해 기설정 변환을 수행함으로써, 타깃 이미지에 대한 흐림도 검출을 구현할 수 있음으로써, 후보 이상 영역을 획득한다.

여기서, 상기 카메라로 촬영하여 얻은 타깃 이미지에 대해 기설정 변환을 수행하여, 변환 이미지를 얻는 단계는, 타깃 이미지에 대해 예비 처리를 수행하여, 예비 처리 이미지를 얻는 단계; 및 예비 처리 이미지에 대해 라플라스(Laplacian) 변환을 수행하여, 변환 이미지를 얻는 단계를 포함한다. 상기 변환 이미지의 픽셀값에 기반하여, 후보 이상 영역을 결정하는 단계는, 변환 이미지에 기반하여 이진화 처리를 수행하여, 이진화 이미지를 얻는 단계; 및 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 후보 이상 영역을 구성하는 단계를 포함한다.

따라서, Laplacian 변환된 후 얻은 값은, 변화 이미지의 흐린 정보를 반영할 수 있음으로써, 흐린 영역의 변두리가 더욱 명확하도록 하는 동시에, 얻은 픽셀값의 크기를 통해, 초기적으로 변환 이미지에서의 흐린 영역을 얻는다. 또한, 이미지 이진화를 수행함으로써, 데이터 양이 많이 감소되도록 할 수 있고, 이로써 컴퓨팅 속도를 향상할 수 있으며, 후보 이상 영역에 대한 검출 속도를 향상할 수 있고; 동시에, 이진화 이미지에서의 흐린 영역의 경계가 더욱 명확하도록 하여, 후보 이상 영역을 돌출할 수 있다.

여기서, 상기 타깃 이미지에 대해 예비 처리를 수행하여, 예비 처리 이미지를 얻는 단계는, 타깃 이미지에 대해 그레이스케일 처리를 수행하여, 예비 처리 이미지를 얻는 단계를 포함한다. 상기 변환 이미지에 기반하여 이진화 처리를 수행하여, 이진화 이미지를 얻는 단계는, 변환 이미지에 대해 필터링 처리를 수행하여, 필터링 이미지를 얻는 단계 - 필터링 처리는 형태학적 폐쇄 작업을 포함함 - ; 및 필터링 이미지를 이진화 처리를 수행하여, 이진화 이미지를 얻는 단계를 포함한다. 상기 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 후보 이상 영역을 구성하는 단계는, 이진화 이미지의 픽셀값을 역으로 취하여, 역 이진화 이미지를 얻는 단계; 및 역 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 후보 이상 영역을 구성하는 단계를 포함한다.

따라서, 타깃 이미지에 대해 그레이스케일 처리를 수행함으로써, 컴퓨팅해야 하는 데이터 양을 감소하고, 컴퓨팅 속도를 향상할 수 있다. 형태학적 폐쇄 작업 등 필터링 처리를 통해 흐리지 않는 영역 내부의 간섭 정보를 제거함으로써, 향후 흐린 영역에 대한 검출의 정확성을 향상하고, 카메라 렌즈에 대해 이상 상태인지 여부를 판단하는 정확성을 향상할 수 있다. 또한, 역으로 취하는 작동을 통해, 향후 흐린 영역에 대한 처리에 편리하고, 컴퓨팅 속도를 향상하며, 검출 난이도를 저하할 수 있다.

여기서, 상기 복수 개의 후보 이상 영역에서 적어도 하나의 후보 이상 영역을 선택하여, 최종 이상 영역으로 사용하는 단계는, 각 후보 이상 영역의 제1 면적을 획득하는 단계; 복수 개의 후보 이상 영역에서, 제1 면적이 기설정 면적 조건을 만족하는 후보 이상 영역을 선택하여, 결정될 이상 영역으로 사용하는 단계; 및 적어도 하나의 결정될 이상 영역을 최종 이상 영역으로 결정하는 단계를 포함한다.

따라서, 후보 이상 영역에 대해 추가적인 분석을 수행하여, 최종 이상 영역을 결정함으로써, 흐린 영역을 더욱 정확하게 인식할 수 있다.

여기서, 상기 기설정 면적 조건은 제1 면적이 제1 기설정 면적 임계값보다 큰 것이다. 상기 적어도 하나의 결정될 이상 영역을 최종 이상 영역으로 결정하는 단계는, 타깃 이미지에서의 결정될 이상 영역의 적어도 하나의 통계값을 결정하는 단계 - 여기서, 결정될 이상 영역의 적어도 하나의 통계값은, 결정될 이상 영역의 포화도를 통계하여 얻은 적어도 하나의 제1 통계값 및 결정될 이상 영역의 픽셀값을 통계하여 얻은 적어도 하나의 제2 통계값 중 적어도 하나를 포함함 - ; 및 결정될 이상 영역의 적어도 하나의 통계값이 기설정 통계 조건을 만족한는 것이 결정될 경우, 결정될 이상 영역을 최종 이상 영역으로 결정하는 단계를 포함한다

따라서, 결정될 이상 영역의 통계값을 결정하여 추가적으로 결정될 이상 영역의 흐림 상황을 판단함으로써, 흐림 검출의 정확성을 향상할 수 있고, 카메라 렌즈에 대한 상태 검출의 정확성을 향상할 수 있다.

여기서, 상기 제1 통계값 및 제2 통계값은 각각 평균값 및 분산 중의 적어도 하나를 포함하고, 상기 기설정 통계 조건은, 결정될 이상 영역의 각 통계값이 모두 통계값에 대응되는 기설정 임계값보다 큰 것을 포함한다. 상기 타깃 이미지에서의 결정될 이상 영역의 적어도 하나의 통계값을 결정하는 단계는, 결정될 이상 영역의 픽셀 위치 정보에 기반하여, 결정될 이상 영역에 대응되는 영역 마스크 및 경계 마스크 중 적어도 하나를 포함하는 적어도 하나의 마스크를 생성하는 단계; 적어도 하나의 마스크가 영역 마스크를 포함할 경우, 타깃 이미지에 대응되는 포화도 이미지를 획득하며, 결정될 이상 영역에 대응되는 영역 마스크를 이용하여, 포화도 이미지에서 결정될 이상 영역에 대응되는 제1 통계될 영역을 획득하는 단계; 제1 통계될 영역의 포화도를 통계하여, 결정될 이상 영역의 적어도 하나의 제1 통계값을 얻는 것; 및 적어도 하나의 마스크가 경계 마스크를 포함할 경우, 결정될 이상 영역에 대응되는 경계 마스크를 이용하여, 타깃 이미지에서 결정될 이상 영역에 대응되는 제2 통계될 영역을 획득하고; 제2 통계될 영역의 픽셀값을 통계하여, 결정될 이상 영역의 적어도 하나의 제2 통계값을 얻는 것 중 적어도 하나를 실행하는 단계를 포함한다.

따라서, 마스크를 이용하여 타깃 이미지에서 결정될 이상 영역에 관련되는 영역을 추출함으로써, 결정될 이상 영역의 통계값에 대한 정확한 통계를 구현하고, 향후 흐림 검출의 정확성을 향상할 수 있다.

여기서, 상기 최종 이상 영역을 분석하여, 카메라의 렌즈가 이상 상태인지 여부를 결정하는 단계는, 최종 이상 영역의 제2 면적을 획득하는 단계; 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단하는 단계; 만족할 경우, 타깃 이미지가 이상 상태인 것을 결정하는 단계; 및 연속된 제1 기설정 개수의 프레임의 타깃 이미지에서 적어도 제2 기설정 개수의 프레임이 이상 상태인 것이 검출될 경우, 카메라 렌즈가 이상 상태인 것을 결정하는 단계를 포함하고; 여기서, 제1 기설정 개수 및 제2 기설정 개수는 양의 정수이다.

따라서, 타깃 이미지에서 최종 이상 영역의 면적을 통해 타깃 이미지의 이상 상태를 결정하고, 기설정 개수의 프레임의 타깃 이미지의 상태에 기반하여 카메라 렌즈가 이상 상태인지 여부를 결정함으로써, 카메라 렌즈의 이상 검출을 구현하며, 그리고, 기설정 개수가 1보다 클 경우, 연속 복수개의 프레임 타깃 이미지의 상태를 이용하여 카메라 렌즈가 이상 상태인지 여부를 종합적으로 판단함으로써, 카메라 렌즈에 대한 상태의 검출 정확성을 향상할 수 있다.

여기서, 상기 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단하는 단계는, 최종 이상 영역의 제2 면적이 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 만족하는지 여부를 판단하는 단계를 포함한다. 상기 만족할 경우, 타깃 이미지가 이상 상태인 것을 결정하는 단계는, 제1 기설정 영역 조건을 만족할 경우, 타깃 이미지가 제1 이상 상태인 것을 결정하고; 제2 기설정 영역 조건을 만족할 경우, 타깃 이미지가 제2 이상 상태인 것을 결정하는 단계를 포함한다. 상기 연속된 제1 기설정 개수의 프레임의 타깃 이미지에서 적어도 제2 기설정 개수의 프레임이 이상 상태인 것이 검출될 경우, 카메라 렌즈가 이상 상태인 것을 결정하는 단계는, 연속된 제1 기설정 개수의 프레임의 상기 타깃 이미지가 모두 제1 이상 상태인 것이 검출될 경우, 카메라 렌즈가 제1 이상 상태인 것을 결정하는 단계; 및 연속된 제1 기설정 개수의 프레임의 타깃 이미지가 모두 제1 이상 상태이지 않고, 제1 이상 상태 또는 제2 이상 상태인 적어도 제2 기설정 개수의 프레임이 존재하는 것이 검출될 경우, 카메라 렌즈가 제2 이상 상태인 것을 결정하는 단계를 포함한다.

따라서, 카메라 렌즈의 이상 상태에 대해 추가적인 할당을 수행함으로써, 카메라 렌즈의 이상 상태에 대해 더욱 정확한 판단을 구현할 수 있다.

여기서, 상기 제1 기설정 영역 조건은 제2 면적이 제2 기설정 면적 임계값보다 큰 것이고; 제2 기설정 영역 조건은 제2 면적이 제2 기설정 면적 임계값보다 크고 제3 기설정 면적 임계값보다 작은 것이며, 여기서, 제2 기설정 면적 임계값은 제3 기설정 면적 임계값보다 크다.

본 발명의 실시예는 제2 측면에서 카메라 렌즈의 상태 검출 장치를 제공하고, 상기 장치는, 영역 검출 부분 및 상태 분석 부분을 포함한다.

영역 검출 부분은, 카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 타깃 이미지에서의 최종 이상 영역을 획득하도록 구성된다. 상태 분석 부분은, 최종 이상 영역을 분석하여, 카메라의 렌즈가 이상 상태인지 여부를 결정하도록 구성된다.

본 발명의 실시예는 제3 측면에서 전자 기기를 제공하고, 서로 결합된 메모리 및 프로세서를 포함하며, 프로세서는 메모리에서 저장된 컴퓨터 프로그램을 실행하여, 상기 제1 측면에서의 카메라 렌즈의 상태 검출 방법을 구현하기 위한 것이다.

본 발명의 실시예는 제4 측면에서 컴퓨터 판독 가능한 저장 매체를 제공하고, 컴퓨터 프로그램이 저장되며, 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 상기 제1 측면 에서의 카메라 렌즈의 상태 검출 방법을 구현한다.

본 발명의 실시예는 제5 측면에서 컴퓨터 프로그램을 제공하고, 컴퓨터 판독 가능한 코드를 포함하며, 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 전자 기기에서의 프로세서는 제1 측면을 구현하기 위한 카메라 렌즈의 상태 검출 방법을 실행한다.

상기 방안은, 카메라를 통해 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하고, 직접 이미지 이상 영역을 이용하여 카메라 렌즈의 이상 상태에 대해 검출을 구현하며, 다른 센서를 의존할 필요 없으므로, 카메라 렌즈에 대한 검출 난이도를 저하하고, 검출 비용도 저하한다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하려는 것은 아니다.

아래의 도면은 본 명세서의 일부로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 맞는 실시예를 예시하여, 명세서와 함께 본 발명의 기술방안을 설명하기 위한것이다.
도 1A는 본 발명의 실시예에서 제공한 전자 기기 응용 시나리오 예시도 1이다.
도 1B는 본 발명의 실시예에서 제공한 전자 기기 방법의 응용 시나리오 예시도 2이다.
도 2는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제1 실시예의 흐름 모식도이다.
도 3은 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제1 흐름 모식도이다.
도 4는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제2 흐름 모식도이다.
도 5는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제3 흐름 모식도이다.
도 6은 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제4 흐름 모식도이다.
도 7은 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제5 흐름 모식도이다.
도 8은 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 응용 시나리오 예시도이다.
도 9는 본 발명의 실시예에서 제공한 이상 영역 검출 모듈의 처리 흐름 모식도이다.
도 10은 본 발명의 실시예에서 제공한 각 시나리오에서의 그레이 이미지 예시도이다.
도 11은 본 발명의 실시예에서 제공한 각 시나리오에서의 변환 이미지 예시도이다.
도 12는 본 발명의 실시예에서 제공한 각 시나리오에서의 필터링 이미지 예시도이다.
도 13은 본 발명의 실시예에서 제공한 각 시나리오에서의 역 이진화 이미지 예시도이다.
도 14는 본 발명의 실시예에서 제공한 각 시나리오에서의 후보 이상 영역 예시도이다.
도 15는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 장치의 일 실시예의 프레임워크 예시도이다.
도 16은 본 발명의 실시예에서 제공한 전자 기기의 일 실시예의 프레임워크 예시도이다.
도 17은 본 발명의 실시예에서 제공한 컴퓨터 판독 가능한 저장 매체의 일 실시예의 프레임워크 예시도이다.

아래는 명세서의 첨부된 도면을 결합하여, 본 발명의 실시예의 방안을 상세히 설명할 것이다.

아래의 설명은 설명을 위한 것이지 한정하려는 것은 아니며, 특정 시스템 구조, 인터페이스, 기술과 같은 세부 사항은 본 발명을 완전히 이해하기 위해 제공된다.

본문에서의 용어 “및/또는”은 다만 연관 대상의 연관 관계를 설명하기 위한 것으로, 세 가지 관계가 존재할 수 있음을 의미하는데, 예를 들어, “A 및/또는 B”는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 또한, 본 명세서에서 문장 부호 "/"는, 일반적으로 선후 관련 대상이 "또는" 관계임을 나타낸다. 또한, 본 명세서에서의 “복수”는 두 개의 또는 두 개보다 많을 것을 나타낸다. 또한, 본 문에서 용어 "적어도 하나"는 복수의 어느 하나 또는 복수의 둘 중 어느 하나의 조합을 의미하고, 예를 들어, A, B, C 중 적어도 하나를 포함하여, A, B 및 C로 구성된 조합에서 선택된 어느 하나 또는 복수 개의 요소를 나타낼 수 있다.

본 발명의 실시예에서 설명한 카메라는, 임의의 이미지 수집을 구현 가능한 기기일 수 있고, 예를 들어 비디오 카메라, 카메라, 휴대폰 등 단말 기기일 수 있으며, 카메라의 렌즈는 이미지를 형성하기 위한 상기 기기의 광학 부품이다. 이해할 수 있는 것은, 이미지 또는 비디오를 촬영할 수 있는 기기이면, 모두 본 발명의 실시예에서 설명한 카메라 렌즈의 상태 검출 방법을 적용할 수 있다. 일부 가능한 구현 방식에 있어서, 본 발명의 실시예에서 설명한 카메라 렌즈의 상태 검출 방법은 프로세서가 메모리에 저장된 컴퓨터 프로그램을 호출하는 방식을 통해 구현될 수 있다.

본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 실행 주체는 전자 기기일 수 있다.

일부 가능한 구현 방식에 있어서, 도 1A에 도시된 전자 기기 응용 시나리오 예시도 1을 참조하면, 전자 기기는 프로세서(11) 및 카메라(12)를 포함할 수 있고, 이로써, 전자 기기는 카메라(12)를 통해 타깃 이미지를 수집할 수 있고, 프로세서(11)를 통해 타깃 이미지를 분석하여, 카메라(12)의 렌즈가 이상 상태인지 여부를 결정할 수 있다. 예를 들어, 전자 기기는 휴대폰으로 실시할 수 있다.

다른 가능한 구현 방식에 있어서, 도 1B에 도시된 전자 기기 응용 시나리오 예시도 2를 참조하면, 전자 기기(10)는 다른 기기(13)가 네트워크(14)를 통해 전송한 실시간으로 수집된 타깃 이미지를 수신할 수 있음으로, 전자 기기(10)는 수신된 타깃 이미지를 분석함으로써, 다른 기기(13)의 카메라 렌즈가 이상 상태인지 여부를 판단한다. 예를 들어, 전자 기기는 컴퓨터로 실시할 수 있고, 컴퓨터는 네트워크를 통해 촬영 장치에 의해 수집된 타깃 이미지를 수신할 수 있다.

도 2를 참조하면, 도 2는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제1 실시예의 흐름 모식도이다. 구체적으로 말하면, 아래의 단계를 포함할 수 있다.

단계 S11에 있어서, 카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 타깃 이미지에서의 최종 이상 영역을 획득한다.

본 발명의 실시예에서, 카메라를 이용하여 촬영된 이미지를 타깃 이미지로 정의한다. 타깃 이미지는 카메라 렌즈에 의해 촬영된 비디오에서의 어느 프레임 이미지일 수 있고, 직접 촬영하여 얻은 한장의 이미지일 수도 있다. 일부 개시된 실시예에 있어서, 타깃 이미지는 컬러 이미지일 수 있고, 그레이 이미지일 수도 있다.

타깃 이미지를 얻은 후, 직접 타깃 이미지에 대해 이상 검출을 수행하여, 타깃 이미지에서의 최종 이상 영역을 얻을 수 있다. 이상 검출은 즉 타깃 이미지에 존재한 이상 영역을 검출하는 것이고, 타깃 이미지의 이상 영역은 타깃 이미지에 존재한 흐린 영역, 또는 타깃 이미지의 전체가 까만색인 것 등 정상적으로 이미징되지 않은 영역으로 이해할 수 있다. 여기서, 타깃 이미지에 이상 영역이 존재하는 것을 유발한는 상황은 예를 들어, 렌즈에 물안개, 얼룩으로 오염되거나, 렌즈에 가림이 존재하고, 렌즈의 초점이 맞지 않는 등이 있다.

타깃 이미지에 대해 이상 검출을 수행한 후, 얻은 타깃 이미지에서 이상이 존재한 영역을 최종 이상 영역으로 정의한다. 최종 이상 영역은 타깃 이미지에서의 일부일 수 있고, 개수는 하나 또는 복수 개일 수 있으며, 최종 이상 영역은 전체 타깃 이미지가 모두 이상 영역일 수도 있다.

단계 S12에 있어서, 최종 이상 영역을 분석하여, 카메라의 렌즈가 이상 상태인지 여부를 결정한다.

이상 검출을 수행한 후, 얻은 최종 이상 영역을 분석하여, 렌즈가 이상 상태인지 여부를 더욱 정확하게 판단한다. 예를 들어, 최종 이상 영역의 위치, 크기, 형태, 픽셀 정보 등을 분석할 수 있고, 이해할 수 있는 것은, 최종 이상 영역에 관련된 모든 정보는 모두 분석하기 위한 기초 데이터로 사용될 수 있다. 일부 개시된 실시예에 있어서, 복수 개의 분석하기 위한 기초 데이터를 결합하여, 복수 개의 데이터의 분석을 통해, 카메라의 렌즈가 이상 상태인지 여부를 더욱 정확하게 결정할 수 있다.

분석할 때, 분석이 필요한 최종 이상 영역의 기초 데이터의 타입에 따라, 대응되는 방식을 채택하여 분석할 수 있다. 예를 들어 포화도 분석 방식을 채택하여, 최종 이상 영역에 대해 포화도의 계산을 수행함으로써, 최종 이상 영역의 포화도 상황을 통해 카메라의 렌즈가 이상 상태인지 여부를 결정하고, 또는 픽셀 포인트를 통계하는 방식을 채택하여, 최종 이상 영역이 포함하는 픽셀 포인트를 계산함으로써, 최종 영역의 면적 크기를 결정한다.

본 발명의 실시예에 있어서, 카메라를 통해 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하고, 직접 이미지 이상 영역을 이용하여 카메라 렌즈의 이상 상태에 대해 검출을 구현하며, 다른 센서를 의존할 필요 없으므로, 카메라 렌즈에 대한 검출 난이도를 저하하고, 검출 비용도 저하한다.

도 3를 참조하면, 도 3는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제1 흐름 모식도이다. 본 실시예는 상기 제1 실시예의 기초상에서, 추가적으로 설명하고, 구체적으로 말하면, 아래의 단계를 포함한다.

단계 S21에 있어서, 카메라로 촬영하여 얻은 타깃 이미지에 대해 흐림 검출을 수행하여, 타깃 이미지에서의 복수 개의 후보 이상 영역을 얻는다.

일반적으로, 카메라의 렌즈가 이상 상태일 경우, 카메라로 촬영하여 얻은 타깃 이미지는 모두 흐린 영역이 나타날 수 있고, 즉 타깃 이미지에 불명확한 영역이 존재한다. 따라서, 본 실시예에 있어서, 먼저 타깃 이미지에 대해 흐림 검출을 수행하여, 타깃 이미지의 이상 상황을 초기적으로 판단할 수 있다. 흐림 검출된 후, 타깃 이미지에서의 흐린 영역을 얻고, 후보 이상 영역으로 정의할 수 있다. 후보 이상 영역이 타깃 이미지에서의 일부일 경우, 후보 이상 영역의 개수는 한 개일 수 있고, 복수 개일 수도 있으며, 구체적인 개수는 흐림 검출 결과에 따라 결정된다.

여기서, 타깃 이미지에 대해 관련된 변환을 수행하여 변환 결과에 따라 흐림 상황을 결정한다. 구체적으로 도 4를 참조하여 예를 들어 설명할 수 있다. 도 4는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제2 흐름 모식도이다. 하나의 개시된 실시예에 있어서, 카메라로 촬영하여 얻은 타깃 이미지에 대해 흐림 검출을 수행하여, 타깃 이미지에서의 복수 개의 후보 이상 영역을 얻는 단계는, 구체적으로 아래의 단계를 통해 구현될 수 있다.

단계 S211에 있어서, 카메라로 촬영하여 얻은 타깃 이미지에 대해 기설정 변환을 수행하여, 변환 이미지를 얻고, 여기서, 변환 이미지에서의 각 픽셀의 픽셀값은 변화 이미지의 흐린 정보를 반영할 수 있다.

타깃 이미지에 대해 기설정 변환을 수행함으로써, 변환하여 얻은 이미지를 변환 이미지로 정의한다. 기설정 변환된 후, 얻은 변환 이미지에서의 각 픽셀의 픽셀값은 변화 이미지의 흐린 정보를 반영할 수 있다. 각 픽셀 포인트에 대해 기설정 변환을 수행하였으므로, 상응되게 각 픽셀 포인트에 대응되는 픽셀값을 얻을 수 있다. 픽셀의 픽셀값은 변화 이미지의 흐린 정보를 반영할 수 있고, 픽셀의 픽셀값의 변화 추세를 통해 변화 이미지의 흐린 정보를 반영할 수 있으며, 예를 들어 픽셀값의 변화 추세를 통해 흐린 영역과 흐리지 않는 영역의 경계를 더욱 명확하도록 할 수 있고, 즉 후보 이상 영역이 더욱 명확하도록 할 수 있다. 또한, 픽셀 포인트의 픽셀값 크기는 상기 픽셀 포인트가 위치한 영역이 흐린지 여부를 반영할 수 있다. 즉, 픽셀 포인트의 픽셀값의 크기를 판단하여 흐린 영역 및 흐리지 않는 영역을 초기적으로 판단할 수 있다.

기설정 변환은 타깃 이미지에서의 각 픽셀 포인트에 포함되는 정보를 처리하는 것일 수 있고, 처리하여 얻은 값은 픽셀값이다. 예를 들어 타깃 이미지가 컬러 이미지일 경우, 타깃 이미지의 각 픽셀 포인트의 레드(R), 그린(G), 블루(B) 세 개의 컬러 채널의 값에 따라 처리하여, 최종 얻은 값은 픽셀값이다. 기설정 변환은 예를 들어 Brenner(브레너) 기울기 함수, Tenengrad 기울기 함수, Laplacian(라플라스)기울기 함수 또는 SMD(그레이 분산)함수를 이용하여 기설정 변환을 수행한다. 이해할 수 있는 것은, 이미지의 흐림 상황에 대해 검출을 수행하기 위한 방법이면, 모두 본 발명의 실시예에 적용될 수 있다.

하나의 개시된 실시예에 있어서, 카메라로 촬영하여 얻은 타깃 이미지에 대해 기설정 변환을 수행하여, 변환 이미지를 얻는 단계는, 구체적으로 아래의 단계를 포함한다.

단계 S2111에 있어서, 타깃 이미지에 대해 예비 처리를 수행하여, 예비 처리 이미지를 얻는다.

타깃 이미지에 대해 기설정 변환을 수행할 경우, 먼저 타깃 이미지에 대해 예비 처리를 수행할 수 있고, 얻은 이미지가 예비 처리 이미지이다. 예비 처리는 이미지에서의 각 픽셀 포인트에 포함되는 정보를 처리한 것일 수 있고, 예를 들어 타깃 이미지에서의 RGB 세 채널 정보를 처리한 것이다.

하나의 개시된 실시예에 있어서, 예비 처리는 타깃 이미지에 대해 그레이스케일 처리를 수행할 수 있고, 얻은 그레이 이미지가 예비 처리 이미지이다. 예를 들어, 아래의 공식에 따라 타깃 이미지에 대해 그레이스케일 처리를 수행할 수 있다.

"Gray"=R×0.299+G×0.587+B×0.114 (1)

상기 공식 (1)에서, R, G, B는 각각 어느 픽셀 포인트의 빨강(R), 초록(G), 파랑(B) 세 개의 컬러 채널의 값을 나타내고, 얻은 값 Gray는 상기 픽셀 포인트의 그레이 값이다. 이해할 수 있는 것은, 그레이스케일 처리의 구체적인 계산 공식은 구체적인 상황에 따라 상응되게 조정될 수 있다.

그레이스케일 처리를 통해, 각 픽셀 포인트에 포함되는 정보를 RGB 세 채널에서, 그레이 값인 단일 채널 정보로 변환할 수 있고, 이로써 향후 픽셀 포인트에 포함되는 정보를 처리할 경우의 데이터 양을 단순화 할 수 있고, 컴퓨팅 속도를 향상할 수 있다.

단계 S2112에 있어서, 예비 처리 이미지에 대해 라플라스 변환을 수행하여, 변환 이미지를 얻는다.

Laplacian 기울기 함수 변환을 이용하여, 예비 처리하여 얻은 예비 처리 이미지를 처리할 수 있고, 얻은 이미지가 변환 이미지이다. Laplacian을 이용하여 변환함으로써, 예비 처리 이미지에서 실제로 존재한 흐린 영역을 검출하여, 예비 처리 이미지에서의 흐린 영역을 얻을 수 있다. Laplacian의 구체적인 과정은 예를 들어 먼저 소벨(sobel)연산자를 사용하여 2차 x 및 y 계차를 계산하고, 다음 합을 구하며, 공식은 아래와 같다.

(2)

상기 공식 (2)에서, x 및 y는 각각 픽셀 좌표에서의 각 픽셀 포인트의 좌표이고, src은 입력 이미지를 나타내고, dst는 출력 이미지를 나타낸다.

이로써, Laplacian 변환된 후 얻은 값은, 각 픽셀 포인트의 픽셀값이고, 상기 픽셀값은 변화 이미지의 흐린 정보를 반영할 수 있으며, 예를 들어 흐린 영역의 변두리가 더욱 명확하도록 하는 동시에, 얻은 픽셀값의 크기의 판단을 통해, 초기적으로 변환 이미지에서의 흐린 영역을 얻는다.

도 4를 계속 참조하면,

단계 S212에 있어서, 변환 이미지의 픽셀값에 기반하여, 후보 이상 영역을 결정한다.

변환 이미지의 픽셀값이 변화 이미지의 흐린 정보를 반영할 수 있으므로, 변환 이미지의 픽셀값에 기반하여, 후보 이상 영역을 결정할 수 있다. 변환 이미지의 픽셀값에 기반하는 것은, 변환 이미지의 픽셀값의 변화 추세, 픽셀값의 전체 분포 상황, 또는 픽셀값의 크기등 픽셀값에 관련된 모든 정보에 따라 후보 이상 영역을 결정할 수 있다는 것을 나타낸다. 즉 변환 이미지에서의 일부 픽셀값에 따라 후보 이상 영역을 결정할 수 있고, 전체 변환 이미지의 픽셀 포인트에 따라 결정할 수도 있다. 예를 들어,결정 픽셀 포인트의 픽셀값 변화 추세가 일정한 범위를 초과하는 범위가 둘러싸고 있는 영역을 통해 후보 이상 영역으로 결정할 수 있다.

여기서, 변환 이미지에 대해 이진화 처리를 수행함으로써 변환 이미지에서 후보 이상 영역을 결정한다. 구체적으로 도 5를 참조하여 예를 들어 설명할 수 있고, 도 5는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제3 흐름 모식도이다. 하나의 개시된 실시예에 있어서, “변환 이미지의 픽셀값에 기반하여, 후보 이상 영역을 결정”하는 단계는 구체적으로 아래의 단계를 통해 구현될 수 있다.

단계 S2121에 있어서, 변환 이미지에 기반하여 이진화 처리를 수행하여, 이진화 이미지를 얻는다.

추가적으로 각 픽셀 포인트의 픽셀값 사이의 차이가 더욱 명확하고, 변환 이미지에서의 흐린 영역 및 흐리지 않는 영역의 경계 더욱 명확하도록 촉진하며, 후보 이상 영역을 정확하게 결정하기 위해, 변환 이미지에 대해 이진화 처리를 수행할 수 있다. 예를 들어, 먼저 변환 이미지에 대해 임계값 분할을 수행할 수 있다. 임계값 분할은 즉 픽셀 포인트의 픽셀값을 분류하는 것이고, 예를 들어 하나의 특징 임계값을 설정하며, 픽셀 포인트의 값이 특징 임계값보다 작거나 같은 픽셀 포인트를 하나의 타입으로 분류하고, 픽셀 포인트의 값이 특징 임계값보다 큰 픽셀 포인트를 하나의 타입으로 분류하며, 특징 임계값 예를 들어 50과 같은 50 내지 80 중 임의의 하나의 수자일 수 있다.

임계값이 분할된 후, 변환 이미지에서의 각 픽셀 포인트의 픽셀 포인트의 값은 두 개의 타입으로 분할된다. 이때, 이진화 작동을 수행하여, 이 두 타입의 픽셀 포인트의 픽셀값의 차이가 더욱 명확하도록 할 수 있다. 예를 들어, 픽셀 포인트의 값이 특징 임계값보다 큰 픽셀 포인트의 픽셀값을 제1 기설정 픽셀값으로 설정하고, 특징 임계값보다 작거나 같은 픽셀 포인트의 픽셀값을 제2 기설정 픽셀값으로 설정하며; 상기 제1 기설정 픽셀값은 0일 수 있고, 제2 기설정 픽셀값은 255일 수 있으며; 또는 제1 기설정 픽셀값은 255이고, 제2 기설정 픽셀값은 0일 수 있다. 물론, 상기 제1 기설정 픽셀값 및 제2 기설정 픽셀값은 다른 픽셀값으로 설정할 수도 있고, 여기서 한정하지 않는다.

상기 이미지 이진화를 통해, 이미지에 포함되는 데이터 양이 많이 감소되도록 할 수 있고, 이로써 컴퓨팅 속도를 향상할 수 있으며, 후보 이상 영역에 대한 검출 속도를 향상할 수 있다. 동시에, 이진화 이미지에서의 흐린 영역의 경계가 더욱 명확하도록 하여, 후보 이상 영역을 돌출할 수 있다.

하나의 개시된 실시예에 있어서, “변환 이미지에 기반하여 임계값 분할 및 이미지 이진화를 수행하여, 이진화 이미지를 얻”는 단계는 구체적으로 아래의 단계 1 및 단계 2를 포함할 수 있다.

단계 1에 있어서, 변환 이미지에 대해 필터링 처리를 수행하여, 필터링 이미지를 얻는다.

기설정 변환하여 얻은 변환 이미지는, 흐리지 않는 영역의 내부에서, 작은 일부의 픽셀 포인트의 픽셀값이 다른 픽셀 포인트의 픽셀값과 비교적 큰 차이가 존재할 수 있다. 이러한 차이를 일으킨 원인은 타깃 이미지가 흐리지 않는 영역에서의 컬러 정보 변화 또는 그레이 변화가 비교적 크지만, 흐린 영역에서의 컬러 정보 변화 또는 그레이 변화가 매우 작고, 심지어 0에 가까움으로써, 기설정 변환된 부분 픽셀 포인트의 픽셀값이 다른 픽셀 포인트에 비해, 차이가 비교적 크게 된다. 변환 이미지에 구현되고, 즉 흐리지 않는 영역의 내부에서, 구멍(점 모양의 비교적 큰 차이의 픽셀 포인트의 세트) 또는 작은 균열(줄 무늬의 비교적 큰 차이의 픽셀 포인트 세트)이 존재할 수 있으며, 이러한 구멍 또는 작은 균열이 흐린 영역에 속하지 않으므로, 이러한 구멍 및 작은 균열이 향후 흐림 검출에 영향을 미치는 것을 방지하기 위해, 필터링을 이용하여 처리하여, 이러한 구멍 또는 작은 균열을 제거하고, 흐리지 않는 영역 연결시켜, 흐리지 않는 영역의 총적인 위치 및 형태가 변경하지 않도록 유지한다.

구체적으로, 필터링 처리는 형태학적 폐쇄 작업을 포함할 수 있지만 이에 한정되지 않는다. 형태학적 폐쇄 작업은 먼저 팽창 컴퓨팅을 수행하고, 다음 부식 컴퓨팅을 수행한다.

팽창 컴퓨팅은 흐리지 않는 영역의 구멍을 채우고 및 흐리지 않는 영역에 포함되는 작은 입자 노이즈(흐리지 않는 영역에서의 간섭 정보)를 제거할 수 있다. 공식은 아래와 같다.

(3)

여기서, A는 흐리지 않는 영역일 수 있고, B는 구조적 요소일 수 있다. 구조적 요소B를 통해 흐리지 않는 영역 A에 대해 팽창 처리를 수행한다.

부식 컴퓨팅은 흐리지 않는 영역의 경계 수축을 일으킬 수 있으므로, 일부 작은 구멍 또는 작은 균열을 제거하는데 사용될 수 있다. 공식은 아래와 같다.

(4)

변환 이미지가 형태학적 폐쇄 작업된 후, 얻은 이미지를 필터링 이미지로 정의한다. 이때, 필터링 이미지는 이미 형태학적 폐쇄 작업 등 필터링 처리를 통해 흐리지 않는 영역 내부의 간섭 정보를 제거하였음으로써, 향후 흐린 영역에 대한 검출의 정확성을 향상하고, 카메라 렌즈에 대해 이상 상태인지 여부를 판단하는 정확성을 향상할 수 있다.

단계 2에 있어서, 필터링 이미지에 대해 이진화 처리를 수행하여, 이진화 이미지를 얻는다.

필터링 처리를 이용하여 흐리지 않는 영역의 구멍 또는 작은 균열을 제거한 후, 흐리지 않는 영역 및 흐린 영역의 경계가 더욱 명확하도록 하는 동시에, 컴퓨팅 량을 단순화하기 위해, 상기와 같은 이진화 처리를 채택할 수 있고, 처리하여 얻은 이미지가 이진화 이미지이다.

도 5를 계속 참조하면,

단계 S2122에 있어서, 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 후보 이상 영역을 구성한다.

이진화 이미지를 얻은 후, 이때의 이진화 이미지에서의 픽셀 포인트의 픽셀값은 두 개뿐이다. 이때, 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색할 수 있고, 이러한 픽셀 포인트가 구성한 영역이 후보 이상 영역이다. 예를 들어, 흐리지 않는 영역의 픽셀 포인트의 픽셀값을 비교적 작은 값으로 설정한 후, 이진화 이미지에서 픽셀값이 비교적 큰 포인트를 선택하여 흐린 영역을 구성할 수 있다. 하나의 구체적인 실시 시나리오에 있어서, 흐리지 않는 영역의 픽셀 포인트의 픽셀값을 255로 설정하고, OpenCV오픈 소스 컴퓨터 비전 라이브러리에서의 cv::findContours함수를 이용하여, 픽셀값이 255인 픽셀 포인트를 검색한다.

하나의 개시된 실시예에 있어서, 변환 이미지에 대해 이미지 이진화 작동을 수행할 경우, 흐린 영역의 픽셀값을 0으로 설정할 수 있고, 흐린 영역의 픽셀값이 0일 경우 향후 흐린 영역을 처리하는데 불편하므로, 컴퓨팅의 속도를 향상하기 위해, 계산의 난이도를 감소한다. 이때 아래의 단계를 실행하여, “이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 후보 이상 영역을 구성”하는 것을 구현할 수 있고, 구체적으로 아래의 단계 1 및 단계 2를 포함한다.

단계 1에 있어서, 이진화 이미지의 픽셀값을 역으로 취하여, 역 이진화 이미지를 얻는다.

이미지 이진화 작동을 수행한 후, 흐린 영역의 픽셀값을 0으로 설정하고, 흐리지 않는 영역의 픽셀값을 0보다 큰 값으로 설정할 경우, 역으로 취하는 작동을 수행할 수 있고, 즉 흐리지 않는 영역 및 흐린 영역의 픽셀값을 교환할 수 있다. 예를 들어, 흐린 영역의 픽셀값이 0이고, 흐리지 않는 영역의 픽셀값이 255일 경우, 역으로 취하는 작동을 수행한 후, 흐린 영역의 픽셀값은 255이고, 흐리지 않는 영역의 픽셀값은 0이다. 이로써, 흐린 영역의 픽셀값이 0이 아니도록 할 수 있음으로써, 향후 흐린 영역에 대한 처리에 편리할 수 있고, 컴퓨팅 속도를 향상하며, 검출 난이도를 저하할 수 있다.

하나의 개시된 실시예에 있어서, 임계값 분할을 수행하고, 이미지 이진화 및 역으로 취하는 작동의 공식은 아래와 같다.

(5)

여기서, thresh은 기설정 값의 픽셀 임계값이고, max Val은 최대 픽셀값이다.

이진화 이미지의 픽셀값을 역으로 취하는 작동시킨후, 얻은 이미지를 역 이진화 이미지로 정의한다.

단계 2에 있어서, 역 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 후보 이상 영역을 구성한다.

역 이진화 이미지에 있어서, 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를, 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색할 수도 있다. 흐린 영역의 픽셀값이 0보다 크므로, 기설정 픽셀 조건은 픽셀 포인트의 픽셀값이 0보다 큰 것일 수 있다. 픽셀 포인트를 검색하는 방법은 OpenCV 오픈 소스 컴퓨터 비전 라이브러리에서의 cv::findContours 함수를 이용하여 검색하는 것일 수 있다.

도 3을 계속 참조하면,

단계 S22에 있어서, 복수 개의 후보 이상 영역에서 적어도 하나의 후보 이상 영역을 선택하여, 최종 이상 영역으로 사용한다.

후보 이상 영역을 얻은 후, 후보 이상 영역에서 적어도 하나를 선택하여, 최종 이상 영역으로 사용할 수 있다. 예를 들어 후보 이상 영역에 대해 일정한 처리를 수행한 후, 그 중에서 적어도 하나를 선택하여 최종 이상 영역으로 사용할 수 있다.

도 6를 참조하면, 도 6은 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제4 흐름 모식도이다. 하나의 개시된 실시예에 있어서, 흐린 영역을 더욱 정확하게 인식하기 위해, 후보 이상 영역에 대해 추가적인 분석을 수행하여, 최종 이상 영역을 결정할 수 있다. 예를 들어, “복수 개의 후보 이상 영역에서 적어도 하나의 후보 이상 영역을 선택하여, 최종 이상 영역으로 사용”하는 단계는 구체적으로 아래의 단계를 포함할 수 있다.

단계 S221에 있어서, 각 후보 이상 영역의 제1 면적을 획득한다.

후보 이상 영역의 면적을 제1 면적으로 정의한다. 후보 이상 영역의 면적은 후보 이상 영역에 포함되는 픽셀 포인트의 개수를 통해 결정될 수 있고, 예를 들어, 어느 후보 이상 영역이 포함하는 픽셀 포인트의 개수가 100 개일 경우, 상기 후보 이상 영역의 제1 면적 크기는 100 개의 픽셀 포인트의 크기이다.

단계 S222에 있어서, 복수 개의 후보 이상 영역에서, 제1 면적이 기설정 면적 조건을 만족하는 후보 이상 영역을 선택하여, 결정될 이상 영역으로 사용한다.

후보 이상 영역의 면적을 획득한 후, 후보 이상 영역의 면적이 기설정 면적 조건을 만족하는지 여부를 판단하여 후보 이상 영역을 필터링할 수 있고, 기설정 면적 조건을 만족하는 후보 이상 영역을, 결정될 이상 영역으로 정의한다.

하나의 구체적인 실시 시나리오에 있어서, 기설정 면적 조건은 제1 면적이 제1 기설정 면적 임계값보다 큰 것일 수 있다. 제1 기설정 면적 임계값은 예를 들어 2500 개의 픽셀 포인트 크기와 같은 2500 내지 3000 개의 픽셀 포인트 크기의 어느 한 값일 수 있다. 흐린 영역의 면적 일반적으로 비교적 크므로, 제1 면적 임계값을 설정하여, 면적이 비교적 작은 후보 이상 영역을 제외할 수 있음으로써, 흐린 영역을 인식하는 정확성을 향상한다.

단계 S223에 있어서, 적어도 하나의 결정될 이상 영역을 최종 이상 영역으로 결정한다.

후보 이상 영역을 필터링한 후, 얻은 결정될 이상 영역에서, 적어도 하나를 선택하여, 최종 이상 영역으로 사용할 수 있다. 구체적으로 선택할 경우, 결정될 이상 영역에 대해 일정한 처리를 수행한 후, 그 중에서 적어도 하나를 선택하여 최종 이상 영역으로 사용할 수 있다.

도 7를 참조하면, 도 7는 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법의 제2 실시예의 제5 흐름 모식도이다. 하나의 개시된 실시예에 있어서, 결정될 이상 영역에 대해 추가적인 분석을 수행할 경우, “적어도 하나의 결정될 이상 영역을 최종 이상 영역으로 결정”하는 단계는 구체적으로 아래의 단계를 포함할 수 있다.

단계 S2231에 있어서, 타깃 이미지에서의 결정될 이상 영역의 적어도 하나의 통계값을 결정한다.

타깃 이미지에서의 결정될 이상 영역을 얻은 후, 결정될 이상 영역을 처리하여, 결정될 이상 영역이 최종 이상 영역인지 여부를 추가적으로 판단할 수 있다.

본 발명의 실시예에 있어서, 결정될 이상 영역을 통계함으로써, 결정될 이상 영역에 관련되는 통계값을 획득할 수 있다. 예를 들어, 타깃 이미지의 포화도 정보를 이용하여, 결정될 이상 영역에 대해 추가적인 분석을 수행할 수 있다. 구체적으로 말하면, 결정될 이상 영역의 포화도를 통계함으로써, 적어도 하나의 제1 통계값을 획득할 수 있다. 또는, 결정될 이상 영역의 픽셀값을 통계함으로써, 적어도 하나의 제2 통계값을 획득한다. 이해할 수 있는 것은, 본 발명에서 설명한 카메라 렌즈의 상태 검출 방법을 실시할 경우, 제1 통계값 및 제2 통계값을 획득하여 상기 결정될 이상 영역의 통계값으로 사용할 수 있고, 여기서 하나를 선택하여 상기 결정될 이상 영역의 통계값으로 사용할 수도 있다.

하나의 개시된 실시예에 있어서, 포화도의 계산 공식은 아래와 같다.

(6)

여기서, max(R,G,B)는 타깃 이미지에서의 각 픽셀 포인트의 RGB 값을 처리하여 얻은 최대값이고, min(R,G,B)는 픽셀값이 타깃 이미지에서의 각 픽셀 포인트의 RGB 값에 대해 처리하여 얻은 최소값이며, S는 타깃 이미지의 포화도를 나타낸다. 타깃 이미지에서 픽셀 포인트에 대한 RGB 값 처리 방법은 예를 들어 상기 제공한 공식 (1)이다.

하나의 개시된 실시예에 있어서, 상기 제1 통계값 및 제2 통계값은 각각 평균값 및 분산 중의 적어도 하나를 포함한다. 즉, 상기 적어도 하나의 제1 통계값은 결정될 이상 영역의 포화도의 평균값 및 분산 중 적어도 하나를 포함하고, 상기 적어도 하나의 제2 통계값은 결정될 이상 영역의 픽셀값의 평균값 및 분산 중 적어도 하나를 포함한다.

하나의 개시된 실시예에 있어서, 단계 S2231은 구체적으로 단계 1 내지 단계 3을 포함할 수 있다.

단계 1에 있어서, 결정될 이상 영역의 픽셀 위치 정보에 기반하여, 결정될 이상 영역에 대응되는 적어도 하나의 마스크를 생성하고, 여기서, 적어도 하나의 마스크는 영역 마스크 및 경계 마스크 중 적어도 하나를 포함한다.

결정될 이상 영역을 구서하는 픽셀 포인트를 획득한 후, 이러한 결정될 이상 영역의 픽셀 포인트의 좌표와 같은 위치 정보를 분석하여, 이러한 픽셀 포인트의 위치를 결정할 수 있다. 또한, 결정될 이상 영역의 픽셀 위치 정보에 따라, 결정될 이상 영역에 대응되는 하나의 마스크를 생성할 수 있다. 결정될 이상 영역에 대응되는 마스크는 즉 전체 결정될 이상 영역의 형태, 크기와 일치하고, 또는 결정될 이상 영역의 부분 영역의 형태, 크기와만 일치하다. 마스크는 결정될 이상 영역을 가리는데 사용될 수 있다. 하나의 구체적인 실시 시나리오에 있어서, 마스크는 이미지, 그래프 등일 수 있고, 결정될 이상 영역을 가리는데 사용된다.

마스크를 생성할 경우, 하나의 완전한 결정될 이상 영역에 대응되는 마스크가, 영역 마스크이고; 생성된 하나의 결정될 이상 영역의 경계에 대응되는 마스크가, 경계 마스크이다. 이해할 수 있는 것은, 생성된 마스크의 개수 및 형태는 한정되지 않는다. 예를 들어, 전부 결정될 이상 영역에 대해, 각 결정될 이상 영역에 대응되는 영역 마스크 및 경계 마스크를 생성할 수 있다.

단계 2에 있어서, 적어도 하나의 마스크가 영역 마스크를 포함할 경우, 타깃 이미지에 대응되는 포화도 이미지를 획득하고, 결정될 이상 영역에 대응되는 영역 마스크를 이용하여, 포화도 이미지에서 결정될 이상 영역에 대응되는 제1 통계될 영역을 획득하며; 제1 통계될 영역의 포화도를 통계하여, 결정될 이상 영역의 적어도 하나의 제1 통계값을 얻는다.

단계 1에 있어서, 생성된 마스크에서 영역 마스크가 포함될 경우, 타깃 이미지에 대응되는 포화도 이미지를 획득할 수 있다. 구체적으로 말하면, 타깃 이미지의 각 픽셀 포인트에 대해 포화도 계산을 수행함으로써, 타깃 이미지에 대응되는 포화도 이미지를 획득한다. 포화도 계산은 예를 들어 RGB 이미지를 색조-포화도-명도(HSV) 이미지로 변환하고, 포화도 S 채널의 값을 추출한다.

포화도 이미지를 획득한 후, 타깃 이미지에서 결정될 이상 영역의 픽셀 포인트의 좌표와 같은 위치 정보를 통해, 결정될 이상 영역이 포화도 이미지에서 대응되는 위치, 즉 제1 통계될 영역을 얻을 수 있다. 예를 들어, 타깃 이미지에서의 결정될 이상 영역에서 어느 픽셀 포인트의 좌표가 (1,1)일 경우, 포화도 이미지에서, 상기 픽셀 포인트에 대응되는 픽셀 포인트의 좌표도 (1,1)이다. 따라서, 포화도 이미지에서 결정될 이상 영역에 대응되는 제1 통계될 영역을 얻을 수 있다.

하나의 개시된 실시예에 있어서, 직접 결정될 이상 영역의 픽셀 포인트의 위치 정보를 이용하여, 직접 포화도 이미지에서 직접 대응되는 픽셀 포인트를 추출함으로써, 제1 통계될 영역을 구성하고, 포화도를 통계할 수 있다.

동시에, 또한 제1 통계될 영역의 포화도를 통계하여, 통계하여 얻은 값을 제1 통계값으로 정의할 수 있다. 제1 통계될 영역의 포화도를 통계하는 것은, 전체 결정될 이상 영역을 통계하는 것일 수 있고, 결정될 이상 영역의 어느 부분을 통계하는 것일 수도 있다. 통계의 방법은 한정되지 않고, 예를 들어 결정될 이상 영역의 포화도 평균값, 분산, 표준 편차 등을 통계하는 것일 수 있다. 결정될 이상 영역의 상이한 부분을 통계하고 및 결정될 이상 영역에 대해 여러 타입의 통계를 수행할 경우, 복수 개의 상이한 통계값을 얻을 수 있다.

또한, 단계 1에 있어서, 생성된 마스크에 경계 마스크가 포함될 경우, 단계 3을 실행할 수 있다.

단계 3에 있어서, 결정될 이상 영역에 대응되는 경계 마스크를 이용하여, 타깃 이미지에서 결정될 이상 영역에 대응되는 제2 통계될 영역을 획득하고; 제2 통계될 영역의 픽셀값을 통계하여, 결정될 이상 영역의 적어도 하나의 제2 통계값을 얻는 것 중 적어도 하나를 실행한다.

결정될 이상 영역에 대응되는 경계 마스크를 생성한 후, 경계 마스크가 커버한 영역은, 결정될 이상 영역에 대응되는 제2 통계될 영역이다. 이때, 제2 통계될 영역의 픽셀값을 통계할 수 있고, 픽셀값은 예를 들어 그레이 값이며, 통계하여 얻은 통계값은 제2 통계값이다.

이해할 수 있는 것은, 동시에 영역 마스크 및 마스크가 존재할 경우, 단계 2 및 단계 3을 실행할 수 있고, 여기서 하나의 단계만 실행할 수도 있다.

이상으로, 마스크를 이용하여 결정될 이상 영역에 관련되는 영역을 추출하여, 결정될 이상 영역의 제1 통계값 및 제2 통계값에 대한 정확한 통계를 구현할 수 있음으로써, 계산의 정확성을 향상한다.

도 7를 계속 참조하면,

단계 S2232에 있어서, 결정될 이상 영역의 적어도 하나의 통계값이 기설정 통계 조건을 만족한는 것이 결정될 경우, 결정될 이상 영역을 최종 이상 영역으로 결정한다.

제1 통계값 및 제2 통계값을 얻은 후, 통계값을 분석할 수 있고, 결정될 이상 영역이 흐린 영역인지 여부를 추가적으로 판단하여, 최종 이상 영역을 얻는다. 구체적으로, 결정될 이상 영역의 적어도 하나의 통계값이 기설정 통계 조건을 만족한는 것이 결정될 경우, 결정될 이상 영역을 최종 이상 영역으로 결정한다. 기설정 통계 조건은 통계값의 크기가 어느 특정된 범위에 위치하는 것일 수 있다. 예를 들어, 통계값이 산술 평균값일 경우, 기설정 조건은 산술 평균값이 40 내지 216 사이에 위치하는 것이다.

통계값이 복수 개일 경우, 하나의 통계값만 기설정 통계 조건을 만족하더라도, 결정될 이상 영역을 최종 이상 영역으로 결정할 수 있는 것으로 간주될 수 있고, 복수 개의 통계값이 기설정 통계 조건을 만족하는 것, 또는 전부 통계값이 모두 기설정 통계 조건을 만족하는 것일 수도 있다.

하나의 개시된 실시예에 있어서, 상기 기설정 통계 조건은, 결정될 이상 영역의 각 통계값이 모두 통계값에 대응되는 기설정 임계값보다 큰 것일 수 있다. 예를 들어, 통계값이 결정될 이상 영역의 전체 및 경계의 산술 평균값 및 분산을 포함할 경우, 하나의 결정될 이상 영역이, 각각 결정될 이상 영역 전체의 산술 평균값 및 분산, 결정될 이상 영역 경계의 산술 평균값 및 분산임 등 4 개의 통계값이 있는 것을 의미한다. 다만 이 4 개의 통계값이 모두 통계값에 대응되는 기설정 임계값보다 클 경우, 결정될 이상 영역을 최종 이상 영역으로 결정한다.

하나의 개시된 실시예에 있어서, 산술 평균값의 기설정 임계값은 40일 수 있고, 분산의 기설정 임계값은 100일 수 있다.

통계값을 이용하여 결정될 이상 영역에 대해 추가적인 분석을 수행하여, 결정될 이상 영역의 흐림 상황을 추가적으로 판단할 수 있음으로써, 흐림 검출의 정확성을 향상할 수 있고, 나아가 카메라 렌즈에 대한 상태 검출의 정확성을 향상할 수 있다.

하나의 개시된 실시예에 있어서, 최종 이상 영역을 얻을 경우, 직접 상기 프레임 타깃 이미지가 이상 상태인 것으로 간주될 수 있고, 향후의 작동을 수행할 필요 없다. 이로써, 검출의 단계를 단순화하고, 검출의 속도를 향상할 수 있다.

최종 이상 영역을 획득한 후, 이미지의 최종 흐린 영역을 획득하는 것과 같다. 이때, 최종 이상 영역을 분석하여, 카메라 렌즈가 이상 상태인지 여부를 결정할 수 있다.

도 3을 계속 참조하면, 단계 S23에 있어서, 최종 이상 영역의 제2 면적을 획득한다.

최종 이상 영역의 면적을 획득하여 흐린 영역을 분석할 수 있다. 최종 이상 영역의 면적을 제2 면적으로 정의한다. 최종 이상 영역의 면적 마찬가지로 이에 포함되는 픽셀 포인트의 개수로 나타낼 수 있다. 예를 들어, 어느 최종 이상 영역이 3000 개의 픽셀 포인트가 포함될 경우, 상기 최종 이상 영역의 면적은 3000 개의 픽셀 포인트의 크기이다.

단계 S24에 있어서, 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단한다. 만족할 경우, 단계 S25를 실행하고, 만족하지 않을 경우, 단계 S27을 실행한다.

최종 이상 영역의 제2 면적을 획득한 후, 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단하여, 최종 이상 영역을 부류할 수 있다. 기설정 영역 조건은 예를 들어 면적의 크기, 또는 최종 이상 영역 타깃 이미지에서의 위치 등이다.

하나의 개시된 실시예에 있어서, 기설정 영역 조건은 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 포함할 수 있다. 이러한 경우에 있어서, “최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단”하는 단계는 구체적으로 최종 이상 영역의 제2 면적이 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 만족하는지 여부를 판단하는 단계를 포함한다.

하나의 실시 시나리오에 있어서, 상기 제1 기설정 영역 조건은 제2 면적이 제2 기설정 면적 임계값보다 큰 것이고; 제2 기설정 영역 조건은 제2 면적이 제2 기설정 면적 임계값보다 크고 제3 기설정 면적 임계값보다 작은 것이며, 여기서, 제2 기설정 면적 임계값은 제3 기설정 면적 임계값보다 크다. 제2 기설정 면적 임계값은 5000 개의 픽셀 포인트의 크기일 수 있고, 제3 기설정 면적 임계값은 3000 개의 픽셀 포인트의 크기일 수 있다.

단계 S27에 있어서, 만족하지 않을 경우, 타깃 이미지가 정상 상태인 것을 결정한다.

하나의 개시된 실시예에 있어서, 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하지 않을 경우, 타깃 이미지가 정상 상태인 것으로 간주될 수 있다.

단계 S25에 있어서, 만족할 경우, 타깃 이미지가 이상 상태인 것을 결정한다.

최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단한 후, 얻은 결과에 따라, 타깃 이미지가 이상 상태인지 여부를 결정할 수 있다.

구체적으로, 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족할 경우, 최종 이상 영역이 카메라 렌즈에 의해 획득된 타깃 이미지에 대한 영향이 비교적 큰 것으로 간주될 수 있음으로써, 상기 타깃 이미지가 이상 상태인 것으로 간주될 수 있다. 이해할 수 있는 것은, 최종 이상 영역의 제2 면적 기설정 영역 조건을 만족하지 않을 경우, 상기 프레임의 타깃 이미지가 정상 상태인 것으로 간주될 수 있다.

기설정 영역 조건이 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 포함할 경우, 이 두 개의 조건에 대해, 최종 이상 영역에 대해 추가적인 분류를 수행할 수 있다. 구체적으로, 최종 이상 영역의 제2 면적이 제1 기설정 영역 조건을 만족할 경우, 타깃 이미지가 제1 이상 상태인 것을 결정할 수 있고; 최종 이상 영역의 제2 면적이 제2 기설정 영역 조건을 만족할 경우, 타깃 이미지가 제2 이상 상태인 것을 결정한다.

하나의 구체적인 실시 시나리오에 있어서, 제1 기설정 영역 면적이 제2 기설정 영역 면적보다 크므로, 제1 기설정 영역 면적을 만족할 경우, 타깃 이미지의 이상 상태가 더욱 심각한 것으로 간주될 수 있다. 제1 이상 상태는 예를 들어 오류 상태이고, 제2 이상 상태는 예를 들어 경고 상태이다.

최종 이상 영역에 대해 추가적으로 분류하여, 타깃 이미지의 이상 상태에 대해 추가적인 할당을 수행할 수 있음으로써, 타깃 이미지의 이상 상태에 대해 더욱 정확한 판단을 구현할 수 있다.

이상으로, 하나의 프레임의 타깃 이미지에 대해 흐림 검출을 수행하여, 상기 프레임 타깃 이미지의 이상 상태를 판단할 수 있다. 이해할 수 있는 것은, 카메라의 렌즈가 이상 상태일 경우, 일반적으로, 이에 촬영된 연속된 개수의 프레임의 타깃 이미지가, 모두 이상 상태일 것이다. 따라서, 이상 상태인 타깃 이미지의 개수를 분석하여, 카메라 렌즈의 상태를 추가적으로 판단할 수 있다. 이에 기반하여, 단계 S25 후, 아래의 단계를 계속 실행할 수 있다.

단계 S26에 있어서, 연속된 제1 기설정 개수의 프레임의 타깃 이미지에서 적어도 제2 기설정 개수의 프레임이 이상 상태인 것이 검출될 경우, 카메라 렌즈가 이상 상태인 것을 결정하고, 제1 기설정 개수 및 제2 기설정 개수는 양의 정수이다.

연속된 제1 기설정 개수의 프레임의 타깃 이미지에서 적어도 제2 기설정 개수의 프레임이 이상 상태인 것이 검출될 경우, 카메라 렌즈가 이상 상태일 가능성이 아주 높은것을 의미하고, 출련된 연속적인 프레임의 타깃 이미지에서, 비교적 많은 이상 타깃 이미지가 나타나도록 한다. 이해할 수 있는 것은, 타깃 이미지의 단위가 프레임 개수이므로, 제1 기설정 개수 및 제2 기설정 개수는 양의 정수이다. 제1 기설정 개수 예를 들어 30이고, 제2 기설정 개수 예를 들어 15이다.

하나의 개시된 실시예에 있어서, 카메라 렌즈가 일정 기간 동안 촬영된 타깃 이미지에서, 주기적으로 일부분 타깃 이미지를 추출하여, 추출된 타깃 이미지가 이상 상태인지 여부를 판단한다. 이로써 카메라 렌즈가 일정 기간 내에, 이상 상태인지 여부를 판단할 수 있음으로써, 카메라 렌즈에 대한 검출 정확성을 향상할 수 있다.

하나의 개시된 실시예에 있어서, 상기 기설정 영역 조건이 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 포함하는 것에 대응하여, 타깃 이미지가 제1 이상 상태 또는 제2 이상 상태인지의 상황을 판단할 수 있고, 아래의 상황이 나타날 수 있다.

첫 번째 상황에 있어서, 연속된 제1 기설정 개수의 프레임의 타깃 이미지가 모두 제1 이상 상태인 것이 검출될 경우, 카메라 렌즈가 제1 이상 상태인 것을 결정할 수 있다. 이때 카메라 렌즈의 이상 상태가 비교적 심각한 것으로 간주될 수 있고, 제1 이상 상태는 예를 들어 오류 상태이다.

두 번째 상황에 있어서, 검출된 연속된 제1 기설정 개수의 프레임의 타깃 이미지가 모두 정상 상태인 것이 검출될 경우, 이때 카메라 렌즈가 정상 상태인 것으로 간주될 수 있다.

세 번째 상황에 있어서, 연속된 제1 기설정 개수의 프레임의 타깃 이미지가 전부 제1 이상 상태가 아니라, 적어도 제2 기설정 개수의 프레임의 타깃 이미지가 제1 이상 상태 또는 제2 이상 상태인 것이 검출될 경우, 카메라 렌즈가 제2 이상 상태인 것을 결정한다. 이때, 가능한 경우는, 연속된 제1 기설정 개수의 프레임의 타깃 이미지가 모두 제2 이상 상태인 경우, 또는 연속된 제1 기설정 개수의 프레임의 타깃 이미지의 적어도 제2 기설정 개수의 프레임의 이미지(제2 기설정 개수는 제1 기설정 개수와 상이함)가 제1 이상 상태 또는 제2 이상 상태인 경우가 있다. 이러한 상황에 대해, 카메라 렌즈가 모두 이상 상태인 것으로 간주함으로써, 카메라 렌즈가 제2 이상 상태인 것으로 결정한다. 제2 이상 상태는 예를 들어 경고 상태이다. 제2 기설정 개수는 구체적으로 실제 상황에 따라 설정될 수 있고, 예를 들어 1, 5, 15 등 임의의 양의 정수일 수 있다.

타깃 이미지에서 최종 이상 영역의 면적을 통해 타깃 이미지의 이상 상태를 결정하고, 기설정 개수의 프레임의 타깃 이미지의 상태에 기반하여 카메라 렌즈가 이상 상태인지 여부를 결정함으로써, 카메라 렌즈의 이상 검출을 구현하며, 그리고, 기설정 개수가 1보다 클 경우, 연속 복수 개의 프레임 타깃 이미지의 상태를 이용하여 카메라 렌즈가 이상 상태인지 여부를 종합적으로 판단함으로써, 카메라 렌즈에 대한 상태의 검출 정확성을 향상할 수 있다.

상기 방안은, 타깃 이미지에 대해 흐림 검출을 수행함으로써, 타깃 이미지의 흐림 상황에 따라 타깃 이미지에서 존재하는 이상 영역을 결정할 수 있도록 하여, 타깃 이미지에 대한 이상 영역 인식을 구현함으로써, 향후 얻은 최종 이상 영역에 따라 카메라 렌즈의 이상 상황을 판단할 수 있도록 한다. 그리고, 렌즈의 다양한 이상 상황은 물안개로 오염, 얼룩 오염, 가림 등일 수 있고, 타깃 이미지에서 일부 영역의 흐림을 일으킬 수 있으므로, 이미지의 흐림 검출을 통해, 상기 다양한 이상 상황이 모두 검출되도록 할 수 있음으로써, 검출 범위를 향상할 수 있다.

본 분야의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.

아래는 구체적인 응용 시나리오를 결합하여, 본 발명의 실시예에서 제공한 카메라 렌즈의 상태 검출 방법에 대해 상세히 설명할 것이다.

실시예에서 제공한 응용 시나리오에 있어서, 도 8을 참조하면, 카메라 렌즈의 상태 검출 방법은 이상 영역 검출 모듈(81), 이상 영역 필터링 모듈(82), 상태 분석 처리 모듈(83) 및 제어 처리 모듈(84)을 통해 완료될 수 있다.

여기서, 이상 영역 검출 모듈(81)은, 타깃 이미지의 이상 영역을 검출할 수 있다. 이상 영역의 타입은, 렌즈가 물안개로 오염되는 것, 렌즈가 얼룩 오염되는 것, 렌즈가 가림이 존재하는 것 등을 포함한다. 또한, 이상 영역 필터링 모듈(82)은, 이상 영역 검출 모듈의 결과를 필터링할 수 있다. 필터링은 일련의 인공으로 설계된 규칙 및 특징을 통해 구현된다. 여기서 필터링 규칙은 영역 크기, 영역 컬러, 영역 경계 특징 등 통계 정보를 포함한다.

상태 분석 처리 모듈(83)은, 인공으로 설정된 임계값을 통해, 카메라 렌즈의 상태가 이상 상태인지 여부를 검출할 수 있다. 상태 분석 처리 모듈의 처리 결과는 정상, 이상, 오류 세 가지 상태로 분류될 수 있다. 여기서 정상 상태는, 카메라 렌즈가 어느 이상도 존재하지 않은 것이다. 이상 상태는, 카메라 렌즈의 상태가 조금의 이상이 존재하지만, 엄중하지 않는 것이다. 오류 상태는, 카메라 렌즈의 상태가 많이 이상하고, 즉시 정지 작동을 수행해야 하는 것이다. 상기 모듈의 출력 결과는 제어 모듈(84)에 맡겨 처리할 수 있음으로써, 제어 모듈이 상이한 상태에 대해 상이한 응답을 하는데 편리하다.

본 발명의 실시예에 있어서, 도 9에 도시된 바를 참조하면, 이상 영역 검출 모듈(81)은 아래의 단계를 실행할 수 있다.

단계 811에 있어서, 타깃 이미지를 획득한다. 상기 타깃 이미지는 카메라로 촬영하여 얻은 이미지이다.

단계 812에 있어서, 타깃 이미지에 대해 그레이스케일 처리를 수행하여, 그레이 이미지를 얻는다.

여기서, 타깃 이미지는 컬러 RGB 이미지이다. 상기 공식 (1)에 따라 타깃 이미지에 대해 그레이스케일 처리를 수행하여, 각 픽셀 포인트의 그레이 값을 얻을 수 있을으로써, 그레이 이미지를 얻는다.

예시적으로, 도 10은 상이한 시나리오에서의 그레이 이미지이다. 여기서, 도 10에서의 1001은 정상 상황의 그레이 이미지이고, 도 10에서의 1002는 카메라 렌즈가 물안개로 오염된 그레이 이미지이며, 도 10에서의 1003은 카메라 렌즈가 얼룩으로 오염된 그레이 이미지이고, 도 10에서의 1004는 카메라 렌즈가 가림이 존재한 그레이 이미지이다.

단계 813에 있어서, 그레이 이미지에 대해 Laplacian 변환을 수행하여, 변환 이미지를 얻는다.

여기서, Laplacian의 구체적인 과정은 예를 들어 먼저 sobel 연산자를 사용하여 2차 x 및 y 계차를 계산하고, 다음 합을 구하며, 공식은 상기 공식 (2)를 참조한다.

예시적으로, 도 10에 도시된 그레이 이미지에 대해 Laplacian 변환을 수행한 후, 도 11에 도시된 변환 이미지를 얻을 수 있다. 여기서, 도 11에서의 1101은 정상 상황에서 수집된 변환 이미지이고, 도 11에서의 1102는 카메라 렌즈가 물안개로 오염된 변환 이미지이며, 도 11에서의 1103은 카메라 렌즈가 얼룩으로 오염된 변환 이미지이고, 도 11에서의 1104는 카메라 렌즈가 가림이 존재한 변환 이미지이다.

단계 814에 있어서, 변환 이미지에 대해 필터링 처리를 수행하여, 필터링 이미지를 얻는다.

여기서, 필터링 처리는 형태학적 폐쇄 작업을 포함하지만 이에 한정되지 않는다. 형태학적 폐쇄 작업은 먼저 팽창 컴퓨팅을 수행하고, 다음 부식 컴퓨팅을 수행한다. 구체적인 팽창 컴퓨팅 및 부식 컴퓨팅의 과정은 상기 실시예와 동일하고, 여기서 더이상 반복하여 설명하지 않는다.

예시적으로, 도 11에 도시된 변환 이미지에 대해 형태학적 폐쇄 작업처리를 수행한 후, 도 12에 도시된 필터링 이미지를 얻을 수 있다. 여기서, 도 12에서의 1201은 정상 상황에서 수집된 필터링 이미지이고, 도 12에서의 1202는 카메라 렌즈가 물안개로 오염된 필터링 이미지이며, 도 12에서의 1203은 카메라 렌즈가 얼룩으로 오염된 필터링 이미지이고, 도 12에서의 1204는 카메라 렌즈가 가림이 존재한 필터링 이미지이다.

단계 815에 있어서, 필터링 이미지에 대해 이진화 처리를 수행하여, 이진화 이미지를 얻는다.

단계 816에 있어서, 이진화 이미지의 픽셀값에 대해 역으로 취하는 처리를 수행하여, 역 이진화 이미지를 얻는다.

설명해야 할 것은, 필터링 이미지에 대해 이진화 처리 및 역으로 취하는 작동을 수행하는 공식은 상기 실시예에서의 공식 (5)를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.

예시적으로, 도 12에 도시된 필터링 이미지에 대해 이진화 처리 및 역으로 취하는 처리를 수행한 후, 도 13에 도시된 역 이진화 이미지를 얻을 수 있다. 여기서, 도 13에서의 1301은 정상 상황에서의 역 이진화 이미지이고, 도 13에서의 1302는 카메라 렌즈가 물안개로 오염된 역 이진화 이미지이며, 도 13에서의 1303은 카메라 렌즈가 얼룩으로 오염된 역 이진화 이미지이고, 도 13에서의 1304는 카메라 렌즈가 가림이 존재한 역 이진화 이미지이다.

단계 817에 있어서, 역 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 복수 개의 후보 이상 영역을 구성한다.

여기서, 역 이진화 이미지에 대해 윤곽 영역 검색을 수행하여, 독립적인 개체 이상 영역을 획득한다. 구체적인 구현은 OpenCV 오픈 소스 컴퓨터 비전 라이브러리에서의 cv::findContours 함수를 이용할 수 있다.

예시적으로, 도 14에서 실선으로 둘러싸인 영역이 바로 상이한 시나리오에서의 후보 이상 영역이다.

본 발명의 실시예에 있어서, 이상 영역 필터링 모듈(82)은, 아래의 단계를 실행할 수 있다.

단계 821에 있어서, 각 후보 이상 영역의 제1 면적을 획득한다.

단계 822에 있어서, 복수 개의 후보 이상 영역에서, 제1 면적이 기설정 면적 조건을 만족하는 적어도 하나의 후보 이상 영역을 선택하여, 결정될 이상 영역으로 사용한다.

여기서, 기설정 면적 조건은 제1 면적이 제1 기설정 면적 임계값보다 큰 것이다. 다시 말해, 이상 후보 윤곽에 대해 면적 필터링을 수행하고, 면적이 지나치게 작은 영역을 삭제하여, 결정될 이상 영역을 얻는다.

단계 823에 있어서, 결정될 이상 영역의 픽셀 위치 정보에 기반하여, 결정될 이상 영역에 대응되는 적어도 하나의 마스크를 생성하고, 여기서, 적어도 하나의 마스크는 영역 마스크 및 경계 마스크 중 적어도 하나를 포함한다.

단계 824에 있어서, 적어도 하나의 마스크가 영역 마스크를 포함할 경우, 타깃 이미지에 대응되는 포화도 이미지를 획득하고, 결정될 이상 영역에 대응되는 영역 마스크를 이용하여, 포화도 이미지에서 결정될 이상 영역에 대응되는 제1 통계될 영역을 획득하며; 제1 통계될 영역의 포화도를 통계하여, 결정될 이상 영역의 상기 적어도 하나의 제1 통계값을 얻는다.

구체적으로, 공식 (6)에 따라 타깃 이미지의 포화도 정보를 계산하여, 포화도 이미지를 얻을 수 있다.

여기서, 제1 통계값은 결정될 이상 영역의 포화도의 평균값 및 분산 중의 하나일 수 있다.

단계 825에 있어서, 결정될 이상 영역에 대응되는 경계 마스크를 이용하여, 타깃 이미지에서 결정될 이상 영역에 대응되는 제2 통계될 영역을 획득하고; 제2 통계될 영역의 픽셀값을 통계하여, 결정될 이상 영역의 적어도 하나의 제2 통계값을 얻는 것 중 적어도 하나를 실행한다.

제2 통계값은 평균값 및 분산 중의 적어도 하나를 포함한다.

단계 826에 있어서, 결정될 이상 영역의 적어도 하나의 통계값이 기설정 통계 조건을 만족하는 것이 결정될 경우, 결정될 이상 영역을 최종 이상 영역으로 결정한다.

본 발명의 실시예에 있어서, 상태 분석 처리 모듈(83)은, 아래의 단계를 실행할 수 있다.

단계 831에 있어서, 최종 이상 영역의 제2 면적을 획득한다.

여기서, OpenCV 오픈 소스 컴퓨터 비전 라이브러리에서의 cv::contourArea 함수를 이용하여, 최종 이상 영역의 제2 면적을 계산한다.

단계 832에 있어서, 최종 이상 영역의 제2 면적이 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 만족하는지 여부를 판단한다.

여기서, 제1 기설정 영역 조건은 제2 면적이 제2 기설정 면적 임계값보다 큰 것이다. 제2 기설정 영역 조건은 제2 면적이 제2 기설정 면적 임계값보다 크고 제3 기설정 면적 임계값보다 작은 것이며, 여기서, 제2 기설정 면적 임계값은 제3 기설정 면적 임계값보다 크다.

단계 833에 있어서, 제1 기설정 영역 조건을 만족할 경우, 타깃 이미지가 제1 이상 상태인 것을 결정하고; 제2 기설정 영역 조건을 만족할 경우, 타깃 이미지가 제2 이상 상태인 것을 결정한다.

단계 834에 있어서, 연속된 제1 기설정 개수의 프레임의 타깃 이미지가 모두 상기 제1 이상 상태인 것이 검출될 경우, 카메라 렌즈가 상기 제1 이상 상태인 것을 결정한다.

연속된 제1 기설정 개수의 프레임의 타깃 이미지가 모두 제1 이상 상태이지 않고, 제1 이상 상태 또는 제2 이상 상태인 적어도 제2 기설정 개수의 프레임이 존재하는 것이 검출될 경우, 카메라 렌즈가 제2 이상 상태인 것을 결정한다.

이로부터 알다시피, 타깃 이미지에 대해 흐림 검출을 수행함으로써, 타깃 이미지의 흐림 상황에 따라 타깃 이미지에서 존재하는 이상 영역을 결정할 수 있도록 하여, 타깃 이미지에 대한 이상 영역 인식을 구현함으로써, 향후 얻은 최종 이상 영역에 따라 카메라 렌즈의 이상 상황을 판단할 수 있도록 한다. 그리고, 렌즈의 다양한 이상 상황은 물안개로 오염, 얼룩 오염, 가림 등일 수 있고, 타깃 이미지에서 일부 영역의 흐림을 일으킬 수 있으므로, 이미지의 흐림 검출을 통해, 상기 다양한 이상 상황이 모두 검출되도록 할 수 있음으로써, 검출 범위를 향상할 수 있다.

도 15를 참조하면, 도 15는 본 발명의 실시예의 카메라 렌즈의 상태 검출 장치의 일 실시예의 프레임워크 예시도이다. 상기 검출 장치(70)는 영역 검출 부분(71) 및 상태 분석 부분(72)을 포함한다. 영역 검출 부분(71)은 카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 타깃 이미지에서의 최종 이상 영역을 획득하도록 구성된다. 상태 분석 부분(72)은 최종 이상 영역을 분석하여, 카메라의 렌즈가 이상 상태인지 여부를 결정하도록 구성된다.

여기서, 영역 검출 부분(71)은 또한, 카메라로 촬영하여 얻은 타깃 이미지에 대해 흐림 검출을 수행하여, 타깃 이미지에서의 복수 개의 후보 이상 영역을 얻고; 복수 개의 후보 이상 영역에서 적어도 하나의 후보 이상 영역을 선택하여, 최종 이상 영역으로 사용하도록 구성된다.

여기서, 영역 검출 부분(71)은 또한, 카메라로 촬영하여 얻은 타깃 이미지에 대해 기설정 변환을 수행하여, 변환 이미지를 얻고, 변환 이미지에서의 각 픽셀의 픽셀값은 변화 이미지의 흐린 정보를 반영할 수 있으며; 변환 이미지의 픽셀값에 기반하여, 후보 이상 영역을 결정하도록 구성된다.

여기서, 영역 검출 부분(71)은 또한, 타깃 이미지에 대해 예비 처리를 수행하여, 예비 처리 이미지를 얻고; 예비 처리 이미지에 대해 라플라스 변환을 수행하여, 변환 이미지를 얻도록 구성된다. 영역 검출 부분(71)은 또한, 변환 이미지에 기반하여 이진화 처리를 수행하여, 이진화 이미지를 얻고; 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 후보 이상 영역을 구성하도록 구성된다.

여기서, 영역 검출 부분(71)은 또한, 타깃 이미지에 대해 그레이스케일 처리를 수행하여, 예비 처리 이미지를 얻도록 구성된다. 영역 검출 부분(71)은 또한, 변환 이미지에 대해 필터링 처리를 수행하여, 필터링 이미지를 얻도록 구성된다. 여기서, 필터링 처리는 형태학적 폐쇄 작업일 수 있지만 이에 한정되지 않는다. 필터링 이미지에 대해 이진화 처리를 수행하여, 이진화 이미지를 얻는다. 영역 검출 부분(71)은 또한, 이진화 이미지의 픽셀값을 역으로 취하여, 역 이진화 이미지를 얻도록 구성된다. 역 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 후보 이상 영역을 구성한다.

여기서, 영역 검출 부분(71)은 또한, 각 후보 이상 영역의 제1 면적을 획득하고; 복수 개의 후보 이상 영역에서, 제1 면적이 기설정 면적 조건을 만족하는 후보 이상 영역을 선택하여, 결정될 이상 영역으로 사용하며; 적어도 하나의 결정될 이상 영역을 최종 이상 영역으로 결정하도록 구성된다.

여기서, 상기 기설정 면적 조건은 제1 면적이 제1 기설정 면적 임계값보다 큰 것이다.

여기서, 영역 검출 부분(71)은 또한, 타깃 이미지에서의 결정될 이상 영역의 적어도 하나의 통계값을 결정하고; 결정될 이상 영역의 적어도 하나의 통계값은 결정될 이상 영역의 포화도를 통계하여 얻은 적어도 하나의 제1 통계값, 및 결정될 이상 영역의 픽셀값을 통계하여 얻은 적어도 하나의 제2 통계값 중 적어도 하나를 포함하며; 결정될 이상 영역의 적어도 하나의 통계값이 기설정 통계 조건을 만족하는 것이 결정될 경우, 결정될 이상 영역을 최종 이상 영역으로 결정하도록 구성된다.

여기서, 상기 적어도 하나의 통계값은 평균값 및 분산 중의 적어도 하나를 포함한다. 상기 기설정 통계 조건은, 결정될 이상 영역의 각 통계값이 모두 통계값에 대응되는 기설정 임계값보다 큰 것을 포함한다.

여기서, 영역 검출 부분(71)은 또한, 결정될 이상 영역의 픽셀 위치 정보에 기반하여, 결정될 이상 영역에 대응되는 영역 마스크 및 경계 마스크 중 적어도 하나를 포함하는 적어도 하나의 마스크를 생성하고, 여기서, 적어도 하나의 마스크는 영역 마스크 및 경계 마스크 중 적어도 하나를 포함하며; 적어도 하나의 마스크가 영역 마스크를 포함할 경우, 타깃 이미지에 대응되는 포화도 이미지를 획득하며, 결정될 이상 영역에 대응되는 영역 마스크를 이용하여, 포화도 이미지에서 결정될 이상 영역에 대응되는 제1 통계될 영역을 획득하고, 여기서, 적어도 하나의 통계될 영역은 전체 영역 및 경계 영역 중 적어도 하나를 포함하며; 타깃 이미지에 대응되는 포화도 이미지를 획득학고, 제1 통계될 영역 포화도 이미지에서 전체 영역에 대응되는 것이 결정된 영역을 통계하여, 결정될 이상 영역의 적어도 하나의 제1 통계값을 얻는 것; 및 적어도 하나의 마스크가 경계 마스크를 포함할 경우, 결정될 이상 영역에 대응되는 경계 마스크를 이용하여, 타깃 이미지에서 결정될 이상 영역에 대응되는 제2 통계될 영역을 획득하고; 제2 통계될 영역의 픽셀값을 통계하여, 결정될 이상 영역의 적어도 하나의 제2 통계값을 얻는 것 중 적어도 하나를 실행하도록 구성된다.

여기서, 상태 분석 부분(72)은 또한, 최종 이상 영역의 제2 면적을 획득하고; 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단하며; 만족할 경우, 타깃 이미지가 이상 상태인 것을 결정하고; 연속된 제1 기설정 개수의 프레임의 타깃 이미지에서 적어도 제2 기설정 개수의 프레임이 이상 상태인 것이 검출될 경우, 카메라 렌즈가 이상 상태인 것을 결정하며; 제1 기설정 개수 및 제2 기설정 개수는 양의 정수이도록 구성된다.

여기서, 상태 분석 부분(72)은 또한, 최종 이상 영역의 제2 면적이 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 만족하는지 여부를 판단하도록 구성된다. 만족할 경우, 상태 분석 부분(72)은 또한, 제1 기설정 영역 조건을 만족할 경우, 타깃 이미지가 제1 이상 상태인 것을 결정하고; 제2 기설정 영역 조건을 만족할 경우, 타깃 이미지가 제2 이상 상태인 것을 결정하도록 구성된다. 상태 분석 부분(72)은 또한, 연속된 제1 기설정 개수의 프레임의 타깃 이미지가 모두 제1 이상 상태인 것이 검출될 경우, 카메라 렌즈가 제1 이상 상태인 것을 결정하고; 연속된 제1 기설정 개수의 프레임의 타깃 이미지가 모두 제1 이상 상태이지 않고, 제1 이상 상태 또는 제2 이상 상태인 적어도 제2 기설정 개수의 프레임이 존재하는 것이 검출될 경우, 카메라 렌즈가 제2 이상 상태인 것을 결정하도록 구성된다.

도 16을 참조하면, 도 16은 본 발명의 실시예의 전자 기기의 일 실시예의 프레임워크 예시도이다. 전자 기기(80)는 서로 결합된 메모리(81) 및 프로세서(82)를 포함하고, 프로세서(82)는 메모리(81)에 저장된 컴퓨터 프로그램을 실행하여, 상기 어느 하나의 카메라 렌즈의 상태 검출 방법의 실시예의 단계를 구현하기 위한 것이다. 하나의 구체적인 실시 시나리오에 있어서, 전자 기기(80)는, 마이크로 컴퓨터, 서버를 포함할 수 있지만 이에 한정되지 않고, 또한, 전자 기기(80)는 또한 노트북, 태블릿 PC 등 이동 기기를 포함할 수 있으며, 여기서 한정하지 않는다.

구체적으로 말하면, 프로세서(82)는 자신 및 메모리(81)를 제어하여 상기 어느 하나의 카메라 렌즈의 상태 검출 방법의 실시예의 단계를 구현하기 위한 것이다. 프로세서(82)는 CPU(Central Processing Unit, 중앙 처리 유닛)라고 칭할 수도 있다. 프로세서(82)는 신호 처리 능력을 구비하는 집적 회로 칩일 수 있다. 프로세서(82)는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 현장 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 다른 프로그래머블 논리 장치, 이산 게이트 또는 트랜지스터 논리 장치, 이산 하드웨어 컴포넌트일 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수도 있다. 또한, 프로세서(82)는 집적 회로 칩에 의해 공동으로 구현될 수 있다.

도 17을 참조하면, 도 17은 본 발명의 실시예의 컴퓨터 판독 가능한 저장 매체의 일 실시예의 프레임워크 예시도이다. 컴퓨터 판독 가능한 저장 매체(90)는 프로세서에 의해 작동 가능한 컴퓨터 프로그램(901)을 저장하고, 컴퓨터 프로그램(901)은 상기 어느 하나의 카메라 렌즈의 상태 검출 방법 실시예의 단계를 구현하기 위한 것이다.

본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 컴퓨터 판독 가능한 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 카메라 렌즈의 상태 검출 방법의 실시예의 단계를 구현하도록 구성된다.

일부 실시예에 있어서,본 발명의 실시예에서 제공되는 장치, 기기 또는 매체에 포함된 기능 또는 부분는 상기 방법 실시예에 설명한 방법을 실행하는데 사용될 수 있고,구체적인 구현은 상기 방법 실시예의 설명을 참조할 수 있으며,간결함을 위해 여기서 더이상 설명하지 않는다.

상문에서는 각 실시예에 대한 설명은 각 실시예의 차이점을 강조하는 것에 치우치고, 그 동일하거나 유사한 부분은 서로 참조할 수 있으며, 간결함을 위해, 본문에서 더이상 반복하여 설명하지 않는다.

본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 방법 및 장치는 다른 방식으로 구현될 수 있음을 이해해야 한다. 예컨대, 전술된 장치 실시방식은 다만 예시적이며, 예컨대, 부분 또는 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 예를 들어, 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다. 상기 집적된 유닛은 하드웨어 형식으로 구현되거나 소프트웨어 기능 유닛의 형식으로 구현될 수도 있다.

집적된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로 판매되거나 사용되는 경우 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음) 또는 프로세서(processor)로 하여금 본 발명의 실시예의 각 실시방식의 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 이동식 하드 디스크, 롬(Read-Only Memory, ROM), 램(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

Claims

카메라 렌즈의 상태 검출 방법으로서,
카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 상기 타깃 이미지에서의 최종 이상 영역을 획득하는 단계; 및
상기 최종 이상 영역을 분석하여, 상기 카메라의 렌즈가 이상 상태인지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제1항에 있어서,
상기 카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 상기 타깃 이미지에서의 최종 이상 영역을 획득하는 단계는,
상기 카메라로 촬영하여 얻은 상기 타깃 이미지에 대해 흐림 검출을 수행하여, 상기 타깃 이미지에서의 복수 개의 후보 이상 영역을 얻는 단계; 및
상기 복수 개의 후보 이상 영역에서 적어도 하나의 상기 후보 이상 영역을 선택하여, 상기 최종 이상 영역으로 사용하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제2항에 있어서,
상기 카메라로 촬영하여 얻은 타깃 이미지에 대해 흐림 검출을 수행하여, 상기 타깃 이미지에서의 복수 개의 후보 이상 영역을 얻는 단계는,
상기 카메라로 촬영하여 얻은 상기 타깃 이미지에 대해 기설정 변환을 수행하여, 변환 이미지를 얻는 단계 - 상기 변환 이미지에서의 각 픽셀의 픽셀값은 상기 변화 이미지의 흐린 정보를 반영할 수 있음 - ; 및
상기 변환 이미지의 픽셀값에 기반하여, 상기 후보 이상 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제3항에 있어서,
상기 카메라로 촬영하여 얻은 상기 타깃 이미지에 대해 기설정 변환을 수행하여, 변환 이미지를 얻는 단계는,
상기 타깃 이미지에 대해 예비 처리를 수행하여, 예비 처리 이미지를 얻는 단계; 및
상기 예비 처리 이미지에 대해 라플라스 변환을 수행하여, 상기 변환 이미지를 얻는 단계를 포함하고,
상기 변환 이미지의 픽셀값에 기반하여, 상기 후보 이상 영역을 결정하는 단계는,
상기 변환 이미지에 기반하여 이진화 처리를 수행하여, 이진화 이미지를 얻는 단계; 및
상기 이진화 이미지에서 상기 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 상기 후보 이상 영역을 구성하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제4항에 있어서,
상기 타깃 이미지에 대해 예비 처리를 수행하여, 예비 처리 이미지를 얻는 단계는,
상기 타깃 이미지에 대해 그레이스케일 처리를 수행하여, 예비 처리 이미지를 얻는 단계를 포함하고,
상기 변환 이미지에 기반하여 이진화 처리를 수행하여, 이진화 이미지를 얻는 단계는,
상기 변환 이미지에 대해 필터링 처리를 수행하여, 필터링 이미지를 얻는 단계 - 상기 필터링 처리는 형태학적 폐쇄 작업을 포함함 - ; 및
상기 필터링 이미지에 대해 이진화 처리를 수행하여, 상기 이진화 이미지를 얻는 단계를 포함하고,
상기 이진화 이미지에서 상기 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 상기 후보 이상 영역을 구성하는 단계는,
상기 이진화 이미지의 픽셀값을 역으로 취하여, 역 이진화 이미지를 얻는 단계; 및
상기 역 이진화 이미지에서 상기 픽셀값이 상기 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 상기 후보 이상 영역을 구성하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제2항 내지 제5항 중 어느 한 항에 있어서,
상기 복수 개의 후보 이상 영역에서 적어도 하나의 상기 후보 이상 영역을 선택하여, 상기 최종 이상 영역으로 사용하는 단계는,
각 상기 후보 이상 영역의 제1 면적을 획득하는 단계;
상기 복수 개의 후보 이상 영역에서, 상기 제1 면적이 기설정 면적 조건을 만족하는 적어도 하나의 후보 이상 영역을 선택하여, 결정될 이상 영역으로 사용하는 단계; 및
적어도 하나의 상기 결정될 이상 영역을 상기 최종 이상 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제6항에 있어서,
상기 기설정 면적 조건은 상기 제1 면적이 제1 기설정 면적 임계값보다 큰 것; 및
상기 적어도 하나의 상기 결정될 이상 영역을 상기 최종 이상 영역으로 결정하는 단계는,
상기 타깃 이미지에서의 상기 결정될 이상 영역의 적어도 하나의 통계값을 결정하는 단계 - 상기 결정될 이상 영역의 적어도 하나의 통계값은 상기 결정될 이상 영역의 포화도를 통계하여 얻은 적어도 하나의 제1 통계값 및 상기 결정될 이상 영역의 픽셀값을 통계하여 얻은 적어도 하나의 제2 통계값 중 적어도 하나를 포함함 - ; 및
상기 결정될 이상 영역의 적어도 하나의 통계값이 기설정 통계 조건을 만족하는 것이 결정될 경우, 상기 결정될 이상 영역을 상기 최종 이상 영역으로 결정하는 단계를 포함하는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제7항에 있어서,
상기 제1 통계값 및 제2 통계값은 각각 평균값 및 분산 중의 적어도 하나를 포함하고, 상기 기설정 통계 조건은, 상기 결정될 이상 영역의 각 상기 통계값이 모두 상기 통계값에 대응되는 기설정 임계값보다 큰 것을 포함하며;
상기 타깃 이미지에서의 상기 결정될 이상 영역의 적어도 하나의 통계값을 결정하는 단계는,
상기 결정될 이상 영역의 픽셀 위치 정보에 기반하여, 상기 결정될 이상 영역에 대응되는 적어도 하나의 마스크를 생성하는 단계 - 상기 적어도 하나의 마스크는 영역 마스크 및 경계 마스크 중 적어도 하나를 포함함 - ; 및
상기 적어도 하나의 마스크가 영역 마스크를 포함할 경우, 상기 타깃 이미지에 대응되는 포화도 이미지를 획득하고, 상기 결정될 이상 영역에 대응되는 영역 마스크를 이용하여, 상기 포화도 이미지에서 상기 결정될 이상 영역에 대응되는 제1 통계될 영역을 획득하며; 상기 제1 통계될 영역의 포화도를 통계하여, 상기 결정될 이상 영역의 상기 적어도 하나의 제1 통계값을 얻는 것; 및
상기 적어도 하나의 마스크가 경계 마스크를 포함할 경우, 상기 결정될 이상 영역에 대응되는 경계 마스크를 이용하여, 상기 타깃 이미지에서 상기 결정될 이상 영역에 대응되는 제2 통계될 영역을 획득하고; 상기 제2 통계될 영역의 픽셀값을 통계하여, 상기 결정될 이상 영역의 상기 적어도 하나의 제2 통계값을 얻는 것 중 적어도 하나를 실행하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 최종 이상 영역을 분석하여, 상기 카메라의 렌즈가 이상 상태인지 여부를 결정하는 단계는,
상기 최종 이상 영역의 제2 면적을 획득하는 단계;
상기 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단하는 단계;
만족할 경우, 상기 타깃 이미지가 이상 상태인 것을 결정하는 단계; 및
연속된 제1 기설정 개수의 프레임의 상기 타깃 이미지에서 적어도 제2 기설정 개수의 프레임이 이상 상태인 것이 검출될 경우, 상기 카메라 렌즈가 이상 상태인 것을 결정하는 단계 - 상기 제1 기설정 개수 및 제2 기설정 개수는 양의 정수임 - 를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제9항에 있어서,
상기 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단하는 단계는,
상기 최종 이상 영역의 제2 면적이 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 만족하는지 여부를 판단하는 단계;
상기 만족할 경우, 상기 타깃 이미지가 이상 상태인 것을 결정하는 단계는,
상기 제1 기설정 영역 조건을 만족할 경우, 상기 타깃 이미지가 제1 이상 상태인 것을 결정하는 단계; 및
상기 제2 기설정 영역 조건을 만족할 경우, 상기 타깃 이미지가 제2 이상 상태인 것을 결정하는 단계를 포함하고,
상기 연속된 제1 기설정 개수의 프레임의 상기 타깃 이미지에서 적어도 제2 기설정 개수의 프레임이 이상 상태인 것이 검출될 경우, 상기 카메라 렌즈가 이상 상태인 것을 결정하는 단계는,
상기 연속된 제1 기설정 개수의 프레임의 상기 타깃 이미지가 모두 상기 제1 이상 상태인 것이 검출될 경우, 상기 카메라 렌즈가 상기 제1 이상 상태인 것을 결정하는 단계; 및
상기 연속된 제1 기설정 개수의 프레임의 상기 타깃 이미지가 모두 상기 제1 이상 상태이지 않고, 상기 제1 이상 상태 또는 상기 제2 이상 상태인 적어도 상기 제2 기설정 개수의 프레임이 존재하는 것이 검출될 경우, 상기 카메라 렌즈가 제2 이상 상태인 것을 결정하는 단계를 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
제10항에 있어서,
상기 제1 기설정 영역 조건은 상기 제2 면적이 제2 기설정 면적 임계값보다 큰 것이고; 상기 제2 기설정 영역 조건은 상기 제2 면적이 제2 기설정 면적 임계값보다 크고 제3 기설정 면적 임계값보다 작은 것이며, 상기 제2 기설정 면적 임계값은 상기 제3 기설정 면적 임계값보다 큰 것을 특징으로 하는 카메라 렌즈의 상태 검출 방법.
카메라 렌즈의 상태 검출 장치로서,
카메라로 촬영하여 얻은 타깃 이미지에 대해 이상 검출을 수행하여, 상기 타깃 이미지에서의 최종 이상 영역을 획득하도록 구성된 영역 검출 부분; 및
상기 최종 이상 영역을 분석하여, 상기 카메라의 렌즈가 이상 상태인지 여부를 결정하도록 구성된 상태 분석 부분을 포함하는 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제12항에 있어서,
상기 영역 검출 부분은 또한, 상기 카메라로 촬영하여 얻은 상기 타깃 이미지에 대해 흐림 검출을 수행하여, 상기 타깃 이미지에서의 복수 개의 후보 이상 영역을 얻고; 상기 복수 개의 후보 이상 영역에서 적어도 하나의 상기 후보 이상 영역을 선택하여, 상기 최종 이상 영역으로 사용하도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제13항에 있어서,
상기 영역 검출 부분은 또한, 카메라로 촬영하여 얻은 상기 타깃 이미지에 대해 기설정 변환을 수행하여, 변환 이미지를 얻고, 변환 이미지에서의 각 픽셀의 픽셀값은 변화 이미지의 흐린 정보를 반영할 수 있으며; 상기 변환 이미지의 픽셀값에 기반하여, 후보 이상 영역을 결정하도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제14항에 있어서,
상기 영역 검출 부분은 또한, 타깃 이미지에 대해 예비 처리를 수행하여, 예비 처리 이미지를 얻고; 상기 예비 처리 이미지에 대해 라플라스 변환을 수행하여, 상기 변환 이미지를 얻도록 구성되고;
상기 영역 검출 부분은 또한, 상기 변환 이미지에 기반하여 이진화 처리를 수행하여, 이진화 이미지를 얻고; 상기 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 상기 후보 이상 영역을 구성하도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제15항에 있어서,
상기 영역 검출 부분은 또한, 상기 타깃 이미지에 대해 그레이스케일 처리를 수행하여, 상기 예비 처리 이미지를 얻도록 구성되고;
상기 영역 검출 부분은 또한, 상기 변환 이미지에 대해 필터링 처리를 수행하여, 필터링 이미지를 얻고; 상기 필터링 처리는 형태학적 폐쇄 작업을 포함하며; 상기 필터링 이미지에 대해 이진화 처리를 수행하여, 상기 이진화 이미지를 얻도록 구성되고;
상기 영역 검출 부분은 또한, 상기 이진화 이미지의 픽셀값을 역으로 취하여, 역 이진화 이미지를 얻고; 상기 역 이진화 이미지에서 픽셀값이 기설정 픽셀 조건을 만족하는 픽셀 포인트를 검색하여, 상기 후보 이상 영역을 구성하도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제13항 내지 제16항 중 어느 한 항에 있어서,
상기 영역 검출 부분은 또한, 각 상기 후보 이상 영역의 제1 면적을 획득하고; 상기 복수 개의 후보 이상 영역에서, 상기 제1 면적이 기설정 면적 조건을 만족하는 적어도 하나의 후보 이상 영역을 선택하여, 결정될 이상 영역으로 사용하며; 적어도 하나의 상기 결정될 이상 영역을 상기 최종 이상 영역으로 결정하도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제17항에 있어서,
기설정 면적 조건은 상기 제1 면적이 제1 기설정 면적 임계값보다 큰 것이고;
상기 영역 검출 부분은 또한, 상기 타깃 이미지에서의 상기 결정될 이상 영역의 적어도 하나의 통계값을 결정하고; 상기 결정될 이상 영역의 적어도 하나의 통계값은 상기 결정될 이상 영역의 포화도를 통계하여 얻은 적어도 하나의 제1 통계값, 및 상기 결정될 이상 영역의 픽셀값을 통계하여 얻은 적어도 하나의 제2 통계값 중 적어도 하나를 포함하며; 상기 결정될 이상 영역의 적어도 하나의 통계값이 기설정 통계 조건을 만족하는 것이 결정될 경우, 상기 결정될 이상 영역을 상기 최종 이상 영역으로 결정하도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제18항에 있어서,
상기 제1 통계값 및 제2 통계값은 각각 평균값 및 분산 중의 적어도 하나를 포함하고, 상기 기설정 통계 조건은, 상기 결정될 이상 영역의 각 상기 통계값이 모두 상기 통계값에 대응되는 기설정 임계값보다 큰 것을 포함하며;
상기 영역 검출 부분은 또한, 상기 결정될 이상 영역의 픽셀 위치 정보에 기반하여, 상기 결정될 이상 영역에 대응되는 적어도 하나의 마스크를 생성하고; 상기 적어도 하나의 마스크는 영역 마스크 및 경계 마스크 중 적어도 하나를 포함하며; 상기 적어도 하나의 마스크가 영역 마스크를 포함할 경우, 상기 타깃 이미지에 대응되는 포화도 이미지를 획득하며, 상기 결정될 이상 영역에 대응되는 영역 마스크를 이용하여, 상기 포화도 이미지에서 상기 결정될 이상 영역에 대응되는 제1 통계될 영역을 획득하고; 상기 제1 통계될 영역의 포화도를 통계하여, 상기 결정될 이상 영역의 상기 적어도 하나의 제1 통계값을 얻는 것; 및 상기 적어도 하나의 마스크가 경계 마스크를 포함할 경우, 상기 결정될 이상 영역에 대응되는 경계 마스크를 이용하여, 상기 타깃 이미지에서 상기 결정될 이상 영역에 대응되는 제2 통계될 영역을 획득하고; 상기 제2 통계될 영역의 픽셀값을 통계하여, 상기 결정될 이상 영역의 상기 적어도 하나의 제2 통계값을 얻는 것 중 적어도 하나를 실행하도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제12항 내지 제18항에 있어서,
상기 상태 분석 부분은 또한, 상기 최종 이상 영역의 제2 면적을 획득하고; 상기 최종 이상 영역의 제2 면적이 기설정 영역 조건을 만족하는지 여부를 판단하며; 만족할 경우, 상기 타깃 이미지가 이상 상태인 것을 결정하고; 연속된 제1 기설정 개수의 프레임의 상기 타깃 이미지에서 적어도 제2 기설정 개수의 프레임이 이상 상태인 것이 검출될 경우, 상기 카메라 렌즈가 이상 상태인 것을 결정하며; 상기 제1 기설정 개수 및 제2 기설정 개수는 양의 정수이도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제20항에 있어서,
상기 상태 분석 부분은 또한, 상기 최종 이상 영역의 제2 면적이 제1 기설정 영역 조건 또는 제2 기설정 영역 조건을 만족하는지 여부를 판단하고; 상기 제1 기설정 영역 조건을 만족할 경우, 상기 타깃 이미지가 제1 이상 상태인 것을 결정하며; 상기 제2 기설정 영역 조건을 만족할 경우, 상기 타깃 이미지가 제2 이상 상태인 것을 결정하도록 구성되고;
상기 상태 분석 부분은 또한, 상기 연속된 제1 기설정 개수의 프레임의 상기 타깃 이미지가 모두 상기 제1 이상 상태인 것이 검출될 경우, 상기 카메라 렌즈가 상기 제1 이상 상태인 것을 결정하고; 상기 연속된 제1 기설정 개수의 프레임의 상기 타깃 이미지가 모두 상기 제1 이상 상태이지 않고, 상기 제1 이상 상태 또는 상기 제2 이상 상태인 적어도 상기 제2 기설정 개수의 프레임이 존재하는 것이 검출될 경우, 상기 카메라 렌즈가 제2 이상 상태인 것을 결정하도록 구성된 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
제21항에 있어서,
상기 제1 기설정 영역 조건은 상기 제2 면적이 제2 기설정 면적 임계값보다 큰 것이고; 상기 제2 기설정 영역 조건은 상기 제2 면적이 제2 기설정 면적 임계값보다 크고 제3 기설정 면적 임계값보다 작은 것이며, 상기 제2 기설정 면적 임계값은 상기 제3 기설정 면적 임계값보다 큰 것인 것을 특징으로 하는 카메라 렌즈의 상태 검출 장치.
전자 기기로서,
서로 결합된 메모리 및 프로세서를 포함하고, 상기 프로세서는 상기 메모리에 저장된 컴퓨터 프로그램을 실행하여, 제1항 내지 제11항 중 어느 한 항에 따른 카메라 렌즈의 상태 검출 방법을 구현하기 위한 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능한 저장 매체로서,
컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제11항 중 어느 한 항에 따른 카메라 렌즈의 상태 검출 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램으로서,
컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제11항 중 어느 한 항을 구현하기 위한 카메라 렌즈의 상태 검출 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램.