KR102592231B1 - 카메라의 자가 고장진단 방법 - Google Patents

Abstract

본 발명의 실시예들은 카메라의 자가 고장진단 방법에 관한 것이다.
본 발명의 일 실시예에 따른 카메라의 자가고장 진단 방법은, 영상으로부터 고장 유형별 특징 정보를 추출하는 단계; 상기 특징 정보를 레벨화한 레벨값을 생성하는 단계; 및 상기 고장 유형별 레벨값의 변화를 기초로 상기 카메라의 고장 유형을 진단하는 단계;를 포함한다.

Description

카메라의 자가 고장진단 방법{Method for diagnosing fault of camera}

본 실시예들은 카메라의 자가 고장진단 방법에 관한 것이다.

최근 보안과 방범에 대한 수요와 관심이 증가하면서 CCTV 카메라의 보급 또한 이 추세에 맞추어 증가하고 있다. 감시하고자 하는 지역에 필요 기능을 수행하기 적합한 형태의 CCTV 카메라를 설치하고, 이를 통해 지역 영상을 촬영하고 이를 실시간 관찰함으로써 범죄를 예방한다. 또한, 영상 녹화를 통해 지난 사건에 대해서도 녹화된 영상을 관찰함으로써 사건 해결에 대한 단서를 찾기도 한다. 보안과 방범을 위한 CCTV 카메라뿐만 아니라 최근에는 가정용 CCTV 카메라도 보급이 증가하는 추세로 이 장비를 통해 보안, 엔터테인먼트, 통화 등 다양한 기능을 수행하기도 한다.

한국등록특허 제1673776호

본 발명의 실시예들은 카메라가 고장 발생 유무를 스스로 감지하고 고장 발생 시 운용자에게 알람을 전달함으로써 사용자가 이를 인지할 수 있도록 한다.

본 발명의 일 실시예에 따른 카메라의 자가고장 진단 방법은, 영상으로부터 고장 유형별 특징 정보를 추출하는 단계; 상기 특징 정보를 레벨화한 레벨값을 생성하는 단계; 및 상기 고장 유형별 레벨값의 변화를 기초로 상기 카메라의 고장 유형을 진단하는 단계;를 포함한다.

상기 특징 정보 추출 단계는, 상기 영상에서 기준 범위 내의 Y값을 갖는 화소들의 그룹인 관심영역을 추출하고, 상기 관심영역에서 RGB 내부거리가 기준값 이상인 특징 화소들을 추출하는 제1 특징정보 추출 단계; 상기 영상의 평균 Y값 및 히스토그램 절단값을 산출하는 제2 특징정보 추출 단계; 및 상기 영상의 Y값을 기초로 코너에 대응하는 특징 화소들을 추출하는 제3 특징정보 추출 단계;를 포함할 수 있다.

상기 레벨 값 생성 단계는, 상기 관심영역에서 추출된 특징 화소들의 상기 관심영역 대비 면적 비를 레벨화하는 제1 레벨값 생성 단계; 상기 영상의 평균 Y값 및 히스토그램 절단값 각각과 기준 영상의 참고값의 차이를 레벨화하는 제2 레벨값 생성 단계; 및 상기 코너에 대응하는 특징 화소들의 개수를 레벨화하는 제3 레벨값 생성 단계;를 포함할 수 있다.

본 발명의 일 실시예에 따른 카메라의 자가고장 진단 방법은, 영상에서 기준 범위 내의 Y값을 갖는 화소들의 그룹인 관심영역을 추출하고, 상기 관심영역에서 RGB 내부거리가 기준값 이상인 특징 화소들을 추출하는 단계; 상기 관심영역에서 추출된 특징 화소들의 상기 관심영역 대비 면적 비를 레벨화한 제1 레벨값을 생성하는 단계; 및 상기 제1 레벨값의 변화를 기초로 카메라의 편색을 진단하는 단계;를 포함한다.

본 발명의 일 실시예에 따른 카메라의 자가고장 진단 방법은, 영상의 평균 Y값 및 히스토그램 절단값의 평균값을 산출하는 단계; 상기 영상의 평균 Y값 및 히스토그램 절단값 각각과 기준 영상의 참고값의 차이를 레벨화한 제2 레벨값을 생성하는 단계; 및 상기 제2 레벨값의 변화를 기초로 카메라의 노출 부족 또는 노출 과다를 진단하는 단계;를 포함한다.

본 발명의 일 실시예에 따른 카메라의 자가고장 진단 방법은, 영상의 Y값을 기초로 코너에 대응하는 특징 화소들을 추출하는 단계; 상기 코너에 대응하는 특징 화소들의 개수를 레벨화한 제3 레벨값을 생성하는 단계; 및 상기 제3 레벨값의 변화를 기초로 카메라의 초점 흐림을 진단하는 단계;를 포함한다.

본 발명의 실시에들은 입력 영상을 분석하여 고장을 감지하기 때문에 영상의 올바른 저장 여부, 전송된 데이터 유실 여부 등에 관계없이 고장 현상의 감지가 가능하다.

도 1은 본 발명의 일 실시예에 따른 보안 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 카메라의 구성을 개략적으로 도시한 블록도이다.
도 3은 도 2에 도시된 카메라의 자가 고장 진단 방법을 개략적으로 설명하는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 제1 고장진단부(210A)의 편색 현상 진단 방법을 설명하는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 제2 고장진단부(210B)의 노출 부족/과다 현상 진단 방법을 설명하는 흐름도이다.
도 6은 히스토그램 절단 값을 구하는 일 예이다. 도 6(a)는 각 등급의 화소 수를 나타낸 히스토그램이다.
도 7은 본 발명의 일 실시예에 따른 제3 고장진단부(210B)의 노출 부족/과다 현상 진단 방법을 설명하는 흐름도이다.
도 8 및 도 9는 관리장치가 제공하는 그래픽 사용자 인터페이스의 일 예이다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 보안 시스템의 구성도이다.

도 1을 참조하면, 본 실시예의 보안 시스템(100)은 카메라(200) 및 관리장치(700)를 포함할 수 있다. 카메라(200)는 유선 및/또는 무선의 네트워크를 통해 관리장치(700)와 연결될 수 있다.

카메라(200)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 일체로 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다. 카메라(100)는 특정 장소의 고정된 위치에 배치되고, 촬영 범위가 고정된 단일 고정식 카메라 또는 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 PTZ 카메라일 수 있다. 카메라(100)는 비쥬얼 카메라, 열상 카메라, 특수 목적 카메라 등을 포함하는 감시용 카메라, 휴대용 카메라, 캠코더 등일 수 있다.

카메라(200)는 영상을 획득하고, 획득한 영상으로부터 자가 고장 진단할 수 있다. 카메라(200)는 영상으로부터 진단하고자 하는 고장 유형별 특징정보를 추출하고, 추출한 특징정보를 수치화함으로써 레벨화할 수 있다. 카메라(200)는 특징정보를 레벨화한 레벨 값의 변화를 기초로 고장 유형을 진단할 수 있다. 카메라(200)는 획득한 영상을 분석하여 렌즈 또는 이미지 센서 고장으로 인한 편색 현상, 노출 부족 또는 노출 과다 현상, 초점 흐림 현상을 진단할 수 있다. 본 발명의 실시예는 전술된 고장 유형에 한정되지 않고, 실제 운용 사례에서 발생할 수 있는 다양한 고장 가능성에 대해 각각의 고장 판단 기준을 만들어 대응할 수 있다. 그리고 모든 고장 판단은 카메라(200)로부터 얻은 영상 정보를 기반으로 결정한다.

카메라(200)의 고장 판단은 매 프레임 단위로 얻어지는 RGB 컬러 영상을 기준으로 수행할 수 있다. RGB 컬러 영상은 카메라(200)에서 곧바로 획득할 수도 있고, 카메라(200)에서 사용하는 컬러 도메인에서 RGB 컬러 도메인으로의 변환을 통해 얻을 수 있다. 카메라(200)는 매 프레임 얻어지는 영상에서 고장 유무를 판단할 수 있는 특징 정보를 추출하여 레벨로 표시하고, 시간에 따른 특징 정보의 레벨 값 변화를 모니터링할 수 있다. 카메라(200)는 특징 정보의 레벨 값이 설정된 기준 값 이상으로 일정 시간 이상 지속되는 경우 고장이라고 판단하고 관리장치(700)로 실시간 알람을 전달할 수 있다.

관리장치(700)는 카메라(200)와 연결되어 카메라(200)로 영상을 요청할 수 있다. 관리장치(700)는 카메라(200)로부터 영상을 수신하여 디스플레이에 제공하고, 디스플레이 중인 영상들을 모니터링할 수 있다. 관리장치(700)는 개인용 컴퓨터, 스마트폰, 테블릿, 핸드헬드 장치 등의 단말 또는 클라우드 서버, 레코딩 서버, 업그레이드 서버, 알람 서버 등의 서버일 수 있다.

관리장치(700)는 입력장치 및 디스플레이를 포함할 수 있다. 입력장치는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 디스플레이는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.

도 2는 본 발명의 일 실시예에 따른 카메라의 구성을 개략적으로 도시한 블록도이다. 도 3은 도 2에 도시된 카메라의 자가 고장 진단 방법을 개략적으로 설명하는 흐름도이다.

도 2를 참조하면, 카메라(200)는 광학부(201), 영상센서(202), 영상신호프로세서(ISP, Image Signal Processor)(203), 저장부(204) 및 고장진단부(210)를 포함할 수 있다.

광학부(201)는 줌 렌즈 및 포커스 렌즈, 광량 조절을 위한 조리개(iris) 등의 광학계를 포함할 수 있다.

영상센서(202)는 광학부(201)를 통과한 빛을 전기적인 영상 신호로 변환시킬 수 있다. 영상센서(202)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 촬상소자를 포함할 수 있다.

영상신호프로세서(203)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 영상신호프로세서(203)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

영상신호프로세서(203)는 영상센서(202)로부터의 디지털 영상 신호 또는 영상센서(202)로부터의 아날로그 영상 신호를 변경한 디지털 영상 신호에 대해 노이즈 제거, 감마 보정(Gamma Correction), 색필터 배열 보간(color filter array interpolation), 색 보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 신호 처리를 수행할 수 있다. 영상의 컬러 도메인은 YUV 도메인, RGB 도메인, YCbCr 도메인 등일 수 있다. 영상신호프로세서(203)는 RGB 도메인의 컬러 영상을 출력할 수 있다. 영상신호프로세서(203)는 영상을 저장부(204)에 저장할 수 있다.

고장진단부(210)는 영상 분석을 통해 자가 고장 진단할 수 있다. 고장진단부(210)는 편색 진단을 위한 제1 고장진단부(210A), 노출 과다/부족 진단을 위한 제2 고장진단부(210B), 초점 흐림 진단을 위한 제3 고장진단부(210C)를 포함할 수 있다. 제1 고장진단부(210A) 내지 제3 고장진단부(210C) 중 적어도 하나가 순차적으로 또는 동시에 병렬적으로 고장 진단할 수 있다. 제1 고장진단부(210A) 내지 제3 고장진단부(210C)의 동작 여부는 사용자의 설정에 따라 결정될 수 있다.

편색 현상은 영상에 특정 색상이 과다하게 보여지는 현상으로, ISP(203)가 제대로 작동하지 않아서 화이트 색상을 만들 수 없을 때 나타난다. 노출 과다 현상과 노출 부족 현상은 영상이 전체적으로 너무 밝게 보이거나 너무 어둡게 보이는 현상으로, 카메라 렌즈단(즉, 광학부(201))에서 빛을 제대로 조절하지 못할 때 발생한다. 초점 흐림 현상은 영상에 블러링이 나타나는 현상으로, 렌즈의 초점 보정이 잘못되었을 때 발생한다.

도 3을 함께 참조하면, 고장진단부(210)는 영상으로부터 고장 유형별 특징 정보를 추출할 수 있다(S301). 고장진단부(210)는 고장 유형별로 특징 정보를 레벨화한 레벨값을 생성할 수 있다(S303). 고장진단부(210)는 고장 유형별 레벨값의 변화를 기초로 카메라(200)의 고장 유형을 진단할 수 있다(S305).

도 4는 본 발명의 일 실시예에 따른 제1 고장진단부(210A)의 편색 현상 진단 방법을 설명하는 흐름도이다. 이하 도 3 및 도 4를 함께 참조하여 설명하겠다.

본 발명의 일 실시예에 따른 제1 고장진단부(210A)의 편색 현상 진단 방법은 YUV 도메인의 Y 값과 RGB 도메인의 RGB 값을 함께 사용한다. 영상에서 색상은 화소의 RGB 값들 간의 차이가 클수록 많이 드러난다. 예를 들어, 화소의 RGB 값들이 서로 비슷한 경우에는 영상의 색상이 흑백-회색 계열로 나타나며, 화소의 RGB 값들의 차이가 큰 경우는 편중된 화소에 의한 색상이 두드러진다. 따라서, 본 실시예에서는 RGB 값의 차이가 큰 화소들을 찾음으로써 편색 현상을 감지할 수 있다.

제1 특징추출부(205a)는 영상으로부터 편색 진단을 위한 제1 특징 정보를 추출할 수 있다(S301A).

구체적으로, 제1 특징추출부(205a)는 영상 내 각 화소의 Y 값 및 RGB 값을 획득할 수 있다(S401).

제1 특징추출부(205a)는 영상에서 기준 범위 내의 Y 값을 갖는 화소들의 그룹을 관심영역으로 추출할 수 있다(S403). 영상에서 색상이 잘 표현되려면 어느 정도의 밝기 값을 가지고 있어야 한다. 영상에서 너무 어두운 부분(극암부) 또는 너무 밝은 부분(포화부)은 색의 표현이 잘 드러나지 않는다. 따라서, 제1 특징추출부(205a)는 영상의 각 화소 별로 Y 값 분석을 통해 관심영역을 우선 선정할 수 있다. 예를 들어, 50 내지 240 범위의 Y 값을 갖는 화소들의 그룹을 관심영역으로 추출할 수 있다. 제1 특징추출부(205a)는 전체 영상 대비 관심영역의 비율을 계산할 수 있다. 관심영역의 비율이 일정 이상 높지 않으면 영상의 색상을 판별하는 과정이 쉽지 않다. 또한, 극암부나 포화부의 면적이 많은 영상은 편색 현상 문제보다는 노출 관련 현상 문제에 가깝다. 따라서, 제1 특징추출부(205a)는 전체 영상 대비 관심영역의 비율이 기준 비율 이상인 관심영역만을 최종 관심영역으로 선별할 수 있다. 예를 들어, 제1 특징추출부(205a)는 전체 영상 대비 관심영역의 비율이 90%보다 높은 관심영역만 계속해서 편색 현상 감지에 대한 분석을 진행하고 그렇지 않은 경우는 진행하지 않을 수 있다.

제1 특징추출부(205a)는 최종 관심영역에서 RGB 내부거리가 기준거리 이상인 특징 화소들을 제1 특징 정보로 추출할 수 있다(S405). RGB 내부거리는 화소의 R, G, B 각각의 값 중 가장 큰 값과 가장 작은 값의 차이로 계산할 수 있다. 예를 들어, 임의의 화소의 [R, G, B] 각각의 값이 [120, 50, 100] 이라면, 이 화소의 RGB 내부거리는 최대값과 최소값의 차이(120 - 50 = 70)일 수 있다. 제1 특징추출부(205a)는 RGB 내부거리가 기준거리보다 큰 화소를 특징 화소로 분별할 수 있다. 극암부/포화부에 포함되지 않는 관심영역의 화소들 중 기준거리보다 큰 RGB 내부거리를 갖는 화소를 특징 화소로 분별할 수 있다. 기준거리가 낮아질수록 동일 영상에 대해 특징 화소의 수가 많아지고 알람이 보다 민감하게 발생할 수 있다. 사용자는 기준거리를 제1 민감도(Sensitivity 1, 도 8 참조) 파라미터로 설정할 수 있다. 제1 민감도 파라미터를 높게 설정할수록 기준거리가 낮아지도록 설정될 수 있다.

제1 레벨화부(207a)는 제1 특징 정보를 레벨화한 제1 레벨값을 설정할 수 있다(S303A). 제1 레벨화부(207a)는 관심영역 대비 특징 화소의 면적 비율을 구하고, 이 값을 0~100 사이의 레벨 값으로 정규화함으로써 제1 특징 정보를 레벨화할 수 있다. 레벨 값은 사용자 인터페이스를 통해 사용자에게 보여지는 값으로서 값이 클수록 감지하고자 하는 현상에 가깝다는 것을 의미한다. 특징 화소의 면적 비율이 클수록 편색에 가깝다. 제1 레벨화부(207a)는 0~1 사이의 면적 비율 값을 0~100 사이의 정수 값으로 정규화할 수 있다.

제1 진단부(209a)는 제1 레벨 값의 변화를 기초로 카메라의 편색 현상을 진단할 수 있다(S305A). 제1 진단부(209a)는 제1 레벨 값이 기준 레벨 값 이상이고, 기준 시간 이상 지속될 때 편색 현상으로 진단하고, 사용자에게 편색 현상에 대한 알람을 제공할 수 있다. 지속 시간을 파악하는 것은 노이즈나 다른 일시적인 요인에 의해 발생할 수 있는 순간적인 레벨 값 높음 현상에 대한 필터링을 가능하게 한다. 기준 레벨 값 및 기준 시간을 작게 설정할수록 알람이 민감하게 발생할 수 있다. 사용자는 기준 레벨 값을 임계값(Threshold, 도 8 참조) 파라미터로 설정하고, 기준 시간을 지속시간(Duration, 도 8 참조) 파라미터로 설정할 수 있다.

도 5는 본 발명의 일 실시예에 따른 제2 고장진단부(210B)의 노출 부족/과다 현상 진단 방법을 설명하는 흐름도이다. 이하 도 3 및 도 5를 함께 참조하여 설명하겠다.

본 발명의 일 실시예에 따른 제2 고장진단부(210B)의 노출 부족/과다 현상 진단 방법은 YUV 도메인의 Y 값을 사용한다. 노출에 대한 문제는 주로 영상에서 밝기로 표현된다. 예를 들어, 노출이 부족한 경우는 영상에서 Y 값이 낮은 부분이 많이 나타나고, 노출이 과다한 경우는 영상에서 Y 값이 높은 부분이 많이 나타난다. 따라서, 본 발명에서는 화소의 Y 값 분포를 분석함으로써 노출 부족/과다 현상을 감지할 수 있다.

제2 특징추출부(205b)는 영상으로부터 노출 부족/과다 진단을 위한 제2 특징 정보를 추출할 수 있다(S301B).

구체적으로, 제2 특징추출부(205b)는 영상의 평균 Y 값을 추출할 수 있다(S501). 제2 특징추출부(205b)는 평균 Y 값 및 히스토그램 절단 값(histogram cutoff)을 제2 특징 정보로 추출할 수 있다(S503). 평균 Y 값 및 히스토그램 절단 값은 카메라가 설치된 환경에 따라 달라질 수 있다.

평균 Y 값은 영상의 모든 화소들의 Y 값의 합을 전체 화소 수로 나누어 계산할 수 있다.

히스토그램 절단 값은 영상의 모든 화소들의 Y 값에 대한 히스토그램에서 가장 값이 큰 등급(bin)에서부터 화소 수의 합을 누적시키고, 전체 화소 수 대비 누적합의 비율이 기준 값보다 높아지는 첫 등급일 수 있다. 도 6은 히스토그램 절단 값을 구하는 일 예이다. 도 6(a)는 각 등급의 화소 수를 나타낸 히스토그램이다. 도 6(a)는 1 내지 10 등급의 히스토그램을 예시하고 있다. 도 6(b)는 등급 10부터 등급 1의 방향으로 히스토그램에서 화소 수를 누적한 결과를 나타낸다. 도 6(c)는 각 등급의 화소 수 누적 결과를 전체 화소 수 85로 나눈 값이다. 히스토그램 절단 값을 구하기 위한 기준 값이 80% 라고 가정하면, 본 예시에서의 히스토그램 절단 값은 5이다. 기준 값을 어떻게 설정하느냐에 따라 같은 히스토그램에 대해 절단 값이 달라질 수 있다. 사용자는 히스토그램 절단 값의 기준 값을 제1 민감도(Sensitivity 1, 도 8 참조) 파라미터로 설정할 수 있다.

제2 레벨화부(207b)는 제2 특징 정보를 레벨화한 제2 레벨값을 설정할 수 있다(S303B). 제2 레벨화부(207b)는 영상의 평균 Y 값과 기준 영상의 제1 참고 값의 차이를 레벨화한 제2-1 레벨값 및 영상의 히스토그램 절단 값과 기준 영상의 제2 참고 값의 차이를 레벨화한 제2-2 레벨값을 생성할 수 있다. 기준 영상(reference image)의 제1 참고 값은 기준 영상의 평균 Y 값이고, 제2 참고 값은 기준 영상의 히스토그램 절단 값이다. 카메라(200)는 카메라가 재부팅되거나 기능에 대한 설정 파라메터가 변경되면 그 시점부터 일정 시간 기준 영상들을 획득할 수 있다. 카메라(200)는 일정 시간 획득한 기준 영상들의 특징 정보의 평균, 즉, 기준 영상들의 평균 Y 값의 평균 및 히스토그램 절단 값들의 평균을 구하고, 이를 각각 제1 참고 값 및 제2 참고 값으로 사용할 수 있다. 제2 레벨화부(207b)는 영상의 평균 Y 값과 기준 영상의 제1 참고 값(평균 Y 채널 값)의 차이 및 영상의 히스토그램 절단 값과 기준 영상의 제2 참고 값(히스토그램 절단 값)의 차이를 각각 정규화를 통해 0~100 사이의 정수 레벨 값으로 변환할 수 있다.

이때 정규화를 위한 차이의 범위를 어떻게 설정하느냐에 따라 레벨 값의 분포가 달라질 수 있다. 정규화를 위한 차이의 범위가 좁아질수록 레벨 값을 더 크게함으로써 알람이 보다 민감하게 발생할 수 있다. 사용자는 정규화를 위한 차이의 범위를 제2 민감도(Sensitivity 2, 도 8 참조) 파라미터로 설정할 수 있다.

노출 과다 현상일 때 영상은 일반적인 영상보다 밝게 나타나므로, 영상의 제2 특징 정보는 참고 값에 비해 높다. 반면, 노출 부족 현상일 때 영상은 일반적인 영상보다 어둡게 나타나므로, 영상의 제2 특징 정보는 참고 값에 비해 낮다. 따라서, 제2 레벨화부(207b)는 '현재 값(현재 영상의 제2 특징 정보) - 참고 값'이 0보다 크면, '현재 값 - 참고 값'에 대해 노출 과다 현상 감지를 위한 레벨 값을 생성하고, '현재 값 - 참고 값'이 0보다 작으면, '현재 값 - 참고 값'의 절대 값에 대해 노출 부족 현상 감지를 위한 레벨 값을 생성할 수 있다.

제2 진단부(209b)는 제2 레벨 값의 변화를 기초로 카메라의 노출 부족/과다 현상을 진단할 수 있다(S305B). 제1 진단부(209a)는 제2 레벨 값이 기준 레벨 값 이상이고, 기준 시간 이상 지속될 때 노출 부족 또는 노출 과다 현상으로 진단하고, 사용자에게 노출 부족 또는 노출 과다에 대한 알람을 제공할 수 있다. 기준 값 및 기준 시간을 작게 설정할수록 알람이 민감하게 발생할 수 있다. 사용자는 기준 레벨 값을 임계값(Threshold, 도 8 참조) 파라미터로 설정하고, 기준 시간을 지속시간(Duration, 도 8 참조) 파라미터로 설정할 수 있다.

도 7은 본 발명의 일 실시예에 따른 제3 고장진단부(210B)의 노출 부족/과다 현상 진단 방법을 설명하는 흐름도이다. 이하, 도 3 및 도 7을 함께 참조하여 설명하겠다.

본 발명의 일 실시예에 따른 제3 고장진단부(210C)의 초점 흐림 현상 진단 방법은 YUV 도메인의 Y 값을 사용한다. 카메라의 초점이 얼마나 잘 맞느냐는 영상이 얼마나 선명하게 보이느냐와 관련 있다. 카메라의 초점이 잘 맞춰져 있으면 영상이 선명하게 잘 보이고, 초점이 잘못 맞춰져 있으면 영상이 흐리게 보인다. 영상의 선명도는 영상에서 엣지(edge)나 코너(corner) 성분이 얼마나 잘 드러나느냐로 판별할 수 있다. 따라서, 본 실시예에서는 영상에서 코너 특징점을 추출하고, 코너 특징점의 개수를 파악함으로써 초점 흐림 현상을 감지할 수 있다.

제3 특징추출부(205c)는 영상으로부터 초점 흐림 진단을 위한 제3 특징 정보를 추출할 수 있다(S301C).

구체적으로, 제3 특징추출부(205c)는 영상의 평균 Y 값을 추출할 수 있다(S601).

제3 특징추출부(205c)는 영상의 Y 값을 기초로 코너에 대응하는 특징 화소(즉, 코너 특징점)을 제3 특징 정보로 추출할 수 있다(S603). 영상이 선명할수록 코너 특징을 갖는 화소의 수가 많아진다. 따라서, 코너 특징점은 초점 흐림 감지를 위한 특징 정보로 사용될 수 있다. 제3 특징추출부(205c)는 예를 들어, 해리스 코너 검출 방법(Harris Corner Extraction)을 통해 코너 특징점을 추출할 수 있다. 해리스 코너 검출 방법은 미분 값을 사용하여 코너 응답 함수(corner response function)를 정의하고 각 화소 위치마다 응답 함수의 출력 값을 계산한 뒤, 기준 값 이상의 화소 위치를 코너로 검출한다. 코너 응답 함수는 아래와 같이 정의한다.

여기서 은 행렬의 행렬식을 뜻하고, 은 행렬의 대각 합을 뜻한다. 행렬 M은 미분 값으로 구성되는 행렬로서 이 행렬의 고유 벡터가 얼마나 서로 수직인 방향으로 큰 값을 가지느냐에 따라 얼마나 코너 특징이 잘 드러나느냐가 결정된다. 와 는 각각 영상에서 가로와 세로 방향의 미분 값이고, 와 는 이들 미분 값을 제곱한 값이다. 는 와 값을 곱한 값이다.

제3 레벨화부(207c)는 제3 특징 정보를 레벨화한 제3 레벨 값을 설정할 수 있다(S303C). 제3 레벨화부(207c)는 코너 화소 수를 정규화하여 0~100 사이의 정수 레벨 값으로 표현할 수 있다. 영상의 크기와 장면에 따라 코너 화소 수가 달라질 수 있기 때문에 레벨 값 정규화를 위한 기준 값을 설정하는 것도 성능에 영향을 미칠 수 있다. 따라서, 레벨 정규화를 위한 기준 값은 영상의 초점이 잘 맞춰져 있다고 판단할 수 있는 최소한의 코너 화소 수일 수 있다. 사용자는 정규화를 위한 기준 값을 제1 민감도(Sensitivity 1, 도 8 참조) 파라미터로 설정할 수 있다. 제1 민감도 파라미터를 높게 설정할수록 같은 코너 화소 수가 더 높은 레벨 값으로 표현될 수 있다.

제3 레벨화부(207c)는 제3 레벨 값이 코너 화소 수가 하나도 없을 때 100, 영상의 초점이 잘 맞춰져 있다고 판단할 수 있는 최소한의 코너 화소 수에 도달했을 때 0이 되도록 정규화할 수 있다. 기준 값이 클수록 더 높은 레벨 값으로 표현되고, 알람이 보다 민감하게 발생할 수 있다.

제3 진단부(209c)는 제3 레벨 값의 변화를 기초로 카메라의 초점 흐림 현상을 진단할 수 있다(S305C). 사용자는 제3 레벨 값이 기준 레벨 값 이상이고, 기준 시간 이상 지속될 때 초점 흐림 현상으로 진단하고, 사용자에게 초점 흐림에 대한 알람을 제공할 수 있다. 사용자는 기준 레벨 값을 임계값(Threshold, 도 8 참조) 파라미터로 설정하고, 기준 시간을 지속시간(Duration, 도 8 참조) 파라미터로 설정할 수 있다.

도 8 및 도 9는 관리장치가 제공하는 그래픽 사용자 인터페이스의 일 예이다. 도 8은 알람 발생 전의 사용자 인터페이스(80)이고, 도 9는 알람이 발생했을 때의 사용자 인터페이스(80)의 변화를 나타낸다.

관리장치(700)는 디스플레이에 사용자가 더욱 쉽고 직관적으로 고장 판단 기준을 설계할 수 있도록 특화된 그래픽 사용자 인터페이스(80)를 제공할 수 있다. 사용자는 입력장치를 이용하여 사용자 인터페이스(80)를 통해 파라미터를 입력 및 조절하여 연결된 카메라(200)의 기능 및 기능의 민감도를 설정할 수 있다.

사용자는 민감도(Sensitivity) 파라미터를 이용하여 레벨 값의 발생 감도를 조절할 수 있다. 사용자는 임계값(Threshold) 파라미터를 이용하여 레벨 값에 대한 이상 발생 여부를 판단할 수 있다. 사용자는 지속시간(Duration) 파라미터를 이용하여 이상 발생 여부의 지속 시간을 파악하고 알람 발생 여부를 결정할 수 있다.

제1 영역(81)에는 현재 카메라로 입력되고 있는 영상을 제공할 수 있다.

제2 영역(82)에는 해당 기능(고장 진단 기능 여부 및 편색 진단 기능, 노출 부족/과다 진단 기능, 초점 흐림 진단 기능)을 사용자가 사용할 것인지 여부를 선택할 수 있는 인에이블(Enable) 아이콘이 제공될 수 있다.

제3 영역(83)에는 각 기능에서 결정된 레벨 값을 나타내는 레벨 그래프(83a)와 각 기능의 임계값(Threshold) 파라미터를 설정할 수 있는 슬라이드바(sliding bar)(83b) 및/또는 에디트 박스(edit box)(83c)가 제공될 수 있다. 레벨 그래프(83a)의 가장 오른쪽부터 왼쪽으로 이동하며 시간에 따른 영상의 레벨 값 변화가 표시될 수 있다. 임계값 파라미터의 조정에 의해 각 기능의 기준 레벨 값이 조정될 수 있다. 슬라이드바(sliding bar)(83b) 및/또는 에디트박스(edit box)(83c)를 통해 기준 레벨 값이 조절됨에 따라 기준 레벨 값이 레벨 그래프(83a)에서 점선으로 표시되고, 레벨 그래프(83a)에 표시된 레벨 값이 기준 레벨 값보다 클 경우 빨간색, 작을 경우 파란색으로 표현하여 사용자 인지성을 높일 수 있다.

제4 영역(84) 및 제5 영역(85)에는 각각 제1 민감도(Sensitivity 1) 파라미터와 제2 민감도(Sensitivity 2) 파라미터를 설정할 수 있는 슬라이드바(84b, 85b)와 에디트박스(84c, 85c)가 제공될 수 있다. 민감도(Sensitivity) 파라미터는 각 기능의 특징 정보를 추출하기 위한 기준 값일 수 있다.

예를 들어, 편색 진단 기능이 온(on)된 경우, 사용자는 제4 영역(84)의 제1 민감도 파라미터를 조절하여 RGB 내부거리의 기준거리를 설정할 수 있다. 제1 민감도 파라미터를 높게 설정할 수록(즉, 값이 클수록) 기준거리가 작아지도록 설정될 수 있다. 이 경우 민감도 파라미터가 높을수록 특징 화소 수가 많아지고, 알람이 보다 민감하게 발생할 수 있다.

노출 부족/과다 진단 기능이 온(on)된 경우, 사용자는 제4 영역(84)의 제1 민감도 파라미터를 조절하여 히스토그램 절단 값의 기준 값을 설정할 수 있다. 제1 민감도 파라미터를 높게 설정할 수록(즉, 값이 클수록) 히스토그램 절단 값의 기준 값이 커지거나 작아지도록 설정될 수 있다.

노출 부족/과다 진단 기능이 온(on)된 경우, 사용자는 제5 영역(85)의 제2 민감도 파라미터를 조절하여 제2 특징 정보와 참고 값의 차이의 범위를 설정할 수 있다. 제2 민감도 파라미터를 높게 설정할 수록(즉, 값이 클수록) 정규화를 위한 차이의 범위가 좁게 설정될 수 있다. 이 경우 제2 민감도 파라미터가 높을수록 같은 차이에 대한 레벨 값이 커짐으로써 알람이 보다 민감하게 발생할 수 있다.

초점 흐림 진단 기능이 온(on)된 경우, 사용자는 제4 영역(84)의 제1 민감도 파라미터를 조절하여 코너 특징점을 추출하기 위한 기준 값을 설정할 수 있다. 제1 민감도 파라미터를 높게 설정할 수록(즉, 값이 클수록) 최소 코너 화소 수가 증가하도록 설정될 수 있다. 이 경우 같은 제1 민감도 파라미터가 높을수록 코너 특징점 수에 대해 레벨 값이 커짐으로써 알람이 보다 민감하게 발생할 수 있다.

제6 영역(86)에는 지속시간(Duration) 파라미터를 설정할 수 있는 슬라이드바(86b)와 에디트박스(86c)가 제공될 수 있다. 지속시간(Duration) 파라미터는 각 기능의 진단을 위한 기준시간일 수 있다.

영상신호프로세서(203)는 해당 기능에 대한 알람이 발생했을 때 영상의 테두리를 밝게 표현해서 알람이 발생했음을 사용자에게 전달할 수 있다.

CCTV 카메라를 이용한 보안 방법 시스템은 대부분 다수의 카메라를 설치하고 이를 여러 모니터를 통해 소수의 운용자가 이를 지속적으로 관찰하는 방법으로 운용된다. 그러나 다수의 모니터를 소수의 운용자가 장시간 관찰하기란 어려움이 많다. 그렇기 때문에 카메라 고장 등의 문제가 발생했을 경우 이를 실시간으로 파악하기 힘든 문제가 있다.

본 발명의 실시예들에 따른 카메라 자가 고장 진단 방법은 CCTV 카메라가 고장 발생 유무를 스스로 감지하고 고장 발생 시 운용자에게 알람을 전달함으로써 사용자(운용자)가 이를 인지할 수 있도록 하는 기술이다. 이러한 기술을 사용하면 사용자가 직접 모든 장비를 살필 필요 없이 고장 알람이 발생하게 되면 해당 장비만 점검하고 실제 고장 확인 시 그 장비만 유지 보수를 진행하면 되기 때문에 운용자의 편의가 훨씬 보장될 수 있다.

본 발명에 따른 카메라의 자가 고장 진단 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (6)

1. 카메라의 자가고장 진단 방법에 있어서,
   영상으로부터 고장 유형별 특징 정보를 추출하는 단계;
   상기 특징 정보를 레벨화한 레벨값을 생성하는 단계; 및
   상기 고장 유형별 레벨값의 변화를 기초로 상기 카메라의 고장 유형을 진단하는 단계;를 포함하고,
   상기 특징 정보 추출 단계는,
   상기 영상에서 기준 범위 내의 Y값을 갖는 화소들의 그룹인 관심영역을 추출하고, 상기 관심영역에서 RGB 내부거리가 기준값 이상인 특징 화소들을 추출하는 제1 특징정보 추출 단계;
   상기 영상의 평균 Y값 및 히스토그램 절단값을 산출하는 제2 특징정보 추출 단계; 및
   상기 영상의 Y값을 기초로 코너에 대응하는 특징 화소들을 추출하는 제3 특징정보 추출 단계;를 포함하는 카메라의 자가 고장진단 방법.
2. 삭제
3. 제1항에 있어서, 상기 레벨 값 생성 단계는,
   상기 관심영역에서 추출된 특징 화소들의 상기 관심영역 대비 면적 비를 레벨화하는 제1 레벨값 생성 단계;
   상기 영상의 평균 Y값 및 히스토그램 절단값 각각과 기준 영상의 참고값의 차이를 레벨화하는 제2 레벨값 생성 단계; 및
   상기 코너에 대응하는 특징 화소들의 개수를 레벨화하는 제3 레벨값 생성 단계;를 포함하는 카메라의 자가 고장진단 방법.
4. 영상에서 기준 범위 내의 Y값을 갖는 화소들의 그룹인 관심영역을 추출하고, 상기 관심영역에서 RGB 내부거리가 기준값 이상인 특징 화소들을 추출하는 단계;
   상기 관심영역에서 추출된 특징 화소들의 상기 관심영역 대비 면적 비를 레벨화한 제1 레벨값을 생성하는 단계; 및
   상기 제1 레벨값의 변화를 기초로 카메라의 편색을 진단하는 단계;를 포함하는 카메라의 자가 고장진단 방법.
5. 영상의 평균 Y값 및 히스토그램 절단값을 산출하는 단계;
   상기 평균 Y값 및 히스토그램 절단값 각각과 기준 영상의 참고값의 차이를 레벨화한 제2 레벨값을 생성하는 단계; 및
   상기 제2 레벨값의 변화를 기초로 카메라의 노출 부족 또는 노출 과다를 진단하는 단계;를 포함하는 카메라의 자가 고장진단 방법.
6. 영상의 Y값을 기초로 코너에 대응하는 특징 화소들을 추출하는 단계;
   상기 코너에 대응하는 특징 화소들의 개수를 레벨화한 제3 레벨값을 생성하는 단계; 및
   상기 제3 레벨값의 변화를 기초로 카메라의 초점 흐림을 진단하는 단계;를 포함하는 카메라의 자가 고장진단 방법.

Images