KR20180086048A

KR20180086048A - 카메라 및 카메라의 영상 처리 방법

Info

Publication number: KR20180086048A
Application number: KR1020170009932A
Authority: KR
Inventors: 장일권; 노승인; 이영현
Original assignee: 한화에어로스페이스 주식회사
Priority date: 2017-01-20
Filing date: 2017-01-20
Publication date: 2018-07-30
Also published as: CN110199316A; CN110199316B; WO2018135906A1; US11037013B2; US20190370591A1

Abstract

본 실시예는 카메라 및 카메라의 영상 처리 방법을 개시한다.
본 발명의 일 실시예에 따른 카메라의 영상 처리 방법은, 영상에서 복수의 포인트들을 연결하는 영역을 설정하는 단계; 상기 영상에서 상기 영역을 추출하는 단계; 상기 영역 내에서 기 설정된 조건에 대응하는 특징점들을 검출하는 단계; 및 상기 검출된 특징점들의 정보를 기초로 상기 영역 내에서 객체를 검출하는 단계;를 포함한다.

Description

카메라 및 카메라의 영상 처리 방법{Camera and imgae processing method thereof}

본 실시예는 카메라 및 카메라의 영상 처리 방법에 관한 것이다.

종래 객체 검출 시스템은 촬상 영상 전체를 기반으로 객체를 검출함에 따라 검출 가능한 객체의 크기 제약이 있고, 인식에 필요한 특징을 포함한 원거리의 객체를 단시간 내에 검출하기 어려운 점이 있다.

한국공개특허 제2016-0053155호

본 발명의 실시예들은 적은 자원으로 빠르고 정확하게 객체를 검출할 수 있는 카메라 및 이를 포함하는 보안 시스템을 제공하고자 한다.

본 발명의 일 실시예에 따른 카메라의 영상 처리 방법은, 영상에서 복수의 포인트들을 연결하는 영역을 설정하는 단계; 상기 영상에서 상기 영역을 추출하는 단계; 상기 영역 내에서 기 설정된 조건에 대응하는 특징점들을 검출하는 단계; 및 상기 검출된 특징점들의 정보를 기초로 상기 영역 내에서 객체를 검출하는 단계;를 포함한다.

상기 방법은, 상기 영역의 크기 및 검출하고자 하는 객체의 유형에 따라, 상기 영역 내에서 검출 가능한 객체의 최소 크기를 상기 영역 내에 표시하는 단계;를 더 포함할 수 있다.

상기 방법은, 상기 영상 내에서 정의된 둘 이상의 영역들의 특징점 검출을 스케줄링하는 단계;를 더 포함할 수 있다.

상기 영역 설정 단계는, 상기 영상에서 지정된 이벤트를 검출하는 단계; 및 상기 이벤트가 검출된 이벤트영역을 포함하는 영역을 설정하는 단계;를 포함할 수 있다.

상기 방법은, 상기 영역의 해상도가 기준 해상도를 초과한 경우, 상기 영역의 해상도를 상기 기준 해상도로 변경하는 단계;를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 카메라는, 영상에서 복수의 포인트들을 연결하는 영역을 설정하는 영역설정부; 상기 영상에서 상기 영역을 추출하는 전처리부; 및 상기 영역 내에서 기 설정된 조건에 대응하는 특징점들을 검출하고, 상기 검출된 특징점들의 정보를 기초로 상기 영역 내에서 객체를 검출하는 제2검출부;를 포함한다.

상기 영역설정부는, 상기 영역의 크기 및 검출하고자 하는 객체의 유형에 따라, 상기 영역 내에서 검출 가능한 객체의 최소 크기를 상기 영역 내에 표시할 수 있다.

상기 영역설정부는, 상기 영상 내에서 정의된 둘 이상의 영역들의 특징점 검출을 스케줄링할 수 있다.

상기 카메라는, 상기 영상에서 지정된 이벤트를 검출하는 제1검출부;를 더 포함하고, 상기 영역설정부는, 상기 이벤트가 검출된 이벤트영역을 포함하는 영역을 설정할 수 있다.

상기 전처리부는, 상기 영역의 해상도가 기준 해상도를 초과한 경우, 상기 영역의 해상도를 상기 기준 해상도로 변경할 수 있다.

본 발명의 실시예들에 따른 카메라는 객체 검출이 필요한 위치를 지정함으로써 불필요한 위치에서의 처리 과정을 제외하여 처리 비용을 절약할 수 있고, 화면에 존재하는 보다 작은 크기의 객체에 대한 분석이 가능하다.

도 1은 본 발명의 일 실시예에 따른 보안 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 카메라의 구성을 개략적으로 도시한 블록도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 영상 내에 관심 영역 설정을 설명하기 위한 예시도이다.
도 5 및 도 6은 도 2에 도시된 카메라가 영상 내에 설정된 관심영역에서 객체를 검출한 결과를 도시한 예이다.
도 7은 본 발명의 일 실시예에 따른 카메라의 영상 처리 방법을 개략적으로 설명하는 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 카메라의 구성을 개략적으로 도시한 블록도이다.
도 9는 도 8에 도시된 카메라가 영상 내에 설정된 관심영역에서 객체를 검출한 결과를 도시한 예이다.
도 10은 본 발명의 일 실시예에 따른 카메라의 영상 처리 방법을 개략적으로 설명하는 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 보안 시스템의 구성도이다.

도 1을 참조하면, 본 실시예의 보안 시스템(100)은 카메라(200) 및 관리장치(700)를 포함할 수 있다. 카메라(200)는 유선 및/또는 무선의 네트워크를 통해 관리장치(700)와 연결될 수 있다.

카메라(200)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 일체로 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다. 카메라(100)는 특정 장소의 고정된 위치에 배치되고, 촬영 범위가 고정된 단일 고정식 카메라 또는 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 PTZ 카메라일 수 있다. 카메라(100)는 비쥬얼 카메라, 열상 카메라, 특수 목적 카메라 등을 포함하는 감시용 카메라, 휴대용 카메라, 캠코더 등일 수 있다. 카메라(200)는 촬영한 영상을 저장하는 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder)를 포함할 수 있다.

카메라(200)는 영상을 획득하고, 획득한 영상에서 객체를 검출할 수 있다. 카메라(200)는 영상 전체 또는 영상의 일부(관심영역)에 대해서 객체 검출 알고리즘을 적용하여 객체를 검출할 수 있다. 카메라(200)는 검출된 객체의 추적 및/또는 객체의 식별을 수행할 수 있다. 관심영역은 고정될 수 있고, 사용자의 설정에 따라 또는 발생된 이벤트에 따라 가변할 수 있다. 카메라(200)는 사용자의 설정에 따라 관심영역 고정 모드 및/또는 관심영역 가변 모드로 동작할 수 있다.

관심영역 고정 모드에서, 카메라(200)는 사용자의 지정에 의해 영상에 관심영역을 설정할 수 있다. 관심영역이 재설정되기 전까지 현재 영상 및 후속하는 영상들의 관심영역의 위치 및 크기는 고정될 수 있다.

관심영역 가변 모드에서, 카메라(200)는 발생된 이벤트를 기초로 영상에 자동으로 관심영역을 설정할 수 있다. 카메라(200)는 지정된 이벤트가 발생한 영상마다 자동으로 관심영역을 설정할 수 있다. 이벤트 발생 위치 및 이벤트 발생 영역의 크기에 따라 관심영역의 위치 및 크기는 가변할 수 있다.

카메라(200)는 이벤트 발생시 관리장치(700)로 실시간 알람을 전송할 수 있고, 이벤트 영상을 저장할 수 있다. 카메라(200)는 영상, 메타데이터 및/또는 이벤트 데이터를 관리장치(700)로 전송할 수 있다.

관리장치(700)는 카메라(200)와 연결되어 카메라(200)로 영상을 요청할 수 있다. 관리장치(700)는 카메라(200)로부터 영상을 수신하여 디스플레이에 제공하고, 디스플레이 중인 영상들을 모니터링할 수 있다. 관리장치(700)는 개인용 컴퓨터, 스마트폰, 테블릿, 핸드헬드 장치 등의 단말 또는 클라우드 서버, 레코딩 서버, 업그레이드 서버, 알람 서버 등의 서버일 수 있다.

관리장치(700)는 카메라(200)로부터의 영상, 메타데이터 및/또는 이벤트 데이터를 기초로 객체 식별, 객체 검색 등을 수행할 수 있다.

관리장치(700)는 입력장치 및 디스플레이를 포함할 수 있다. 입력장치는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 디스플레이는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.

관리장치(700)는 디스플레이에 그래픽 사용자 인터페이스를 제공할 수 있다. 사용자는 입력장치를 이용하여 그래픽 사용자 인터페이스를 통해 시간 구간, 객체의 카테고리(사람, 차량 등), 영상 내 관심영역(ROI), 특정 라인 및 특정 방향 등을 이벤트 조건 및/또는 객체 검출 조건으로 입력하여 연결된 카메라(200)의 기능을 설정할 수 있다. 예를 들어, 사용자는 입력장치를 이용하여 디스플레이에 표시된 영상에서 특정 포인트들을 지정할 수 있고, 사용자가 지정한 포인트들의 데이터는 관심영역 설정을 위해 카메라(200)로 전송될 수 있다. 사용자는 설정된 관심영역의 위치 및 크기를 고정하거나 가변되도록 지정할 수 있다.

도 2는 본 발명의 일 실시예에 따른 카메라의 구성을 개략적으로 도시한 블록도이다. 도 3 및 도 4는 본 발명의 일 실시예에 따른 영상 내에 관심 영역 설정을 설명하기 위한 예시도이다. 카메라(200A)는 도 1에 도시된 보안 시스템의 카메라(200)의 일 예이다.

도 2를 참조하면, 카메라(200A)는 광학부(201), 영상센서(202), 및 영상프로세서(210)를 포함할 수 있다.

광학부(201)는 줌 렌즈 및 포커스 렌즈, 광량 조절을 위한 조리개(iris) 등의 광학계를 포함할 수 있다.

영상센서(202)는 광학부(201)를 통과한 빛을 전기적인 영상 신호로 변환시킬 수 있다. 영상센서(202)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 촬상소자를 포함할 수 있다.

영상프로세서(210)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 영상프로세서(210)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

영상프로세서(210)는 전처리부(203), 영역설정부(204), 검출부(205), 및 저장부(206)를 포함할 수 있다.

전처리부(203)는 영상센서(202)로부터의 디지털 영상 신호 또는 영상센서(202)로부터의 아날로그 영상 신호를 변경한 디지털 영상 신호에 대해 노이즈 제거, 감마 보정(Gamma Correction), 색필터 배열 보간(color filter array interpolation), 색 보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 신호 처리를 수행할 수 있다. 전처리부(203)는 신호 처리된 영상(I)을 저장부(206)에 저장할 수 있다.

영역설정부(204)는 신호 처리된 영상(I)에 관심영역(ROI)을 설정할 수 있다. 영역설정부(204)는 영상 내의 복수의 포인트들을 연결하는 영역을 관심영역(ROI)으로 설정할 수 있다. 포인트 데이터는 영상에서 포인트의 위치를 나타내는 위치 정보일 수 있다. 포인트의 위치는 영상 내 특정 픽셀의 위치일 수 있다. 영역설정부(204)는 연속하는 복수의 포인트들을 하나의 관심영역(ROI)으로 설정할 수 있다. 관심영역(ROI)을 설정하기 위한 포인트들은 사용자에 의해 지정될 수 있다. 관심영역(ROI)의 위치 및 크기는 고정될 수 있다.

영역설정부(204)는 시간차를 두고 입력되는 연속하는 복수의 포인트들의 그룹들 각각을 관심영역으로 설정함으로써 영상(I)에 하나 이상의 관심영역(ROI)을 설정할 수 있다. 복수의 관심영역(ROI)들은 적어도 일부가 중첩할 수 있다. 영역설정부(204)는 복수의 관심영역(ROI)들에 순서를 할당함으로써 관심영역을 스케줄링할 수 있다.

도 3을 참조하면, 영역설정부(204)는 영상에 관심영역이 지정되면, 객체의 검출가능 최소크기를 나타내는 윈도우(W1, W2, W3)를 관심영역(ROI1, ROI2, ROI3) 내에 표시할 수 있다. 윈도우 크기는 관심영역의 크기 및 검출하고자 하는 객체의 유형에 따라 가변할 수 있다.

예를 들어, 2차원 영상 기반의 얼굴 검출 및 인식은 얼굴이 갖는 고유 특징점을 기반으로 한다. 고유 특징점을 찾고 사용하기 위해서는 얼굴에서 눈과 입을 포함하는 최소한의 가로 및 세로의 픽셀 해상도가 필요하다. 검출에는 20x20 픽셀, 인식에는 80x80 픽셀 이상이 필요하다. 영상에 존재할 수 있는 얼굴의 크기는 무수히 많다. 그 범위는 최소 20x20 픽셀부터 최대 화면 전체 크기까지라고 할 수 있다. 본 발명의 실시예에서는 관심영역의 해상도(크기)에서 검출 및 인식이 가능한 크기를 해상도별 일정 비율 이상의 크기로 제한할 수 있다.

영역설정부(204)는 관심영역의 크기가 너무 작아 얼굴 검출을 위한 최소 윈도우 크기를 충족시킬 수 없는 경우, 관심영역에 윈도우를 표시하지 않거나, 경고를 표시할 수 있다. 사용자는 윈도우 크기를 기초로 관심영역의 크기를 결정할 수 있다. 사용자가 관심영역을 확정하면 영역설정부(204)는 관심영역의 설정을 완료할 수 있다.

도 4를 참조하면, 전처리부(203)는 영역설정부(204)로부터 관심영역(ROI) 설정 신호를 수신하고, 영상(I)에서 관심영역(ROI)을 크랍한 크랍 영상(Ic)을 검출부(205)로 출력할 수 있다. 전처리부(203)는 크랍 영상(Ic)의 크기(해상도)가 객체 검출을 위한 기준 크기(해상도)를 초과하는 경우, 크랍 영상(Ic)을 기준 영상의 크기로 축소할 수 있다.

검출부(205)는 크랍 영상(Ic)에서 객체를 검출할 수 있다. 검출부(205)는 크랍 영상(Ic)을 스캔하여 크랍 영상(Ic)의 크기에서 검출한 가능한 최소 크기 이상의 적어도 하나의 객체를 검출할 수 있다. 객체는 사람, 동물, 차량, 또는 이의 일부(예를 들어, 사람의 얼굴)일 수 있고, 정지된 객체 또는 이동하는 객체를 포함할 수 있다. 검출부(205)는 크랍 영상(Ic)에서 하나 이상의 특징점을 검출하고, 특징점 정보를 객체별 기준 특징 정보와 비교하여 객체를 검출할 수 있다. 검출부(205)는 전술된 객체 검출 방법에 한정되지 않는다.

검출부(205)는 객체 검출 결과의 집합인 메타데이터(MD)를 생성할 수 있다. 메타데이터(MD)는 영상 내에서 검출된 객체의 위치 정보를 포함할 수 있다. 위치 정보는 객체의 중심 좌표 및 크기를 포함할 수 있다. 검출부(205)는 메타데이터(MD)를 저장부(206)에 저장할 수 있다. 검출부(205)는 메타데이터(MD)를 영상(I)에 매칭시켜 저장부(206)에 저장할 수 있다.

저장부(206)는 영상 및 메타데이터(MD)를 저장할 수 있다. 메타데이터(MD)는 텍스트(text) 및/또는 영상(image) 기반의 데이터일 수 있다.

도 5 및 도 6은 도 2에 도시된 카메라가 영상 내에 설정된 관심영역에서 객체를 검출한 결과를 도시한 예이다.

도 5에 도시된 실시예는, 영상 내에 사용자에 의해 지정되고 크기 및 위치가 불변하는 관심영역에서 얼굴을 검출하는 예이다.

카메라(200A)는 영상(I4)과 유사한 크기의 관심영역(ROI4)을 설정하거나, 영상(I5)보다 작은 크기의 관심영역(ROI5)을 설정할 수 있다. 카메라(200A)는 설정된 관심영역(ROI5a, ROI5b)에서 얼굴을 검출하고, 검출된 얼굴을 영상(I4, I5)에 소정의 마스크(예를 들어, 도 5에 도시된 원형의 도형)로 표시할 수 있다.

도 6에 도시된 실시예는, 영상 내에 사용자에 의해 지정되고 크기 및 위치가 불변하는 복수의 관심영역들에서 얼굴을 검출하는 예이다.

카메라(200A)는 영상(I6) 내에 제1 관심영역(ROI61) 및 제2 관심영역(ROI62)을 설정할 수 있다. 제1 관심영역(ROI61) 및 제2 관심영역(ROI62)의 크기 및 위치는 상이할 수 있다. 카메라(200A)는 제1 관심영역(ROI61)의 얼굴 검출 순서를 제2 관심영역(ROI62)의 얼굴 검출 순서보다 앞서 할당할 수 있다. 카메라(200A)는 영상(I6) 내에 제1 관심영역(ROI61)의 얼굴 검출 결과를 먼저 표시하고, 제2 관심영역(ROI62)의 얼굴 검출 결과를 후속하여 표시할 수 있다. 다른 실시예에서, 카메라(200A)는 홀수번째 영상에서 제1 관심영역(ROI61)의 얼굴 검출 결과를 표시하고, 짝수번째 영상에서 제2 관심영역(ROI62)의 얼굴 검출 결과를 표시하는 방식으로 영상마다 교대로 관심영역의 검출 결과를 표시할 수 있다.

도 7은 본 발명의 일 실시예에 따른 카메라의 영상 처리 방법을 개략적으로 설명하는 흐름도이다. 이하에서는 도 2 내지 도 6을 참조하여 설명한 내용과 중복하는 내용은 생략한다.

도 7을 참조하면, 카메라(200A)는 입력 영상 내의 적어도 하나의 관심영역을 설정할 수 있다(S71). 카메라(200A)는 사용자가 지정한 관심영역에 대한 정보, 예를 들어, 관심영역을 정의하는 포인트들의 데이터를 수신하고, 포인트들을 연결한 관심영역을 설정할 수 있다. 관심영역의 위치 및 크기는 고정될 수 있다.

카메라(200A)는 관심영역 내에서 기 설정된 조건에 대응하는 적어도 하나의 특징점을 검출할 수 있다(S73). 카메라(200A)는 관심영역에서 검출하고자 하는 객체의 특징에 대응하는 특징점을 적어도 하나 검출할 수 있다.

카메라(200A)는 검출된 특징점들의 정보를 기초로 관심영역 내에서 적어도 하나의 객체를 검출할 수 있다(S75). 카메라(200A)는 특징점 정보가 검출하고자 하는 객체의 특징 정보에 매칭하는 경우 객체를 검출할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 카메라의 구성을 개략적으로 도시한 블록도이다. 도 8에 도시된 카메라(200B)는 도 1에 도시된 보안 시스템의 카메라(200)의 일 예이다.

도 8을 참조하면, 카메라(200B)는 광학부(211), 영상센서(212), 및 영상프로세서(220)를 포함할 수 있다. 이하에서, 도 2의 실시예에 따른 카메라(200A)와 유사한 구성의 상세한 설명은 생략한다.

광학부(211)는 줌 렌즈 및 포커스 렌즈, 광량 조절을 위한 조리개(iris) 등의 광학계를 포함할 수 있다.

영상센서(212)는 광학부(211)를 통과한 빛을 전기적인 영상 신호로 변환시킬 수 있다. 영상센서(212)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 촬상소자를 포함할 수 있다.

영상프로세서(220)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 영상프로세서(220)는 전처리부(213), 영역설정부(214), 제1 검출부(215), 제2 검출부(216), 및 저장부(217)를 포함할 수 있다.

전처리부(213)는 영상센서(212)로부터의 디지털 영상 신호 또는 영상센서(212)로부터의 아날로그 영상 신호를 변경한 디지털 영상 신호에 대해 화질 개선을 위한 신호 처리를 수행할 수 있다. 전처리부(213)는 신호 처리된 영상(I)을 저장부(217)에 저장할 수 있다.

제1 검출부(215)는 영상(I)에서 설정된 이벤트 발생 조건을 만족하는 경우 이벤트를 발생시킬 수 있다. 여기서 이벤트라 함은, 임의의 객체 출현, 사용자가 특정한 이미지(예를 들어, 얼굴 인식이 불가능한 얼굴 등장) 발생, 움직임 발생, 가상선 통과, 가상 영역 진입 등과 같이 사용자에 의해 설정된 이벤트를 포함할 수 있다. 예를 들어, 제1 검출부(215)는 정지 영상을 사용하여 현재 영상과 기준 영상 간의 차이 영상으로 국부 움직임을 검출할 수 있다. 제1 검출부(215)가 국부 움직임을 검출하는 방법은 전술된 영상 차이를 이용하는 방법에 제한되지 않으며, 공지의 다양한 방법이 적용될 수 있음은 물론이다.

제1 검출부(215)는 발생된 이벤트의 이벤트 데이터(ED)를 저장부(217)에 저장할 수 있다. 제1 검출부(215)는 이벤트 데이터(ED)를 영상(I)에 매칭시켜 저장부(217)에 저장할 수 있다.

영역설정부(214)는 신호 처리된 영상(I)에 관심영역(ROI)을 설정할 수 있다. 영역설정부(214)는 제1 검출부(215)가 생성한 이벤트 데이터(ED)를 기초로 영상(I)에 관심영역(ROI)을 설정할 수 있다. 영역설정부(214)는 이벤트가 발생한 위치를 둘러싸는 복수의 포인트들을 연결하는 관심영역(ROI)을 설정할 수 있다. 영역설정부(214)는 이벤트 데이터(ED)를 기초로 영상의 관심영역(ROI)을 설정하므로, 이벤트 발생 영역의 크기 가변에 대응하여 관심영역(ROI)의 크기를 가변할 수 있다. 복수의 이벤트가 발생한 경우, 영역설정부(214)는 각 이벤트별로 관심영역(ROI)을 설정할 수 있다.

전처리부(213)는 영역설정부(214)로부터 관심영역(ROI) 설정 신호를 수신하고, 영상(I)에서 관심영역(ROI)을 크랍한 크랍 영상(Ic)을 제2 검출부(216)로 출력할 수 있다. 전처리부(213)는 크랍 영상(Ic)의 크기(해상도)가 객체 검출을 위한 기준 크기(해상도)를 초과하는 경우, 크랍 영상(Ic)을 기준 영상의 크기로 축소할 수 있다.

제2 검출부(216)는 크랍 영상(Ic)에서 객체를 검출할 수 있다. 검출부(205)는 크랍 영상(Ic)을 스캔하여 크랍 영상(Ic)의 크기에서 검출한 가능한 최소 크기 이상의 적어도 하나의 객체를 검출할 수 있다. 객체는 사람, 동물, 차량, 또는 이의 일부(예를 들어, 사람의 얼굴)일 수 있고, 정지된 객체 또는 이동하는 객체를 포함할 수 있다. 제2 검출부(216)는 크랍 영상(Ic)에서 하나 이상의 특징점을 검출하고, 특징점 정보를 객체별 기준 특징 정보와 비교하여 객체를 검출할 수 있다.

제2 검출부(216)는 객체 검출 결과의 집합인 메타데이터(MD)를 생성할 수 있다. 메타데이터(MD)는 영상 내에서 검출된 객체의 위치 정보를 포함할 수 있다. 위치 정보는 객체의 중심 좌표 및 크기를 포함할 수 있다. 제2 검출부(216)는 메타데이터(MD)를 저장부(217)에 저장할 수 있다. 제2 검출부(216)는 메타데이터(MD)를 영상(I)에 매칭시켜 저장부(217)에 저장할 수 있다.

저장부(217)는 영상, 이벤트 데이터(ED), 및 메타데이터(MD)를 저장할 수 있다. 이벤트 데이터(ED) 및 메타데이터(MD)는 텍스트(text) 및/또는 영상(image) 기반의 데이터일 수 있다.

도 9는 도 8에 도시된 카메라가 영상 내에 설정된 관심영역에서 객체를 검출한 결과를 도시한 예이다. 도 9에 도시된 실시예는, 관심영역의 크기가 움직임 기반의 이벤트에 따라 가변하는 경우이다.

카메라(200B)는 제1 영상(I11) 내에서의 움직임 검출 결과(IM1)에 따라 제1 영상(I11)에 제1 관심영역(ROI1)을 설정할 수 있다. 카메라(200B)는 제1 영상(I11)에 후속하는 제2 영상(I12) 내지 제4 영상(I14)에서 움직임 검출 결과(IM2 내지 IM4)에 따라 제2 영상(I12) 내지 제4 영상(I14)에 제2 관심영역(ROI2) 내지 제4 관심영역(ROI4)을 설정할 수 있다. 제1 관심영역(ROI1) 내지 제4 관심영역(ROI4)의 위치 및 크기는 검출된 움직임의 위치 및 크기에 따라 가변할 수 있다.

카메라(200B)는 설정된 제1 관심영역(ROI1) 내지 제4 관심영역(ROI4)에서 검출된 객체를 제1 영상(I11) 내지 제4 영상(I14) 각각에 소정의 마크(예를 들어, 도 8에 도시된 사각형의 도형)로 표시할 수 있다.

도 10은 본 발명의 일 실시예에 따른 카메라의 영상 처리 방법을 개략적으로 설명하는 흐름도이다. 이하에서는 도 8 및 도 9를 참조하여 설명한 내용과 중복하는 내용은 생략한다.

도 10을 참조하면, 카메라(200B)는 영상 내에서 이벤트를 검출할 수 있다(S91). 카메라(200B)는 지정된 이벤트 조건을 만족하는 경우 영상에서 이벤트를 검출할 수 있다.

카메라(200B)는 영상 내에 이벤트 발생 위치 및 크기에 따른 적어도 하나의 관심영역을 설정할 수 있다(S93). 카메라(200B)는 검출된 이벤트가 발생한 위치 및 발생한 영역을 포함하는 영역의 포인트들을 연결한 관심영역을 설정할 수 있다. 관심영역의 위치 및 크기는 이벤트가 발생한 위치 및 발생한 영역의 크기에 따라 가변할 수 있다.

카메라(200B)는 관심영역 내에서 기 설정된 조건에 대응하는 적어도 하나의 특징점을 검출할 수 있다(S95). 카메라(200B)는 관싱영역에서 검출하고자 하는 객체의 특징에 대응하는 특징점을 적어도 하나 검출할 수 있다.

카메라(200B)는 검출된 특징점들의 정보를 기초로 관심영역 내에서 적어도 하나의 객체를 검출할 수 있다(S97). 카메라(200B)는 특징점 정보가 검출하고자 하는 객체의 특징 정보에 매칭하는 경우 객체를 검출할 수 있다.

영상 전체에 대해서 존재 가능한 모든 크기의 얼굴을 감지하고 인식하는 과정은 스캔이 필요하다. 따라서 영상의 해상도가 클수록 스캔 처리 속도가 오래 소요될 수 있다. 본 발명의 실시예들에 따른 카메라는 영상 전체가 아닌 관심영역만의 분석을 통해 객체를 검출함으로써 객체 검출 시간 및 연산량을 줄일 수 있다. 또한 크기가 작은 관심영역을 분석함으로써 원거리의 작은 객체의 검출 및 인식이 가능하다.

본 발명에 따른 영상 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims

영상에서 복수의 포인트들을 연결하는 영역을 설정하는 단계;
상기 영상에서 상기 영역을 추출하는 단계;
상기 영역 내에서 기 설정된 조건에 대응하는 특징점들을 검출하는 단계; 및
상기 검출된 특징점들의 정보를 기초로 상기 영역 내에서 객체를 검출하는 단계;를 포함하는 카메라의 영상 처리 방법.
제1항에 있어서,
상기 영역의 크기 및 검출하고자 하는 객체의 유형에 따라, 상기 영역 내에서 검출 가능한 객체의 최소 크기를 상기 영역 내에 표시하는 단계;를 더 포함하는 카메라의 영상 처리 방법.
제1항에 있어서,
상기 영상 내에서 정의된 둘 이상의 영역들의 특징점 검출을 스케줄링하는 단계;를 더 포함하는 카메라의 영상 처리 방법.
제1항에 있어서, 상기 영역 설정 단계는,
상기 영상에서 지정된 이벤트를 검출하는 단계; 및
상기 이벤트가 검출된 이벤트영역을 포함하는 영역을 설정하는 단계;를 포함하는 카메라의 영상 처리 방법.
제1항에 있어서,
상기 영역의 해상도가 기준 해상도를 초과한 경우, 상기 영역의 해상도를 상기 기준 해상도로 변경하는 단계;를 더 포함하는 카메라의 영상 처리 방법.
영상에서 복수의 포인트들을 연결하는 영역을 설정하는 영역설정부;
상기 영상에서 상기 영역을 추출하는 전처리부; 및
상기 영역 내에서 기 설정된 조건에 대응하는 특징점들을 검출하고, 상기 검출된 특징점들의 정보를 기초로 상기 영역 내에서 객체를 검출하는 제2검출부;를 포함하는 카메라.
제6항에 있어서, 상기 영역설정부는,
상기 영역의 크기 및 검출하고자 하는 객체의 유형에 따라, 상기 영역 내에서 검출 가능한 객체의 최소 크기를 상기 영역 내에 표시하는, 카메라.
제6항에 있어서, 상기 영역설정부는,
상기 영상 내에서 정의된 둘 이상의 영역들의 특징점 검출을 스케줄링하는, 카메라.
제6항에 있어서,
상기 영상에서 지정된 이벤트를 검출하는 제1검출부;를 더 포함하고,
상기 영역설정부는, 상기 이벤트가 검출된 이벤트영역을 포함하는 영역을 설정하는, 카메라.
제6항에 있어서, 상기 전처리부는,
상기 영역의 해상도가 기준 해상도를 초과한 경우, 상기 영역의 해상도를 상기 기준 해상도로 변경하는, 카메라.