KR102194511B1 - 대표 영상프레임 결정시스템 및 이를 이용한 방법 - Google Patents

Abstract

본 발명은 각각이 객체를 포함하는 영상프레임들 중에서 대표 영상프레임을 결정하는 시스템으로서, 영상촬영수단 또는 영상저장수단으로부터 영상데이터가 입력되며, 영상데이터를 제 1 내지 제 N 영상프레임으로 변환시키는, 디코딩모듈(110); 디코딩모듈(110)로부터 제 1 내지 제 N 영상프레임을 전송받고, 제 1 내지 제 N 영상프레임 각각에 대해, 기설정된 방식을 이용하여 영상프레임에 포함된 객체의 얼굴을 인식하며, 기설정된 방식에 의해, 제 1 내지 제 N 영상프레임 각각의 객체 얼굴 사이의 동일성을 판단하고, 객체 얼굴 사이의 동일성이 있다고 판단된 영상프레임들을 그룹화시키는, 객체분석모듈(120); 및 객체분석모듈(120)에 의해, 동일한 영상프레임 그룹으로 그룹화된 영상프레임들에 대해, 기설정된 방식을 기반으로 영상프레임의 품질을 평가하는, 품질평가모듈(130); 을 포함하는 대표 영상프레임 결정시스템을 제공한다.

Description

대표 영상프레임 결정시스템 및 이를 이용한 방법{Representative video frame determination system and method using same}

본 발명은 대표 영상프레임 결정시스템 및 이를 이용한 방법에 관한 기술이다.

스마트폰의 보급과 함께 페이스북, 인스타그램과 같은 소셜 미디어 서비스가 유행하면서 멀티미디어 콘텐츠 관련 서비스 기술이 활발하게 개발되고 있다. 사용자 단말의 사진첩 또는 포토 클라우드와 같은 서비스에서 동영상은 해당 동영상의 대표 이미지로 표시된다. 여기서 동영상의 대표 이미지는 동영상의 식별자로서 기능한다.

종래에는 일반적으로 동영상의 첫번째 프레임을 동영상의 대표 이미지로 사용하였다. 구체적으로, 종래기술 1(한국공개특허 제10-2019-0006815호, "영상물의 대표 이미지 선택 서버 및 방법")에 개시된 대표 이미지 선정 방법은 연속된 이미지들로 구성된 동영상 또는 파노라마 영상을 저장 장치에 저장하고, 사용자 단말의 요청에 따라 저장된 동영상 또는 파노라마 영상을 사용자 단말에 디스플레이 하고, 그 동영상 또는 파노라마 영상의 구간을 디스플레이 하는 시간을 측정하고, 그 구간 가운데 디스플레이 시간이 많은 구간 안의 한 이미지를 선택하여 대표 이미지로 표시한다.

그러나, 종래 기술 1의 대표 이미지 선택 방법은 단순히 오래 재생된 구간의 한 이미지를 동영상의 대표 이미지로 선택하므로 동영상의 첫 프레임이 대표 이미지로 표시될 가능성이 높고, 동영상에 등장하는 객체 정보를 반영하지 못하는 문제점이 있다.

종래기술 2(한국등록특허 제10-1436325호, "동영상 대표 이미지 설정 방법 및 장치")에 개시된 대표 이미지 설정 방법은 하나 이상의 동영상 대표 이미지로 설정 가능한 객체들의 목록에서 적어도 하나를 선택하는 사용자 입력에 기초하여, 사용자가 선택한 객체를 임시 대표 이미지로 설정하고, 사용자가 입력한 텍스트 정보를 추가한 임시 대표 이미지를 동영상 대표 이미지로 설정한다.

하지만, 종래기술 2의 대표 이미지 설정 방법은 대표 객체를 선택하여 대표 이미지를 결정하기는 하지만, 대표 객체가 시각적으로 가장 잘 보이는 이미지를 자동으로 대표 이미지로 결정하지 못하는 한계가 있다.

한편, 최근 CCTV 및 차량의 블랙박스가 널리 보급됨에 따라, 이러한 영상촬영수단에 의해 촬영된 객체 이미지가 광범위하게 사용되고 있다. 특히, 범죄 예방이나 범죄 수사에도 많이 사용되고 있다. 때에 따라서는 영상을 구성하는 특정 영상프레임이 대중에게 공개될 필요가 있는 바, 고품질의 영상프레임이 선별되는 작업이 필요하나, 현재까지는 이를 수작업으로 캡쳐하는 실정이다.

이에 따라, 고품질의 영상프레임을 자동으로 선별함과 동시에, 객관적이면서, 신속하게 영상에 포함된 영상프레임을 대표 영상프레임으로 결정하는 기술의 필요성이 증대되고 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다.

본 발명은 객관적인 기준에 따라, 자동으로 영상데이터의 대표 영상프레임을 결정함으로써, 관리자(또는 사용자)의 주관적인 판단이 개입될 가능성이 있는 수작업을 배제하는 기술을 제안하고자 한다.

또한, 본 발명은 영상데이터를 구성하는 영상프레임 중에서, 시각적으로 객체를 가장 잘 식별할 수 있는 영상프레임을 제공하는 것을 목적으로 하며, 사람의 얼굴을 기준으로, 가장 고품질의 영상프레임을 결정할 수 있는 구성과 알고리즘을 제안하고자 한다.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, 각각이 객체를 포함하는 영상프레임들 중에서 대표 영상프레임을 결정하는 시스템으로서, 영상촬영수단 또는 영상저장수단으로부터 영상데이터가 입력되며, 상기 영상데이터를 제 1 내지 제 N 영상프레임으로 변환시키는, 디코딩모듈(110); 상기 디코딩모듈(110)로부터 상기 제 1 내지 제 N 영상프레임을 전송받고, 상기 제 1 내지 제 N 영상프레임 각각에 대해, 기설정된 방식을 이용하여 영상프레임에 포함된 객체의 얼굴을 인식하며, 기설정된 방식에 의해, 상기 제 1 내지 제 N 영상프레임 각각의 객체 얼굴 사이의 동일성을 판단하고, 객체 얼굴 사이의 동일성이 있다고 판단된 영상프레임들을 그룹화시키는, 객체분석모듈(120); 및 상기 객체분석모듈(120)에 의해, 동일한 영상프레임 그룹으로 그룹화된 영상프레임들에 대해, 기설정된 방식을 기반으로 영상프레임의 품질을 평가하는, 품질평가모듈(130); 을 포함하는, 대표 영상프레임 결정시스템을 제공한다.

또한, 상기 객체분석모듈(120)은, 상기 제 1 내지 제 N 영상프레임 각각에 대해, 얼굴을 인식하는 얼굴인식부(121); 제 K 및 제 K+1 영상프레임 각각의 객체의 얼굴로 인식된 부분의 위치정보를 기반으로, 상기 제 K 영상프레임 속의 객체와 상기 제 K+1 영상프레임 속의 객체를 동일객체로 판단하는 위치기반 판단부(123); 및 상기 위치기반 판단부(123)에 의해, 상기 제 K 및 제 K+1 영상프레임 속의 객체가 동일객체로 판단된 경우, 상기 제 K 및 제 K+1 영상프레임 속의 객체의 얼굴 사이의 유사도를 기설정된 방식에 의해 연산하는 비교기반 판단부(125); 를 포함할 수 있다.

또한, 상기 위치기반 판단부(123)는, 상기 제 K 및 제 K+1 영상프레임 각각의 객체 얼굴정보를 기반으로 하되, 상기 객체 얼굴정보는, 두 눈동자 사이의 거리정보 및 두 눈동자 사이의 중앙점의 위치정보를 기반으로 할 수 있다.

또한, 상기 비교기반 판단부(125)는, 상기 제 K 및 제 K+1 영상프레임 속의 객체가 동일객체로 판단된 경우에만 동작되며, 상기 유사도는, 기설정된 객체 얼굴의 특징점을 통해 판단하되, 상기 제 K 및 제 K+1 영상프레임 속의 상기 특징점을 비교하여 수치화될 수 있다.

또한, 상기 비교기반 판단부(125)는, 상기 제 K 및 제 K+1 영상프레임의 유사도가 기설정된 값 이상이면, 상기 제 K+1 및 제 K+2 영상프레임 사이의 유사도를 판단하며, 상기 제 K+1 및 제 K+2 영상프레임 사이의 유사도가 상기 기설정된 값 미만일 경우, 상기 제 K+2 영상프레임의 객체를 상기 제 K 및 제 K+1 객체와는 상이한 객체로 판단되며, 상기 상기 제 K 및 제 K+1 객체와 상이한 영상프레임 그룹으로 구분될 수 있다.

또한, 상기 품질평가모듈(130)은, 영상프레임 속의 객체 얼굴이 정면을 바라보는 정도를 측정하는 정면측정부(131); 영상프레임 속의 객체 얼굴에 포함된 두 눈동자 사이의 거리를 측정하는 눈사이 거리측정부(133); 영상프레임 속의 객체의 얼굴에 포함된 두 눈의 개방정도를 측정하는 눈개방도 측정부(135); 영상프레임 속의 객체의 얼굴 영역의 밝기 균일도를 측정하는 음영균일도 측정부(137); 및 영상프레임에 포함된 잔상정도를 측정하는 전체선명도 측정부(139); 를 포함하고, 상기 영상프레임에 대한 품질 평가는, 동일한 영상프레임 그룹으로 구분된 영상프레임들 각각에 대해 수행되며, 상기 품질 평가의 상기 기설정된 방식은, 상기 정면측정부(131), 거리측정부(133), 눈개방도 측정부(135), 음영균일도 측정부(137) 및 전체선명도 측정부(139) 중 적어도 하나를 항목으로 포함할 수 있다.

또한, 상기 품질평가모듈(130)은, 상기 정면측정부(131), 거리측정부(133), 눈개방도 측정부(135), 음영균일도 측정부(137) 및 전체선명도 측정부(139)에서 각각 연산된 값을 기반으로 하되, 상기 눈사이 거리측정부(133)에 의해 연산된 값을 기준으로, 상기 값이 기설정된 값 이상일 경우와 상기 값이 기설정된 미만일 경우의 가중치를 상이하게 형성할 수 있다.

또한, 상기 객체분석모듈(120)을 통해, 영상프레임 속에 복수의 객체가 포함된다고 판단되면, 상기 복수의 객체 중 어느 하나를 선택하도록 형성된 객체선택모듈(140); 및 상기 객체선택모듈(140)을 통해, 상기 복수의 객체 중 어느 하나가 선택되면, 상기 품질평가모듈(130)에 의해 결정된 대표 영상프레임 상에서, 선택되지 않은 객체의 얼굴에 대해 마스킹 처리를 수행하는 마스킹 처리모듈(150); 을 포함할 수 있다.

한편, 본 발명은 전술한 대표 영상프레임 결정시스템을 이용하여 대표 영상프레임을 결정하는 방법으로서, (a) 디코딩모듈(110)에서, 영상촬영수단 또는 영상저장수단으로부터 영상데이터가 입력되며, 상기 영상데이터를 제 1 내지 제 N 영상프레임으로 변환되는 단계(S110); (b) 객체분석모듈(120)에서, 상기 디코딩모듈(110)로부터 상기 제 1 내지 제 N 영상프레임을 전송받고, 상기 영상프레임 각각에 대해, 기설정된 방식에 의해 객체의 얼굴을 인식한 후, 기설정된 방식에 의해, 상기 영상프레임 각각에 포함된 객체의 얼굴 사이의 동일성을 판단하고, 객체의 얼굴 사이의 동일성이 있다고 판단된 영상프레임들을 그룹화시키는 단계(S120); 및 (c) 품질평가모듈(130)에서, 상기 객체분석모듈(120)에 의해, 동일한 영상프레임 그룹으로 그룹화된 영상프레임들 각각에 대해, 기설정된 방식으로 영상프레임의 품질을 평가하는 단계(S130); 를 포함하며, 상기 품질평가모듈(130)에 의해, 특정 객체에 대한 대표 영상프레임이 결정되는, 대표 영상프레임 결정 방법을 제공한다.

또한, 상기 (b) 단계(S120)는, (b1) 얼굴인식부(121)에서, 상기 제 1 내지 제 N 영상프레임 각각에 대해, 얼굴을 인식하는 단계(S121); (b2) 위치기반 판단부(123)에서, 제 K 및 제 K+1 영상프레임 각각의 객체의 얼굴로 인식된 부분의 위치정보를 이용하여, 상기 제 K 영상프레임 속의 객체와 상기 제 K+1 영상프레임 속의 객체를 동일객체로 판단하는 단계(S122); 및 (b3) 비교기반 판단부(125)에서, 상기 제 K 및 제 K+1 영상프레임 속의 객체의 얼굴 사이의 유사도를 기설정된 방식에 의해 판단하는 단계로서, 상기 (b2) 단계(S122)에서, 상기 제 K 및 제 K+1 영상프레임 속의 객체가 동일객체로 판단된 경우에 수행되는, 단계(S123); 를 포함할 수 있다.

또한, 상기 (b3) 단계(S123)는, (b3-1) 상기 비교기반 판단부(125)에서, 상기 제 K 및 제 K+1 영상프레임 사이의 유사도가 기설정된 값 이상이면, 상기 제 K+1 및 제 K+2 영상프레임 사이의 유사도를 판단하는 단계(S123-1); 및 (b3-2) 상기 (b3-1) 단계(S123-1)에서 판단된 상기 제 K+1 및 제 K+2 영상프레임 사이의 유사도가 상기 기설정된 값 미만일 경우, 상기 제 K+2 영상프레임의 객체를 상기 제 K 및 제 K+1 영상프레임의 객체와는 상이한 객체로 판단되며, 상기 상기 제 K 및 제 K+1 영상프레임과 상이한 영상프레임 그룹으로 구분되는 단계(S123-2); 를 포함할 수 있다.

본 발명은 객관적인 기준에 따라, 자동으로 영상데이터의 대표 영상프레임을 결정함으로써, 관리자(또는 사용자)의 주관적인 판단이 개입될 가능성이 있는 수작업을 배제하여 사용자의 편의성을 증대시키고, 객관성을 담보할 수 있는 효과를 발휘한다.

또한, 본 발명은 영상데이터를 구성하는 영상프레임 중에서, 시각적으로 객체를 가장 잘 식별할 수 있는 영상프레임을 제공하며, 사람의 얼굴을 기준으로, 가장 고품질의 영상프레임을 결정할 수 있는 구성과 알고리즘을 제공할 수 있다.

도 1은 본 발명인 대표 영상프레임 결정시스템의 일 실시예에 따른 구성도이다.
도 2는 본 발명인 대표 영상프레임 결정시스템의 일 실시예에 의해 객체 그룹별 대표 영상프레임이 결정되는 과정을 도시하는 흐름도이다.
도 3은 본 발명인 대표 영상프레임 결정시스템의 다른 실시예로써, 마스킹처리 모듈을 더 포함하여 선택된 객체 이외의 객체에 대해 마스킹 처리를 수행하는 과정을 도시하는 흐름도이다.
도 4는 본 발명인 대표 영상프레임 결정 방법의 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

이하에서는 '객체'는 사람을 기준으로 설명을 하나, 본 발명이 사람에 적용되는 것으로 제한되는 것은 아니며, 동물에도 적용될 수 있음을 미리 명시한다.

도 1은 본 발명인 대표 영상프레임 결정시스템의 일 실시예에 따른 구성도이다.

본 발명에 따른 대표 영상프레임 결정시스템은 별도의 CCTV(본 명세서에서는 '영상촬영수단'이라 함) 또는 영상데이터 저장 데이터베이스(DB)(본 명세서에서는 '영상저장수단'이라 함)로부터 영상데이터를 전송받으며, 상기 영상데이터를 대상으로 대표 영상프레임을 결정하는 시스템이다.

본 발명에 따른 영상프레임 결정시스템은 디코딩모듈(110), 객체분석모듈(120) 및 품질평가모듈(130)로 구성된다.

디코딩모듈(110)은 영상촬영수단 또는 영상저장수단으로부터 영상데이터가 입력되며, 영상데이터를 제 1 내지 제 N 영상프레임으로 변환시킨다. 영상촬영수단은 무선 또는 유선으로 디코딩모듈(110)과 연결될 수 있으며, RTSP(real-time streaming protocol) 방식으로 전송되는 영상데이터인 것이 바람직하다. 영상촬영수단은 RTSP 프로토콜로 실시간 영상을 스트리밍해주도록 구성될 수도 있으며, 이 때에는 디코딩모듈(110) 역시 RTSP 프로토콜로 실시간 영상을 전송받는다. 디코딩모듈(122)은 영상데이터를 디코딩함으로써, 연속된 영상프레임으로 변환하며, 연속된 영상프레임은 상기와 같이 제 1 내지 제 N 영상프레임을 의미한다.

객체분석모듈(120)은 디코딩모듈(110)로부터 제 1 내지 제 N 영상프레임을 전송받고, 제 1 내지 제 N 영상프레임 각각에 대해, 기설정된 방식을 이용하여 영상프레임에 포함된 객체의 얼굴을 인식한다. 또한, 기설정된 방식에 의해, 제 1 내지 제 N 영상프레임 각각의 객체 얼굴 사이의 동일성을 판단하고, 객체 얼굴 사이의 동일성이 있다고 판단된 영상프레임들을 그룹화시킨다.

이 때, 영상프레임에 포함된 객체의 얼굴을 인식하는 방식은 공지된 기술이 적용될 수 있다. 구체적으로, 널리 사용되는 얼굴 검출 방식인, Knowledge-based 방법, Feature invariant 방법, Template matching 방법, Appearance-based 방법이 사용될 수 있고, Gabor Filter, PCA(Principal Component Analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis), LBP(local Binary Feature), SVM(Support Vector machine) 등과 같은 다양한 특징추출 및 인식 알고리즘이 적용될 수도 있다.

즉, 객체분석모듈(120)은, 모든 영상프레임에 대해 객체의 얼굴을 인식한 후, 다른 영상프레임 속의 객체와 동일성 판단을 수행한다. 객체의 얼굴을 인식하는 프로세스는, 먼저 객체 전체를 인식하고, 그 중에서 얼굴부분을 인식하도록 설정될 수도 있다. 이와는 달리, 객체를 인식하지 않고, 기설정된 알고리즘에 의해 객체의 얼굴만 바로 인식하도록 설정될 수도 있다.

품질평가모듈(130)은 객체분석모듈(120)에 의해, 동일한 영상프레임 그룹으로 그룹화된 영상프레임들에 대해, 기설정된 방식을 기반으로 영상프레임의 품질을 평가한다. 다시 말해, 기설정된 방식을 기반으로, 특정 객체에 대한 영상프레임의 품질을 랭크화시킨다. 기설정된 방식에 대해서는 후술하도록 한다.

도 1 및 2를 참조하여, 객체분석모듈(120) 및 품질평가모듈(130)에 대해 구체적으로 설명한다.

객체분석모듈(120)은 얼굴인식부(121), 위치기반 판단부(123) 및 비교기반 판단부(125)로 구성된다.

얼굴인식부(121)는 제 1 내지 제 N 영상프레임 각각에 대해, 얼굴을 인식한다. 얼굴로 인식되는 부분이 없는 영상프레임은 '객체없음'으로 처리된다.

위치기반 판단부(123)는 제 K 및 제 K+1 영상프레임 각각의 객체의 얼굴로 인식된 부분의 위치정보를 기반으로, 제 K 영상프레임 속의 객체와 제 K+1 영상프레임 속의 객체를 동일객체로 판단한다. 위치기반 판단부(123)는 이미 얼굴인식부(121)를 거친 영상프레임을 대상으로 처리되며, 연속된(이웃하는) 영상프레임 속의 객체를 비교한다. 이 때, 위치기반 판단부(123)는, 제 K 및 제 K+1 영상프레임 각각의 객체 얼굴정보를 기반으로 하되, 그 중 픽셀위치정보를 기반으로 판단한다.

판단방식의 일 예로, 두 눈동자 사이의 거리정보 및 두 눈동자 사이의 중앙점의 위치정보를 기반으로 할 수 있다. 구체적으로 제 K 영상프레임 속의 객체 얼굴의 두 눈동자 사이 간격의 픽셀값을 이용한다. 제 K 영상프레임 속의 객체 얼굴의 두 눈동자 사이 간격이 E_k라고 하며, 두 눈동자 사이의 중앙점을 F_k라고 할 때, 다음의 식 1 및 2를 모두 만족하면 서로 동일한 객체로 판단한다.

Abs(F_k-F_k+1)≥E_k/2 [식 1]

Abs(E_k-E_k+1)≥E_k/3 [식 2]

비교기반 판단부(125)는 위치기반 판단부(123)에 의해, 제 K 및 제 K+1 영상프레임 속의 객체가 동일객체로 판단된 경우, 제 K 및 제 K+1 영상프레임 속의 객체의 얼굴 사이의 유사도를 기설정된 방식에 의해 연산한다. 위치기반의 판단부(123)에만 의존하는 경우에는, 영화의 장면 전환 등으로 우연히 제 K 영상프레임에 나온 위치와 동일한 위치에 다른 객체가 제 K+1 영상프레임에 등장할 수 있는 바, 이를 동일 객체로 오인식하는 문제가 발생될 수 있다. 이에 보다 객체 동일성 판단의 신뢰도를 증대하기 위해, 위치기반 판단부(123) 이후에 비교기반 판단부(125)에 의해 처리되도록 구성하며, 비교기반 판단부(125)에 의해 유사도가 높게 측정된 경우에만 동일객체로 판단한다.

즉, 비교기반 판단부(125)는, 제 K 및 제 K+1 영상프레임 속의 객체가 동일객체로 판단된 경우에만 동작되며, 유사도는, 기설정된 객체 얼굴의 특징점을 통해 판단하되, 제 K 및 제 K+1 영상프레임 속의 특징점을 비교하여 수치화된다. 특징점은 얼굴을 구성하는 복수의 점으로 구성될 수 있다. 예를 들어, 얼굴에 포함된 눈 이외의 코, 입술, 귀 등의 픽셀위치정보를 기반으로 하여 더욱 정교하게 판단할 수 있다.

전술한 바와 같이, 비교기반 판단부(125)는, 제 K 및 제 K+1 영상프레임의 유사도가 기설정된 값 이상이면, 그 다음으로 제 K+1 및 제 K+2 영상프레임 사이의 유사도를 판단하며, 이 과정을 연속하여 반복한다. 만약, 제 K+1 및 제 K+2 영상프레임 사이의 유사도가 기설정된 값 미만일 경우, 제 K+2 영상프레임의 객체를 제 K 및 제 K+1 객체와는 상이한 객체로 판단된다. 이 때에는, 제 K+2 영상프레임의 객체는 제 K 및 제 K+1 객체와 상이한 영상프레임 그룹으로 분류된다.

구체적으로 설명하면, 제 1 영상프레임 및 제 2 영상프레임의 유사도가 기설정된 값 이상이면, 제 2 영상프레임 및 제 3 영상프레임의 유사도를 동일한 방식으로 판단한다. 물론, 제 2 영상프레임 및 제 3 영상프레임의 유사도를 판단하기에 앞서, 제 2 영상프레임 및 제 3 영상프레임의 픽셀위치정보를 판단하는 것은 물론이다. 제 2 및 제 3 영상프레임의 유사도, 제 3 및 제 4 영상프레임의 유사도가 모두 기설정된 값 이상이면, 제 4 및 제 5 영상프레임의 유사도를 판단한다. 만약, 제 4 및 제 5 영상프레임의 유사도가 기설정된 값 미만일 경우, 제 1 내지 제 4 영상프레임 속의 객체만을 동일한 영상프레임 그룹(객체 A에 대한 그룹)으로 구분시키며, 제 5 영상프레임 속의 객체는 이와는 상이한 영상프레임 그룹(객체 B에 대한 그룹)으로 구분시킨다.

품질평가모듈(130)은 정면측정부(131), 거리측정부(133), 눈개방도 측정부(135), 음영균일도 측정부(137) 및 전체선명도 측정부(139)로 구성된다.

정면측정부(131)는 영상프레임 속의 객체 얼굴이 정면을 바라보는 정도를 측정한다. 예를 들어, 상/하/좌/우로 얼굴의 회전 각도가 높을수록 품질이 낮다고 평가되며, 정면을 바라볼수록 품질이 좋다고 평가된다. 이 때, 측정값(A)의 범위는 최소 -5, 최대 5이며, 0점이 최고 품질을 의미하고, 0을 기준으로 멀어질수록 품질이 낮아진다.

눈사이 거리측정부(133)는 영상프레임 속의 객체 얼굴에 포함된 두 눈동자 사이의 거리를 측정한다. 영상프레임 속의 객체 얼굴에 포함된 두 눈동자 사이의 거리를 픽셀 단위로 측정한 값(B)이다.

눈개방도 측정부(135)는 영상프레임 속의 객체의 얼굴에 포함된 두 눈의 개방정도를 측정한다. 눈을 뜨고 있을 수록 품질이 높으며, 측정값(C)의 범위는 최소 -5, 최대 5이고, 값이 높을수록 품질이 좋음을 의미한다.

음영균일도 측정부(137)는 영상프레임 속의 객체의 얼굴 영역의 밝기 균일도를 측정한다. 이는 객체의 얼굴 영역에 조명이 균일하게 조사되고 있는지에 대한 측정 값이며, 측정값(D)의 범위는 최소 -5, 최대 5이고, 0점이 최고 품질을 의미하며 0을 기준으로 멀어질수록 품질이 낮음을 의미한다.

전체선명도 측정부(139)는 영상프레임에 포함된 잔상정도를 측정한다. 움직이는 인물에 대한 영상프레임에는 잔상이 나타나는 경우가 있는데 최대한 잔상이 없는 사진을 선별해야 한다. 이 때, 선명도 측정값(E)의 범위는 최소 0, 최대 10이며 값이 높을수록 품질이 좋음을 의미한다.

품질평가모듈(130)에서의 특정 영상프레임 속의 객체 얼굴에 대한 품질 평가 방식은, 정면측정부(131), 거리측정부(133), 눈개방도 측정부(135), 음영균일도 측정부(137) 및 전체선명도 측정부(139) 중 적어도 하나를 항목으로 포함한다. 일 예로, 다음의 식 3 및 4를 이용하여 수치화한다. 여기서, 하기의 식 3 및 4는 B를 기준으로 가중치를 상이하게 설계하였으며, 식 3은 B 가 60 이상인 경우에 적용되고, 식 4는 B 가 60 미만인 경우에 적용된다. 여기서 A, B, C, D, E의 각각에 적용된 가중치 및 수식은 설계자의 선택에 따라 설정될 수 있다. 즉, 품질평가모듈(130)은 하기의 식 3 및 4를 이용하여 수치화하며, 가장 높은 값을 갖는 영상프레임을 대표 영상프레임으로 결정한다.

A*0.8+B*0.03+C*0.1+D*0.04+E*0.03 [식 3]

A*0.4+B*0.4+C*0.1+D*0.05+E*0.05 [식 4]

또한, 대표영상프레임의 결정을 위해서, 상기의 A, B, C, D, E 값은 각각 정규화를 수행하는 것이 바람직하다. 대표 영상프레임 결정시스템에 적용할 수 있도록 각 항목의 측정값을 동일한 범위를 갖도록 정규화하며, A, C, D에 대해서는 다음의 식 5를 적용한다.

abs(abs(A)*2-10) [식 5]

또한, B에 대해서는 다음의 식 6을 적용하며, E에 대해서는 정규화를 하지 않는다.

ⅰ) B≥10이면 ln(x³/100)-1.3

ⅱ) B<10이면 0

[식 6]

도 3은 본 발명인 대표 영상프레임 결정시스템의 다른 실시예로써, 마스킹처리 모듈을 더 포함하여 선택된 객체 이외의 객체에 대해 마스킹 처리를 수행하는 과정을 도시하는 흐름도이다.

도 3을 참조하여 설명하면, 영상데이터를 구성하는 제 1 내지 제 N 영상프레임에는 복수의 객체가 포함될 수 있다. 다시 말해, 복수의 사람이 등장할 수 있는 바, 관리자 또는 사용자가 관심이 있는 객체를 선택할 수 있는 객체선택모듈(140)을 더 포함한다.

도 3에 도시된 바와 같이, 비교기반 판단부(125)에서는, 객체 얼굴의 동일성을 판단하는 과정에서 단수객체인지 복수객체인지 판단한 후, 복수객체인 경우에는 동일객체에 해당되는 영상프레임들끼리 그룹화시킨다. 도 3에서는 객체선택모듈(140)이 품질평가모듈(130) 이후에 배치되었으나, 객체선택모듈(140)은 객체분석모듈(120) 직후에 배치될 수 있으며, 이 경우에는, 관리자 또는 사용자가 선택한 영상프레임 그룹만을 대상으로 품질평가를 수행한다.

마스킹처리모듈(150)은 객체선택모듈(140)을 통해, 복수의 객체 중 어느 하나가 선택되면, 품질평가모듈(130)에 의해 결정된 대표 영상프레임 상에서, 선택되지 않은 객체의 얼굴에 대해 마스킹 처리를 수행한다. 이에 따라, 객체로 선택되지 않은 객체들의 개인정보 유출을 방지할 수 있다. 전술한 바와 같이, 본 발명은 긴급한 상황에서 대표 영상프레임을 대중에게 공개하기 위해 사용될 수 있는 바, 이 경우에는 사용자 또는 관리자가 관심없는 객체에 대해 마스킹 처리를 수행하는 것이 필요하다.

이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.

110: 디코딩모듈
120: 객체분석모듈
121: 얼굴인식부
123: 위치기반 판단부
125: 비교기반 판단부
130: 품질평가모듈
131: 정면측정부
133: 거리측정부
135: 눈개방도 측정부
137: 음영균일도 측정부
139: 전체선명도 측정부
140: 객체선택모듈
150: 마스킹 처리모듈

Claims (11)

1. 영상프레임들 중에서 대표 영상프레임을 결정하는 시스템으로서,
   영상촬영수단 또는 영상저장수단으로부터 영상데이터가 입력되며, 상기 영상 데이터를 제 1 내지 제 N 영상프레임으로 변환시키는, 디코딩모듈(110);
   상기 디코딩모듈(110)로부터 상기 제 1 내지 제 N 영상프레임을 전송받고, 상기 제 1 내지 제 N 영상프레임 각각에 대해, 기설정된 방식을 이용하여 영상프레임에 포함된 얼굴을 인식하며,
   기설정된 방식에 의해, 상기 제 1 내지 제 N 영상프레임 각각의 얼굴 사이의 동일성을 판단하고, 얼굴 사이의 동일성이 있다고 판단된 영상프레임들을 그룹화시키는, 객체분석모듈(120); 및
   상기 객체분석모듈(120)에 의해, 동일한 영상프레임 그룹으로 그룹화된 영상 프레임들에 대해, 기설정된 방식을 기반으로 영상프레임의 품질을 평가하는, 품질평가모듈(130); 을 포함하며,
   상기 객체분석모듈(120)은,
   상기 제 1 내지 제 N 영상프레임 각각에 대해, 얼굴을 인식하는 얼굴인식부(121);
   제 K 및 제 K+1 영상프레임 각각의 얼굴로 인식된 부분의 위치정보를 기반으로, 상기 제 K 영상프레임 속의 인물 및 상기 제 K+1 영상프레임 속의 인물의 동일인 여부 판단을 수행하는 위치기반 판단부(123); 및
   상기 위치기반 판단부(123)에 의해, 상기 제 K 및 제 K+1 영상프레임 속의 인물이 동일인으로 판단된 경우, 상기 제 K 및 제 K+1 영상프레임 속의 얼굴 사이의 유사도를 기설정된 방식에 의해 연산하는 비교기반 판단부(125); 를 포함하고,
   상기 얼굴인식부(121)는 상기 제 1 내지 제 N 영상프레임 각각에 대해, 얼굴을 인식하되, 상기 제 1 내지 제 N 영상프레임 중 얼굴로 인식되는 부분이 없는 영상프레임은, 객체없음으로 처리하여 그룹화 과정에서 제외시키며,
   상기 위치기반 판단부(123)는,
   상기 제 K 및 제 K+1 영상프레임 각각의 얼굴정보를 기반으로 하되,
   상기 얼굴정보는, 두 눈동자 사이의 거리정보 및 두 눈동자 사이의 중앙점의 위치정보를 기반으로 하고,
   상기 비교기반 판단부(125)는,
   상기 제 K 및 제 K+1 영상프레임 속의 인물이 동일인으로 판단된 경우에만 동작되며,
   상기 유사도는,
   기설정된 얼굴의 특징점을 통해 판단하되, 상기 제 K 및 제 K+1 영상프레임 각각의 얼굴에 포함된 상기 특징점을 비교하여 수치화되며,
   상기 제 K 및 제 K+1 영상프레임의 유사도가 기설정된 값 이상이면, 상기 제 K+1 및 제 K+2 영상프레임 사이의 유사도를 판단하며,
   상기 제 K+1 및 제 K+2 영상프레임 사이의 유사도가 상기 기설정된 값 미만일 경우, 상기 제 K+2 영상프레임의 얼굴을 상기 제 K 및 제 K+1 얼굴과는 상이하고 판단되어, 상기 제 K 및 제 K+1 영상프레임의 얼굴과 상이한 영상프레임 그룹으로 구분되고,
   상기 품질평가모듈(130)은,
   영상프레임 속의 얼굴이 정면을 바라보는 정도를 측정하는 정면측정부(131);
   영상프레임 속의 얼굴에 포함된 두 눈동자 사이의 거리를 측정하는 눈사이 거리측정부(133);
   영상프레임 속의 얼굴에 포함된 두 눈의 개방정도를 측정하는 눈개방도 측정부(135);
   영상프레임 속의 얼굴 영역의 밝기 균일도를 측정하는 음영균일도 측정부(137); 및
   영상프레임에 포함된 잔상정도를 측정하는 전체선명도 측정부(139); 를 포함하고,
   상기 품질평가모듈(130)에서의 상기 영상프레임에 대한 품질 평가는,
   동일한 영상프레임 그룹으로 구분된 영상프레임들 각각에 대해 수행되며,
   상기 품질 평가의 상기 기설정된 방식은,
   상기 정면측정부(131), 거리측정부(133), 눈개방도 측정부(135), 음영균일도 측정부(137) 및 전체선명도 측정부(139) 중 적어도 하나를 항목으로 포함하되, 하기의 식 1 및 식 2를 통해 수치화하여 가장 높은 값을 갖는 영상프레임을 대표 영상프레임으로 결정하고,
   상기 정면측정부(131)의 측정값(A)은, -5 내지 5의 범위 중 어느 한 값으로 산출되고,
   상기 눈사이 거리측정부(133)의 측정값(B)은, 영상프레임 속의 얼굴에 포함된 두 눈동자 사이의 거리를 픽셀 단위로 측정한 값이고,
   상기 눈개방도 측정부(135)의 측정값(C) 및 상기 음영균일도 측정부(137)의 측정값(D)은, -5 내지 5의 범위 중 어느 한 값으로 산출되며,
   상기 전체선명도 측정부(139)의 측정값(E)은, 0 내지 10의 범위 중 어느 한 값으로 산출되고,
   상기 정면측정부(131)의 측정값(A), 눈개방도 측정부(135)의 측정값(C) 및 상기 음영균일도 측정부(137)의 측정값(D)은, 하기의 식 3을 통해 정규화 수행된 후, 하기 식 1 및 식 2에 입력되되,
   하기 식 1 및 2는,
   상기 눈사이 거리측정부(133)에 의해 연산된 값을 기준으로, 상기 값이 기설정된 값 이상일 경우와 상기 값이 기설정된 미만일 경우의 가중치를 상이하게 형성되며,
   상기 눈사이 거리측정부(133)의 측정값(B)가 60 이상인 경우에는, 하기 식 1에 대입되고, 상기 눈사이 거리측정부(133)의 측정값(B)가 60 미만인 경우에는, 하기 식 2에 대입되는,
   대표 영상프레임 결정시스템.
   
   A*0.8+B*0.03+C*0.1+D*0.04+E*0.03 [식 1]
   A*0.4+B*0.4+C*0.1+D*0.05+E*0.05 [식 2]
   abs(abs(X)*2-10) (단, abs(X)는 X의 절대값을 의미하고, X는 A, C 및 D 중 어느 하나) [식 3]
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 제 1 항에 있어서,
   상기 객체분석모듈(120)을 통해, 영상프레임 속에 복수의 얼굴이 포함된다고 판단되면, 상기 복수의 얼굴 중 어느 하나를 선택하도록 형성된 객체선택모듈(140); 및
   상기 객체선택모듈(140)을 통해, 상기 복수의 얼굴 중 어느 하나가 선택되면,
   상기 품질평가모듈(130)에 의해 결정된 대표 영상프레임 상에서, 선택되지 않은 얼굴에 대해 마스킹 처리를 수행하는 마스킹 처리모듈(150); 을 포함하는,
   대표 영상프레임 결정시스템.
   
9. 제 1 항에 따른 대표 영상프레임 결정시스템을 이용하여 대표 영상프레임을 결정하는 방법으로서,
   (a) 디코딩모듈(110)에서, 영상촬영수단 또는 영상저장수단으로부터 영상데이터가 입력되며, 상기 영상데이터를 제 1 내지 제 N 영상프레임으로 변환되는 단계(S110);
   (b) 객체분석모듈(120)에서, 상기 디코딩모듈(110)로부터 상기 제 1 내지 제 N 영상프레임을 전송받고, 상기 영상프레임 각각에 대해, 기설정된 방식에 의해 얼굴을 인식한 후,
   기설정된 방식에 의해, 상기 영상프레임 각각에 포함된 얼굴 사이의 동일성을 판단하고, 얼굴 사이의 동일성이 있다고 판단된 영상프레임들을 그룹화시키는 단계(S120); 및
   (c) 품질평가모듈(130)에서, 상기 객체분석모듈(120)에 의해, 동일한 영상프레임 그룹으로 그룹화된 영상프레임들 각각에 대해, 기설정된 방식으로 영상프레임의 품질을 평가하는 단계(S130); 를 포함하며,
   상기 품질평가모듈(130)에 의해, 특정 얼굴에 대한 대표 영상프레임이 결정되는,
   대표 영상프레임 결정 방법.
   
10. 제 9 항에 있어서,
    상기 (b) 단계(S120)는,
    (b1) 얼굴인식부(121)에서, 상기 제 1 내지 제 N 영상프레임 각각에 대해, 얼굴을 인식하는 단계(S121);
    (b2) 위치기반 판단부(123)에서, 제 K 및 제 K+1 영상프레임 각각의 얼굴로 인식된 부분의 위치정보를 이용하여, 상기 제 K 영상프레임 속의 얼굴과 상기 제 K+1 영상프레임 속의 얼굴을 동일 인물로 판단하는 단계(S122); 및
    (b3) 비교기반 판단부(125)에서, 상기 제 K 및 제 K+1 영상프레임 속의 얼굴 사이의 유사도를 기설정된 방식에 의해 판단하는 단계로서, 상기 (b2) 단계(S122)에서, 상기 제 K 및 제 K+1 영상프레임 속의 얼굴이 동일 인물로 판단된 경우에 수행되는, 단계(S123); 를 포함하는,
    대표 영상프레임 결정 방법.
    
11. 제 10 항에 있어서,
    상기 (b3) 단계(S123)는,
    (b3-1) 상기 비교기반 판단부(125)에서, 상기 제 K 및 제 K+1 영상프레임 사이의 유사도가 기설정된 값 이상이면, 상기 제 K+1 및 제 K+2 영상프레임 사이의 유사도를 판단하는 단계(S123-1); 및
    (b3-2) 상기 (b3-1) 단계(S123-1)에서 판단된 상기 제 K+1 및 제 K+2 영상프레임 사이의 유사도가 상기 기설정된 값 미만일 경우, 상기 제 K+2 영상프레임의 얼굴을 상기 제 K 및 제 K+1 영상프레임의 얼굴과는 상이한 얼굴로 판단한 후, 상기 상기 제 K 및 제 K+1 영상프레임과 상이한 영상프레임 그룹으로 구분되는 단계(S123-2); 를 포함하는,
    대표 영상프레임 결정 방법.

Images