KR20210041817A

KR20210041817A - 영상 콘텐츠의 모자이크 영역 결정 방법 및 모자이크 영역 결정 시스템

Info

Publication number: KR20210041817A
Application number: KR1020190124499A
Authority: KR
Inventors: 손정우; 이상훈; 이호재; 김선중
Original assignee: 한국전자통신연구원
Priority date: 2019-10-08
Filing date: 2019-10-08
Publication date: 2021-04-16

Abstract

영상 콘텐츠의 모자이크 영역 결정 방법 및 모자이크 영역 결정 시스템이 개시된다. 모자이크 영역 결정 방법은 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 식별하는 단계; 상기 학습 영상 콘텐츠에서 프레임들에 대해 임베딩을 수행하여 프레임 벡터를 결정하는 단계; 상기 학습 영상 콘텐츠에서 프레임들 간의 프레임 차이 이미지에 대해 임베딩을 수행하여 프레임 차이 벡터를 결정하는 단계; 상기 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계; 및 상기 원본 레이블과 상기 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 단계를 포함할 수 있고, 상기 오류에 따라 상기 단계에서 사용된 파라미터 집합을 업데이트함으로써 학습한다.

Description

영상 콘텐츠의 모자이크 영역 결정 방법 및 모자이크 영역 결정 시스템{METHOD AND SYSTEM FOR DETERMINING MOSAIC AREA OF VIDEO CONTENTS}

본 발명은 영상 콘텐츠의 모자이크 영역을 결정하는 방법 및 시스템에 관한 것으로, 보다 구체적으로는 영상 콘텐츠의 학습을 통해 영상 콘텐츠에서 모자이크 영역을 결정하는 기술에 관한 것이다.

최근에 다양한 서비스가 제공됨에 따라 영상 콘텐츠의 사용이 증가하고 있다. 여러 소스를 통해 제작된 영상 콘텐츠들이 심의없이 유통되고 있어서, 선정적이거나 폭력적인 영상 콘텐츠들이 쉽게 노출되고 있다.

이와 같이 선정적이거나 폭력적인 영상 콘텐츠에 대해 모자이크를 적용하여 배포할 필요가 있다. 하지만, 매우 많은 영상 콘텐츠가 존재하기 때문에 모든 영상 콘텐츠에 대해 관리자가 일일이 영상 컨텐츠를 재생하여 모자이크를 처리할 영역을 결정하는 것은 쉽지 않다. 뿐만 아니라, 수많은 영상 컨텐츠를 분석하여 모자이크를 처리해야 할 영역을 결정해야 하기 때문에 많은 처리 시간이 소요된다.

따라서, 보다 정확하면서도 신속하게 모자이크를 적용할 수 있는 방안이 요구된다.

본 발명은 관리자가 정한 레이블(선정성, 폭력성, 광고 등)에 부합하지 않는 영상의 특정 영역을 추출하고 해당 영역을 모자이크 처리함으로써, 사용자가 시청하기에 부적절한 콘텐츠를 자동으로 필터링할 수 있는 영상 콘텐츠의 모자이크 영역 결정 방법 및 모자이크 영역 결정 시스템을 제공할 수 있다.

또한, 본 발명은 영상 콘텐츠에서 영상 콘텐츠의 학습을 통해 영상 콘텐츠에서 모자이크 영역을 결정하고 모자이크를 적용하여 다양한 종류의 불법 유해 요소를 효과적으로 제거하고, 모자이크 처리에 드는 비용 및 시간을 줄일 수 있는 영상 콘텐츠의 모자이크 영역 결정 방법 및 시스템을 제공할 수 있다.

본 발명의 일실시예에 따른 영상 콘텐츠의 모자이크 영역을 결정하기 위한 학습 모델의 학습 방법은 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 식별하는 단계; 상기 학습 영상 콘텐츠에서 프레임들에 대해 임베딩을 수행하여 프레임 벡터를 결정하는 단계; 상기 학습 영상 콘텐츠에서 프레임들 간의 프레임 차이 이미지에 대해 임베딩을 수행하여 프레임 차이 벡터를 결정하는 단계; 상기 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계; 및 상기 원본 레이블과 상기 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 단계를 포함할 수 있다.

상기 학습 모델은 상기 오류에 따라 (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, 및 (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 업데이트함으로써 학습한다.

상기 프레임 벡터를 결정하는 단계는 (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 특정 시점의 입력 프레임을 임베딩함으로써 상기 특정 시점의 입력 프레임보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임에 대응하는 프레임 벡터를 결정할 수 있다.

상기 프레임 차이 벡터를 결정하는 단계는 (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 특정 시점의 입력 프레임 차이 이미지를 임베딩함으로써 상기 특정 시점의 입력 프레임 차이 이미지보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임 차이에 대응하는 프레임 차이 벡터를 결정할 수 있다.

상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계는 (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 프레임 벡터 및 상기 프레임 차이 벡터를 입력으로 모자이크를 적용할 레이블 영역에 대응되는 영역 벡터를 결정함으로써 상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정할 수 있다.

상기 오류를 결정하는 단계는 (a) 추출된 레이블 영역의 일관성, (b) 추출된 레이블 영역에 대한 레이블, (c) 추출된 레이블 영역의 나머지 영역에 대한 레이블 및 (d) 프레임 및 프레임 차이 재현 오류 중 (b)와 (d)를 포함하고 (a) 또는 (c)를 선택적으로 부가하여 판단함으로써 오류를 결정할 수 있다.

상기 추출된 레이블 영역의 일관성은 t 시점의 프레임을 기준으로 추출된 레이블 영역과 t-1 시점 프레임을 기준으로 추출된 레이블 영역과의 거리를 계산하여 결정되는 값일 수 있다.

상기 추출된 레이블 영역에 대한 레이블은 상기 결정된 학습 레이블과 상기 원본 레이블의 차이를 계산하여 결정되는 값일 수 있다.

상기 추출된 레이블 영역의 나머지 영역에 대한 레이블은 상기 추출된 레이블 영역 외 나머지 영역으로부터 결정된 레이블과 원본 레이블 이외의 레이블 간의 차이를 계산하여 결정되는 값일 수 있다.

상기 프레임 및 프레임 차이 재현 오류는 상기 프레임 벡터 및 프레임 차이 벡터로부터 재현한 프레임 및 프레임 차이 이미지와 상기 프레임 벡터를 결정할 때 사용된 프레임 및 상기 프레임 차이 벡터를 결정할 때 사용된 프레임 차이 이미지 간의 차이를 계산하여 결정되는 값일 수 있다.

영상 콘텐츠에 모자이크를 적용하기 위한 방법은 타겟 영상 컨텐츠를 식별하는 단계; 모자이크 영역을 결정하는 학습 모델 중 하나를 이용하여 상기 타겟 영상 컨텐츠에서 모자이크 영역을 결정하는 단계; 및 결정된 모자이크 영역에 모자이크를 적용하는 단계를 포함할 수 있다.

상기 학습 모델은 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 식별하는 단계; 상기 학습 영상 콘텐츠에서 프레임들에 대해 임베딩을 수행하여 프레임 벡터를 결정하는 단계; 상기 학습 영상 콘텐츠에서 프레임들 간의 프레임 차이 이미지에 대해 임베딩을 수행하여 프레임 차이 벡터를 결정하는 단계; 상기 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계; 및 상기 원본 레이블과 상기 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 단계를 포함할 수 있다.

상기 결정된 모자이크 영역에 모자이크를 적용하는 단계는 상기 결정된 모자이크 영역의 프레임 벡터 및 차이 벡터를 기반으로 새로운 이미지를 이용하여 모자이크 영역에 모자이크를 적용할 수 있다.

영상 콘텐츠의 모자이크 영역을 결정하기 위한 학습 모델의 학습 시스템은 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠 및 프로세서를 포함할 수 있다.

상기 프로세서는 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 식별하고, 상기 학습 영상 콘텐츠에서 프레임들에 대해 임베딩을 수행하여 프레임 벡터를 결정하고, 상기 학습 영상 콘텐츠에서 프레임들 간의 프레임 차이 이미지에 대해 임베딩을 수행하여 프레임 차이 벡터를 결정하고, 상기 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하고, 상기 원본 레이블과 상기 학습 레이블을 비교하여 학습 모델의 오류를 결정할 수 있다.

상기 학습 모델은 상기 오류에 따라 (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, 및 (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 업데이트함으로써 학습할 수 있다.

상기 프로세서는 (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 특정 시점의 입력 프레임을 임베딩함으로써 상기 특정 시점의 입력 프레임보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임에 대응하는 프레임 벡터를 결정할 수 있다.

상기 프로세서는 (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 특정 시점의 입력 프레임 차이 이미지를 임베딩함으로써 상기 특정 시점의 입력 프레임 차이 이미지보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임 차이에 대응하는 프레임 차이 벡터를 결정할 수 있다.

상기 프로세서는 (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 프레임 벡터 및 상기 프레임 차이 벡터를 입력으로 모자이크를 적용할 레이블 영역에 대응되는 영역 벡터를 결정함으로써 상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정할 수 있다.

상기 프로세서는 (a) 추출된 레이블 영역의 일관성, (b) 추출된 레이블 영역에 대한 레이블, (c) 추출된 레이블 영역의 나머지 영역에 대한 레이블 및 (d) 프레임 및 프레임 차이 재현 오류 중 (b)와 (d)를 포함하고 (a) 또는 (c)를 선택적으로 부가하여 판단함으로써 오류를 결정할 수 있다.

영상 콘텐츠에 모자이크를 적용하기 위한 시스템은 타겟 영상 콘텐츠 및 프로세서를 포함할 수 있다.

상기 프로세서는 타겟 영상 컨텐츠를 식별하고, 모자이크 영역을 결정하는 학습 모델 중 하나를 이용하여 상기 타겟 영상 컨텐츠에서 모자이크 영역을 결정하고, 결정된 모자이크 영역에 모자이크를 적용할 수 있다.

상기 프로세서는 상기 결정된 모자이크 영역의 프레임 벡터 및 차이 벡터를 기반으로 새로운 이미지를 이용하여 모자이크 영역에 모자이크를 적용할 수 있다.

본 발명의 일실시예에 따르면, 관리자가 정한 레이블(선정성, 폭력성, 광고 등)에 부합하지 않는 영상의 특정 영역을 추출하고 해당 영역을 모자이크 처리함으로써, 사용자가 시청하기에 부적절한 콘텐츠를 자동으로 필터링할 수 있는 영상 콘텐츠의 모자이크 영역 결정할 수 있다.

또한, 본 발명은 영상 콘텐츠에서 영상 콘텐츠의 학습을 통해 영상 콘텐츠에서 모자이크 영역을 결정하고 모자이크를 적용하여 다양한 종류의 불법 유해 요소를 효과적으로 제거하고, 모자이크 처리에 드는 비용 및 시간을 줄일 수 있다.

본 발명의 일실시예에 의하면, 기존의 격자 이미지나 블러(blur) 처리가 아닌 아닌 새로운 이미지를 생성해 모자이크를 적용할 수 있다.

도 1은 본 발명의 일실시예에 따른 모자이크 영역 결정 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 모자이크 영역 결정 시스템이 수행하는 모자이크 영역을 결정하기 위한 학습 모델의 학습 방법을 도시한 플로우 차트이다.
도 3는 본 발명의 일실시예에 따른 레이블 영역 추출과정의 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 모자이크 영역 결정 시스템이 수행하는 모자이크 적용 방법을 도시한 플로우 차트이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 일실시예에 따른 모자이크 영역 결정 시스템을 도시한 도면이다.

모자이크 영역 결정 시스템(101)은 학습 과정을 통해 프로세서에 의해 수행되는 학습 모델을 학습시키고 테스트 과정에서 학습 모델을 이용한다. 이를 통해 테스트 과정에서는 타겟 영상 콘텐츠에 대해서 모자이크가 적용되어야 할 영역을 자동으로 찾아 적용한다.

학습과정에서 모자이크 영역 결정 시스템(101)은 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 입력 받고 모자이크가 적용될 영역이 결정된 학습 영상 콘텐츠를 출력한다.

본 발명에서 레이블이란, 영상이 선정적, 폭력성, 광고 등을 포함하고 있을 때 어떤 종류에 속하는지에 대한 정보를 담고 있는 데이터이다. 예를 들어, 19세 이상 관람가 영화가 있을 때, 선정적인 장면이나 잔인한 장면에 포함된 프레임은 '19세 이상 관람가'라는 레이블이 입력된다.

따라서, 학습 영상 콘텐츠는 다양한 종류의 레이블이 입력된 영상 콘텐츠들로 구성된다. 또한, 본 발명은 학습을 통해 프레임에서 특정 레이블에 속한다고 판단되는 영역을 찾고 어떤 레이블인지를 판단할 수 있다.

도 2는 본 발명의 일실시예에 따른 모자이크 영역 결정 시스템이 수행하는 모자이크 영역을 결정하기 위한 학습 모델의 학습 방법을 도시한 플로우 차트이다. 이하의 단계들은 프로세서에 의해 수행될 수 있다.

단계(201)는 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠로부터 입력 받은 특정 시점인 t 시점 프레임을 임베딩(embedding)하여 t 시점 프레임에 대한 프레임 벡터를 결정하는 단계이다.

t 시점 프레임이 W(가로 길이) * H(세로 길이) 사이즈이고 C(컬러 정보)를 가질 때, 프레임 벡터는 특정 시점의 프레임보다 W와 H가 모두 작으면서 C는 증가한 프레임(W'*H', C')에 대응한다. C(컬러 정보)는 프레임의 컬러가 흑백인 경우 C=1, 컬러인 경우 C

3 이다. 즉, 프레임 벡터는 W>W', H>H', C<C'를 만족한다.

t시점 프레임의 W, H 및 C 로부터 뉴럴 네트워크의 파라미터 집합을 이용하여 W', H' 및 C'를 계산할 수 있다. 따라서, 뉴럴 네트워크의 파라미터 집합이 임베딩 과정의 동작 방식을 결정한다. 뉴럴 네트워크의 파라미터 집합은 단계(204)의 오류에 따라 업데이트 될 수 있다.

단계(202)는 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠로부터 입력 받은 프레임 차이를 임베딩하여 프레임 차이 벡터를 결정하는 단계이다.

프레임 차이란, 특정 시점인 t 시점 프레임(F)과 t-1 시점의 프레임(F') 간의 차이에서 얻어지는 프레임 차이 이미지(F-F')이다. 프레임 차이 이미지가 W(가로 길이) * H(세로 길이) 사이즈이고 C(컬러 정보)를 가질 때, 프레임 차이 이미지 또한 W(가로 길이) * H(세로 길이) 사이즈이고 C(컬러 정보)를 가진다.

프레임 차이 벡터는 프레임 차이 이미지보다 W와 H가 모두 작으면서 C는 증가한 프레임(W' * H', C')에 대응한다. 즉, 프레임 차이 벡터는 W>W', H>H', C<C'를 만족한다.

프레임 차이 이미지의 W, H 및 C 로부터 뉴럴 네트워크의 파라미터 집합을 이용하여 W', H' 및 C'를 계산할 수 있다. 따라서, 뉴럴 네트워크의 파라미터 집합이 임베딩 과정의 동작 방식을 결정한다. 뉴럴 네트워크의 파라미터 집합은 단계(204)의 오류에 따라 업데이트 될 수 있다.

단계(203)는 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계이다.

레이블 영역이란 프레임 내에서 선정성, 폭력성 등의 레이블에 해당된다고 학습 모델을 통해 판단된 영역을 의미한다. 학습 레이블이란 레이블 영역으로부터 학습 모델을 통해 판단된 레이블을 의미한다.

레이블에 해당된다고 판단되는 레이블 영역을 추출하는 것은 프레임 벡터(f) 및 프레임 차이 벡터(fd)를 입력으로 뉴럴 네트워크의 파라미터 집합을 이용하여 레이블 영역 벡터(A)를 추출함으로써 이루어진다.

구체적으로, 프레임 벡터 및 프레임 차이 벡터가 가로 길이W', 세로 길이=H' 및 컬러 정보=C'일 때, 파라미터 벡터인 가중치 벡터는 가로길이=W', 세로길이=H', 컬러 정보=1이 된다. C'차원의 가중치 벡터인 w1과 w2를 두고 g(w1 * f), g(w2 * fd)를 통해 프레임벡터에서의 영역과 프레임 차이 벡터상에서의 영역을 추출한다. 이때 함수 g는 입력 값을 0에서 1.0 사이로 맵핑하는 비선형 함수이다. g함수를 통해 나오는 값은 W'(가로 길이) * H'(세로 길이) 크기를 가지는 벡터이고 각 엘리먼트(element)는 0에서 1.0 사이의 실수를 가진다. g함수를 통해 나오는 값의 합은 항상 1.0이다.

결국, 레이블 영역을 가리키는 레이블 영역 벡터(A)는 파라미터 w3를 통해 g(w3 * (g(w1 * f) + g(w2 * fd)))로 계산되어 생성된다. 정해진 파라미터 집합(w1, w2, w3)을 바탕으로 레이블 영역 벡터를 결정하여 레이블에 해당된다고 판단되는 영역을 추출한다.

또한, 추출된 레이블 영역이 어느 레이블에 해당하는지에 대한 확률을 구하여 학습 레이블을 결정한다. 따라서, 뉴럴 네트워크의 파라미터 집합(w1, w2, w3)이 임베딩 과정의 동작 방식을 결정한다. 뉴럴 네트워크의 파라미터 집합은 단계(204)의 오류에 따라 업데이트 될 수 있다.

단계(204)는 원본 레이블과 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 단계이다. 오류 결정을 위해 레이블 영역이 추출되면, 프레임 벡터(fr) 및 프레임 차이 벡터(fd)를 레이블과 관련된 벡터와 관련되지 않은 벡터로 분할한다.

분할 과정은 다음과 같다. 추출된 레이블 영역을 나타내는 벡터(A)가 주어질 때, 레이블 영역과 관련된 프레임 벡터(CDfr) = fr * A, 관련 프레임 차이 벡터(CDfd) = fd * A를 구할 수 있다. 또한, 레이블 영역과 관련되지 않은 비관련 프레임 벡터(CIfr) = fr - CDfr, 레이블과 관련되지 않은 비관련 프레임 차이 벡터(CIfd) = fd - CDfd를 구할 수 있다.

오류 결정은 (a) 추출된 레이블 영역의 일관성, (b) 추출된 레이블 영역에 대한 레이블, (c) 추출된 레이블 영역의 나머지 영역에 대한 레이블 및 (d) 프레임 및 프레임 차이 재현 오류 중 (b)와 (d)를 포함하고 (a) 또는 (c)를 선택적으로 부가하여 판단함으로써 결정될 수 있다. 일례로, 오류(Error)는 Error = x * (a) + y * (b) + w * (c) + z * (d)로 결정될 수 있다. 이때, 파라미터 집합인 x, y, w, z는 x + y + w + z = 1.0이며, 0.0 <= x, y, w, z <= 1.0를 만족한다.

(a) 추출된 레이블 영역의 일관성은 학습 모델이 유사한 장면에서는 유사한 결과를 낼 수 있도록 하기 위해 고려될 수 있다. 수 있다. 영상은 초당 24프레임으로 구성되어 있어서 연속된 프레임은 1/24 초의 시간 간격을 가진다. 따라서 연속된 프레임은 장면의 변화가 매우 적거나 없을 수 있다.

이 때, 학습 모델 시스템이 장면의 변화가 매우 적거나 없음에도 불구하고 연속된 프레임에 대하여 모자이크를 적용할 레이블 영역을 전혀 다르게 추출한다면 정확하게 추출되지 않았을 확률이 높다. 즉, 학습 모델의 정확도를 높이기 위해 레이블 영역의 일관성을 고려할 필요가 있다.

추출된 레이블 영역의 일관성은 t 시점의 프레임을 기준으로 추출된 레이블 영역과 t-1 시점 프레임을 기준으로 추출된 레이블 영역과의 거리를 계산하여 결정되는 값이다. 일례로, 위 거리를 계산할 때는 평균 제곱 거리(mean squared distance)를 기준으로 계산할 수 있다.

(b) 추출된 레이블 영역에 대한 레이블은 추출된 레이블 영역에 대해서 결정된 학습 레이블이 학습 영상 콘텐츠에 입력된 원본 레이블과 비교하여 얻어진 값이다. 학습 레이블과 원본 레이블의 차이가 적을수록 정확한 학습모델이 되기 때문에 이러한 차이를 고려할 필요가 있다.

구체적으로, 레이블 종류가 총 n개가 있을 때, 원본 레이블(L)은 L번?? 값만 1이고 나머지는 0인 n차원 벡터이다. 이 때, 관련 프레임 벡터 및 관련 프레임 차이 벡터로부터 얻어지는 학습 레이블은 전체 레이블 각각에 대한 확률 값을 가지는 n차원 벡터이다. 두 벡터의 차이를 통해 추출된 레이블 영역에 대한 레이블 확률을 구할 수 있다. 일례로, 두 벡터의 차이를 카테고리 크로스 엔트로피(categorical cross entropy)를 이용해 계산할 수 있다.

(c) 추출된 레이블 영역의 나머지 영역에 대한 레이블은 추출된 레이블 영역의 나머지 영역에서 결정된 레이블과 원본 레이블 이외 모든 레이블과 비교하여 얻어진 값이다. 학습 모델이 정확할 때, 프로세서가 추출된 레이블 영역의 나머지 영역에 대한 레이블을 결정하면 원본 레이블을 제외한 모든 레이블들이 나타나야 한다.

구체적으로, 레이블 종류가 총 n개가 있을 때, 원본 레이블(L)은 L번?? 값만 1이고 나머지는 0인 n차원 벡터이므로, 원본 레이블을 제외한 모든 레이블(L')은 L'=1-L으로 구할 수 있다. 비관련 프레임 벡터 및 비관련 프레임 차이 벡터로부터 얻어지는 레이블은 추출된 레이블 영역의 나머지 영역에서 전체 레이블 각각에 대한 확률 값을 가지는 n차원 벡터이다. 따라서, L'과의 차이를 통해 추출된 레이블 영역의 나머지 영역에 대한 레이블 확률을 구할 수 있다. 일례로, 두 벡터의 차이를 카테고리 크로스 엔트로피(categorical cross entropy)를 이용해 계산할 수 있다.

(d) 프레임 및 프레임 차이 재현 오류는 관련/비관련 프레임 벡터 및 관련/비관련 프레임 차이 벡터로부터 재현한 프레임 및 프레임 차이 이미지와 학습 영상 콘텐츠의 원본 프레임 및 프레임 차이 이미지를 비교하여 얻어지는 값이다. 프레임 벡터, 프레임 차이 벡터는 임베딩된 값이기 때문에 이를 통해 추출된 레이블 영역은 원본 프레임과의 괴리가 발생할 수 있다. 이를 줄이기 위해 고려될 수 있다.

본 발명에서는 관련/비관련 프레임 벡터 및 관련/비관련 프레임 차이 벡터로부터 원본 프레임을 재현하는 함수(Gfr)과 프레임 차이를 재현하는 함수 (Gfd)를 구현하였다.

구체적으로, 재현한 프레임(fr*)은 fr* = A * Gfr(CDfr) + (1.0 - A) * Gfr(CIfr)로 구해질 수 있으며, 프레임 차이 이미지(fd*) 또한 fd* = A *Gfd(CDfd) + (1.0 - A) * Gfd(CIfd)로 구해질 수 있다. 두 이미지 차이를 계산하는 함수를 통해 원본 프레임(fr)과 재현된 프레임(fr*)의 차이 값과 프레임 차이 이미지(fd)와 재현된 프레임 차이 이미지(fd*)의 차이 값을 더하여 프레임 및 프레임 차이 재현 오류를 구할 수 있다. 일례로, 두 이미지 차이를 계산하는 함수는 MSE(Mean Squared Error)를 이용할 수 있다.

프로세서는 결정된 오류가 최소가 되도록 (i) 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, (ii) 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, (iii) 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합 및 (iv) 오류(Error)를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합 중 일부 또는 전체를 업데이트할 수 있다. 일례로, 파라미터 집합들을 업데이트할 때 역전파(back propagation) 기법을 이용할 수 있다. 프로세서는 파라미터 집합의 업데이트를 통해 오류가 일정 값 이하로 떨어지거나 변화하지 않는다면, 오류가 최소가 된 것으로 보고 학습을 종료한다.

도 3는 본 발명의 일실시예에 따른 레이블 영역 추출과정의 일례를 도시한 도면이다. 도 3의 (a)는 19세 관람가 레이블이 입력된 학습 영상 콘텐츠의 특정 프레임이다. 해당 프레임은 상의 탈의하 도 3의 (b)는 특정 프레임과 이전 시점 프레임 간의 차이로 얻어지는 프레임 차이 이미지의 예시를 도시한 것이다. 도 3의 (c)는 도 3의 (a)및 도 3의 (b)로부터 얻어지는 프레임 벡터 및 프레임 차이 벡터를 통해 모자이크를 적용할 레이블 영역을 추출한 모습을 나타낸 것이다.

도 4는 본 발명의 일실시예에 따른 모자이크 영역 결정 시스템이 수행하는 모자이크 적용 방법을 도시한 플로우 차트이다. 적용 방법의 단계들은 프로세서에 의해 수행될 수 있다.

모자이크 적용 방법은 학습 과정을 통해 결정된 (i) 프레임 벡터를 결정할 때 사용된 파라미터 집합, (ii) 프레임 차이 벡터를 결정할 때 사용된 파라미터 집합 및 (iii) 레이블 영역을 추출할 때 사용된 파라미터 집합을 이용한다.

복수의 프레임으로 구성된 타겟 영상 콘텐츠로부터 입력 받은 t 시점 프레임을 임베딩하여 t 시점 프레임에 대한 프레임 벡터를 결정하고, t 시점 프레임 및 t-1 시점 프레임 간의 차이로 얻어진 프레임 차이를 임베딩하여 프레임 차이 벡터를 결정하고, 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 레이블을 결정한다.

단계(401)는 추출된 레이블 영역에 대하여 모자이크를 적용하는 단계이다. 모자이크를 적용하는 방법에 있어, 기존의 경우 격자 이미지를 사용하거나 블러(blur)처리를 통해 이루어졌다. 하지만 전자의 경우 콘텐츠와 확연히 구분되어 시청자의 집중도를 저해하고, 후자의 경우 원본 이미지를 유추할 수 있어 차단효과가 떨어진다. 따라서 본 발명에서는 새로운 이미지를 이용한 모자이크 적용 방법을 제시한다.

구체적으로, 타겟 영상 콘텐츠로부터 결정된 레이블과 다른 레이블에 해당하는 영상 콘텐츠에서 결정된 관련 프레임 벡터(CDfr)와 관련 프레임 차이 벡터(CDfd)를 기반으로 타겟 영상 콘텐츠에서 추출된 레이블 영역의 이미지를 생성한다.

즉, 타겟 영상 콘텐츠로부터 결정된 레이블과 다른 레이블에 해당하는 프레임 들에서 결정된 관련 프레임 벡터(CDfr)을 결합하는 함수 Efr(CDfr_1, CDfr_2, CDfr_3, …CDfr_k)와 관련 프레임 차이 벡터(CDfd)를 결합하는 함수 Efd(CDfd_1, CDfd_2, CDfd_3, …CDfd_k)를 이용하여 가로 길이(W), 세로 길이(H), 컬러 정보(C)를 가지는 프레임 및 프레임 차이 이미지 fr’과 fd’을 생성할 수 있다. 생성한 이미지를 기반으로 모자이크가 적용된 프레임은 (1-A) * fr + A * fr’으로 결합되어 생성되며, 프레임 차이 이미지는 (1-A) * fd + A * fd’로 생성된다.

두 함수 Efr과 Efd는 함수 Gfr 및 Gfd와 마찬가지로 생성한 프레임 및 프레임 차이에 대한 재현 오류를 통해 파라미터 값이 조정될 수 있다. 일례로, 모자이크 이미지를 새롭게 생성하는 과정은 적대적 손실(adversarial loss)을 최소화하는 이용할 수 있다.

관리자는 모자이크 적용 기능의 사용에 앞서, 관리 모듈에서 사전에 저장된 파라미터 집합을 로딩할 수 있다. 그리고, 레이블들 중, 모자이크 대상 레이블을 설정한다.

먼저, 관리자는 다수의 학습 모델 중, 하나를 선택하여 저장된 파라미터의 값들을 확인할 수 있다. 레이블 영역에서는 관리자가 자동 모자이크 기능을 적용할 지 여부를 설정한다. 자동 모자이크 기능을 설정할 경우, 관리자는 기준 값을 입력하게 된다. 기준 값은 0에서 1.0 사이의 값이다. 선택된 레이블이 특정 영역에서 기준 값 이상으로 관측될 경우, 모자이크를 수행하도록 한다.

설정이 완료되면 외부 시스템으로부터 영상을 입력 받는다. 영상은 스트리밍 형태로 받거나 파일 형태로 받을 수 있다. 다수의 입력 영상이 있다고 가정하면, 시스템은 순차적으로 입력되는 프레임에서 레이블 영역을 추출하고, 해당 영역에서 가장 높은 확률을 가지는 레이블을 결정한다.

모자이크 영역 결정 시스템으로부터 결정된 레이블이 관리자가 설정한 모자이크 대상 레이블이라면, 기준 값과 추정된 레이블 확률을 비교하여 해당 영역을 모자이크 처리한다. 관리자는 해당 과정을 운영 시스템을 통해 실시간으로 확인하며, 자동 모자이크를 취소할 수 있다. 입력되는 영상의 수가 화면에 표출할 수 있는 영상의 수보다 많다면, 관리자는 추정된 레이블 확률을 바탕으로, 확률이 높게 나타나는 영상 순, 확률이 낮게 나타나는 영상 수, 특정 확률 값과 가깝게 나타나는 영상 순으로 정렬하여 확인할 수 있다.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

101: 모자이크 영역 결정 시스템
201: t 시점 프레임을 임베딩하여 t 시점 프레임에 대한 프레임 벡터를 결정하는 과정
202: 프레임 차이를 임베딩하여 프레임 차이 벡터를 결정하는 과정
203: 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 과정
204: 원본 레이블과 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 과정
401: 추출된 레이블 영역에 대하여 모자이크를 적용하는 단계이다. 모자이크를 적용하는 과정

Claims

영상 콘텐츠의 모자이크 영역을 결정하기 위한 학습 모델의 학습 방법에 있어서,
모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 식별하는 단계;
상기 학습 영상 콘텐츠에서 프레임들에 대해 임베딩을 수행하여 프레임 벡터를 결정하는 단계;
상기 학습 영상 콘텐츠에서 프레임들 간의 프레임 차이 이미지에 대해 임베딩을 수행하여 프레임 차이 벡터를 결정하는 단계
상기 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계;
상기 원본 레이블과 상기 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 단계
를 포함하고,
상기 학습 모델은,
상기 오류에 따라 (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, 및 (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 업데이트함으로써 학습하는,
모자이크 영역 결정 방법.
제1항에 있어서,
상기 프레임 벡터를 결정하는 단계는,
(i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 특정 시점의 입력 프레임을 임베딩함으로써 상기 특정 시점의 입력 프레임보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임에 대응하는 프레임 벡터를 결정하는,
모자이크 영역 결정 방법.
제1항에 있어서,
상기 프레임 차이 벡터를 결정하는 단계는,
(ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 특정 시점의 입력 프레임 차이 이미지를 임베딩함으로써 상기 특정 시점의 입력 프레임 차이 이미지보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임 차이에 대응하는 프레임 차이 벡터를 결정하는,
모자이크 영역 결정 방법.
제1항에 있어서,
상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계는,
(iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 프레임 벡터 및 상기 프레임 차이 벡터를 입력으로 모자이크를 적용할 레이블 영역에 대응되는 영역 벡터를 결정함으로써 상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는,
모자이크 영역 결정 방법.
제1항에 있어서,
상기 오류를 결정하는 단계는,
(a) 추출된 레이블 영역의 일관성, (b) 추출된 레이블 영역에 대한 레이블, (c) 추출된 레이블 영역의 나머지 영역에 대한 레이블 및 (d) 프레임 및 프레임 차이 재현 오류 중 (b)와 (d)를 포함하고 (a) 또는 (c)를 선택적으로 부가하여 판단함으로써 오류를 결정하는,
모자이크 영역 결정 방법.
제5항에 있어서,
상기 추출된 레이블 영역의 일관성은 t 시점의 프레임을 기준으로 추출된 레이블 영역과 t-1 시점 프레임을 기준으로 추출된 레이블 영역과의 거리를 계산하여 결정되는 값인
모자이크 영역 결정 방법.
제5항에 있어서,
상기 추출된 레이블 영역에 대한 레이블은 상기 결정된 학습 레이블과 상기 원본 레이블의 차이를 계산하여 결정되는 값인,
모자이크 영역 결정 방법.
제5항에 있어서,
상기 추출된 레이블 영역의 나머지 영역에 대한 레이블은 상기 추출된 레이블 영역 외 나머지 영역으로부터 결정된 레이블과 원본 레이블 이외의 레이블 간의 차이를 계산하여 결정되는 값인,
모자이크 영역 결정 방법.
제5항에 있어서,
상기 프레임 및 프레임 차이 재현 오류는 상기 프레임 벡터 및 프레임 차이 벡터로부터 재현한 프레임 및 프레임 차이 이미지와 상기 프레임 벡터를 결정할 때 사용된 프레임 및 상기 프레임 차이 벡터를 결정할 때 사용된 프레임 차이 이미지 간의 차이를 계산하여 결정되는 값인,
모자이크 영역 결정 방법.
영상 콘텐츠에 모자이크를 적용하기 위한 방법에 있어서,
타겟 영상 컨텐츠를 식별하는 단계;
모자이크 영역을 결정하는 학습 모델 중 하나를 이용하여 상기 타겟 영상 컨텐츠에서 모자이크 영역을 결정하는 단계; 및
결정된 모자이크 영역에 모자이크를 적용하는 단계
를 포함하고,
상기 학습 모델은,
모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 식별하는 단계;
상기 학습 영상 콘텐츠에서 프레임들에 대해 임베딩을 수행하여 프레임 벡터를 결정하는 단계;
상기 학습 영상 콘텐츠에서 프레임들 간의 프레임 차이 이미지에 대해 임베딩을 수행하여 프레임 차이 벡터를 결정하는 단계
상기 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계;
상기 원본 레이블과 상기 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 단계
를 포함하고,
상기 학습 모델은,
상기 오류에 따라 (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, 및 (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 업데이트함으로써 학습하는,
모자이크 적용 방법.
제10항에 있어서,
결정된 모자이크 영역에 모자이크를 적용하는 단계는,
상기 결정된 모자이크 영역의 프레임 벡터 및 차이 벡터를 기반으로 새로운 이미지를 이용하여 모자이크 영역에 모자이크를 적용하는,
모자이크 적용 방법.
제10항에 있어서,
상기 프레임 벡터를 결정하는 단계는,
(i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 특정 시점의 입력 프레임을 임베딩함으로써 상기 특정 시점의 입력 프레임보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임에 대응하는 프레임 벡터를 결정하는,
모자이크 적용 방법.
제10항에 있어서,
상기 프레임 차이 벡터를 결정하는 단계는,
(ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 특정 시점의 입력 프레임 차이 이미지를 임베딩함으로써 상기 특정 시점의 입력 프레임 차이 이미지보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임 차이에 대응하는 프레임 차이 벡터를 결정하는,
모자이크 적용 방법.
제10항에 있어서,
상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계는,
(iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 프레임 벡터 및 상기 프레임 차이 벡터를 입력으로 모자이크를 적용할 레이블 영역에 대응되는 영역 벡터를 결정함으로써 상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는,
모자이크 적용 방법.
제10항에 있어서,
상기 오류를 결정하는 단계는,
(a) 추출된 레이블 영역의 일관성, (b) 추출된 레이블 영역에 대한 레이블, (c) 추출된 레이블 영역의 나머지 영역에 대한 레이블 및 (d) 프레임 및 프레임 차이 재현 오류 중 (b)와 (d)를 포함하고 (a) 또는 (c)를 선택적으로 부가하여 판단함으로써 오류를 결정하는,
모자이크 적용 방법.
제15항에 있어서,
상기 추출된 레이블 영역의 일관성은 t 시점의 프레임을 기준으로 추출된 레이블 영역과 t-1 시점 프레임을 기준으로 추출된 레이블 영역과의 거리를 계산하여 결정되는 값인
모자이크 적용 방법.
제15항에 있어서,
상기 추출된 레이블 영역에 대한 레이블은 상기 결정된 학습 레이블과 상기 원본 레이블의 차이를 계산하여 결정되는 값인,
모자이크 적용 방법.
제15항에 있어서,
상기 추출된 레이블 영역의 나머지 영역에 대한 레이블은 상기 추출된 레이블 영역 외 나머지 영역으로부터 결정된 레이블과 원본 레이블 이외의 레이블 간의 차이를 계산하여 결정되는 값인,
모자이크 적용 방법.
제15항에 있어서,
상기 프레임 및 프레임 차이 재현 오류는 상기 프레임 벡터 및 프레임 차이 벡터로부터 재현한 프레임 및 프레임 차이 이미지와 상기 프레임 벡터를 결정할 때 사용된 프레임 및 상기 프레임 차이 벡터를 결정할 때 사용된 프레임 차이 이미지 간의 차이를 계산하여 결정되는 값인,
모자이크 적용 방법.