KR20190103840A - 영상 콘텐츠의 키 프레임 추출 방법 및 장치 - Google Patents

Abstract

영상 콘텐츠의 키 프레임 추출 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 영상 콘텐츠의 키 프레임 추출 방법은 프로그램 단위로 구성된 상기 영상 콘텐츠를 샷 단위와, 장면 단위로 분할하는 과정과, 기본형 키 프레임 추출 방식 및 확장형 키 프레임 추출 방식 중, 적어도 하나를 포함하는 키 프레임 추출 방식을 확인하는 과정과, 상기 기본형 키 프레임 추출 방식에 대응하여, 상기 영상 콘텐츠에 포함되는 프레임의 구성을 나타내는 프레임 구성 정보에 기초하여, 상기 영상 콘텐츠의 샷 단위, 장면 단위, 및 프로그램 단위에 각각 대응되는 키 프레임을 추출하는 과정과, 상기 확장형 키 프레임 추출 방식에 대응하여, 상기 영상 콘텐츠에 포함되는 프레임의 우수성 정보를 분석하고, 상기 우수성 정보에 기초하여, 상기 영상 콘텐츠의 샷 단위, 장면 단위, 및 프로그램 단위에 각각 대응되는 키 프레임을 추출하는 과정을 포함할 수 있다.

Description

영상 콘텐츠의 키 프레임 추출 방법 및 장치{METHOD FOD EXTRACTING KEY-FRAME OF VIDEO CONTENTS AND APPARATUS FOR THE SAME}

본 개시는 영상 처리 기술에 관한 것이며, 보다 구체적으로는 영상 정보를 분석하여 영상 콘텐츠에 구비되는 소정의 프레임을 추출하는 방법 및 장치에 대한 것이다.

최근 인터넷 접근성과 이동성을 제공하는 휴대용 단말 장치의 보급이 확대됨에 따라, 휴대용 단말 장치를 통해 이용할 수 있는 콘텐츠가 급증하고 있다.

이에 대응하여, 사용자는 수 많은 콘텐츠 중에서, 자신의 취향에 맞는 특정 콘텐츠를 확인 또는 소비하기를 원한다. 특히, 영상 콘텐츠와 같이 콘텐츠의 확인 또는 소비에 많은 시간이 소비되는 콘텐츠에 대해서, 사용자는 영상 콘텐츠의 시작부터 끝까지 연속적으로 시청하기도 하지만, 자신이 원하는 정보만을 골라서 비교적 짧은 이미지나 클립 위주로 소비하는 사용자가 늘어나고 있다.

이에 따라 영상 콘텐츠로부터 흥미롭고 대표성을 띄는 키 프레임을 추출하고, 추출된 키 프레임을 이용한 2차 콘텐츠의 제작 및 배포하는 활동이 진행되었다. 이러한 2차 콘텐츠의 제작은 사용자 또는 제작자가 수작업으로 키 프레임을 추출하는 동작을 기반으로 이루어졌다.

나아가, 사용자 또는 제작자에 의한 키 프레임 추출을 개선하기 위하여, 전자장치가 영상 분석을 수행하여, 영상 콘텐츠에 포함되는 샷 또는 장면을 자동적으로 식별하고, 식별된 샷 또는 장면에 포함된 키 프레임을 자동적으로 추출하는 방법에 대한 연구가 이루어졌다.

그러나, 종래 기술에서 키 프레임을 자동적으로 추출하는 방법은 샷 또는 장면에 포함된 프레임 중, 미리 정해진 위치에 존재하는 프레임(예컨대, 첫번째 프레임, 또는 중간 프레임 등)을 검출하는 방식이 사용되었다.

이와 같이, 미리 정해진 위치를 기반으로 키 프레임을 추출할 경우, 사용자의 개입이 없어, 신속하고 편리하게 키 프레임을 추출할 수는 있으나, 영상 콘텐츠에서 나타내고자 하는 의미가 반영되지 않는 키 프레임이 추출되는 문제가 발생된다.

본 개시의 기술적 과제는 샷 단위, 장면 단위, 및 프로그램 단위에 대한 키 프레임을 추출하되, 품질 요구사항을 반영한 키 프레임을 추출할 수 있는 영상 콘텐츠의 키 프레임 추출 방법 및 장치를 제공할 수 있다.

또한, 본 개시의 다른 기술적 과제는 키 프레임을 제공하는 기본형 키 프레임 추출과, 개선된 고품질 수준의 키 프레임을 제공하는 확장형 키 프레임 추출을 실현할 수 있는 키 프레임 추출 방법 및 장치를 제공할 수 있다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면 영상 콘텐츠의 키 프레임 추출 방법을 제공할 수 있다. 전술한 방법은 프로그램 단위로 구성된 상기 영상 콘텐츠를 샷 단위와, 장면 단위로 분할하는 과정과, 기본형 키 프레임 추출 방식 및 확장형 키 프레임 추출 방식 중, 적어도 하나를 포함하는 키 프레임 추출 방식을 확인하는 과정과, 상기 기본형 키 프레임 추출 방식에 대응하여, 상기 영상 콘텐츠에 포함되는 프레임의 구성을 나타내는 프레임 구성 정보에 기초하여, 상기 영상 콘텐츠의 샷 단위, 장면 단위, 및 프로그램 단위에 각각 대응되는 키 프레임을 추출하는 과정과, 상기 확장형 키 프레임 추출 방식에 대응하여, 상기 영상 콘텐츠에 포함되는 프레임의 우수성 정보를 분석하고, 상기 우수성 정보에 기초하여, 상기 영상 콘텐츠의 샷 단위, 장면 단위, 및 프로그램 단위에 각각 대응되는 키 프레임을 추출하는 과정을 포함할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 영상 콘텐츠를 통해 제공하는 의미 단위에 대응되는 키 프레임을 빠르고 정확하게 검출할 수 있는 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, 정확한 키 프레임을 구비하는 고품질의 2차 콘텐츠를 제공할 수 있는 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, 샷 단위 또는 장면 단위에 대한 고품질 키 프레임들로 구성된 2차 콘텐츠를 제공할 수 있으며, 프로그램의 전반적인 주요 부분을 신속하게 파악하거나 사용자 또는 제작자의 의도를 반영하여 2차 콘텐츠를 제공할 수 있는 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, 방송 프로그램과 같은 영상 콘텐츠를 대상으로 콘텐츠 단위가 아닌 세분화된 샷 단위 또는 장면 단위에 대한 의미를 나타낼 수 있는 키 프레임을 기반으로 하는 요약 서비스 콘텐츠를 제공할 수 있는 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, 방송 프로그램과 같은 영상 콘텐츠를 다계층별 고품질 키 프레임을 사용하여 표현함으로써, 사용자에게는 서비스 만족도를 향상시키고 사업자에게는 새로운 부가가치를 창출할 수 있는 기회를 제공할 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치의 구성을 예시하는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 모드 설정부의 상세 구성을 예시하는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 기본 키 프레임 추출부의 상세 구성을 예시하는 블록도이다.
도 4a는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에서 사용되는 샷 단위의 키 프레임을 예시하는 도면이다.
도 4b는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에서 사용되는 장면 단위의 키 프레임을 예시하는 도면이다.
도 4c는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에서 사용되는 프로그램 단위의 키 프레임을 예시하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 확장 키 프레임 추출부의 상세 구성을 예시하는 블록도이다.
도 6은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 샷 단위 추출부의 동작을 예시하는 도면이다.
도 7은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 장면 단위 추출부의 동작을 예시하는 도면이다.
도 8은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 방법의 순서를 예시하는 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치의 구성을 예시하는 블록도이다.

도 1을 참조하면, 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임(Keyframe) 추출 장치는 콘텐츠 분할부(11), 모드 설정부(12), 기본 키 프레임 추출부(13), 확장 키 프레임 추출부(14), 서비스 제공부(15)를 포함할 수 있다.

콘텐츠 분할부(11)는 프로그램 단위의 영상 콘텐츠를 세분화된 샷 단위 또는 장면 단위로 분할하여 저장할 수 있다.

예컨대, 영상 콘텐츠는 복수의 정지화면(이하, '프레임'이라 함.)의 조합으로 구성될 수 있는데, 영상 콘텐츠에 포함되는 복수의 프레임들 중, 시간적으로 연속적으로 연결되며 공간적으로 유사한 정보를 구비하는 복수의 프레임의 집합을 '샷(Shot)'으로 정의할 수 있으며, 복수의 샷 단위 중, 유사한 의미를 구비하는 복수의 샷 단위의 집합을 '장면(Scene)'으로 정의할 수 있다. 그리고, 이러한 장면 단위의 프레임의 조합에 의해 영상 콘텐츠를 구성할 수 있다. 나아가, 전술한 영상 콘텐츠는 방송국 등에서 제공하는 영상 콘텐츠를 포함할 수 있으며, 이러한 영상 콘텐츠는 프로그램(Episode) 단위로 구분되는 콘텐츠를 포함할 수 있다.

또한, 영상 콘텐츠를 압축 또는 부호화하는 과정에서, 영상 콘텐츠에 포함되는 프레임의 구성을 나타내는 구성 정보가 함께 생성되어 제공될 수 있다. 이러한 구성 정보는 프레임 단위, 샷 단위, 장면 단위, 프로그램 단위에 대한 구성 정보를 포함할 수 있다.

전술한 바를 고려하여, 콘텐츠 분할부(11)는 영상 콘텐츠를 샷 단위로 분할하고 샷 인덱싱 기반으로 샷 단위의 영상 콘텐츠를 저장하는 샷 단위 분할부(11a)와, 영상 콘텐츠를 장면 단위로 분할하고 장면 인덱싱 기반으로 영상 콘텐츠를 저장하는 장면 단위 분할부(11b)를 포함할 수 있다.

샷 단위 분할부(11a)와 장면 단위 분할부(11b)는 전술한 구성 정보를 사용하여 샷 단위 또는 장면 단위의 분할을 수행할 수 있다.

다른 예로서, 샷 단위 분할부(11a)는 영상 콘텐츠에 포함된 프레임에 대하여 영상의 특징 값을 추출하고, 프레임들 사이의 특징 값의 유사도를 확인하여 샷 단위의 분할을 수행할 수 있다. 그리고, 장면 단위 분할부(11b)는 영상 특징을 이용하여 샷 단위의 유사도 또는 연계성을 측정하고, 유사도가 낮아지는 지점이나 연계성이 저하되는 지점을 확인하여 장면 단위의 분할을 수행할 수도 있다. 나아가, 장면 단위 분할부(11b)는 영상의 특징값 뿐만 아니라, 영상 콘텐츠에 포함되는 음성의 특징값이나, 텍스트 정보의 특징값 등의 특징을 함께 유기적으로 결합하여 장면 단위의 분할을 수행할 수도 있다.

한편, 모드 설정부(12)는 영상 콘텐츠의 샷 단위 또는 장면 단위에 대한 키 프레임을 검출하기 위한 모드를 설정할 수 있다. 특히, 모드 설정부(12)는 요구되는 키 프레임의 품질 요구사항을 확인하고, 품질 요구사항에 대응되는 모드를 설정할 수 있다. 그리고, 모드 설정부(12)는 품질 요구사항에 대응되는 모드를 설정하는데 기준이되는 장르별 키 프레임 생성 프로파일을 설정 및 저장할 수 있다.

모드 설정부(12)의 구체적인 동작 및 구성에 대해서는 하기의 도 2 및 이와 관련된 설명을 통해 자세히 설명한다.

기본 키 프레임 추출부(13)는 영상 콘텐츠를 계층적으로 구분하는 샷 단위, 장면 단위, 프로그램 단위를 확인할 수 있다. 그리고, 기본 키 프레임 추출부(13)는 모드 설정부(12)에서 제공되는 샷 단위, 장면 단위, 프로그램 단위에 대한 기본 키 프레임 생성 프로파일에 기초하여, 샷 단위, 장면 단위, 프로그램 단위에 대한 기본 키 프레임을 추출 및 저장할 수 있다.

기본 키 프레임 추출부(13)는 모든 장르에 동일하게 기본적으로 수행되며, 키 프레임 검출의 신속성과 편의성을 기준으로하여, 미리 정해진 위치의 프레임을 키 프레임으로 추출하며, 상대적으로 저품질의 키 프레임을 제공할 수 있다.

기본 키 프레임 추출부(13)의 구체적인 동작 및 구성에 대해서는 하기의 도 3 및 이와 관련된 설명을 통해 자세히 설명한다.

한편, 확장 키 프레임 추출부(14)는 기본 키 프레임 추출부(13)에서 제공하는 샷 단위, 장면 단위, 프로그램 단위에 대한 기본 키 프레임을 확인하고, 확인된 키 프레임의 우수성 정보를 확인할 수 있다. 그리고, 확장 키 프레임 추출부(14)는 우수성 정보가 기준값에 미치지 못하는 키 프레임을 해당 단위에 포함된 다른 키 프레임으로 교체하는 동작을 처리할 수 있다.

확장 키 프레임 추출부(14)는 키 프레임의 고품질 요구 시에만 선택적으로 수행되며 장르별 특성을 고려하고, 영상 콘텐츠의 선명성과 정확성을 기준으로, 영상 콘텐츠가 속한 장르를 고려하여 프레임 단위의 우수성 평가와 샷 단위의 우수성 평가를 적용하여 개선된 고품질의 키 프레임을 제공할 수 있다.

확장 키 프레임 추출부(14)의 구체적인 동작 및 구성에 대해서는 하기의 도 5 및 이와 관련된 설명을 통해 자세히 설명한다.

서비스 제공부(15)는 기본 키 프레임 추출부(13)가 추출 및 저장하는 기본 키 프레임을 제공하거나, 확장 키 프레임 추출부(14)가 추출 및 저장하는 확장 키 프레임을 제공할 수 있다. 예컨대, 서비스 제공부(15)는 사용자 입력 인터페이스를 구비할 수 있으며, 사용자 입력 인터페이스를 통해 사용자의 입력을 확인할 수 있다. 그리고, 서비스 제공부(15)는 사용자의 입력에 대응되는 키 프레임(예, 기본 키 프레임, 확장 키 프레임 등)을 제공할 수 있다.

나아가, 사용자 입력 인터페이스는 키 프레임을 샷 단위로 표시할 것인지 또는 장면 단위로 표시할 것인지를 선택할 수 있는 단위 선택 메뉴, 선택된 단위(예, 샷 단위, 장면 단위)의 모든 키 프레임을 표시할 것인지 또는 선택된 단위에 포함되는 키 프레임 중 선택된 특정 단위(예, 샷 단위, 장면 단위)에 대한 키 프레임을 선택적으로 표시할 것인지를 선택할 수 있는 특정 키 프레임 선택 메뉴를 포함할 수 있다. 이에 기초하여, 서비스 제공부(15)는 단위 선택 메뉴를 통해 입력되는 사용자 입력을 반영하여, 샷 단위 또는 장면 단위의 키 프레임을 제공할 수 있다. 또한, 서비스 제공부(15)는 특정 키 프레임 선택 메뉴를 통해 입력되는 사용자 입력을 반영하여, 선택된 단위(예, 샷 단위, 장면 단위)의 모든 키 프레임을 표시거나 또는 선택된 단위에 포함되는 키 프레임 중 선택된 특정 단위(예, 샷 단위, 장면 단위)에 대한 키 프레임을 선택적으로 표시할 수 있다.

도 2는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 모드 설정부의 상세 구성을 예시하는 블록도이다.

도 2를 참조하면, 본 개시의 일 실시예에 따른 모드 설정부(20)는 품질등급 설정부(21), 장르 설정부(22), 샷 단위 프로파일 설정부(23), 및 장면 단위 프로파일 설정부(24)를 포함할 수 있다.

품질등급 설정부(21)는 키 프레임의 품질 요구사항에 따라 수행할 키 프레임 추출 모드를 설정한다.

품질등급 설정부(21)는 사용자로부터 키 프레임의 품질을 입력받을 수 있는 품질 입력 인터페이스를 제공할 수 있으며, 품질 입력 인터페이스를 통해, 사용자가 요구하는 품질 수준을 입력할 수 있다. 예컨대, 품질 수준은 기본형 또는 확장형을 포함할 수 있다.

그리고, 품질등급 설정부(21)는 설정된 추출 모드를 고려하여 전술한 콘텐츠 분할부(11)로부터 제공되는 분할된 단위의 영상 컨텐츠를 기본 키 프레임 추출부(13) 또는 확장 키 프레임 추출부(14)로 제공하고, 기본 키 프레임 추출부(13) 또는 확장 키 프레임 추출부(14)의 동작을 제어하는 제어 신호를 제공할 수 있다.

장르 설정부(22)는 장르에 따른 평가 지표의 영향력이 상이한 특성을 감안하여 영상 콘텐츠가 속한 장르를 설정할 수 있다.드라마, 뉴스, 다큐멘터리 등과 같이 영상 콘텐츠의 장르에 따라 키 프레임의 우수성을 판단하는데 영향력을 끼치는 요소의 중요도가 상이하므로, 키 프레임 추출 시 사전에 장르와 중요한 역할을 하는 우수성 평가 요소 또는 우선순위 등을 장르별 프로파일로서 설정할 수 있다. 예컨대, 영상 콘텐츠가 드라마 장르 프로파일은 대조비 평가와 유사도 평가가 키 프레임 추출에 사용되는 우수성 평가 요소로서 사용하도록 설정할 수 있으며, 뉴스 장르 프로파일은 자막 검출과 대조비 평가 등을 키 프레임 추출에 사용되는 우수성 평가 요소로서 사용하도록 설정할 수 있다.

샷 단위의 고품질 키 프레임 선정을 위하여 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출 등과 같은 프레임 우수성 평가 요소(factor)를 사용할 수 있는데, 샷 단위 프로파일 설정부(23)는 프레임 우수성 평가 요소 중 적어도 하나의 요소를 선택하거나, 프레임 우수성 평가 요소들 사이의 우선 순위를 결정하여 샷 단위 프로파일로서 설정할 수 있다.

나아가, 샷 단위 프로파일 설정부(23)는 영상 콘텐츠의 장르에 따라, 서로 다른 프레임 우수성 평가 요소를 설정하거나, 영상 콘텐츠의 장르에 따라 프레임 우수성 평가 요소들 사이의 우선 순위를 다르게 설정할 수 있다. 전술한 바를 고려하여, 샷 단위 프로파일 설정부(23)는 장르별로 설정된 샷 단위 프로파일을 설정 및 저장할 수 있다.

한편, 장면 단위의 고품질 키 프레임 선정을 위하여 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출, 샷 길이 평가 등과 같은 샷 우수성 평가 요소(factor)를 사용할 수 있는데, 장면 단위 프로파일 설정부(24)는 샷 우수성 평가 요소 중 적어도 하나의 요소를 선택하거나, 샷 우수성 평가 요소들 사이의 우선 순위를 결정하여 장면 단위 프로파일로서 설정할 수 있다.

그리고, 장면 단위 프로파일 설정부(24)는 영상 콘텐츠의 장르에 따라, 서로 다른 샷 우수성 평가 요소를 설정하거나, 영상 콘텐츠의 장르에 따라 샷 우수성 평가 요소들 사이의 우선 순위를 다르게 설정할 수 있다. 전술한 바를 고려하여, 장면 단위 프로파일 설정부(23)는 장르별로 설정된 장면 단위 프로파일을 설정 및 저장할 수 있다.

도 3은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 기본 키 프레임 추출부의 상세 구성을 예시하는 블록도이다.

도 3을 참조하면, 본 개시의 일 실시예에 따른 기본 키 프레임 추출부(30)는 샷 단위 추출부(31), 장면 단위 추출부(33), 및 프로그램 단위 추출부(35)를 포함할 수 있다.

샷 단위 추출부(31)와 장면 단위 추출부(33)는 모든 장르에 동일하게 일괄적으로 적용되며 신속성과 편의성을 기준으로 각각 기본 샷 단위 키 프레임과 기본 장면 단위 키 프레임을 추출할 수 있다.

예컨대, 샷 단위 추출부(31)는 샷 단위(400, 도 4a 참조)에 구비되는 복수의 프레임(401-1, 401-2, ... 401-n) 중에서, 첫 프레임(401-1)을 샷 단위의 키 프레임으로 추출할 수 있으며, 추출된 샷 단위의 키 프레임(401-1)에 대한 정보를 저장할 수 있다. 예컨대, 샷 단위 추출부(31)는 추출된 샷 단위의 키 프레임에 대한 정보를 샷 단위의 인덱싱을 사용하여 저장할 수 있다.

장면 단위 추출부(33)는 장면 단위(410, 도 4b 참조)에 포함되는 복수의 샷 단위(411-1, 411-2, ... 411-5)에서, 중간지점에 위치한 샷 단위(411-3)를 검출할 수 있으며, 검출된 샷 단위(411-3)의 키 프레임(415)을 장면 단위의 키 프레임으로 추출할 수 있다. 그리고, 장면 단위 추출부(33)는 장면 단위의 키 프레임(415)에 대한 정보를 저장할 수 있다. 예컨대, 장면 단위 추출부(33)는 추출된 장면 단위의 키 프레임(415)에 대한 정보를 장면 단위의 인덱싱을 사용하여 저장할 수 있다.

프로그램 단위 추출부(35)는 프로그램 단위(420, 도 4c 참조)에 포함되는 복수의 장면 단위(421-1, 421-2, ... 421-5)에서, 첫 지점에 위치한 장면 단위(421-1)를 검출할 수 있으며, 검출된 장면 단위(421-1)의 키 프레임(425)을 프로그램 단위의 키 프레임으로 추출할 수 있다. 그리고, 프로그램 단위 추출부(35)는 프로그램 단위의 키 프레임(425)에 대한 정보를 저장할 수 있다. 예컨대, 프로그램 단위 추출부(35)는 추출된 프로그램 단위의 키 프레임(425)에 대한 정보를 프로그램 단위의 인덱싱을 사용하여 저장할 수 있다.

샷 단위 추출부(31), 장면 단위 추출부(33), 및 프로그램 단위 추출부(35)는 미리 설정된 지점에 위치한 프레임 단위, 샷 단위, 장면 단위를 기준으로, 각각 샷 단위, 장면 단위, 및 프로그램 단위의 키 프레임을 설정하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 샷 단위 추출부(31), 장면 단위 추출부(33), 및 프로그램 단위 추출부(35)에서 키 프레임의 선정에 기준이 되는 미리 설정된 지점은 다양하게 변경될 수 있음은 물론이다.

도 5는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 확장 키 프레임 추출부의 상세 구성을 예시하는 블록도이다.

도 5를 참조하면, 본 개시의 일 실시예에 따른 확장 키 프레임 추출부(50)는 샷 단위 추출부(51), 장면 단위 추출부(53), 및 프로그램 단위 추출부(55)를 포함할 수 있다.

샷 단위 추출부(51)는 샷 단위 프로파일에 따라, 기본 샷 단위 키 프레임에 대한 우수성 정보를 확인하고, 상기 우수성 정보에 기초하여 기본 샷 단위 키 프레임의 교체 여부를 판단한다. 전술한 샷 단위 프로파일에 기초하여, 우수성 정보는 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출 등과 같은 프레임 우수성 평가 요소(factor)를 포함할 수 있으며, 나아가, 프레임 우수성 평가 요소의 우선순위를 포함할 수 있다.

예컨대, 샷 단위 추출부(51)는 기본 샷 단위 키 프레임에 대한 우수성 정보가 미리 정해진 임계값 이하임을 확인할 경우, 해당 샷 내 모든 프레임에 대하여 프레임 우수성 정보를 확인하고, 상대적으로 높은 우수성 정보를 구비하는 키 프레임을 최적 키 프레임으로서 추출할 수 있다. 그리고, 샷 단위 추출부(51)는 기본 샷 단위 키 프레임을 상기 최적 키 프레임으로 교체할 수 있다.

구체적으로, 샷 단위 추출부(51)는 프레임 우수성 평가 요소 중, 대조비 지표를 확인하고, 이에 기초하여 저대조비를 구비하는 기본 샷 단위 키 프레임을 고대조비를 구비하는 최적 키 프레임으로 교체할 수 있다.

다른 예로서, 샷 단위 추출부(51)는 프레임 우수성 평가 요소 중, 샤프니스 지표 기반의 모션 평가를 확인하고, 이에 기초하여 블러 영상을 구비하는 기본 샷 단위 키 프레임을 최소 모션 영상을 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 샷 단위 추출부(51)는 프레임 우수성 평가 요소 중, 히스토그램 비교를 통한 프레임 유사도 지표를 확인할 수 있으며, 프레임 유사도 지표를 최적 키 프레임의 교체에 사용할 수 있다. 예컨대, 샷 단위 추출부(51)는 히스토그램 비교 통해, 인접한 샷 단위의 키 프레임 사이의 유사도를 확인할 수 있으며, 유사도가 미리 정해진 기준 값보다 상대적으로 낮으면 다른 샷 단위와 유사함을 의미하므로 샷 단위의 키 프레임을 유지하고, 유사도가 미리 정해진 기준 값보다 상대적으로 높으면 다른 샷 단위와 유사함을 의미하므로 해당 키 프레임을 교체 대상으로 결정할 수 있다.

또 다른 예로서, 샷 단위 추출부(51)는 프레임 우수성 평가 요소 중, 얼굴 검출을 수행할 수 있으며, 얼굴 검출된 프레임에 대해 상대적으로 높은 얼굴 우수성 지표를 부여할 수 있다. 이에 기초하여, 샷 단위 추출부(51)는 낮은 얼굴 우수성 지표를 구비하는 기본 샷 단위 키 프레임을 상대적으로 높은 얼굴 우수성 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 샷 단위 추출부(51)는 프레임 우수성 평가 요소 중, 자막 영역 검출을 수행할 수 있으며, 샷의 의미를 표현하는 자막이 포함된 경우에대해 상대적으로 높은 자막 우수성 지표를 부여할 수 있다. 이에 기초하여, 샷 단위 추출부(51)는 낮은 자막 우수성 지표를 구비하는 기본 샷 단위 키 프레임을 상대적으로 높은 자막 우수성 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

장면 단위 추출부(53)는 장면 단위 프로파일에 따라, 기본 장면 단위 키 프레임에 대한 우수성 정보를 확인하고, 상기 우수성 정보에 기초하여 기본 장면 단위 키 프레임의 교체 여부를 판단한다. 전술한 장면 단위 프로파일에 기초하여, 우수성 정보는 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출, 샷 길이 평가 등과 같은 프레임 우수성 평가 요소(factor)를 포함할 수 있으며, 나아가, 샷 우수성 평가 요소의 우선순위를 포함할 수 있다.

예컨대, 장면 단위 추출부(53)는 기본 장면 단위 샷에 대한 우수성 정보가 미리 정해진 임계값 이하임을 확인할 경우, 해당 장면 내 모든 샷의 키 프레임에 대하여 우수성 정보를 확인하고, 상대적으로 높은 우수성 정보를 구비하는 키 프레임을 최적 키 프레임으로서 추출할 수 있다. 그리고, 장면 단위 추출부(53)는 기본 장면 단위 키 프레임을 상기 최적 키 프레임으로 교체할 수 있다.

구체적으로, 장면 단위 추출부(53)는 프레임 우수성 평가 요소 중, 히스토그램 비교를 통한 프레임 유사도 지표를 확인할 수 있으며, 프레임 유사도 지표를 최적 키 프레임의 교체에 사용할 수 있다.

예컨대, 장면 단위 추출부(53)는 히스토그램 비교 통해, 장면 단위의 키 프레임 사이의 유사도를 확인할 수 있다. 장면 단위의 키 프레임 사이의 유사도가 높을수록 장면 단위에서 대표성을 나타내는 것이므로, 장면 단위 추출부(53)는 장면 단위의 키 프레임 사이의 유사도가 미리 정해진 기준 값보다 상대적으로 높으면 장면 단위의 키 프레임을 유지하고, 장면 단위의 키 프레임 사이의 유사도가 미리 정해진 기준 값보다 상대적으로 낮으면 교체 대상 키 프레임으로 결정할 수 있다.

다른 예로서, 장면 단위 추출부(53)는 프레임 우수성 평가 요소 중, 프레임 수를 기반으로 하는 샷 길이를 확인하고, 샷 길이가 긴 샷에 대해 상대적으로 높은 샷 길이 우수성 지표를 부여할 수 있다. 이에 기초하여, 장면 단위 추출부(53)는 낮은 샷 길이 우수성 지표를 구비하는 기본 장면 단위 키 프레임을 상대적으로 높은 샷 길이 우수성 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 장면 단위 추출부(53)는 프레임 우수성 평가 요소 중, 샷 모션량 지표를 확인하고, 샷 모션량이 많은 영상에 대해 상대적으로 높은 모션 지표를 부여할 수 있다. 이에 기초하여, 장면 단위 추출부(53)는 높은 모션 지표를 구비하는 기본 장면 단위 키 프레임을 상대적으로 낮은 모션 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 장면 단위 추출부(53)는 프레임 우수성 평가 요소 중, 대조비 지표를 확인하고, 이에 기초하여 저대조비를 구비하는 기본 장면 단위 키 프레임을 고대조비를 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 장면 단위 추출부(53)는 프레임 우수성 평가 요소 중, 자막 영역 검출을 수행할 수 있으며, 샷의 의미를 표현하는 자막이 포함된 경우에 대해 상대적으로 높은 자막 우수성 지표를 부여할 수 있다. 이에 기초하여, 장면 단위 추출부(53)는 낮은 자막 우수성 지표를 구비하는 기본 장면 단위 키 프레임을 상대적으로 높은 자막 우수성 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

한편, 프로그램 단위 추출부(55)는 프로그램 단위에서 일반적으로 프로그램의 시작 시점에 전반적인 내용을 함축적으로 표현하는 특성을 고려하여, 최적 키 프레임의교체를 수행할 수 있다. 예컨대, 프로그램 단위 추출부(55)는 장면 단위 추출부(53)에서 프로그램 단위에 포함된 첫 장면 단위에 대한 키 프레임의 교체가 발생되었는지를 확인할 수 있으며, 첫 장면 단위에 대한 키 프레임의 교체가 발생됨에 따라, 해당 키 프레임의 교체를 수행할 수 있다.

이하, 도 6을 참조하여 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 샷 단위 추출부의 동작을 설명한다.

도 6은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 샷 단위 추출부의 동작을 예시하는 도면이다.

도 6을 참조하면, 샷 단위 추출부(51)는 전술한 기본 키 프레임 추출부(13)가 제공하는 기본 샷 단위 키 프레임을 확인할 수 있다(601). 그리고, 샷 단위 추출부(51)는 기본 샷 단위 키 프레임의 교체 여부를 판단하기 위하여, 전술한 모드 설정부(12)에서 제공되는 샷 단위에 대한 확장 키 프레임 생성 프로파일을 확인할 수 있다(602).

샷 단위 추출부(51)는 기본 샷 단위 키 프레임을 대상으로 하여, 선택된 프레임 우수성 정보가 만족되면 고품질 키 프레임으로 결정할 수 있으며, 기본 샷 단위 키 프레임을 유지하는 것으로 결정할 수 있다(603).

또한, 샷 단위 추출부(51)는 선택된 프레임 우수성 정보가 만족되지 않는 경우, 기본 샷 단위 키 프레임을 교체 대상으로 결정할 수 있다. 샷 단위 추출부(51)는 해당 키 프레임이 포함되는 샷 단위를 확인할 수 있으며, 해당 샷 단위에 포함된 프레임에 대한 우수성 정보를 확인한다(604).

샷 단위 추출부(51)는 샷 단위에 포함된 프레임에 대한 우수성 정보를 기반으로, 최적 키 프레임을 검출할 수 있다(605). 예컨대, 샷 단위 추출부(51)는 샷 단위에 포함된 프레임에서, 확장 키 프레임 생성 프로파일에서 기준으로 하는 우수성 정보를 만족하는 고품질 키 프레임 후보가 한 개만 존재하는 경우 이를 최적 키 프레임으로 선정할 수 있다. 또한, 다른 예로서, 샷 단위 추출부(51)는 확장 키 프레임 생성 프로파일에서 기준으로 하는 우수성 정보를 만족하는 고품질 키 프레임 후보가 복수 개가 존재하는 경우, 확장 키 프레임 생성 프로파일에서 제공되는 우수성 평가 요소의 우선순위를 고려하여, 우수성 평가 요소 중 상대적으로 우선순위가 높은 요소를 기준으로 최적 키 프레임을 결정할 수 있다. 또한, 다른 예로서, 선택된 프레임 우수성 평가 지표 값이 모두 만족되는 프레임이 없는 경우 우선순위가 가장 높은 평가 지표 값이 가장 양호한 프레임을 선택하여 최적 키 프레임으로 결정할 수 있다.

이하, 도 7을 참조하여 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 장면 단위 추출부의 동작을 설명한다.

도 7은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치에 구비되는 장면 단위 추출부의 동작을 예시하는 도면이다.

도 7을 참조하면, 장면 단위 추출부(53)는 전술한 기본 키 프레임 추출부(13)가 제공하는 기본 장면 단위 키 프레임을 확인할 수 있다(701). 그리고, 장면 단위 추출부(53)는 기본 장면 단위 키 프레임의 교체 여부를 판단하기 위하여, 전술한 모드 설정부(12)에서 제공되는 장면 단위에 대한 확장 키 프레임 생성 프로파일을 확인할 수 있다(702).

장면 단위 추출부(53)는 기본 장면 단위 키 프레임을 대상으로 하여, 선택된 프레임 우수성 정보가 만족되면 고품질 키 프레임으로 결정할 수 있으며, 기본 장면 단위 키 프레임을 유지하는 것으로 결정할 수 있다(703). 여기서, 우수성 정보는 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출, 샷 길이 평가 중 적어도 하나를 포함할 수 있다.

또한, 장면 단위 추출부(53)는 선택된 프레임 우수성 정보가 만족되지 않는 경우, 기본 장면 단위 키 프레임을 교체 대상으로 결정할 수 있다. 장면 단위 추출부(53)는 해당 키 프레임이 포함되는 장면 단위를 확인할 수 있으며, 해당 장면 단위에 포함된 샷에 대한 우수성 정보를 확인한다(704).

장면 단위 추출부(53)는 장면 단위에 포함된 샷에 대한 우수성 정보를 기반으로, 최적 키 프레임을 검출할 수 있다(705). 예컨대, 장면 단위 추출부(53)는 장면 단위에 포함된 샷의 키 프레임에서, 확장 키 프레임 생성 프로파일에서 기준으로 하는 우수성 정보를 만족하는 고품질 키 프레임 후보가 한 개만 존재하는 경우 이를 최적 키 프레임으로 선정할 수 있다. 또한, 다른 예로서, 장면 단위 추출부(53)는 확장 키 프레임 생성 프로파일에서 기준으로 하는 우수성 정보를 만족하는 고품질 키 프레임 후보가 복수 개가 존재하는 경우, 확장 키 프레임 생성 프로파일에서 제공되는 우수성 평가 요소의 우선순위를 고려하여, 우수성 평가 요소 중 상대적으로 우선순위가 높은 요소를 기준으로 최적 키 프레임을 결정할 수 있다. 또한, 다른 예로서, 선택된 프레임 우수성 평가 지표 값이 모두 만족되는 프레임이 없는 경우 우선순위가 가장 높은 평가 지표 값이 가장 양호한 프레임을 선택하여 최적 키 프레임으로 결정할 수 있다.

도 8은 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 방법의 순서를 예시하는 흐름도이다.

본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임(Keyframe) 추출 방법은 전술한 영상 콘텐츠의 키 프레임 추출 장치(이하, '키 프레임 추출 장치'라 함.)에 의해 수행될 수 있다.

도 8을 참조하면, 우선, S801 단계에서, 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임(Keyframe) 추출 장치는 프로그램 단위의 영상 콘텐츠를 세분화된 샷 단위 또는 장면 단위로 분할하여 저장할 수 있다.

예컨대, 영상 콘텐츠는 복수의 정지화면(이하, '프레임'이라 함.)의 조합으로 구성될 수 있는데, 영상 콘텐츠에 포함되는 복수의 프레임들 중, 시간적으로 연속적으로 연결되며 공간적으로 유사한 정보를 구비하는 복수의 프레임의 집합을 '샷(Shot)'으로 정의할 수 있으며, 복수의 샷 단위 중, 유사한 의미를 구비하는 복수의 샷 단위의 집합을 '장면(Scene)'으로 정의할 수 있다. 그리고, 이러한 장면 단위의 프레임의 조합에 의해 영상 콘텐츠를 구성할 수 있다. 나아가, 전술한 영상 콘텐츠는 방송국 등에서 제공하는 영상 콘텐츠를 포함할 수 있으며, 이러한 영상 콘텐츠는 프로그램(Episode) 단위로 구분되는 콘텐츠를 포함할 수 있다.

또한, 영상 콘텐츠를 압축 또는 부호화하는 과정에서, 영상 콘텐츠에 포함되는 프레임의 구성을 나타내는 구성 정보가 함께 생성되어 제공될 수 있다. 이러한 구성 정보는 프레임 단위, 샷 단위, 장면 단위, 프로그램 단위에 대한 구성 정보를 포함할 수 있다.

전술한 바를 고려하여, 키 프레임 추출 장치는 영상 콘텐츠를 샷 단위로 분할하고 샷 인덱싱 기반으로 샷 단위의 영상 콘텐츠를 저장하고, 영상 콘텐츠를 장면 단위로 분할하고 장면 인덱싱 기반으로 영상 콘텐츠를 저장할 수 있다.

이때, 키 프레임 추출 장치는 전술한 구성 정보를 사용하여 샷 단위 또는 장면 단위의 분할을 수행할 수 있다.

다른 예로서, 키 프레임 추출 장치는 영상 콘텐츠에 포함된 프레임에 대하여 영상의 특징 값을 추출하고, 프레임들 사이의 특징 값의 유사도를 확인하여 샷 단위의 분할을 수행할 수 있다. 마찬가지로, 키 프레임 추출 장치는 영상 특징을 이용하여 샷 단위의 유사도 또는 연계성을 측정하고, 유사도가 낮아지는 지점이나 연계성이 저하되는 지점을 확인하여 장면 단위의 분할을 수행할 수도 있다. 나아가, 키 프레임 추출 장치는 영상의 특징값 뿐만 아니라, 영상 콘텐츠에 포함되는 음성의 특징값이나, 텍스트 정보의 특징값 등의 특징을 함께 유기적으로 결합하여 장면 단위의 분할을 수행할 수도 있다.

S802 단계에서, 키 프레임 추출 장치는 영상 콘텐츠의 샷 단위 또는 장면 단위에 대한 키 프레임을 검출하기 위한 모드를 설정할 수 있다. 특히, 키 프레임 추출 장치는 요구되는 키 프레임의 품질 요구사항을 확인하고, 품질 요구사항에 대응되는 모드를 설정할 수 있다. 그리고, 키 프레임 추출 장치는 품질 요구사항에 대응되는 모드를 설정하는데 기준이되는 장르별 키 프레임 생성 프로파일을 설정 및 저장할 수 있다.

S802 단계의 동작을 좀 더 구체적으로 설명하면, 키 프레임 추출 장치는 키 프레임의 품질 요구사항에 따라 수행할 키 프레임 추출 모드를 설정한다.

구체적으로, 키 프레임 추출 장치는 사용자로부터 키 프레임의 품질을 입력받을 수 있는 품질 입력 인터페이스를 제공할 수 있으며, 품질 입력 인터페이스를 통해, 사용자가 요구하는 품질 수준을 입력할 수 있다. 예컨대, 품질 수준은 기본형 또는 확장형을 포함할 수 있다.

그리고, 키 프레임 추출 장치는 장르에 따른 평가 지표의 영향력이 상이한 특성을 감안하여 영상 콘텐츠가 속한 장르를 설정할 수 있다.

구체적으로, 드라마, 뉴스, 다큐멘터리 등과 같이 영상 콘텐츠의 장르에 따라 키 프레임의 우수성을 판단하는데 영향력을 끼치는 요소의 중요도가 상이하므로, 키 프레임 추출 시 사전에 장르와 중요한 역할을 하는 우수성 평가 요소 또는 우선순위 등을 장르별 프로파일로서 설정할 수 있다. 예컨대, 영상 콘텐츠가 드라마 장르 프로파일은 대조비 평가와 유사도 평가가 키 프레임 추출에 사용되는 우수성 평가 요소로서 사용하도록 설정할 수 있으며, 뉴스 장르 프로파일은 자막 검출과 대조비 평가 등을 키 프레임 추출에 사용되는 우수성 평가 요소로서 사용하도록 설정할 수 있다.

샷 단위의 고품질 키 프레임 선정을 위하여 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출 등과 같은 프레임 우수성 평가 요소(factor)를 사용할 수 있는데, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중 적어도 하나의 요소를 선택하거나, 프레임 우수성 평가 요소들 사이의 우선 순위를 결정하여 샷 단위 프로파일로서 설정할 수 있다.

나아가, 키 프레임 추출 장치는 영상 콘텐츠의 장르에 따라, 서로 다른 프레임 우수성 평가 요소를 설정하거나, 영상 콘텐츠의 장르에 따라 프레임 우수성 평가 요소들 사이의 우선 순위를 다르게 설정할 수 있다. 전술한 바를 고려하여, 키 프레임 추출 장치는 장르별로 설정된 샷 단위 프로파일을 설정 및 저장할 수 있다.

한편, 장면 단위의 고품질 키 프레임 선정을 위하여 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출, 샷 길이 평가 등과 같은 샷 우수성 평가 요소(factor)를 사용할 수 있는데, 키 프레임 추출 장치는 샷 우수성 평가 요소 중 적어도 하나의 요소를 선택하거나, 샷 우수성 평가 요소들 사이의 우선 순위를 결정하여 장면 단위 프로파일로서 설정할 수 있다.

그리고, 키 프레임 추출 장치는 영상 콘텐츠의 장르에 따라, 서로 다른 샷 우수성 평가 요소를 설정하거나, 영상 콘텐츠의 장르에 따라 샷 우수성 평가 요소들 사이의 우선 순위를 다르게 설정할 수 있다. 전술한 바를 고려하여, 키 프레임 추출 장치는 장르별로 설정된 장면 단위 프로파일을 설정 및 저장할 수 있다.

한편, S803 단계에서, 키 프레임 추출 장치는 영상 콘텐츠를 계층적으로 구분하는 샷 단위, 장면 단위, 프로그램 단위를 확인할 수 있다. 그리고, 키 프레임 추출 장치는 S802 단계에서 제공되는 샷 단위, 장면 단위, 프로그램 단위에 대한 기본 키 프레임 생성 프로파일에 기초하여, 샷 단위, 장면 단위, 프로그램 단위에 대한 기본 키 프레임을 추출 및 저장할 수 있다.

S803 단계에서, 키 프레임 추출 장치는 모든 장르에 동일하게 기본적으로 수행되며, 키 프레임 검출의 신속성과 편의성을 기준으로하여, 미리 정해진 위치의 프레임을 키 프레임으로 추출하며, 상대적으로 저품질의 키 프레임을 제공할 수 있다.

S803 단계의 동작을 좀 더 구체적으로 설명하면, 키 프레임 추출 장치는 모든 장르에 동일하게 일괄적으로 적용되며 신속성과 편의성을 기준으로 각각 기본 샷 단위 키 프레임과 기본 장면 단위 키 프레임을 추출할 수 있다.

예컨대, 키 프레임 추출 장치는 샷 단위(400, 도 4a 참조)에 구비되는 복수의 프레임(401-1, 401-2, ... 401-n) 중에서, 첫 프레임(401-1)을 샷 단위의 키 프레임으로 추출할 수 있으며, 추출된 샷 단위의 키 프레임(401-1)에 대한 정보를 저장할 수 있다. 예컨대, 키 프레임 추출 장치는 추출된 샷 단위의 키 프레임에 대한 정보를 샷 단위의 인덱싱을 사용하여 저장할 수 있다.

키 프레임 추출 장치는 장면 단위(410, 도 4b 참조)에 포함되는 복수의 샷 단위(411-1, 411-2, ... 411-5)에서, 중간지점에 위치한 샷 단위(411-3)를 검출할 수 있으며, 검출된 샷 단위(411-3)의 키 프레임(415)을 장면 단위의 키 프레임으로 추출할 수 있다. 그리고, 키 프레임 추출 장치는 장면 단위의 키 프레임(415)에 대한 정보를 저장할 수 있다. 예컨대, 키 프레임 추출 장치는 추출된 장면 단위의 키 프레임(415)에 대한 정보를 장면 단위의 인덱싱을 사용하여 저장할 수 있다.

키 프레임 추출 장치는 프로그램 단위(420, 도 4c 참조)에 포함되는 복수의 장면 단위(421-1, 421-2, ... 421-5)에서, 첫 지점에 위치한 장면 단위(421-1)를 검출할 수 있으며, 검출된 장면 단위(421-1)의 키 프레임(425)을 프로그램 단위의 키 프레임으로 추출할 수 있다. 그리고, 키 프레임 추출 장치는 프로그램 단위의 키 프레임(425)에 대한 정보를 저장할 수 있다. 예컨대, 키 프레임 추출 장치는 추출된 프로그램 단위의 키 프레임(425)에 대한 정보를 프로그램 단위의 인덱싱을 사용하여 저장할 수 있다.

키 프레임 추출 장치는 미리 설정된 지점에 위치한 프레임 단위, 샷 단위, 장면 단위를 기준으로, 각각 샷 단위, 장면 단위, 및 프로그램 단위에 대한 키 프레임을 설정하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 키 프레임 추출 장치에서 키 프레임의 선정에 기준이 되는 미리 설정된 지점은 다양하게 변경될 수 있음은 물론이다.

한편, S804 단계에서, 키 프레임 추출 장치는 전술한 샷 단위, 장면 단위, 프로그램 단위에 대한 기본 키 프레임을 확인하고, 확인된 키 프레임의 우수성 정보를 확인할 수 있다. 그리고, 키 프레임 추출 장치는 우수성 정보가 기준값에 미치지 못하는 키 프레임을 해당 단위에 포함된 다른 키 프레임으로 교체하는 동작을 처리할 수 있다.

키 프레임 추출 장치는 키 프레임의 고품질 요구 시에만 선택적으로 수행되며 장르별 특성을 고려하고, 영상 콘텐츠의 선명성과 정확성을 기준으로, 영상 콘텐츠가 속한 장르를 고려하여 프레임 단위의 우수성 평가와 샷 단위의 우수성 평가를 적용하여 개선된 고품질의 키 프레임을 제공할 수 있다.

S804 단계의 동작을 좀 더 구체적으로 설명하면, 키 프레임 추출 장치는 샷 단위 프로파일에 따라, 기본 샷 단위 키 프레임에 대한 우수성 정보를 확인하고, 상기 우수성 정보에 기초하여 기본 샷 단위 키 프레임의 교체 여부를 판단한다. 전술한 샷 단위 프로파일에 기초하여, 우수성 정보는 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출 등과 같은 프레임 우수성 평가 요소(factor)를 포함할 수 있으며, 나아가, 프레임 우수성 평가 요소의 우선순위를 포함할 수 있다.

예컨대, 키 프레임 추출 장치는 기본 샷 단위 키 프레임에 대한 우수성 정보가 미리 정해진 임계값 이하임을 확인할 경우, 해당 샷 내 모든 프레임에 대하여 프레임 우수성 정보를 확인하고, 상대적으로 높은 우수성 정보를 구비하는 키 프레임을 최적 키 프레임으로서 추출할 수 있다. 그리고, 키 프레임 추출 장치는 기본 샷 단위 키 프레임을 상기 최적 키 프레임으로 교체할 수 있다.

구체적으로, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 대조비 지표를 확인하고, 이에 기초하여 저대조비를 구비하는 기본 샷 단위 키 프레임을 고대조비를 구비하는 최적 키 프레임으로 교체할 수 있다.

다른 예로서, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 샤프니스 지표 기반의 모션 평가를 확인하고, 이에 기초하여 블러 영상을 구비하는 기본 샷 단위 키 프레임을 최소 모션 영상을 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 히스토그램 비교를 통한 프레임 유사도 지표를 확인할 수 있으며, 프레임 유사도 지표를 최적 키 프레임의 교체에 사용할 수 있다.

예컨대, 키 프레임 추출 장치는 히스토그램 비교 통해, 인접한 샷 단위의 키 프레임 사이의 유사도를 확인할 수 있으며, 유사도가 미리 정해진 기준 값보다 상대적으로 낮으면 다른 샷 단위와 유사함을 의미하므로 샷 단위의 키 프레임을 유지하고, 유사도가 미리 정해진 기준 값보다 상대적으로 높으면 다른 샷 단위와 유사함을 의미하므로 해당 키 프레임을 교체 대상으로 결정할 수 있다.

또 다른 예로서, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 얼굴 검출을 수행할 수 있으며, 얼굴 검출된 프레임에 대해 상대적으로 높은 얼굴 우수성 지표를 부여할 수 있다. 이에 기초하여, 키 프레임 추출 장치는 낮은 얼굴 우수성 지표를 구비하는 기본 샷 단위 키 프레임을 상대적으로 높은 얼굴 우수성 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 자막 영역 검출을 수행할 수 있으며, 샷의 의미를 표현하는 자막이 포함된 경우에 대해 상대적으로 높은 자막 우수성 지표를 부여할 수 있다. 이에 기초하여, 키 프레임 추출 장치는 낮은 자막 우수성 지표를 구비하는 기본 샷 단위 키 프레임을 상대적으로 높은 자막 우수성 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

키 프레임 추출 장치는 장면 단위 프로파일에 따라, 기본 장면 단위 키 프레임에 대한 우수성 정보를 확인하고, 상기 우수성 정보에 기초하여 기본 장면 단위 키 프레임의 교체 여부를 판단한다. 전술한 장면 단위 프로파일에 기초하여, 우수성 정보는 대조비 평가, 모션 평가, 유사도 평가, 얼굴 검출, 자막 검출, 샷 길이 평가 등과 같은 프레임 우수성 평가 요소(factor)를 포함할 수 있으며, 나아가, 샷 우수성 평가 요소의 우선순위를 포함할 수 있다.

예컨대, 키 프레임 추출 장치는 기본 장면 단위 샷에 대한 우수성 정보가 미리 정해진 임계값 이하임을 확인할 경우, 해당 장면 내 모든 샷의 키 프레임에 대하여 우수성 정보를 확인하고, 상대적으로 높은 우수성 정보를 구비하는 키 프레임을 최적 키 프레임으로서 추출할 수 있다. 그리고, 키 프레임 추출 장치는 기본 장면 단위 키 프레임을 상기 최적 키 프레임으로 교체할 수 있다.

구체적으로, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 히스토그램 비교를 통한 프레임 유사도 지표를 확인할 수 있으며, 프레임 유사도 지표를 최적 키 프레임의 교체에 사용할 수 있다.

예컨대, 키 프레임 추출 장치는 히스토그램 비교 통해, 장면 단위의 키 프레임 사이의 유사도를 확인할 수 있다. 장면 단위의 키 프레임 사이의 유사도가 높을수록 장면 단위에서 대표성을 나타내는 것이므로, 키 프레임 추출 장치는 장면 단위의 키 프레임 사이의 유사도가 미리 정해진 기준 값보다 상대적으로 높으면 장면 단위의 키 프레임을 유지하고, 장면 단위의 키 프레임 사이의 유사도가 미리 정해진 기준 값보다 상대적으로 낮으면 교체 대상 키 프레임으로 결정할 수 있다.

다른 예로서, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 프레임 수를 기반으로 하는 샷 길이를 확인하고, 샷 길이가 긴 샷에 대해 상대적으로 높은 샷 길이 우수성 지표를 부여할 수 있다. 이에 기초하여, 키 프레임 추출 장치는 낮은 샷 길이 우수성 지표를 구비하는 기본 장면 단위 키 프레임을 상대적으로 높은 샷 길이 우수성 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 샷 모션량 지표를 확인하고, 샷 모션량이 많은 영상에 대해 상대적으로 높은 모션 지표를 부여할 수 있다. 이에 기초하여, 키 프레임 추출 장치는 높은 모션 지표를 구비하는 기본 장면 단위 키 프레임을 상대적으로 낮은 모션 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 대조비 지표를 확인하고, 이에 기초하여 저대조비를 구비하는 기본 장면 단위 키 프레임을 고대조비를 구비하는 최적 키 프레임으로 교체할 수 있다.

또 다른 예로서, 키 프레임 추출 장치는 프레임 우수성 평가 요소 중, 자막 영역 검출을 수행할 수 있으며, 샷의 의미를 표현하는 자막이 포함된 경우에대해 상대적으로 높은 자막 우수성 지표를 부여할 수 있다. 이에 기초하여, 키 프레임 추출 장치는 낮은 자막 우수성 지표를 구비하는 기본 장면 단위 키 프레임을 상대적으로 높은 자막 우수성 지표를 구비하는 최적 키 프레임으로 교체할 수 있다.

한편, 키 프레임 추출 장치는 프로그램 단위에서 일반적으로 프로그램의 시작 시점에 전반적인 내용을 함축적으로 표현하는 특성을 고려하여, 최적 키 프레임의교체를 수행할 수 있다. 예컨대, 키 프레임 추출 장치는 장면 단위에 대한 키 프레임의 교체시, 프로그램 단위에 포함된 첫 장면 단위에 대한 키 프레임의 교체가 발생되었는지를 확인할 수 있으며, 첫 장면 단위에 대한 키 프레임의 교체가 발생됨에 따라, 해당 키 프레임의 교체를 수행할 수 있다.

한편, S805 단계에서, 키 프레임 추출 장치는 기본 키 프레임을 제공하거나, 확장 키 프레임을 제공할 수 있다. 예컨대, 키 프레임 추출 장치는 사용자 입력 인터페이스를 구비할 수 있으며, 사용자 입력 인터페이스를 통해 사용자의 입력을 확인할 수 있다. 그리고, 키 프레임 추출 장치는 사용자의 입력에 대응되는 키 프레임(예, 기본 키 프레임, 확장 키 프레임 등)을 제공할 수 있다.

나아가, 사용자 입력 인터페이스는 키 프레임을 샷 단위로 표시할 것인지 또는 장면 단위로 표시할 것인지를 선택할 수 있는 단위 선택 메뉴, 선택된 단위(예, 샷 단위, 장면 단위)의 모든 키 프레임을 표시할 것인지 또는 선택된 단위에 포함되는 키 프레임 중 선택된 특정 단위(예, 샷 단위, 장면 단위)에 대한 키 프레임을 선택적으로 표시할 것인지를 선택할 수 있는 특정 키 프레임 선택 메뉴를 포함할 수 있다. 이에 기초하여, 키 프레임 추출 장치는 단위 선택 메뉴를 통해 입력되는 사용자 입력을 반영하여, 샷 단위 또는 장면 단위의 키 프레임을 제공할 수 있다. 또한, 키 프레임 추출 장치는 특정 키 프레임 선택 메뉴를 통해 입력되는 사용자 입력을 반영하여, 선택된 단위(예, 샷 단위, 장면 단위)의 모든 키 프레임을 표시하거나 또는 선택된 단위에 포함되는 키 프레임 중 선택된 특정 단위(예, 샷 단위, 장면 단위)에 대한 키 프레임을 선택적으로 표시할 수 있다.

도 9는 본 개시의 일 실시예에 따른 영상 콘텐츠의 키 프레임 추출 장치 및 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.

도 9를를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(General Processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (1)

1. 영상 콘텐츠의 키 프레임을 추출하는 방법에 있어서,
   프로그램 단위로 구성된 상기 영상 콘텐츠를 샷 단위와, 장면 단위로 분할하는 과정과,
   기본형 키 프레임 추출 방식 및 확장형 키 프레임 추출 방식 중, 적어도 하나를 포함하는 키 프레임 추출 방식을 확인하는 과정과,
   상기 기본형 키 프레임 추출 방식에 대응하여, 상기 영상 콘텐츠에 포함되는 프레임의 구성을 나타내는 프레임 구성 정보에 기초하여, 상기 영상 콘텐츠의 샷 단위, 장면 단위, 및 프로그램 단위에 각각 대응되는 키 프레임을 추출하는 과정과,
   상기 확장형 키 프레임 추출 방식에 대응하여, 상기 영상 콘텐츠에 포함되는 프레임의 우수성 정보를 분석하고, 상기 우수성 정보에 기초하여, 상기 영상 콘텐츠의 샷 단위, 장면 단위, 및 프로그램 단위에 각각 대응되는 키 프레임을 추출하는 과정을 포함하는 것을 특징으로 하는 영상 콘텐츠의 키 프레임 추출 방법.

Images