KR100612842B1

KR100612842B1 - 앵커 샷 결정방법 및 결정장치

Info

Publication number: KR100612842B1
Application number: KR1020040013778A
Authority: KR
Inventors: 황두선; 김상균; 김지연; 문영수
Original assignee: 삼성전자주식회사
Priority date: 2004-02-28
Filing date: 2004-02-28
Publication date: 2006-08-18
Also published as: EP1569240A1; JP2005243035A; CN1662046A; KR20050087987A; US20050190965A1

Abstract

다양한 형식의 동영상에서 앵커 샷의 검출이 가능하고, 샷 검출 속도가 빠르며, 한 번만 나오는 앵커에 대해서도 샷 검출이 가능하도록, 모델 생성을 이용한 앵커모델 샷 결정방법 및 결정장치가 개시된다. 상기 앵커모델 샷 결정방법은, 동영상 데이터로부터 기본 샷을 추출하고, 상기 기본 샷으로부터 소정의 제1 조건에 맞춰 앵커모델 후보 샷들을 선택한다. 상기 앵커모델 후보 샷들로부터 소정의 제2 조건에 맞춰 앵커모델 샷을 결정한 후, 상기 결정된 앵커모델 샷들을 상기 기본 샷들과 유사의 정도를 비교하여 최종적으로 앵커 샷을 확정하는 것이다. 상기 앵커모델 샷 결정장치는, 샷 경계 결정부, 피부 컬러 추출부, 앵커 얼굴 결정부, 배경 컬러영역 결정부, 앵커 모델 후보 샷 결정부, 객체 컬러 영역 결정부, 샷 그룹핑부, 앵커 모델 생성부, 블록 결정부 및 앵커 샷 확정부를 구비한다.

Description

앵커 샷 결정방법 및 결정장치{An apparatus and method for deciding anchor shot}

도 1은 본 발명의 일 실시 예에 따른 앵커 샷 결정방법의 실시 예를 나타내는 흐름도(flowchart)이다.

삭제

도 2는 본 발명의 일 실시 예에 따른 앵커 샷 결정방법에 사용되는 앵커모델 후보 샷들의 클러스터이다.

도 3은 본 발명의 일 실시 예에 따른 앵커 샷 결정방법에 사용되는 앵커모델 샷들이다.

도 4는 본 발명의 일 실시 예에 따른 앵커 샷 결정방법에 사용되는 앵커모델 샷들을 블록으로 나누는 방법을 나타내는 다이어그램이다.

도 5는, 본 발명의 다른 일 실시 예에 따른, 앵커 샷 결정장치를 나타내는 블록 다이어그램이다.

본 발명은 동영상에 관한 것으로, 특히, 뉴스 동영상 또는 소정의 프로그램 동영상에서 인덱스, 요약 및 검색 등에 사용되는 앵커를 자동으로 검출하는 방법에 관한 것이다.

우리는 라디오뿐만 아니라 텔레비전을 통하여 많은 정보를 얻을 수 있다. 특히, 방송되는 뉴스는 현대인에게 없어서는 안될 중요한 정보원의 역할을 한다. 그러나 현재와 같이 바쁜 사회에서는, 정시에 뉴스를 시청하지 못한 경우가 자주 발생할 수 있다. 반면에 뉴스 또는 방송 프로그램을 통하여 얻는 정보는 무궁무진하므로, 보지 못한 뉴스를 이 후에라도 시청하기를 원하는 시청자가 많이 있다. 이를 위하여 방송국에서는, 지나간 뉴스 및 프로그램을 동영상으로 제작하여 준비하고 있다가, 원하는 고객의 요청에 맞추어 이를 동영상으로 다운받을 수 있도록 서비스를 제공하고 있다.

고객은 상기 데이터를 다운받아 재생 장치를 통하여 시청할 수 있다. 만약 고객이 상기 데이터 전체가 아니라, 시청하기를 원하는 일부 내용만을 선택하여 시청할 수 있도록 하려면, 상기 데이터와 더불어 인덱스(index) 및 검색 기능이 부가적으로 제공되어야 한다.

일반적으로 뉴스는 여러 가지 보도 사실을 순차적으로 전달한다. 즉, 앵커가 하나의 보도 사실에 대하여 예고하고, 이 후에 참고자료를 화면을 통하여 보여주면서 상기 보도 사실의 세부적인 내용을 리포터들이 전달하는 것이 보통이다. 따라서 보도되는 사실들은 일반적으로 앵커를 기준으로 분할 할 수 있다.

뉴스 동영상에서 앵커가 화면에 나타나는 것을 스냅 샷(snap shot)한 것을 앵커 샷이라 가정하면, 뉴스 동영상에 대하여 쉽고 빠른 인덱스(index) 및 검색을 할 수 있도록 하기 위하여 상기 앵커 샷을 이용할 수 있다. 이러한 앵커 샷을 얻기 위하여, 종래에는 템플릿을 이용하는 방법, 클러스터링을 이용하는 방법 및 멀티 모달을 이용하는 방법 등 3가지 방법을 주로 사용하여왔다.

템플릿(template)을 이용하는 방법은 M. Tekalp가 1996년에 발표한 "Video indexing through integration of syntactic and semantic features" 및 Y. Nakajima 가 발표한 "Automatic anchor person detection from an MPEG coded TV program"을 참조하면 자세히 알 수 있다. 상기 종래의 기술들은, 고정된 템플릿을 사용하기 때문에, 다양한 모든 뉴스에서 앵커의 검출이 힘들다는 단점이 있다.

A. Hanjalic이 1998년에 발표한 "Template-based detection of anchor person shot in news programs"는, 뉴스 동영상 내에서 템플릿을 결정하기 때문에 다양한 형식의 뉴스에 적용할 수는 있으나, 템플릿으로 사용한 첫 앵커 샷의 시간적인 위치 정보를 어느 정도 알고 있어야 한다는 단점이 있다.

클러스터링(clustering)을 이용하는 방법으로, Xinbo Gao가 2003년에 발표한 "A Graph-Theoretical Clustering based Anchor person Shot Detection for News Video Indexing"이 있는데, 그래프 이론을 이용하여 앵커 샷을 검출한다. 그러나 뉴스 내에서 두 번 이상 나오는 앵커 샷에 대해서만 검출할 수 있으며, 또한 시간을 두고 나타나는 샷에 대해서 오 검출하는 단점이 있다. 클러스터링을 이용하는 종래의 방법(KR 2002-0075081, US 20020146168, JP 2003-32583)은, 앵커 샷의 모델 을 미리 정하여 놓았기 때문에 모델에 만족하지 않는 뉴스 동영상에 대해서는 앵커 샷을 검출할 수 없다.

마지막으로 멀티 모달(multimodal) 방법(KR 2002-0016318)은, 폐쇄 자막 신호를 내포하는 뉴스 비디오로부터 멀티 모달의 특징을 추출하고 이를 기반으로 뉴스 비디오의 주요구간을 자동 검출하여 뉴스 비디오를 요약한다. 그리고 일반적으로 클러스터링을 이용하는 방법은 시간이 오래 걸린다는 단점이 있다.

종래의 기술의 단점을 정리하면 아래와 같다.

첫 째, 얼굴 주변의 배경 컬러 정보만을 사용하기 때문에, 일반적인 뉴스가 아닌 대담 장면과 같은 샷에서 오 검출이 발생할 수 있다. (샷 오 검출의 문제점)

둘 째, 고정된 템플릿을 이용하기 때문에, 뉴스의 형식이 변화하면 앵커 샷을 검출할 수 없다.(다양한 뉴스에 적용 불가)

세 째, 전체 뉴스에서 한 번만 나오는 앵커 샷은 검출하지 못한다.(샷 미 검출의 문제점)

네 째, 전체 키 프레임에 대해서 키 프레임 사이의 유사도를 검사하여 클러스터링을 수행하기 때문에 속도가 느려진다.(속도 상의 문제점)

본 발명이 이루고자하는 기술적 과제는, 다양한 형식의 동영상에서 앵커 샷의 검출이 가능하고, 샷 검출 속도가 빠르며, 한 번만 나오는 앵커에 대해서도 샷 검출이 가능하게 하는 앵커 샷 결정방법을 제공하는데 있다.

본 발명이 이루고자하는 다른 기술적 과제는, 다양한 형식의 동영상에서 앵커 샷의 검출이 가능하고, 샷 검출 속도가 빠르며, 한 번만 나오는 앵커에 대해서도 샷 검출이 가능하게 하는 앵커 샷 결정장치를 제공하는데 있다.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 앵커 샷 결정방법은, 복수 개의 기본 샷들을 추출하는 단계, 복수 개의 앵커모델 후보 샷들을 결정하는 단계, 적어도 하나 이상의 앵커모델 샷을 결정하는 단계 및 적어도 하나 이상의 앵커 샷을 확정하는 단계를 구비한다.

상기 복수 개의 기본 샷(shot)들을 추출하는 단계는, 상기 동영상 데이터로부터, 소정의 기준에 따라, 복수 개의 기본 샷들을 추출한다. 상기 복수 개의 앵커모델 후보 샷들을 선택하는 단계는, 상기 추출된 복수 개의 기본 샷들에 제1기준을 적용하여, 상기 복수 개의 기본 샷들 중에서 복수 개의 앵커모델 후보 샷들을 선택한다. 상기 적어도 하나 이상의 앵커모델 샷을 결정하는 단계는, 상기 복수 개의 앵커모델 후보 샷들에 제2 기준을 적용하여 적어도 하나 이상의 앵커모델 샷을 결정한다. 상기 적어도 하나 이상의 앵커 샷을 확정하는 단계는, 상기 적어도 하나 이상의 앵커모델 샷 및 상기 복수 개의 기본 샷들 사이의 유사의 정도를 각각 비교하여 적어도 하나 이상의 앵커 샷을 확정한다.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 앵커 샷 결정장치는, 샷 경계 결정부, 피부 컬러 추출부, 앵커 얼굴 결정부, 배경 컬러영역 결정부, 앵커 모델 후보 샷 결정부, 객체 컬러 영역 결정부, 샷 그룹핑부, 앵커 모델 생성부, 블 록 결정부 및 앵커 샷 확정부를 구비한다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1을 참조하면, 상기 앵커 샷 결정방법은, 기본 샷 추출단계(110), 앵커모델 후보 샷 선택단계(120), 앵커모델 샷 결정단계(130) 및 앵커 샷 확정단계(140)를 포함한다.

기본 샷 추출단계(110)는, 일정한 시간 동안 동일한 장면을 보여주던 화면이 다른 장면을 보여주는 화면으로 전환되는 순간을 분할의 기준으로 하여, 뉴스 또는 프로그램의 동영상 데이터로부터 복수 개의 기본 샷들을 추출한다. 따라서 뉴스에 대한 동영상의 경우, 상기 복수 개의 기본 샷에는 앵커, 리포터, 사건이 일어난 장소, 사건을 요약한 자막 및 기타 그래프 등 영상이 전환되는 순간의 데이터라면 어떠한 것도 포함되게 된다.

앵커모델 후보 샷 선택단계(120)는, 상기 복수 개의 기본 샷들에 제1기준을 적용하여, 상기 복수 개의 기본 샷들 중에서 복수 개의 앵커모델 후보 샷들을 선택 한다. 여기서 제1기준은, 앵커얼굴 검출정보, 앵커얼굴 제약조건, 샷의 길이, 배경컬러정보 등의 유사한 정도에 따라서 선택된다.

앵커모델 샷 결정단계(130)는, 상기 복수 개의 앵커모델 후보 샷들에 제2 기준을 적용하여 적어도 하나 이상의 앵커모델 샷을 결정한다. 여기서 제2기준은, 화면에 위치하는 앵커의 얼굴 및 상체의 위치이며, 상기 앵커모델 샷의 수는 앵커의 성별, 앵커의 얼굴 및 상체의 위치에 따라 정해진다.

앵커 샷 확정단계(140)는, 상기 적어도 하나 이상의 앵커모델 샷 및 상기 복수 개의 기본 샷들에 등장하는 상기 앵커의 얼굴 및 상체를 포함하는 사각형을 가정하고, 상기 사각형을 구성하는 화소들을 그룹핑(grouping)하여 복수 개의 블록으로 상기 사각형을 분할하며, 비교되는 샷들을 구성하는 상기 블록들 사이의 컬러(color) 정보에 대한 밀접한 유사성이 있는 샷을 앵커 샷으로 확정한다.

이하에서 앵커검출방법을 자세히 설명한다.

첫 째, 앵커모델 후보 샷 추출단계에 대하여 설명한다.

먼저, 샷 단위로 분할된 뉴스 동영상의 모든 기본 샷들에 대해서, 샷의 길이, 앵커 얼굴의 제약조건, 얼굴 검출정보 및 배경 컬러정보 등을 이용하여 앵커 모델 후보 샷을 추출한다.

샷의 길이에 대한 정보는, '뉴스 비디오에서 앵커가 나타나는 샷 중 적어도 하나의 샷은 10초 이상 지속된다'라는 가정을 이용하여 얻는다.

앵커모델 후보 샷은 항상 앵커의 얼굴이 나타나는 장면이므로, 얼굴 검출 정보로서 피부 컬러를 이용하면, 얼굴을 쉽게 검출할 수 있다. 피부 컬러의 값이 일 정한 임계 값 사이에 존재한다면 피부 컬러로 판단함으로서 이를 달성할 수 있다.

상기 검출된 얼굴들에 대한 데이터의 잡음을 제거하고 앵커 얼굴 제약 조건을 적용하면, 대강(rough)얻어진 상기 검출된 얼굴 데이터 중에서 보다 더 정확한 얼굴데이터를 검출할 수 있다. 앵커 얼굴 제약 조건은 얼굴 사각형의 크기, 위치, 변화도, 피부 컬러의 밀도를 판단 기준으로 한다.

상기 얼굴 사각형이라 함은, 앵커로 판단된 얼굴을 포함하는 사각형이다. 앵커의 얼굴은 화면 전체를 차지하지 않는데도 불구하고, 앵커가 나타나는 화면전체를 기본 샷으로 하는 것은, 상기 앵커가 포함된 샷들로부터 앵커 샷을 확정하려고 할 때, 판단이 복잡해 질 수 있다. 따라서 앵커의 얼굴을 포함하는 최소한의 영역을 사각형으로 정의하여 데이터를 수집하고 이를 토대로 앵커 샷을 확정하는 것이 바람직하다.

상기 얼굴의 위치는, 앵커가 화면에서 차지하는 위치를 의미한다. 앵커가 나타나는 화면을 조사해보면, 앵커는 화면의 중앙에 위치하거나, 화면의 좌측 혹은 우측에 위치하는 것이 일반적이다.

상기 변화도는, 카메라가 앵커를 촬영하는 각도에 따라서, 화면에 나타나는 앵커의 얼굴들 사이에 존재하는 약간의 각도 차이를 의미한다. 어느 정도의 각도 차이는 동일한 앵커 샷으로 판단하려고 하는 것이다.

상기 피부컬러의 밀도도 중요한 판단기준이 되는데, 피부 컬러의 밀도가 낮은 것을 앵커 샷으로 확정한다면, 고객의 입장에서 화면이 선명하게 보이지 않을 수 있기 때문에, 이를 사전에 제거하려는 것이다.

기본 샷과 후보 샷의 배경 컬러 유사도를 판단기준으로 하여 일정한 임계 값 이상이면, 앵커모델 후보 샷으로 결정한다. 유사도 측정수단으로는 정규화한 히스토그램 인터섹션 방법을 이용하면 된다.

도 2를 참조하면, 복수 개의 기본 샷들 중에서 상기 조건 1에 만족하는 샷을 추출한 결과, 남성 앵커 및 여성 앵커의 모습이 포함된 샷들이 추출된 것을 알 수 있다.

둘 째, 앵커모델 샷 결정단계에 대하여 설명한다.

상술한 방법을 통하여 선택된 복수 개의 앵커모델 후보 샷들을 보다 적은 범위의 샷들로 선별하기 위하여 앵커모델 샷을 결정한다. 상기 결정을 위하여 얼굴과 상체의 컬러를 이용해서 유사한 샷들끼리 클러스터링(clustering) 한다.

첫 번째 앵커 후보 샷에서 앵커의 얼굴을 포함하는 임의의 사각형을 제거한 후, 각 샷에 대한 상체 사각형의 YCbCr 각각의 컬러 분포를 조사한다. 뉴스에서의 남성 앵커는 양복, 여성 앵커는 단색의 의상을 착용한다. 그러므로 상기와 같은 방법으로 구한 앵커객체의 컬러정보는 신뢰할 만하다. 이렇게 구한 앵커객체 컬러 정보를 이용하여 앵커의 상체 컬러를 추출해 낼 수 있다. 추출한 앵커 모델 후보 얼굴 영역에 대해 얼굴 사각형을 좌/우로 증가시키고 얼굴 사각형의 아래에서부터 영상의 끝까지 정하여 상체 후보 사각형을 만든다.

그렇게 해서 상체의 후보 영역에 미리 조사한 컬러 정보를 가지고 앵커의 상 체 부분을 검출할 수 있다. 그리고, 얼굴 영역과 상체 영역을 OR 연산(operation)을 함으로써, 앵커 객체를 구할 수 있다. 상기 앵커 객체는 각각의 YCbCr 컬러에 대해서 히스토그램을 구성한다. 그러나 얻어지는 앵커 객체의 크기는 뉴스 동영상에서 약간씩 다르기 때문에, 각 객체의 크기로 나누어 0~1의 값을 가지도록 정규화 한다.

히스토그램은, 256 컬러를 가정할 때, 샷이 가지고 있는 256개의 컬러 중에서 어떤 컬러가 어는 정도의 비중을 차지하고 있는 가를 나타내는 것이다. 여기서는 샷의 전체에 대하여 상기 히스토그램을 구하는 것이 아니라, 일정한 사각형을 가정하고 상기 사각형 내부에 대하여 구한 히스토그램을 사용하는데. 이것이 본 발명의 특징중의 하나이다.

수학식 1은 클러스터링의 기준이 되는 히스토그램이다.

Reference_Object_Histogram :

여기서 i는 3가지 색(Y, Cb 및 Cr)에 대한 변수이므로, 상기 수학식 1은 상기 3가지 색(Y, Cb 및 Cr)에 대하여 히스토그램이 만들어진다는 것을 의미한다. 여기서 함수의 표시로서 "O(Object)"를 사용하는 이유는, 화면 전체가 아니라 특정한 블록(Object)에 대한 히스토그램을 강조하기 위함이다.

상기 앵커 객체의 히스토그램과 마찬가지로 각각의 YCbCr 컬러 히스토그램을 수학식 2에 나타낸다.

Candidate_Object_Histogram:

이제 기준이 되는 히스토그램과 후보가 되는 히스토그램 사이의 유사도를 측정하여 클러스터링을 한다. 유사도 검사를 위해서는 기존의 정규화한 히스토그램 인터섹션(intersection) 방법을 사용한다.

유사도는 수학식 3을 통하여 구할 수 있다.

여기서,

은, 템플릿인 첫 번째 앵커 모델 후보 샷의 객체 컬러 히스토그램을,

는 앵커 모델 후보 샷의 객체 컬러 히스토그램이고. n은 블록의 개수이다. 앵커 샷들의 앵커 객체 컬러는 아주 유사하기 때문에 일정한 문턱(threshold) 값 이상의 유사도 값을 가지는 샷들을 하나의 클러스터로 한다.

이와 같이 컬러 유사도를 이용해서 클러스터링 하면, 남자 앵커 샷, 여자 앵커 샷 및 보도 샷의 그룹으로 나눌 수 있다. 앵커의 모델을 만들기 위해서는, 많은 개수를 가지는 클러스터 중에서 앵커 모델 그룹으로 선택하는 것이 바람직하다.

이렇게 선택한 클러스터 중에서, 각각의 얼굴의 위치정보를 이용해서 앵커 모델을 만든다. 얼굴의 위치는 좌, 중 및 우의 3가지의 형태가 있다. 뉴스에서의 앵커가 나타나는 장면을 분석해보면, 앵커의 얼굴이 좌측에 나타나면 우측에는 뉴스의 내용을 알려주는 뉴스 아이콘이나 기사의 제목 글자를 보여준다(display). 앵커의 얼굴이 우측에 나타나는 경우, 이와 반대가 된다. 그러므로 앵커가 화면의 우측 또는 좌측에 나타나는 경우, 나머지 부분인 뉴스 아이콘이나 기사 제목 글자를 제거하고 비교한다. 중앙에 얼굴이 나타나는 앵커 장면에서는 뉴스 아이콘이나 기사 제목 글자가 나타나지 않는다.

도 3을 참조하면, 도 2에 도시된 앵커모델 후보 샷들 중에서 상기 조건 2를 만족하는 샷을 걸러낸 결과, 3개의 앵커모델 샷이 결정된 것을 알 수 있다. 남성 앵커는 화면의 왼쪽에 있는 경우 및 화면의 중간에 있는 경우가 상기 앵커모델 샷으로 결정되었으며, 여성 앵커는 화면의 왼쪽에 있는 경우만이 상기 앵커모델 샷으로 결정된 것을 알 수 있다. 이는 도 2에 도시된 앵커모델 후보 샷들의 풀(pool)에 의해서 결정된다.

세 째, 앵커 샷을 확정하는 단계를 설명한다.

생성된 앵커 모델 및 상기 기본 샷 사이의 유사도 측정을 하여, 유사의 정도가 일정한 값 이상인 샷에 대해서 앵커 샷으로 확정한다.

상기 유사도의 비교를 위하여 모델과 동일한 위치의 영역과 동일한 크기를 가지는 사각형을 복수 개(예를 들면, 24개)의 블록으로 나눈다.

도 4는 본 발명이 일 실시 예에 따른 앵커 샷 결정방법에 사용되는 앵커모델 샷들을 블록으로 나누는 방법을 나타내는 다이어그램이다.

도 4를 참조하면, 복수 개의 블록으로 구분된 앵커모델 샷 및 기본 샷을 알 수 있다. 상기 앵커모델 샷들을 블록으로 나누는 방법은, 앵커가 왼쪽에 있는 경우에 오른 쪽의 자막 등은 고려하지 않는다. 즉, 왼쪽의 앵커만을 임의의 복수 개의 블록으로 구분하고, 구분된 복수 개의 블록 데이터를 키 데이터로 하여 기본 샷들과 비교한다. 물론 비교되는 기본 샷들도 왼쪽 부분만이 고려된다.

뉴스의 앵커 샷은 앵커의 위치가 거의 동일하지만, 약간의 카메라 모션과 앵커의 움직임이 있기 때문에 위치 정보를 가질 수 있는 블록단위의 매칭(matching) 유사도를 판단기준으로 이용하여야 신뢰성 있는 결과를 얻을 수 있다.

임의의 K 블록에 대한 평균 값(

)은 수학식 4와 같이 표시된다.

여기서

는 블록 K에 대한 컬러 값이고, N은 하나의 블록에서의 화소(pixel)의 수이다.

앵커 모델 블록 K에 대한 평균값(

)과 키 프레임 블록 K에 대한 평균값(

)의 차이(Differ)를 수학식 5와 같이 나타낼 수 있다.

여기서 G는 하나의 화면에 포함된 전체 블록의 수이다. 상기 차이(Differ)가 일정한 문턱 값 이상이면 앵커 샷으로 확정한다.

도 5를 참조하면, 상기 앵커 샷 결정장치는, 샷 경계 결정부(501), 피부 컬러 추출부(502), 앵커 얼굴 결정부(503), 배경 컬러영역 결정부(504), 앵커 모델 후보 샷 결정부(505), 객체 컬러 영역 결정부(506), 샷 그룹핑부(507), 앵커 모델 생성부(508), 블록 결정부(509) 및 앵커 샷 확정부(510)를 구비한다.

샷 경계 결정부(501)는, 동영상 데이터를 수신하여 샷을 구분하는 경계를 결정하고, 상기 결정된 경계를 기초로 하여 동영상 데이터로부터 일정한 샷들을 추출한다.

피부 컬러 추출부(502)는, 샷 경계 결정부(501)에서 추출된 샷들 중에 포함된 앵커의 피부를 추출한다.

앵커 얼굴 결정부(503)는, 피부 컬러 추출부(502)에서 추출된 피부 컬러의 정보 등을 이용하여 앵커의 얼굴을 결정한다.

배경 컬러영역 결정부(504)는, 앵커 얼굴 결정부(503)에서 결정된 앵커의 배경에 대한 컬러 영역을 결정하여 앵커 및 배경을 구분할 수 있도록 하여준다.

앵커 모델 후보 샷 결정부(505)는, 앵커 얼굴 결정부(503)에서 결정된 앵커 및 배경 컬러 영역 결정부(504)에서 결정된 배경 컬러 등의 정보를 이용하여, 샷 경계 결정부(501)에서 추출된 샷들 중에서, 앵커 모델 후보 샷을 결정한다.

객체 컬러 영역 결정부(506)는, 앵커 모델 후보 샷 결정부(505)에서 결정된 샷들 중에서 앵커들에 대한 컬러의 유사도를 비교하여 앵커의 성별, 앵커의 수 및 보도 샷들에 대한 정보를 결정한다.

샷 그룹핑부(507)는, 객체 컬러 영역 결정부(506)에서 결정된 정보를 이용하여, 남자 앵커 샷, 여자 앵커 샷 및 보도 샷들을 각각 하나의 그룹으로 묶는다.

앵커 모델 생성부(508)는, 샷 그룹핑부(507)에서 생성시킨 남자 앵커 샷의 그룹 및 여자 앵커 샷의 그룹에서, 앵커의 위치에 따라, 앵커 모델을 생성시킨다. 다시 말하면, 앵커가 화면의 좌측, 중앙 또는 우측에 있는가에 따라서 앵커 모델 샷들을 생성시킨다.

블록 결정부(509)는, 앵커 모델 생성부(508)에서 생성시킨 앵커 모델 샷들 중에서 앵커의 얼굴 및 상체만을 하나의 적은 블록으로 정의한다. 이외의 영역은 상기 블록에서 제외된다.

앵커 샷 확정부(510)는, 블록 결정부(509)에서 결정된 블록들을 이용하여, 앵커 모델 생성부(508)에서 생성시킨 남자 앵커 샷들 중에서 적어도 하나의 앵커 샷을 확정하고, 여자 앵커 샷들 중에서 적어도 하나의 앵커 샷을 확정한다.

본 발명에 따른 앵커 샷 확정방법은, 다양한 형식의 뉴스 동영상으로부터 앵커 샷을 검출할 수 있게 하기 위하여 뉴스 동영상에 존재하는 앵커의 좌측, 우측 및 중간 모델을 적응적으로(adaptively) 생성하여 이용한다. 오 검출의 방지 및 검출 속도를 빠르게 하기 위하여, 전체 키 프레임과 생성된 앵커 모델 사이의 위치 및 크기에 대하여 유사성의 정도를 비교한다. 한 번 나오는 앵커에 대해서로 샷이 검출될 수 있도록 하기 위하여, 앵커 모델과 유사한 키 프레임을 앵커 샷으로 검출한다.

상술한 본 발명에 따른 모델 생성을 이용한 앵커 검출방법은, 뉴스에 대한 동영상뿐만 아니라 일반적인 동영상 데이터로서 인덱스 및 검색 기능이 부여되어야 하는 모든 동영상 데이터에 적용될 수 있다는 것은 상술한 설명으로부터 충분히 유추될 수 있다.

예를 들면, 영어 회화 교습용으로 제작된 비디오에는 일반적으로 설정된 상황에 따른 다이얼로그(dialog)가 복수 개 수록되어 있다. 이들 복수 개의 다이얼로그는, 일반적으로 사회자가 미리 나와서 이 후에 전개될 상황에 대하여 미리 약술하고 난 후에, 전개되는 것이 보통이다. 따라서 상기 복수 개의 다이얼로그는 사회자가 화면에 나타나는 가를 기준으로 서로 분류할 수 있다. 상기 비디오를 동영상으로 재 제작함으로써, 동영상 데이터는 쉽게 얻어질 수 있다.

뉴스의 앵커에 해당하는 인물이 상기 영어회화 교습용 동영상 데이터의 사회자인 것은 누구나 쉽게 생각할 수 있으며, 따라서 본 발명의 내용을 뉴스의 동영상뿐만 아니라 영어회화 교습용 동영상 데이터에도 적용할 수 있다는 점은 당연하다. 따라서 본 발명에 사용된 앵커(anchor)는, 뉴스의 진행 아나운서를 지칭하는 것은 물론이고, 동영상 데이터를 분류하기 위하여 사용되는 기준이 되는 것은 어떤 것도 앵커라고 할 수 있다.

이상에서와 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이 본 발명에 따른 모델 생성을 이용한 앵커 샷 결정방법 및 결정장치는, 미리 정해놓은 모델을 사용하는 것이 아니라 적응적 앵커 모델을 생성하게 함으로서, 다양한 형식의 동영상에 대해서도 앵커 샷을 검출할 수 있게 하며, 종래의 전체 키 프레임에 대해서 키 프레임 사이의 유사도를 검사하는 것이 아니라, 생성한 모델과 전체 키 프레임과의 유사도를 비교함으로써 속도와 성능을 향상시키는 장점이 있으므로, 가정용 AV 저장기기, 컨텐츠 제공(contents provide)용 저작 도구 및 뉴스 동영상의 내용을 기반으로 한 인덱싱(indexing), 요약, 검색 등에 활용할 수 있다.

Claims

동영상 데이터의 내용을 인덱싱(indexing), 요약 및 검색하는데 활용할 수 있는 앵커 샷 결정방법에 있어서,

상기 동영상 데이터로부터, 소정의 기준에 따라, 복수 개의 기본 샷(shot)들을 추출하는 단계;

상기 추출된 복수 개의 기본 샷들에 제1기준을 적용하여, 상기 복수 개의 기본 샷들 중에서 복수 개의 앵커모델 후보 샷들을 선택하는 단계;

상기 복수 개의 앵커모델 후보 샷들에 제2 기준을 적용하여 적어도 하나 이상의 앵커모델 샷을 결정하는 단계; 및

상기 적어도 하나 이상의 앵커모델 샷 및 상기 복수 개의 기본 샷들 사이의 유사의 정도를 각각 비교하여 적어도 하나 이상의 앵커 샷을 확정하는 단계를 구비하는 것을 특징으로 하는 앵커 샷 결정방법.
제1항에 있어서, 상기 소정의 기준은,

일정한 시간 동안 정지된 화면이 다른 화면으로 전환되는 순간인 것을 특징으로 하는 앵커 샷 결정방법.
제1항에 있어서, 상기 제1기준은,

얼굴 검출 정보, 앵커 얼굴 제약 조건, 샷의 길이 및 배경 컬러 정보의 유사한 정도인 것을 특징으로 하는 앵커 샷 결정방법.
제3항에 있어서, 상기 앵커 얼굴 제약 조건은,

얼굴의 크기, 얼굴의 위치, 가로 및 세로의 비율, 밀도의 비율 및 얼굴의 움직임인 것을 특징으로 하는 앵커 샷 결정방법.
제3항에 있어서, 상기 배경컬러 정보는,

얼굴을 포함하는 사각형을 기준으로 얻어지는 컬러 정보인 것을 특징으로 하는 앵커 샷 결정방법.
제5항에 있어서, 상기 컬러 정보는,

얼굴을 포함하는 사각형을 기준으로 얻어지는 정규화 및 양자화한 컬러 히스토그램인 것을 특징으로 하는 앵커 샷 결정방법.
제5항 또는 제6항에 있어서, 상기 사각형은,

상기 얼굴이 화면상에서 좌측, 우측 및 중간에 위치하는 가에 따라 구별되며,

얼굴이 좌측에 있거나 혹은 우측에 있는 경우에는, 얼굴 및 상체를 포함하는 최소한의 좌측화면 또는 우측화면이고, 얼굴 및 상체가 중앙에 위치하는 경우에는 화면 전체인 것을 특징으로 하는 앵커 샷 결정방법.
제7항에 있어서, 상기 사각형은,

상기 사각형을 구성하는 복수 개의 화소를 그룹핑하여 복수 개의 블록으로 분할되는 것을 특징으로 하는 앵커 샷 결정방법.
제1항에 있어서, 상기 제2기준은,

화면에 위치하는 앵커의 얼굴 및 상체의 위치이며,

상기 앵커모델 샷의 수는 앵커의 성별, 앵커의 얼굴 및 상체의 위치에 따라 정해지는 것을 특징으로 하는 앵커 샷 결정방법.
제1항에 있어서, 상기 앵커 샷을 확정하는 단계는,

상기 적어도 하나 이상의 앵커모델 샷 및 상기 복수 개의 기본 샷들에 등장하는 상기 앵커의 얼굴 및 상체를 포함하는 사각형을 가정하고, 상기 사각형을 구성하는 화소들을 그룹핑(grouping)하여 복수 개의 블록으로 상기 사각형을 분할하며,

비교되는 샷들을 구성하는 상기 블록들 사이의 컬러(color) 정보에 대한 유사정도를 비교하는 것을 특징으로 하는 앵커 샷 결정방법.
제10항에 있어서, 상기 컬러 정보는,

얼굴 및 상체의 컬러 정보를 정규화 및 양자화 한 컬러 히스토그램인 것을 특징으로 하는 앵커 샷 결정방법.
제1항에 있어서, 상기 앵커모델 샷들을 결정하는 단계는,

개수가 많은 앵커모델 후보 샷들 중에서 결정되는 것을 특징으로 하는 앵커 샷 결정방법.
제12항에 있어서, 상기 앵커모델 샷들을 결정하는 단계는,

상기 앵커모델 후보 샷들 중에서, 화면상에서 나타나는 앵커의 성별, 얼굴 및 상체의 위치에 따른 수만큼 결정되는 것을 특징으로 하는 앵커 샷 결정방법.
동영상 데이터의 내용을 인덱싱(indexing), 요약 및 검색하는데 활용할 수 있는 앵커 샷 결정장치에 있어서,

동영상 데이터를 수신하여 샷을 구분하는 경계를 결정하고, 상기 결정된 경계를 기초로 하여 동영상 데이터로부터 일정한 기본 샷들을 추출하는 샷 경계 결정부;

앵커의 얼굴 및 상기 앵커의 얼굴의 배경에 대한 컬러영역을 이용하여, 상기 복수 개의 기본 샷들 중에서 복수 개의 앵커모델 후보 샷들을 결정하는 앵커모델 후보 샷 결정부;

상기 복수개의 앵커모델 후보 샷들에 대하여 화면에 위치하는 앵커의 위치를 적용하여 적어도 하나 이상의 앵커모델 샷을 생성하는 앵커모델 생성부; 및

상기 적어도 하나 이상의 앵커모델 샷 및 상기 복수 개의 기본 샷들 사이의 유사의 정도를 각각 비교하여 적어도 하나 이상의 앵커 샷을 확정하는 앵커 샷 확정부를 구비하는 것을 특징으로 하는 앵커 샷 결정장치.
제14항에 있어서,

상기 샷 경계 결정부에서 추출된 샷들 중에 포함된 앵커의 피부를 추출하는 피부 컬러 추출부; `

상기 피부 컬러 추출부에서 추출된 피부 컬러의 정보를 이용하여 앵커의 얼굴을 결정하여 그 결과를 상기 앵커모델 후보샷 결정부로 제공하는 앵커 얼굴 결정부; 및

상기 앵커 얼굴 결정부에서 결정된 앵커의 얼굴의 배경에 대한 컬러 영역을 결정하여 그 결과를 상기 앵커모델 후보샷 결정부로 제공하는 배경 컬러영역 결정부

를 더 포함하는 것을 특징으로 하는 앵커 샷 결정장치.
제14항 또는 제15항에 있어서,

상기 앵커모델 후보 샷 결정부에서 결정된 샷들 중에서 앵커들에 대한 컬러의 유사도를 비교하여 앵커의 성별, 앵커의 수 및 보도 샷들에 대한 정보를 결정하는 객체 컬러 영역 결정부; 및

상기 객체 컬러 영역 결정부에서 결정된 정보를 이용하여, 남자 앵커 샷, 여자 앵커 샷 및 보도 샷들을 각각 하나의 그룹으로 묶는 샷 그룹핑부

를 더 포함하고,

상기 앵커 모델 생성부는 상기 샷 그룹핑부에서 생성시킨 남자 앵커 샷의 그룹 및 여자 앵커 샷의 그룹에서, 화면에서 앵커의 위치에 따라서 앵커 모델 샷들을 생성시키는 것을 특징으로 하는 앵커 샷 결정장치.
제16항에 있어서,

상기 앵커 모델 생성부에서 생성시킨 앵커모델 샷들 중에서 앵커의 얼굴 및 상체를 하나의 작은 블록으로 결정하는 블럭 결정부

를 더 포함하고,

상기 앵커 샷 확정부는 상기 결정된 블록들을 이용하여, 상기 앵커 모델 생성부에서 생성시킨 남자 앵커 샷들 중에서 적어도 하나의 앵커 샷을 확정하고, 여자 앵커 샷들 중에서 적어도 하나의 앵커 샷을 확정하는 것을 특징으로 하는 앵커 샷 결정장치.