KR20090089878A

KR20090089878A - 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기

Info

Publication number: KR20090089878A
Application number: KR1020097012863A
Authority: KR
Inventors: 루이스 쉐벌리에; 클레어-헤렌느 데마르티; 리오넬 오이셀
Original assignee: 톰슨 라이센싱
Priority date: 2006-12-21
Filing date: 2007-12-20
Publication date: 2009-08-24
Also published as: US8634708B2; EP2104937A1; US20100209072A1; KR101440168B1; JP5079817B2; JP2010514302A; EP2104937B1; FR2910769A1; CN101568968B; CN101568968A; FR2910769B1; WO2008074877A1

Abstract

본 발명은 장치에 이전에 기록된 시청각 도큐먼트의 새로운 라운드업을 생성하기 위한 방법에 관한 것이다. 도큐먼트는 2개의 부분을 포함하고, 그 중 하나는 라운드업이고, 다른 하나는 복수의 리포트로 구성된다. 라운드업 자체는 복수의 부분으로 분할된다. 장치는 먼저 라운드업 부분과 리포트 간의 결합에 대해 검색하고, 라운드업 부분과 결합되지 않은 리포트를 검출한다. 그 다음, 라운드업과 결합되지 않은 리포트에 대해 개요가 생성되고, 이는 새로운 라운드업을 생성하기 위해 최초 라운드업에 통합된다. 이러한 방식으로, 사용자는 이 리포트와 결합된 라운드업 부분로부터 임의의 리포트를 용이하게 선택할 수 있다. 본 발명은 또한 상기 방법을 구현하기에 적합한 수신기에 관한 것이다.

시청각 도큐먼트, 시청각 수신기, 라운드업, 리포트, 전자 프로그램 안내, 메타데이터

Description

개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기{METHOD FOR CREATING A NEW SUMMARY OF AN AUDIOVISUAL DOCUMENT THAT ALREADY INCLUDES A SUMMARY AND REPORTS AND A RECEIVER THAT CAN IMPLEMENT SAID METHOD}

본 발명은 최초 라운드업(roundup) 및 리포트(report)를 포함하는 시청각 도큐먼트의 새로운 라운드업을 생성하기 위한 방법, 및 이 방법을 구현하는 수신기에 관한 것이다.

오늘날, 다수의 장치는 기록된 시청각 작품(work)을 수신 및 재생할 수 있다. 최근, 대용량의 하드 디스크가 이러한 시청각 수신기에 결합되었으며; 이에 따라, 단방향 방송 네트워크로부터 또는 점 대 점 네트워크(예를 들어, 인터넷)로부터 이 수신기에 다운로드된 콘텐츠를 저장할 수 있다. 이들 장치 중, 개인용 녹화기(PVR: Personal Video Recorder)에는, 사용자가 하드 디스크에 기록된 콘텐츠를 디스플레이하고, 명령을 통해 이들을 재생할 수 있도록 하는 전자 프로그램 가이드(EPG: Electronic Program Guide)가 일반적으로 장착된다. 현재, 하드 디스크의 사이즈는 200 시간 이상의 프로그램이 저장될 수 있게 한다. 이용가능한 정보의 이러한 양은, 고속 인터 및 인트라 내비게이션(navigation)을 가능하게 하는 새 로운 기능들이 PVR에 부가될 것을 요구한다. EPG는 다수의 기준에 따라 도큐먼트들을 재편성하고, 예를 들어, 주제, 형태, 언어, 시청 규제(parental control), 등의 그룹들에 이들을 제공한다. 시청각 콘텐츠와 결합된 메타데이터(metadata)를 이용해서 분류가 이루어진다. 변형에 따르면, 수신기는 콘텐츠를 분석하고 이를 분류할 수 있다. 저장 수단의 다른 예는, 시청각 워크를 자기 테이프에 기록하는 비디오 카세트 기록기에 관련되고, 이 경우, 시청각 콘텐츠에 대한 액세스는 순차적이다. 이들 프로덕트에서는, 현재 채널에서 수신되고 있는 비디오를 즉시 기록하거나, 또는 미래의 이벤트를 프로그램할 수 있다. 콘텐츠의 저장 방식이 어떤 것이든, 사용자 인터페이스는 다운로드되어 기록된 워크의 선택 및 재생을 제어할 수 있다. 처음에, 사용자는 프로그램 가이드를 이용해서 시청하기를 원하는 프로그램을 선택한다. 그 다음, "재생" 버튼을 누름으로써, 사용자는 워크의 시청을 개시한다.

디지털 기록물(예를 들어, DVD)의 경우, 작품은 다수의 챕터(chapter)로 분할된다. 이러한 방식으로, 사용자는 챕터를 선택하고, 선택된 챕터의 개시점에서 시청을 개시할 수 있다. "다음 트랙" 버튼을 누름으로써, 시청은 다음 세그먼트(segment)로 건너 뛴다. 방송 네트워크에 의해 수신된 일부 프로그램들은, 프로그램이 수신기의 하드 디스크에 일단 기록되면, 사용자가 그 프로그램을 시청하기 위해 특정 세그먼트를 선택할 수 있거나, 또는 요구되는 세그먼트를 찾기 위해 처음 몇 초만을 시청함으로써 한 세그먼트에서 다른 세그먼트로 이동할 수 있도록 또한 분할된다. 프로그램이 분할되지 않고서 수신되면, 수신기 레벨에서 프로그램을 분할할 수 있는 분할 방법이 존재하는데, 2002년 10월 28일 프랑스에 제출된 특허 출원 번호 FR02.13977호는 워크의 시청각 콘텐츠를 이용하여 그로부터 의미 개체(semantic unity)를 갖는 부분을 추출하는 분할 방법을 기술한다. FR02.13977에 개시된 방법은 다수의 레벨에 따른 스포츠 비디오의 분할을 생성할 수 있다. 영화 또는 다큐멘터리 비디오의 트리 구조를 자동 방식으로 추출할 수 있는 방법이 또한 존재한다. 통상적으로, 비디오는 픽처의 컬러 콘텐츠의 갑작스런 변화에 기초하여 샷(shot)들로 나뉜다. 그 다음, 샷은, 샷의 콘텐츠의 시각적 유사성 및 샷의 시간적 근접성에 기초하여 씬(scene)들로 그룹화된다. 일반적으로, 다수의 형태의 비디오 도큐먼트들에 대해, 여러 개의 레벨을 갖는 트리 구조를 정의하는 것이 가능하다.

문헌 US 2006/0107289는 시청각 프로그램 및 이들 프로그램과 결합된 서비스 데이터를 수신하는 시청각 장치를 기술한다. 이 장치는, 다양한 네트워크, 즉, 위성, 케이블 및 지상파로부터 얻어지는 다수의 데이터 수신 수단, 및 그 네트워크로부터 수신된 데이터의 저장 수단을 포함한다. 이 장치는, 기록된 다양한 도큐먼트들을 제시하는 전자 프로그램 가이드(EPG)를 디스플레이한다. 이 도큐먼트들은, 도큐먼트의 제1 비디오 프레임인 섬네일(thumbnail)의 형태로 제공된다. 제1 픽처가 블랙이면, 다른 픽처가 보여진다. 이 도큐먼트는, 사용자에게 도큐먼트의 제1 픽처 및 제목 이외의 다른 어떤 것을 제공함으로써 라운드업이 보강(enrich)될 수 있게 할 수 없다.

기록된 도큐먼트가 텔레비전 뉴스 프로그램이면, 현재 방법에 따른 인덱 싱(indexing)은 리포트에 대한 직접 액세스를 가능하게 할 것이다. 텔레비전 뉴스 프로그램은 일반적으로, 이 뉴스 프로그램을 구성하는 메인 리포트가 제공되는 동안 라운드업으로 개시된다. 최적의 경우, 인덱싱 방법을 이용하는 가이드는 리포트로서 라운드업을 제공하고, 사용자에게 이를 제공한다. 실제로, 라운드업 중의 픽처는 상이한 리포트를 구두로 나타내는 프리젠터(presenter)를 보여 주고, 비효과적인 인덱싱 방법은, 모든 픽처가 단일체(unity)를 구성하는 것을 고려할 것이다. 다른 경우, 라운드업은 다수의 리포트로 분할된다. 모든 경우, 뉴스 프로그램의 부분들은 개별적으로 그리고 프리젠테이션의 동일 레벨에서 보여지지만, 이는, 뉴스 프로그램이 실제 리포트인지 또는 라운드업의 부분인지를 나타내지 않는 어떤 수의 리포트들로 구성되는지를 사용자가 명확하게 알기에 충분하지 않다. 또한, 리포트들이 라운드업으로 제공되지 않으면, 사용자는 이를 쉽게 찾기 어렵게 된다. 본 발명은, 리포트와 라운드업 부분 간의 효과적인 내비게이션을 가능하게 함으로써, 이러한 유형의 도큐먼트에 대한 특별히 사용자 친화적(user-friendly)인 인터페이스를 사용자에게 제공한다.

본 발명의 목적은, 장치에 기록된 시청각 도큐먼트의 새로운 소개 라운드업(introductory roundup)을 생성하기 위한 방법으로서,

- 상기 도큐먼트를 2개의 부분 - 상기 2개의 부분 중 하나는 라운드업이고, 다른 하나는 복수의 리포트(report)로 구성됨 - 으로 분할하는 단계와,

- 상기 라운드업을 복수의 부분으로 분할하는 단계와,

- 라운드업 부분과 리포트 간의 결합에 대해 검색하는 단계 및 라운드업 부분과 결합되지 않은 적어도 하나의 리포트를 검출하는 단계와,

- 상기 리포트로부터 추출된 시청각 시퀀스의 적어도 하나의 픽처로부터, 라운드업 부분과 결합되지 않은 적어도 하나의 리포트에 대한 개요(summary)를 생성하는 단계와,

- 이에 따라 생성된 상기 개요를 상기 새로운 라운드업에 통합시키는 단계를 포함하는 것을 특징으로 한다.

이러한 방식으로, 라운드업에 나타나지 않는 리포트는 새로운 라운드업에 포함되어, 사용자가 시청각 도큐먼트를 내비게이션할 수 있고, 소개 개요로부터, 도큐먼트에 포함되며 이 개요에 관련된 임의의 리포트로 이동할 수 있게 된다. 라운드업 부분 및 리포트로의 도큐먼트의 분할은 사용자에게 2개 레벨의 정보가 제공되는 것을 가능하게 하고, 첫 번째 레벨의 정보는 사용자에게 리포트의 주제를 알려 주고, 두 번째 레벨의 정보는 리포트 자체를 알려 준다.

제1 활용에 따르면, 위와 같이 라운드업에 생성된 개요의 통합은 리포트의 순서를 지키면서 수행된다. 이러한 방식으로, 사용자는 보다 쉽게 도큐먼트의 구조를 따라갈 수 있다. 다른 활용에 따르면, 개요의 생성은 예를 들어 프리젠터의 윤곽(outline)의 존재와 같은 결정된 특성을 갖는 시청각 시퀀스를 추출하는 것으로 구성된다. 이러한 방식으로, 위와 같이 생성된 개요의 시퀀스는 보다 적절한 정보 콘텐츠를 갖는다.

한 활용에 따르면, 주어진 리포트에 대해, 결합된 개요의 생성은, 이 리포트의 듀레이션(duration)이 결정된 값보다 큰 경우에만 발생한다. 이러한 방식으로, 라운드업은 중요하지 않은 리포트와 결합된 개요에 의해 혼란스럽게 되지 않는다. 한 활용에 따르면, 다수의 리포트는 동일한 시퀀스로 접합(concatenate)되고, 이 시퀀스는 적어도 일 부분이 국부적으로 생성된 개요와 결합된다. 이러한 방식으로, 다수의 리포트를 모음으로써 개요의 수를 제한하는 것이 가능하다. 한 활용에 따르면, 접합된 리포트들은, 결정된 값보다 작은 듀레이션, 또는 특정 테마와 같은 특정한 특성을 갖는다. 그 결과, 특정의 결합된 개요를 생성하기 위해 다수의 리포트를 그룹화하는 것은 사용자에게 있어 유효하다.

한 활용에 따르면, 내비게이션 동안, 장치는, 장치에 의해 생성된 라운드업 부분의 시청 동안 시각적 인디케이션(indication)을 디스플레이한다. 이러한 방식으로, 사용자는, 이 개요가 최초 도큐먼트가 아니며 자신의 장치에 의해 생성된 것임을 알게 된다.

본 발명은 또한, 중앙 처리 유닛, 시청각 도큐먼트의 저장 수단에 기록된 시청각 도큐먼트의 적어도 부분들을 재생하는 수단, 및 선택 명령들의 수신 수단을 포함하는 시청각 수신기로서, 상기 도큐먼트는 복수의 부분으로 분할된 라운드업 및 복수의 리포트를 포함하고, 상기 라운드업의 각 부분과 리포트를 결합시키기 위한 수단과, 라운드업 부분과 결합되지 않은 적어도 하나의 리포트의 개요를 생성하기 위한 수단 - 상기 개요는 이 리포트로부터 추출된 시청각 시퀀스의 적어도 하나의 픽처로 구성됨 - 과, 상기 도큐먼트의 새로운 라운드업에 이에 따라 생성된 개요를 통합시키는 저장 수단을 포함하고, 상기 생성된 라운드업 부분에서 활성화되는 선택 명령의 도입은 대응하는 리포트의 재생을 개시시키는 것을 특징으로 한다.

이제, 첨부 도면을 참조하여 한 예로서 주어지는 실시예들에 대한 아래 기술의 범위 내에서, 본 발명의 다른 특성들 및 장점들이 보다 상세하게 개시될 것이다.

도 1은 본 발명의 구현을 위한 시청각 수신기의 블록도이다.

도 2는 내비게이터에 의해 수행되는 메인 단계들의 플로차트이다.

도 3a 및 3b는 새로운 개요의 생성 전후 기록된 도큐먼트의 분할을 도시하는 도면이다.

도 4는 이전에 분할되고 나누어진 도큐먼트에서의 내비게이션을 가능하게 하는 스크린의 외관을 나타내는 도면이다.

먼저, 디스플레이 장치(2)가 장착된 시청각 수신기(1)의 동작에 대해 설명될 것이다. 수신기는 프로그램 메모리(12)에 연결된 중앙 처리 유닛(3), 및 오디오/비디오 데이터가 실시간으로 송신될 수 있게 하는 높은 비트 레이트의 로컬 디지털 버스(6)와 통신하기 위한 인터페이스(5)를 포함한다. 이 네트워크는 예를 들어 IEEE 1394 네트워크이다. 수신기는, 복조기(4)와 결합된 수신기 안테나를 통해 방송 네트워크로부터 오디오/비디오 데이터를 또한 수신할 수 있다. 수신기는, 리모트 컨트롤(8)의 신호를 수신하는 적외선 신호 수신기(7), 다운로드된 데이터의 저장을 위한 메모리(9), 및 텔레비전 스크린(2)에 보내지는 시청각 신호의 생성을 위 한 오디오/비디오 디코딩 로직(10)을 또한 포함한다. 일 실시예에 따르면, 메모리(9)는 시청각 도큐먼트가 기록될 수 있게 하는 대용량의 하드 디스크이다. 다른 실시예에 따르면, 시청각 도큐먼트는 콤팩트 디스크 또는 DVD 디스크와 같은 분리형 서포트(support)에 포함되고, 이 서포트는 수신기에 결합된 판독기 주변 장치(도 1에 미도시됨)에 삽입된다. 리모트 컨트롤은 방향 버튼 ↑, ↓, → 및 ←와 적어도 하나의 "OK" 버튼을 갖는다. 바람직한 실시예에 따르면, 이 방향 화살표는 커서가 스크린 주변을 이동할 수 있게 하고, 사용자에게 액세스가능한 명령은 아이콘(icon)의 형태로 보여지고, 사용자가 요구되는 명령에 대응하는 아이콘에 위치한 커서의 "OK"를 누르면 그 명령이 활성화된다.

수신기는, 종종 OSD("On Screen Display") 회로로 불리는, 스크린 상의 데이터의 디스플레이 회로(11)를 또한 포함한다. OSD 회로(11)는, 메뉴, 픽토그램(pictogram)(예를 들어, 디스플레이된 채널에 대응하는 넘버)의 온 스크린 디스플레이를 가능하게 하고, 본 발명에 따라 내비게이팅 메뉴를 디스플레이할 수 있는 텍스트 및 그래픽 생성기이다. OSD 회로는 중앙 처리 유닛(3) 및 내비게이터(12)에 의해 제어된다. 내비게이터(12)는 유익하게 읽기용 메모리에 기록된 프로그램 모듈의 형태로 실현된다. 또한, 예를 들어 ASIC형 특수 회로의 형태로 실현될 수도 있다.

디지털 버스(6) 및/또는 방송 네트워크는 시청각 도큐먼트를 포함하는 데이터를 네트워크에 송신한다. 가능한 경우, 이들 도큐먼트는 디스크립티브(descriptive) 데이터와 결합된다. 이 데이터는 방송 네트워크로부터 또는 디지 털 네트워크(6)로부터 얻어진다. 디스크립티브 데이터는 특히 도큐먼트의 상이한 세그먼트를 정의하는 분할 정보를 포함한다. 유익하게, 디스크립티브 데이터는 도큐먼트의 정교한 분류를 가능하게 하고, 적어도 하나의 제목이 각각의 세그먼트에 주어지게 하는 텍스트를 포함한다. 디스크립티브 데이터는 예를 들어 DVB-SI 표준에 의해 지정된 서비스 정보에 포함되고, 이 데이터는 수신기의 메모리(9)에 기록된다. 내비게이터는 이를 추출하여 내비게이션을 조종한다.

메인 구성요소를 제공한 후, 이들이 어떻게 함께 동작하는지에 대해 설명될 것이다. 도 2는 본 발명의 일 실시예에 따른 메인 단계들의 플로차트를 제시한다. 처음으로(단계 2.1), 도큐먼트는 디지털 네트워크(6)로부터 또는 방송 네트워크로부터 다운로드되고, 메모리(9)에 기록된다. 때때로, 사용자는 이 도큐먼트가 라운드업 및 리포트의 세트를 포함한다는 것을 나타낸다. 통상적으로, 이 도큐먼트는 텔레비전 뉴스 프로그램이고, 이는 다큐멘터리, 다수의 트라이얼(trial)로 구성되는 게임, 또는 일반적으로, 도큐먼트에 포함된 라운드업에 제공되는 복수의 시퀀스를 포함하는 임의의 비디오 또는 오디오 도큐먼트가 될 수 있다. 도큐먼트를 마킹하는 것은 도큐먼트를 분석하고 도큐먼트의 라운드업을 보강하도록 설계된 프로그램의 실행을 시작시킨다.

도큐먼트가 그 분할 데이터와 함께 수신되지 않으면, 프로그램은, 리포트 및 이 리포트를 제공하는 라운드업 부분을 도큐먼트에 배치하는 소프트웨어 분할 모듈을 이용해서 도큐먼트에 있어서의 배치를 결정한다.

단계 2.2에서, 도큐먼트는 복수의 리포트 시퀀스로 분할된다. 문헌의 다수 의 방법은 이 문제에 대한 해결법을 제시한다. 예를 들어, 가능한 기법은, 비디오 샷으로의 분할에 이어서, 통상적으로 텔레비전 뉴스 프로그램의 프리젠터인 결정된 픽처를 나타내는 반복(recurrent) 샷을 식별하는 것으로 구성된다. 프리젠터의 2개의 표시(appearance) 사이에 존재하는 상이한 샷들은 리포트를 특성화하는 동일한 비디오 세그먼트로 그룹화된다. 다른 예에서, 비디오 시퀀스는 샷들로 분할된 다음, 샷들은 샷의 콘텐츠의 시각적 유사성 및 샷의 시간적 근접성에 기초하여 씬들로 그룹화된다. 오디오 성분은 음향 환경(풋볼 경기, 환경 다큐멘터리, 또는 정치가의 최후 조정에 대한 리포트는 상이한 특징을 갖는다), 또는 자신의 리포트를 해설하는 동일한 리포터의 음성의 연속성을 분석함으로써 관찰될 수 있다. 프리젠터의 2개의 표시 사이에 존재하는 상이한 샷들은 리포트를 특성화하는 동일한 비디오 세그먼트로 그룹화된다. 이 모듈의 출력에서, 프리젠터를 포함하는 샷의 리스트뿐만 아니라 리포트의 리스트도 그에 따라 얻어진다.

통상적으로, 세그먼트들 간의 시각적 유사성은, 세그먼트로부터 추출된 "키 픽처"의 작은 세트에 의해 각각의 세그먼트를 나타내고, 이 픽처들의 시각적 속성들 간의 지각 거리를 평가함으로써 평가된다. 이용된 속성은 예를 들어 주 컬러의 분포 또는 그래디어언트(gradient) 분포일 수 있다. 이 첫 번째 프로세싱에 후속해서, 새로운 프로그램이 리포트들로 분할되고, 이 리포트들 중 하나는 라운드업이다.

단계 2.3 동안, 프로그램은 도큐먼트에 라운드업을 배치하고, 이를 시각적 아이덴티티를 제공하는 부분들로 분할한다. 하나의 가정은, 라운드업이 텔레비전 뉴스 프로그램의 개시에서 발견되는 것을 고려하는 것으로 구성된다(메인 표제들을 상기시키기 위해서 뉴스 프로그램의 말단에서 라운드업이 재방송되는 다른 가정이 또한 가능하다). 라운드업의 픽처에 대한 검색은, 예를 들어, 다음의 상이한 가정들에 따라 수행될 수 있다.

- 라운드업의 픽처가 프리젠터의 좌측 상부 또는 우측 하부에 일반적으로 위치하는 직사각형 섬네일을 포함한다,

- 라운드업이, 비디오 클립의 연속 형태의 프리젠터의 표시 전에 뉴스 프로그램의 개시에서 방송된다.

다른 시각적 인식 기법들이 존재한다. 예를 들어, 제1 리포트를 앞서는 모든 샷들의 선택이 우선 수행된다. 이들 모든 샷에 대해, 각 샷의 모든 픽처에 대해 섬네일의 검출이 구현된다. 이 검출은, 섬네일이 픽처의 일 부분에 나타난다는 사실에 기초할 수 있고, 픽처의 나머지는 거의 고정되어 유지된다. 예를 들어, 수학적 형태론에 의해 직사각형 형태의 검출과 관련된 연속 픽처들 간의 차이로부터 얻어지는 픽처의 사용에 기초한 알고리즘을 사용할 수 있다.

라운드업이 도큐먼트의 시작에 존재하고, 리포트의 픽처들이 픽처에 삽입되는 것으로 나타나지 않고 전체 스크린에 삽입되는 것으로 나타나면, 다음 사실에 기초한 검출 방법을 사용할 수 있다.

- 프리젠터는 라운드업을 수반하는 구두 개요를 제공한다. 이는 스피커 분할이 이용될 수 있게 하여, 프리젠터가 말하고 있지만 가시적이지는 않은 픽처가 선택된다.

- 라운드업은 일반적으로 프리젠터의 제1 표시와 크레딧(credit) 사이에 포함된다. 이 경우, 음악 트랙의 검출 또는 크레딧의 이전 지식에 기초한 크레딧의 검출은, 크레딧이 아닌 모든 것으로서 라운드업이 발견될 수 있게 한다.

동작 변형에 따르면, 단계 2.2 및 2.3의 실행 순서는 역전될 수 있다. 기록된 도큐먼트의 분석의 개시에서, 수신기는 먼저 기록된 도큐먼트의 픽처들 간의 유사성을 검색한다. 이를 위해, 도큐먼트는 시퀀스 샷들로 분할되고, 시퀀스 샷은 시각적 연속성을 나타낸다. 그 다음, 시퀀스 샷은 서로 비교되어, 유사성의 레벨이 계산된다. 이 레벨이 결정된 임계치를 초과하면, 분석된 시퀀스 샷 또는 영상은 두 개씩 결합된다. 이 비교는 픽처뿐만 아니라 픽처의 부분들도 또한 커버한다. 실제로, 뉴스 프로그램은 전경에 프리젠터와 함께 라운드업을 제공할 수 있고, 대응하는 리포트의 소정 픽처를 삽입으로 제공할 수 있다. 비교 모듈은, 작은 픽처를 포함하는 삽입의 존재를 스크린상에 존재하는 픽처에서 검출하고, 이 픽처를 이용해서 비교를 수행한다.

이와 같은 유사성의 첫 번째 평가 단계에 후속해서, 수신기는, 또 다른 시퀀스 샷과의 유사성에 의해 마킹되는 시퀀스 샷을 나타내는 시퀀스 샷의 분포를 분석한다. 수신기는, 도큐먼트의 다른 시퀀스 샷과의 유사성에 있어서 최고 집중도를 갖는 적어도 하나의 시퀀스 샷의 그룹을 결정한다. 이 그룹이, 라운드업에 대한 통상의 장소인, 기록된 도큐먼트의 개시 또는 말단에 위치하지 않으면, 이 방법은 적용될 수 없다. 반대의 경우, 그룹을 이루는 모든 시퀀스 샷들은 실제로 라운드업을 구성하고, 도큐먼트의 나머지는 리포트의 세트로서 고려된다. 프리젠터가 라 운드업의 픽처에 존재하지 않고, 라운드업의 픽처들이 어떤 특별한 특성을 포함하지 않으면, 이 방법은 명백하게 적용될 수 있다.

리포트 및 라운드업이 일단 검출되면, 단계 2.4는 라운드업의 각 부분과 각 리포트 사이에 존재하는 유사성을 검출할 수 있다. 이 방법은 라운드업의 픽처를 리포트의 픽처와 비교하는 단계로 구성된다. 거리의 측정과 결합된 픽처의 속성 특징을 추출하는 전통적인 기법은, 유사성의 측정이 라운드업의 결합을 가능하게 하면서 제공되게 하고, 리포트 픽처들이 역추적될 수 있게 한다. 다수의 경우, 결합된 리포트들의 비디오 개요에 의해 라운드업이 구성되는 것을 고려할 수 있고, 본 발명은 유익하게 시간적 성분을 이용해서 픽처 매칭 프로세스가 보다 강력하게 되도록 한다. 예를 들어, 라운드업에서의 리포트들의 프레젠테이션(presentation) 순서는 일반적으로 뉴스 프로그램의 리포트들 중 하나와 동일하다. 따라서, 유사성을 나타내는 2개의 픽처가 동일한 순서로 제시되고, 일부 픽처는 라운드업에 존재하고 다른 픽처는 리포트에 존재하면, 유사성의 측정 양은 증가한다.

도큐먼트는 이제 분할되고, 라운드업 부분과 리포트 간의 결합이 실현된다. 단계 2.5 동안, 프로그램은 각각의 리포트가 라운드업에 제시되는지를 검사한다. 이를 위해, 도큐먼트의 각 구성요소가 인덱싱될 수 있게 하는 도큐먼트의 인덱스 표가 메모리(9)에 생성되고, 여기에서는, 콘텐츠의 연표(chronology)가 도 3a에 도시된 도큐먼트에 대응하는 표가 예시된다.

리포트 번호	1	2	3	4	5
리포트 인덱스	1'05"	5'23"	7'18"	11'04"	13'25"
라운드업의 인덱스	0'0"	0'15"	---	0'30"	0'48"

상기 예에서, 리포트 번호 3은 라운드업에 제시되지 않는다. 단계 2.5의 말 단에서, 프로그램은 라운드업 부분과 결합되지 않은 모든 리포트들을 식별한다.

단계 2.6에서, 프로그램은 자동적으로 개요를 생성하고, 현재 라운드업의 일 부분에 결합되지 않은 리포트들에 대해서는 짧게 생성하는 것이 바람직하다. 이를 행하기 위해서, 프로그램은 시청각 또는 비디오 시퀀스로 접합된 리포트(비디오 세그먼트 또는 키 픽처)의 소정 수의 추출을 선택한다. 바람직한 실시예에 따르면, 리포트 추출의 선택은 리포트의 각 샷을 수 초간 취함으로써 수행된다. 수 초의 듀레이션은 리포트 샷의 시각적 및/또는 오디오 콘텐츠를 분석함으로써 변한다. 예를 들어, 샷은 얼굴의 존재를 포함하거나, 또는 최소 움직임의 비디오 세그먼트 등을 포함해야만 한다. 또 다른 방식의 수행은, 프리젠터의 윤곽을 포함하는 리포트의 시퀀스 샷만을 취하는 것으로 구성된다. 또 다른 방식의 수행은, 강한 사운드 파워를 갖는 리포트의 시퀀스 샷만을 취하는 것으로 구성되고, 이러한 개선은 스포츠 리포트들을 라운드업하는 데 특히 유용하다.

단계 2.7에서, 프로그램은 최초(initial) 라운드업에 자동적으로 생성된 개요들을 부가함으로써 최초 라운드업을 수정한다. 유익하게, 이 개요들의 비디오 콘텐츠는, 이 부분들이 기록된 도큐먼트에 국부적으로 부가된다는 것을 이러한 방식으로 사용자에게 알리는 아이콘에 의해 마킹된다. 간단한 방식으로, 생성된 개요의 부가는 현재 라운드업의 말단에서 수행될 수 있다. 이에 따라 라운드업 부분을 부가하는 것으로 구성되는 변형이 도큐먼트내의 리포트들의 표시의 순서로 생성된다. 라운드업 부분이 이미 리포트와 동일하지 않은 순서로 존재하면, 주어진 리포트에 대해 생성된 개요는, 도큐먼트에서의 이전 리포트에 대응하는 라운드업 부 분 후에 배치된다. 단계 2.7의 말단에서, 모든 자동적 개요는 도큐먼트 자체의 라운드업에 삽입된다. 도큐먼트의 인덱스 표는 각각의 리포트에 대해 라운드업 부분을 결합시키고, 여기에서는, 콘텐츠의 연표가 도 3b에 도시된 도큐먼트에 대응하는 표가 예시된다.

리포트 번호	1	2	3	4	5
리포트 인덱스	1'25"	5'43"	7'38"	11'24"	13'45"
라운드업의 인덱스	0'0"	0'15"	0'30"	0'50"	1'08"

상기 표에서, 20초의 시간의 개요가 리포트 3에 대해 생성된 것이 보여지고, 이에 따라, 개요 및 리포트의 후속 부분은 이 시간으로 시프트된다. 전체적으로, 기록된 도큐먼트의 듀레이션은 프로그램에 의해 생성된 개요들의 전체 듀레이션에 의해 증가된다.

도 3a는 도큐먼트의 분할 및 라운드업 부분과 리포트 간의 유사성의 결정을 도시한다. 단계 2.2 및 2.3에 후속해서, 프로그램은, 시청각 도큐먼트가 5개의 리포트가 후속하는 4개의 부분을 갖는 라운드업을 포함한다고 결정한다. 단계 2.4 동안 라운드업 부분과 리포트 간의 유사성을 분석함으로써, 프로그램은 라운드업 부분과 리포트 간의 4개의 결합을 설정할 수 있으며, 이는, 라운드업의 제1 부분과 제1 리포트, 라운드업의 제2 부분과 제2 리포트, 라운드업의 제3 부분과 제4 리포트, 라운드업의 제4 부분과 제5 리포트이다. 프로그램은 단계 2.5 동안 제3 리포트가 라운드업에 제시되지 않는다고 결정한다. 상술한 절차에 따라, 프로그램은 단계 2.6 동안 자동적으로 제3 리포트의 개요를 생성한다. 이 생성, 및 단계 2.7에서의 라운드업으로의 결합에 후속해서, 도 3b는 5개의 개요 부분을 갖는 도큐먼 트의 분할을 도시하고, 이들 각각은 5개의 리포트 중 하나와 결합된다.

일 활용에 따르면, 주어진 리포트에 대해, 상기 리포트의 듀레이션이 결정된 듀레이션보다 큰 경우에만 결합된 개요가 생성된다. 실제로, 뉴스 프로그램은 일반적으로 매우 짧은 시간에 관련된 사소한 뉴스 아이템을 포함한다. 따라서, 훨씬 더 짧은 개요의 생성은 거의 어렵고, 더욱이, 이 리포트들의 중요성이 라운드업에서의 이들의 소개를 정당화하지 않는다고 고려될 수 있다. 이러한 방식으로, 일반적으로 15초인 주어진 값보다 작은 듀레이션의 리포트에 대해, 프로그램은 개요를 생성하지 않는다. 일 활용에 따르면, 짧은 듀레이션의 리포트들은 교대로 연결 및 접합된다. 이러한 방식으로, 이 리포트들이 더 긴 듀레이션을 갖는 리포트들 사이의 도큐먼트 내에 분포되더라도, 이 리포트들은 동일한 명령에 의해 교대로 선택되고 시청될 수 있다. 모든 짧은 리포트들은 예를 들어 "in brief"와 같은 일반적인 텍스트를 디스플레이하는 스크린 페이지와 결합된다. 사용자는 이 페이지를 활성화함으로써 모든 짧은 리포트들의 시청을 개시한다.

주어진 개요와 리포트를 결합하도록 짧은 듀레이션의 리포트를 선택하는 기준은 일 예로서만 주어진다. 또한, 라운드업에 참조되지 않는 리포트의 테마를 결정할 수 있고, 동일한 라운드업 부분과 리포트를 결합함으로써, 예를 들어, 스포츠와 같은 동일한 테마의 리포트들을 재편성할 수 있다. 이 라운드업 부분은 오리지널 도큐먼트에 이미 존재할 수 있고, 프로그램은 예를 들어 테마명을 디스플레이하는 비디오 시퀀스를 부가한다.

사용자는 이제 도큐먼트를 내비게이션하고, 라운드업 부분으로부터 결합된 리포트로 그리고 그 역으로 용이하게 이동할 수 있다. 사용자 인터페이스는 도큐먼트 내의 이러한 내비게이션을 가능하게 한다. 도 4는 이전에 분할된 비디오 도큐먼트 내의 내비게이션에 대한 스크린 표시를 나타내고, 그 내비게이션 링크는 리포트와 라운드업 부분 간에 설정되어 있다.

도 4는 기록된 비디오 도큐먼트의 시청 동안의 스크린의 일 예를 도시한다. 비디오 콘텐츠는 배경에 표시되고, 명령 배너(50)는 스크린의 바닥에 표시된다. 북 형태의 아이콘(51)

은, 디스플레이된 비디오 콘텐츠가 라운드업으로부터 추출되었다는 것을 지시하도록 표시되고, 카메라 형태의 아이콘

은, 비디오 콘텐츠가 뉴스 프로그램의 리포트 부분으로부터 추출되었다는 것을 지시하도록 표시된다. 배너는 사용자에게 제안되는 다음의 명령 아이콘을 포함한다:

- 대응하는 라운드업/리포트 교환 (52)

- 라운드업 또는 리포트의 시작으로 돌아감 (53)

- 라운드업 추출 또는 이전 리포트로 건너 뜀 (54)

- 라운드업 추출 또는 다음 리포트로 건너 뜀 (54)

- 프레임 고정 (56)

- 정상/느린 움직임 속도로 시청 (57)

- 연속/리포트 바이 리포트 모드 (58)

제1 명령(52)은, 라운드업 추출을 시청함으로써, 대응하는 리포트가 시청될 수 있게 한다. 디폴트로서, 이는 시청되는 라운드업이다. 사용자가 임의의 명령 을 도입하지 않으면, 사용자는 뉴스 프로그램을 포함하는 메인 리포트의 주제를 신속하게 알 수 있다.

명령(58)은 리포트 또는 라운드업 추출이 시청될 수 있게 하고, 라운드업의 시청을 개시 또는 개시하지 않게 한다. 디폴트로서, 이는 연속 모드이며, 사용자가 대응하는 리포트를 시청하도록 명령(52)을 인에이블(enable)하면, 이 리포트뿐만 아니라 후속하는 리포트들도 뉴스 프로그램의 말단에서 시청된다. 사용자가 리포트/리포트 모드를 인에이블한 다음, 그 시청이 아이콘(52)의 활성화에 의해 개시된 리포트가 종료하면, 라운드업의 시청은 라운드업의 다른 부분을 시청함으로써 연속된다.

이 인터페이스를 사용해서, 사용자는, 주제가 사용자에게 관심 있는 것이라면, 라운드업 부분으로부터 대응하는 리포트로 건너뜀으로써 하나의 추출로부터 또 다른 추출로 내비게이션할 수 있다. 따라서, 이 방법은 픽처의 표시를 수정하기 위해, 또는 수신된 픽처로부터 다른 픽처를 생성하기 위해 픽처를 처리할 필요가 없으며, 이러한 방식으로 장치는 많은 계산 파워를 이용하지 않는다.

본 발명이 특별히 설명된 실시예들을 참조해서 기술되었지만, 본 발명은 이들 실시예로 한정되는 것은 아니며, 첨부된 청구항에 의해서만 한정된다. 당업자에 의해 변경 또는 수정이 이루어질 수 있다는 것을 이해할 것이다.

Claims

장치에 기록된 시청각 도큐먼트의 새로운 소개 라운드업(introductory roundup)을 생성하기 위한 방법으로서,

- 상기 도큐먼트를 2개의 부분 - 상기 2개의 부분 중 하나는 라운드업이고, 다른 하나는 복수의 리포트(report)로 구성됨 - 으로 분할하는 단계(2.2)와,

- 상기 라운드업을 복수의 부분으로 분할하는 단계(2.3)와,

- 라운드업 부분과 리포트 간의 결합에 대해 검색하는 단계(2.4) 및 라운드업 부분과 결합되지 않은 적어도 하나의 리포트를 검출하는 단계(2.5)와,

- 상기 리포트로부터 추출된 시청각 시퀀스의 적어도 하나의 픽처로부터, 라운드업 부분과 결합되지 않은 적어도 하나의 리포트에 대한 개요(summary)를 생성하는 단계(2.6)와,

- 이에 따라 생성된 상기 개요를 상기 새로운 라운드업에 통합시키는 단계(2.7)

를 포함하는 것을 특징으로 하는 새로운 라운드업 생성 방법.
제1항에 있어서,

상기 생성된 상기 개요를 상기 라운드업에 통합시키는 단계는 상기 리포트의 순서를 지키면서 수행되는 것을 특징으로 하는 새로운 라운드업 생성 방법.
제1항 또는 제2항에 있어서,

상기 개요를 생성하는 단계는 시청각 시퀀스의 적어도 하나의 픽처를 추출하는 단계를 포함하고, 상기 픽처는 프리젠터(presenter)의 윤곽(outline)의 존재와 같은 결정된 특성을 갖는 것을 특징으로 하는 새로운 라운드업 생성 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,

주어진 리포트에 대해, 상기 리포트의 듀레이션(duration)이 결정된 듀레이션보다 큰 경우에만, 결합된 개요의 생성이 발생하는 것을 특징으로 하는 새로운 라운드업 생성 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

동일한 시퀀스로 다수의 리포트를 접합(concatenation)시키는 단계를 포함하고, 이 시퀀스는 적어도 하나의 부분이 국부적으로 생성되는 개요와 결합되는 것을 특징으로 하는 새로운 라운드업 생성 방법.
제5항에 있어서,

상기 접합된 리포트들은, 결정된 값보다 작은 듀레이션, 또는 특정 테마와 같은 특정한 특성을 갖는 것을 특징으로 하는 새로운 라운드업 생성 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,

라운드업 부분의 시청 동안, 이 라운드업 부분이 국부적으로 생성되었다는 것을 나타내는 시각적 표시를 디스플레이하기 위한 단계를 포함하는 것을 특징으로 하는 새로운 라운드업 생성 방법.
중앙 처리 유닛(3), 시청각 도큐먼트의 저장 수단(9)에 기록된 시청각 도큐먼트의 적어도 부분들을 재생하는 수단(10), 및 선택 명령들의 수신 수단(7, 8)을 포함하는 시청각 수신기로서,

상기 도큐먼트는 복수의 부분으로 분할된 라운드업 및 복수의 리포트를 포함하고,

상기 라운드업의 각 부분과 리포트를 결합시키기 위한 수단과,

라운드업 부분과 결합되지 않은 적어도 하나의 리포트의 개요를 생성하기 위한 수단(3, 12) - 상기 개요는 이 리포트로부터 추출된 시청각 시퀀스의 적어도 하나의 픽처로 구성됨 - 과,

상기 도큐먼트의 새로운 라운드업에 이에 따라 생성된 개요를 통합시키는 저장 수단(9)

을 포함하고,

상기 생성된 라운드업 부분에서 활성화되는 선택 명령의 도입은 대응하는 리포트의 재생을 개시시키는 것을 특징으로 하는 시청각 수신기.
제8항에 있어서,

상기 저장 수단(9)은, 상기 리포트의 순서를 지키면서, 새로운 라운드업에 상기 리포트의 개요를 통합시키는 것을 특징으로 하는 시청각 수신기.
제8항 또는 제9항에 있어서,

라운드업 부분과 결합되지 않은 리포트의 개요를 생성하기 위한 수단(3, 12)은, 시청각 시퀀스의 적어도 하나의 픽처를 추출하는 것으로 구성되고, 상기 픽처는 프리젠터의 윤곽의 존재와 같은 결정된 특성을 갖는 것을 특징으로 하는 시청각 수신기.
제8항 내지 제10항 중 어느 한 항에 있어서,

주어진 리포트에 대해, 상기 리포트의 듀레이션이 결정된 듀레이션보다 큰 경우에만, 결합된 개요의 생성이 발생하는 것을 특징으로 하는 시청각 수신기.
제8항 내지 제10항 중 어느 한 항에 있어서,

상기 저장 수단(9)은 다수의 리포트와 결합된 개요를 통합시키고, 선택 명령의 도입은 상기 다수의 리포트의 재생을 활성화시키는 것을 특징으로 하는 시청각 수신기.
제12항에 있어서,

단일 개요와 결합된 상기 리포트들은, 결정된 값보다 작은 듀레이션, 또는 특정 테마와 같은 특정한 특성을 갖는 것을 특징으로 하는 시청각 수신기.
제8항 내지 제13항 중 어느 한 항에 있어서,

상기 시청각 수신기는, 새로운 라운드업의 일 부분, 및 이 라운드업 부분이 국부적으로 생성되었다는 것을 나타내는 시각적 인디케이션(indication)을 디스플레이하는 디스플레이 수단을 포함하는 것을 특징으로 하는 시청각 수신기.