KR20100015716A

KR20100015716A - 제 １ 미디어 항목 및 제 ２ 미디어 항목의 동시 재생을 수행하기 위한 방법 및 장치

Info

Publication number: KR20100015716A
Application number: KR1020097021849A
Authority: KR
Inventors: 지스 젤레즌스; 요하네스 에이치. 엠. 코스트; 드라간 세쿠로프스키
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2007-03-21
Filing date: 2008-03-18
Publication date: 2010-02-12
Also published as: US20100131464A1; JP2010524280A; WO2008114209A1; CN101647016A; EP2130144A1

Abstract

제 1 및 제 2 미디어 항목들은 추출된 데이터 항목(들)을 기초로 동기화된다(단계 210). 복수의 제 2 미디어 항목들은 검색되고(단계 206), 리턴되고, 선택되어(단계 208) 제 1 미디어 항목의 재생 동안 추출된 데이터 항목(들)의 발생과 동시에 재생된다.

검색 엔진, 미디어 항목, 동기화기, 정규 표현, 컬러 맵핑

Description

제 １ 미디어 항목 및 제 ２ 미디어 항목의 동시 재생을 수행하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ENABLING SIMULTANEOUS REPRODUCTION OF A FIRST MEDIA ITEM AND A SECOND MEDIA ITEM}

본 발명은 제 1 미디어 항목 및 제 2 미디어 항목의 동시 재생을 수행하기 위한 방법 및 장치에 관한 것이다.

미디어 항목들은 뷰어(viewer)의 이익을 위해 재생되고 비쥬얼(visual) 및 오디오(audio) 자극 둘 다를 제공할 수 있다. 오디오 트랙(예를 들어, 노래) 같은 몇몇 미디어 항목들은 오디오 자극만을 제공하고 때때로 뷰어에게 즐거움을 증가시키기 위해 비쥬얼 자극 및 오디오 자극을 제공하는 것이 바람직하다.

음악, 또는 노래의 재생을 들으면서 재생될 이미지들, 정지(still) 또는 비디오 클립들을 제공하기 위한 많은 시스템들이 존재한다. 상기 이미지들은 음악이 재생될 때 디스플레이된다. 항상, 이미지들은 예를 들어 가사 또는 메타데이터(metadata)와 연관된 노래의 주제에 관련되도록 선택된다.

"구글-기반 정보 추출", G. Geleijnse, J. Korst, and V. Pronk, Proceedings of the 6th Dutch-Belgian Information Retrieval Workshop(DIR 2006), Delft, the Netherlands, March 2006에서, 검색 엔진을 사용하여 정보를 자 동으로 추출하기 위한 방법이 제공된다. 이것은 유명한 사람들에 대해 자동으로 추출된 전기들(biographies)로 구현된다. 각각의 엔트리에 디스플레이된 이미지들은 웹으로부터 자동으로 추출된다. 이런 방식으로, 이미지들은 의미론적으로(sematically) 텍스트에 의해 관련된다.

"A personalized music video creator", D.A.Shamma, B. Pardo, and K.J. Hammond. Musicstory, MULTIMEDIA'05: Proceedings of the 13th annual ACM international conference on Multimedia, pages 563-566, New York, NY, USA, 2005, ACM Press에서 발견된 예와 같은 다른 공지된 시스템들은 또한 노래의 가사로부터 이미지들을 자동으로 검색 및 디스플레이한다. 매우 일반적인 단어들('the(상기)', 'an(하나의)', 'all(모든)' 같은)과 별개로 가사의 각각의 단어는 순서화된 리스트에 배치된다. 리스트들의 모든 단어들은 질의들(queries)로서 구글 또는 야후! 같은 검색 엔진에 전송된다. 이런 서비스에 의해 리턴된 이미지들은 대응 용어들과 동일한 순서로 디스플레이된다.

그러나, 후자 시스템이 가지는 문제점은 예상된 만큼 뷰어의 즐거움을 증가시키지 못한다는 것이다.

본 발명은 미디어 항목들을 재생하는 사용자의 즐거움을 증가시키는 제 1 미디어 항목 및 제 2 미디어 항목의 동시 재생을 수행하기 위한 방법 및 장치를 제공하는 것이다.

이것은 본 발명의 한 측면에 따라, 제 1 미디어 항목 및 제 2 미디어 항목들을 동기화하기 위한 방법에 의해 달성되고, 상기 방법은 제 1 미디어 항목에 관련된 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계; 추출된 적어도 하나의 데이터 항목을 기초로 적어도 하나의 제 2 미디어 항목을 선택하는 단계; 선택된 적어도 하나의 제 2 미디어 항목이 제 1 미디어 항목의 재생 동안 추출된 적어도 하나의 데이터 항목의 발생과 동시에 재생되도록 제 1 미디어 항목과 선택된 적어도 하나의 제 2 미디어 항목을 동기화하는 단계를 포함한다. 상기 제 1 미디어 항목에 관련된 데이터는 제 1 미디어 항목의 일부이거나 제 1 미디어 항목으로부터 분리되어 저장된다.

이것은 제 1 미디어 항목 및 제 2 미디어 항목을 동기화하기 위한 장치에 의해 본 발명의 제 2 측면에 따라 달성되고, 상기 장치는 제 1 미디어 항목에 관련된 데이터로부터 데이터 항목을 추출하기 위한 추출기; 상기 추출된 데이터 항목을 기초로 적어도 하나의 제 2 미디어 항목을 선택하기 위한 선택기; 상기 선택된 적어도 하나의 제 2 미디어 항목이 제 1 미디어 항목의 재생 동안 추출된 데이터 항목의 발생과 동시에 재생되도록 상기 제 1 미디어 항목 및 상기 선택된 적어도 하나의 제 2 미디어 항목을 동기화하기 위한 동기화기를 포함한다.

이런 방식으로, 제 1 미디어 항목은 제 2 미디어 항목과 동기된다 예를 들어, 만약 제 1 미디어 항목이 노래이고 제 2 미디어 항목들이 정지 또는 비디오 이미지들이면, 가사가 노래될 때 대응 이미지가 재생되도록 노래 및 이미지들은 동기화된다.

본 발명의 한 실시예에서, 제 1 항목에 관련된 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계는 제 1 미디어 항목에 관련된 텍스트 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계를 포함한다.

본 발명의 실시예에 따라, 텍스트 데이터는 복수의 단어들 및 어구들을 포함하고 제 1 미디어 항목에 관련된 텍스트 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계는 복수의 단어들 및 어구들로부터 하나의 단어 또는 어구 중 적어도 하나를 추출하는 단계를 포함한다.

본 발명의 실시예에 따른 바람직한 방법에서, 텍스트 데이터는 적어도 하나의 적당한 이름, 명사 또는 동사를 포함한다.

본 발명의 상기 실시예에 따라, 복수의 단어들 및 어구들로부터 하나의 단어 또는 어구 중 적어도 하나를 추출하는 단계는 복수의 단어들 각각의 역할을 식별하는 단계; 및 복수의 단어들의 식별된 역할을 기초로 복수의 단어들로부터 하나의 어구를 추출하는 단계를 포함한다. 이런 방식으로, 전체 어구들은 추출될 수 있다. 즉, "집들의 행들" 또는 "하이 테크 캠퍼스" 같은 복수 단어들은 인식되고, 추출되는 보다 관련된 이미지들을 유도한다.

본 발명의 대안적인 실시예에서, 제 1 미디어 항목에 관련된 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계는 상기 제 1 미디어 항목에 관련된 상기 데이터의 각각의 데이터 항목의 발생 빈도를 결정하는 단계; 및 상기 제 1 미디어 항목에 관련된 상기 데이터의 보다 덜 빈번하게 사용된 데이터 항목을 추출하는 단계를 포함한다. 이런 방식에서, 보다 관련된 데이터 항목들은 추출된다. 예를 들어, 만약 데이터 항목들이 단어들로 이루어지면, 매우 빈번하게 사용되는 "the(상기)", "it(그것)", "he(그)", "a(하나)" 같은 단어들은 추출되지 않고, 보다 관련된 단어들만이 추출되어, 보다 관련된 이미지들을 유도한다.

본 발명의 다른 실시예에서, 제 1 미디어 항목에 관련된 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계는 상기 제 1 미디어 항목의 상기 데이터의 일부로부터 복수의 데이터 항목들을 추출하는 단계; 및 추출된 적어도 하나의 데이터 항목을 기초로 적어도 하나의 제 2 미디어 항목을 선택하는 단계는 복수의 추출된 데이터 항목들 각각을 기초로 복수의 제 2 미디어 항목들을 검색하는 단계; 및 복수의 추출된 데이터 항목들 각각에 대한 검색된 제 2 미디어 항목들의 가장 관련된 것을 선택하는 단계를 포함한다.

본 발명의 상기 실시예에 따른 바람직한 실시예에서, 상기 제 1 미디어 항목의 상기 데이터의 일부로부터 복수의 데이터 항목들을 추출하는 단계는 이름, 명사, 동사들, 또는 길이의 기준 중 하나를 기초로 복수의 데이터 항목들을 우선순위화하는 단계를 추가로 포함한다. 이런 방식에서, 보다 중요한 데이터 항목들을 추출될 수 있다.

본 발명의 다른 실시예에서, 추출된 적어도 하나의 데이터 항목을 기초로 적어도 하나의 제 2 미디어 항목을 선택하는 단계는 제 1 미디어 항목을 적어도 하나의 세그먼트로 분할하는 단계; 상기 적어도 하나의 세그먼트에 관련된 상기 데이터로부터 추출된 적어도 하나의 데이터 항목을 기초로 복수의 제 2 미디어 항목들을 선택하는 단계; 복수의 제 2 미디어 항목들 각각의 재생의 시간 기간을 결정하는 단계; 적어도 하나의 세그먼트의 시간 기간을 결정하는 단계; 및 세그먼트 내에서 재생될 복수의 제 2 미디어 항목들의 수를 선택하는 단계를 포함한다. 이런 방식에서, 제 2 미디어 항목들의 최적 수는 각각의 세그먼트 내에서 재생될 수 있다.

본 발명의 다른 실시예에서, 상기 방법은 선택된 적어도 하나의 제 2 미디어 항목에서 주 컬러(dominant color)를 식별하는 단계를 추가로 포함한다. 이런 방식에서, 제 2 미디어 항목들에 가장 관련되고 따라서 제 1 미디어 항목에 관련된 컬러는 식별된다. 예를 들어, 만약 제 1 미디어 항목이 노래였다면, 노래 가사 또는 제목과 가장 관련된 컬러가 식별된다.

본 발명의 한 실시예에 따라, 제 1 미디어 항목 및 선택된 적어도 하나의 제 2 미디어 항목을 동기화하는 단계는 식별된 주 컬러가 제 1 미디어 항목의 재생 동안 추출된 적어도 하나의 데이터 항목의 발생과 동시에 디스플레이되도록 제 1 미디어 항목 및 식별된 주 컬러를 동기화하는 단계를 포함한다. 이런 방식에서, 가장 관련된 컬러는 대응 데이터 항목이 재생되는 것과 동시에 디스플레이된다.

본 발명의 대안적인 한 실시예에서, 상기 방법은 추출된 적어도 하나의 데이터 항목에 컬러의 맵핑(mapping)을 수동으로 정의하는 단계를 추가로 포함한다.

본 발명의 상기 실시예에 따라, 제 1 미디어 항목 및 선택된 적어도 하나의 제 2 미디어 항목을 동기화시키는 단계는 컬러의 정의된 맵핑이 제 1 미디어 항목의 재생 동안 추출된 적어도 하나의 데이터의 발생과 동시에 디스플레이되도록 제 1 미디어 항목 및 정의된 컬러 맵핑을 동기화하는 단계를 포함한다.

제 1 미디어 항목이 재생될 때 컬러들은 변화하고 이들 다른 컬러들 사이의 전이들은 사용자에게 가시적으로 보다 기쁘게 바람직하게 부드럽다.

본 발명의 한 실시예에 따라, 제 1 미디어 항목 및 제 2 미디어 항목은 오디오 데이터 스트림, 비디오 데이터 스트림, 이미지 데이터, 또는 컬러 데이터 중 하나이다.

본 발명의 보다 완전한 이해를 위해, 첨부 도면들과 관련하여 다음 상세한 설명이 참조된다.

도 1은 본 발명의 한 실시예에 따른 장치의 간략화된 개략도이다.

도 2는 본 발명의 한 실시예에 따른 제 1 미디어 항목 및 제 2 미디어 항목의 동시 재생을 수행하기 위한 방법의 흐름도이다.

도 3은 본 발명의 한 실시예에 따른 가장 관련된 제 2 미디어 항목들을 검색하는 처리의 흐름도이다.

도 4는 본 발명의 다른 실시예에 따라 제 1 미디어 항목 및 컬러의 재생을 수행하기 위한 방법의 흐름도이다.

도 1을 참조하면, 본 발명의 장치(100)는 제 1 미디어 항목의 입력에 대한 입력 단자(101)를 포함한다. 입력 단자(101)는 추출기(102)에 접속된다. 추출기(102)의 출력은 저장 수단(108)으로부터 제 2 미디어 항목(들)을 검색 및 선택하기 위하여 선택기(103)에 접속된다. 저장 수단은 예를 들어 로컬 디스크 드라이브 상의 데이터베이스, 또는 원격 서버상의 데이터베이스를 포함할 수 있다. 저장 수단(108)은 전용 네트워크 또는 인터넷을 통해 액세스될 수 있다. 선택기(103)의 출력은 동기화기(105)에 접속된다. 동기화기(105)는 또한 입력 단자(101)에 접속된다. 동기화기의 출력은 장치(100)의 출력 단자(106)에 접속된다. 출력 단자(106)는 렌더링(rendering) 디바이스(107)에 접속된다. 장치(100)는 예를 들어 고객 전자 디바이스, 예를 들어 텔레비젼 또는 PC일 수 있다. 저장 수단(108)은 예를 들어 하드 디스크, 광학 디스크 유니트 또는 고체 메모리일 수 있다. 메모리 단자(101), 추출기(102), 선택기(103) 및 동기화기(105)는 예를 들어 소프트웨어로 구현된 기능들일 수 있다.

도 1의 장치(100)의 동작은 이하 도 2 내지 도 4를 참조하여 기술될 것이다. 제 1 미디어 항목은 입력 단자(101) 상에, 도 2의 단계(202), 그리고 추출기(102) 상에 입력된다. 제 1 미디어 항목은 예를 들어 오디오 데이터 스트림, 비디오 데이터 스트림, 이미지 데이터, 또는 컬러 데이터일 수 있다. 추출기(102)는 제 1 미디어 항목으로부터 적어도 하나의 데이터 항목을 추출한다(단계 204).

데이터 항목은 예를 들어 노래와 연관된 가사인 제 1 미디어 항목과 연관된 텍스트 데이터(즉, 복수의 단어들 및 어구들)로부터 추출될 수 있다. 추출된 데이터 항목은 적당한 이름들, 명사들 또는 동사들로 이루어진 단어들 또는 어구들을 포함한다.

적당한 이름들은 예를 들어 "George W. Bush", "하이 테크 캠퍼스"일 수 있다. 적당한 이름들은 텍스트의 제목을 결정하고 이미지 또는 이미지들에 의해 표현되기에 적당하다. 이들 이름-개체들은 공지된 기술들 및 애플리케이션들을 사용하여 추출될 수 있다. 상기 기술들 및 애플리케이션들의 예들은 "A Maximum Entropy Approach to Named Entity Recognition", A. Brothwick, PhD thesis, New York University, 1999, and in "Named entity recognition using an hmm-based chunk tagger", G. Zhou and J. Su, Proceedings of the 40^th Annual Meeting of the Association for Computational Linguistics(ACL 2002), pages 473-480, Philadelphia, PA, 2002, and in "A framework and graphical development environement for robust nlp tools and applications", H. Cunningham, D. Maynard, K. Bontcheva, and V. Tablan, Proceedings of the 40^th Annual Meeting of the Association for Computational Linguistics(ACL 2002), Philadelphia, PA, 2002에서 발견될 수 있다. 추출 기술들 및 애플리케이션들이 제공된 예들로 제한되지 않는 것이 이해될 것이다. 대문자로 쓰여진 단어들의 시퀀스들을 추출하는 것과 같은 다른 적절한 대안들이 이용될 수 있다.

명사 어구들은 예를 들어 "큰 노란 택시" 및 "작은 빨간 콜벳" 같이 추출될 수 있다. 명사 어구는 복수의 단어들(예를 들어, 동사, 명사, 형용사) 각각의 역할을 우선 식별함으로써 복수의 단어들로부터 추출될 수 있다. 각각의 단어의 텍스트내의 역할은 "A simple rule-based part-of-speech tagger", E.Brill, Proceedings of the third Conference on Applied Natural Language Processing(ANLP'92), pages 152-155, Trento, Italy, 1992에 기술된 것처럼, "파트-오브-스피치 태거(part-of-speech tagger)"를 사용하여 식별될 수 있다. 하나의 어구는 복수의 단어들의 식별된 역할을 기초로 복수의 단어들로부터 추출될 수 있다. 대안적으로, 스피치 파트들의 정규 표현들은 텍스트로부터 명사 어구들을 추출하기 위하여 공식화된다. 예를 들어, 부사 다음에 1개 이상의 형용사 그 다음에 1개 이상의 명사(Adv·Adj⁺·Noun⁺)는 "Automatic recognition of multi-word terms: the c-value/nc-value method", K. Frantzi, S. Ananiado, and H. Mima, International Journal on Digital Libraries, 3:115-130, 2000에 개시된 바와 같이 용어를 기술하는 정규 표현이다.

동사들은 예를 들어 "스키타기", "운전", "발명"일 수 있다. 파트-오브-스피치 태거는 문장 내의 동사들을 식별하기 위해 사용될 수 있다. "to like", "to be", "to have" 같은 연결사들은 타부 리스트(tabu-list)를 사용하여 생략될 수 있다.

본 발명에 따라 단계(204)에서 제 1 미디어 항목으로부터 데이터 항목을 추출하기 위해 사용될 수 있는 복수의 가능한 방법들이 있다.

하나의 상기 방법은 데이터 항목을 추출하기 위해 통계적인 접근법을 사용한다. 상기 방법에서, 데이터 항목은 제 1 미디어 항목의 각각의 데이터 항목의 발생 빈도를 결정함으로써 추출된다. 예를 들어, 제 1 미디어 항목이 텍스트를 포함하고 데이터 항목이 단어인 것이 가정된다. 상기 실시예에서, 훈련 연결사(큰 표현 텍스트)는 텍스트에 발생하는 모든 단어 시퀀스들의 빈도들을 모으기 위해 사용된다. 이 접근법은 단일 단어 용어들(1-그램들(grams)), 두 개의 단어들(2-그램들)로 이루어진 용어들, 및 일반적으로 N-그램들(여기서 N은 통상적으로 최대 4이 다)에 사용된다. 상기 접근법의 한 예는 "Foundations of Statistical Natural Language Processing", C.D. Manning and H.Schuetze, The MIT Press, Cambridge, Massachusetts, 1999에서 발견될 수 있다. 상기 접근법에서, 가장 빈번하게 발생하는 N-그램들(예를 들어 "is", "he", "it")은 용어들로서 선택되도록 유용하지 않은 정지 용어(stop word)들로서 공지되었다. 일단 제 1 미디어 항목의 각각의 데이터 항목의 발생 빈도가 결정되었다면, 제 1 미디어 항목의 덜 빈번하게 사용된 데이터 항목은 추출된다.

본 발명에 따른 제 1 미디어 항목으로부터 데이터 항목을 추출하기 위한 다른 방법에서, 하위 및 상위 주파수 임계값은 할당되고 이들 임계값들 사이의 용어들은 추출된다(단계 204). 상위 및 하위 주파수 임계값들 사이의 용어들은 이미지들을 생성하기 위하여 사용되기에 적당한 어구들이다.

데이터 항목들을 추출하기 위한 (단계 204) 다른 기술은 데이터 항목들을 추출하고 이들 데이터 항목들을 이름들, 명사들, 동사들 또는 길이의 기준들 중 하나에 기초로 우선순위를 정하는 것이다. 예를 들어, 만약 데이터 항목들이 어구들이면, 상기 데이터 항목들은 길이를 기초로 우선순위가 정해지고, 보다 긴 어구들은 상기 보다 긴 어구들이 보다 중요한 것으로 고려되기 때문에 보다 짧은 어구들에 비해 우선순위로 정해진다.

추출된 데이터 항목은 추출기(102)로부터 출력되고 선택기(103)에 입력된다. 선택기(103)는 저장 수단(108)에 액세스하고 추출된 데이터 항목을 기초로 적어도 하나의 제 2 미디어 항목, 오디오 데이터 스트림들, 비디오 데이터 스트림들, 이미 지 데이터, 또는 컬러 데이터를 검색한다(단계 206).

가장 관련 있는 제 2 미디어 항목들을 검색하는 과정의 예(도 2의 단계 206)는 도 3을 참조하여 보다 상세히 기술될 것이다. 명확한 기술을 위해, 추출된 데이터 항목들이 어구들이고 검색될 제 2 미디어 항목들이 이미지들인 것이 가정된다. 이 실시예에서, 제 2 미디어 항목들은 이미지들의 공용 색인 저장소(예를 들어, "구글 이미지들")로부터 검색된다. 환언하면, 저장 수단(108)은 인터넷을 통해 액세스된다. 공용 색인 저장소가 순수하게 예로서 사용되는 것이 이해된다. 색인된 이미지들의 사적 수집부 같은 로컬 저장소는 또한 사용될 수 있다.

첫째, 각각의 어구 p에 대해 "p"에 대한 저장소는 인터넷을 통해 질의된다(단계 302). 인용 표시들은 완전한 어구를 검색하기 위하여 색인된 저장소에게 알린다. 그 다음 검색 엔진이 충분한 수의 결과들을 리턴했는지가 결정된다(단계 304). 검색 엔진이 충분한 수의 결과들을 리턴했다는 것이 결정되면, 발견된 이미지들은 추출 및 제출된다(단계 306).

그러나, 질의가 충분한 수의 결과들을 발생시키지 않으면, 결과들의 수는 결정된다(단계 310).

너무 적은 결과들이 있다(즉, 충분하지 않은 결과들)는 것이 결정되면, 질의는 넓혀진다(단계 312). 질의는 예를 들어 인용 표시들을 제거하고 p에 대해 질의하거나(어구의 각각의 단어가 독립적으로 검색됨) 또는 p에서 제 1 단어를 제거함으로써 넓혀질 수 있다. p의 제 1 단어는 최소 관련 용어로 가정된다. 일단 질의가 넓혀지면, 질의는 반복된다(단계 302).

다른 한편, 너무 많은 결과들(예를 들어, 색인된 저장소가 많은 히트들을 리턴하면)이 있다는 것이 결정되면, 질의는 좁혀진다(단계 314). 질의는 예를 들어 연속적인 어구들을 결합함으로써 좁혀질 수 있다. 일단 질의가 좁혀지면, 질의는 반복된다(단계 302).

처리는 검색 엔진이 충분한 수의 결과들을 리턴할 때까지 반복된다. 충분한 수의 결과들이 리턴되면, 발견된 이미지들은 추출되고 색인된 저장소에 의해 제공된다(단계 306). 제공된 이미지들은 질의에 대한 가장 관련된 이미지들을 결정하기 위해 분석될 수 있다(단계 308). 예를 들어, 가장 관련된 이미지는 복수 사이트들에 나타나는 것일 수 있다. 그러므로, 이미지가 대부분의 사이트들에 나타나는 것이 결정되고 이들은 선택 및 리턴된다.

다른 방법에서 제 2 미디어 항목들은 다음과 같이 선택된다. 제 1 미디어 항목은 세그먼트들로 분할되고 복수의 제 2 미디어 항목들(예를 들어, 이미지들)은 각각의 세그먼트에 대해 추출된 데이터를 기초로 검색된다(단계 208). 그 다음 세그먼트 내에서 재생될 복수의 제 2 미디어 항목들을 선택하는 것이 가능하다. 이것은 복수의 제 2 미디어 항목들 각각의 재생 시간 지속 기간 및 세그먼트의 시간 지속 기간을 결정함으로써 달성된다. 세그먼트 내에서 재생될 복수의 제 2 미디어 항목들의 수는 복수의 제 2 미디어 항목들의 재생 시간 지속 기간에 의해 분할된 세그먼트의 시간 지속 기간을 기초로 선택된다.

일단 제 2 미디어 항목들이 선택되면, 이런 선택은 동기화기(105)에 입력된다. 입력 단자(101) 상의 제 1 미디어 항목은 또한 동기화기(105)에 입력된다. 동기화기(105)는 선택된 제 2 미디어 항목이 제 1 미디어 항목의 재생 동안 대응하는 추출된 데이터 항목의 발생과 동시에 재생되도록 제 1 미디어 항목 및 선택된 제 2 미디어 항목(들)을 동기화한다(단계 210). 이런 방식에서, 예를 들어, 자동 비디오-클립은 노래의 재생 동안 대응하는 노래 가사의 발생과 동시에 선택된 이미지들이 디스플레이 되게 할 수 있다.

동기화 후, 동기화기(105)의 출력은 출력 단자(106) 상에 출력되고 컴퓨터 스크린, 프로젝터, TV, 스피커들과 결합한 컬러 램프들 등등과 같은 렌더링 디바이스(107) 상에서 재생된다.

본 발명의 다른 실시예는 도 4를 참조하여 지금 기술될 것이다. 본 발명의 대안적인 실시예에서, 선택된 제 2 미디어 항목들은 제 1 미디어 항목의 제목과 매칭하는 광 효과들을 생성하기 위해 추가로 사용될 수 있다. 예를 들어, 만약 제 1 미디어 항목이 노래이고 제 2 미디어 항목들이 이미지이면, 이미지들은 노래의 제목과 매칭하는 광 효과들을 생성하기 위해 사용될 수 있다.

본 발명의 대안적인 실시예에 따라, 도 2의 단계들(202 내지 208)은 우선 수행된다(단계 402).

다음, 선택기(103)는 선택된 제 2 미디어 항목들의 주 컬러를 식별한다(단계 404). 예를 들어, 추출된 제 2 미디어 항목들이 이미지들이면, 주 컬러는 이미지들로부터 식별된다. 그 다음, 만약 노래가 바다에 관련되면, 예를 들어 청색 컬러들은 이미지들을 지배하고 그러므로 식별될 것이다.

일단 주 컬러가 단계(404)에서 식별되면, 동기화기(105)에 입력된다. 동기 화기(105)는 제 1 미디어 항목 및 식별된 주 컬러를 동기화하여 식별된 주 컬러는 제 1 미디어 항목의 재생 동안 추출된 데이터 항목의 발생과 동시에 디스플레이된다(단계 406). 식별된 주 컬러는 컬러 램프들이 오디오를 강화하는 AmbiLight 애플리케이션들에 사용될 수 있다. 이전에 논의된 제 1 미디어 항목 및 선택된 제 2 미디어 항목들의 동기화가 디스플레이될 컬러들의 타이밍을 위해 추가로 사용될 수 있다는 것이 이해된다. 예를 들어, 청색의 주 컬러는 제 1 추출된 데이터 항목에 대해 검색된 제 2 미디어 항목들로부터 식별될 수 있고 적색의 주 컬러는 제 2 추출된 데이터 항목에 대해 검색된 제 2 미디어 항목들로부터 식별될 수 있다. 상기 경우, 컬러 청색은 제 1 추출된 데이터 항목의 발생과 동시에 디스플레이되고 컬러 적색은 제 1 미디어 항목의 재생 동안 제 2 추출된 데이터 항목의 발생과 동시에 디스플레이될 것이다.

대안적으로, 컬러의 맵핑은 추출된 데이터 항목에 수동으로 정의될 수 있다. 이 경우, 한 세트의 제 2 미디어 항목들로부터 주 컬러를 식별하는 단계(단계 404)는 제 1 미디어 항목 내에서 미리 결정된 수의 추출된 데이터 항목들이 생략된다. 대신, 컬러 맵핑은 미리 결정된 수의 추출된 데이터 항목들이 수동으로 정의된다. 예를 들어, 미리 결정된 추출된 데이터 항목들이 "자주색" 또는 "페러리" 같은 단어들이면, 사람이 단어들에 관련되는 컬러에 맵핑은 단계(404)에서 수동으로 정의될 수 있다.

일단 컬러의 맵핑이 선택기(103)에서 정의되면, 동기화기(105)에 입력된다. 동기화기(105)는 제 1 미디어 항목 및 컬러의 정의된 맵핑을 동기화하여 컬러의 정 의된 맵핑은 제 1 미디어 항목의 재생 동안 추출된 데이터 항목의 발생과 동시에 디스플레이된다(단계 406).

동기화 후, 동기화기(105)의 출력은 출력 단자(106) 상에 출력되고 렌더링 디바이스(107) 상에서 재생된다(단계 408).

제 1 미디어 항목이 재생될 때 컬러들은 변화한다. 상이한 컬러들 사이에서 이런 전이는 바람직하게 사용자에게 비쥬얼적으로 보다 큰 기쁨을 주도록 부드럽다.

비록 본 발명의 실시예들이 상기 상세한 설명에서 기술되고 첨부 도면들에 도시되었지만, 본 발명이 개시된 실시예들로 제한되지 않고, 다음 청구항들에 나타난 바와 같이 본 발명의 범위에서 벗어나지 않고 복수 변형될 수 있다는 것이 이해된다. 본 발명은 각각 및 모든 새로운 특성 피쳐 및 각각 및 모든 특성 피쳐들의 결합이 존재한다. 청구항들의 참조 번호는 보호 범위를 제한하지 않는다. "포함하기 위해(to comprise)" 동사의 사용 및 그의 활용형들은 청구항들에 언급된 것과 다른 소자들의 존재를 배제하지 않는다. 소자 앞의 조사 "a" 또는 "an"의 사용은 복수의 상기 소자들의 존재를 배제하지 않는다.

당업자에게 명백할 '수단'은 동작을 재생하거나 특정된 기능을 재생하도록 설계되고, 유일하거나 다른 기능들과 결합하는 임의의 하드웨어(독립된 또는 집적된 회로들 또는 전자 소자들) 또는 소프트웨어(프로그램들 또는 프로그램들의 일부들 같은)을 포함하는 것으로 의도된다. 본 발명은 몇몇 별개의 소자들을 포함하는 하드웨어, 및 적당히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 열 거하는 장치 청구항에서, 몇몇의 이들 수단은 하나 및 동일한 항목의 하드웨어에 의해 구현된다. '컴퓨터 프로그램 제품'은 플로피 디스크 같은 컴퓨터 판독 가능 매체상에 저장되거나, 인터넷 같은 네트워크를 통해 다운로드할 수 있거나, 임의의 다른 방식으로 판매되는 임의의 소프트웨어 제품을 의미하는 것으로 의도된다.

Claims

제 1 미디어 항목 및 제 2 미디어 항목의 동시 재생을 수행하기 위한 방법에 있어서,

제 1 미디어 항목에 관련된 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계;

상기 추출된 적어도 하나의 데이터 항목을 기초로 적어도 하나의 제 2 미디어 항목을 선택하는 단계; 및

상기 선택된 적어도 하나의 제 2 미디어 항목이 상기 제 1 미디어 항목의 재생 동안 상기 추출된 적어도 하나의 데이터 항목의 발생과 동시에 재생되도록, 상기 제 1 미디어 항목 및 상기 선택된 적어도 하나의 제 2 미디어 항목을 동기화하는 단계를 포함하는, 동시 재생 수행 방법.
제 1 항에 있어서, 제 1 미디어 항목에 관련된 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계는 상기 제 1 미디어 항목에 관련된 텍스트 데이터로부터 상기 적어도 하나의 데이터 항목을 추출하는 단계를 포함하는, 동시 재생 수행 방법.
제 2 항에 있어서, 상기 텍스트 데이터는 복수의 단어들 및 어구들을 포함하고 상기 제 1 미디어 항목에 관련된 텍스트 데이터로부터 상기 적어도 하나의 데이 터 항목을 추출하는 단계는 상기 복수의 단어들 및 어구들로부터 하나의 단어 또는 어구 중 적어도 하나를 추출하는 단계를 포함하는, 동시 재생 수행 방법.
제 3 항에 있어서, 상기 텍스트 데이터는 적당한 이름, 명사 또는 동사 중 적어도 하나를 포함하는, 동시 재생 수행 방법.
제 3 항 또는 제 4 항에 있어서, 상기 복수의 단어들 및 어구들로부터 하나의 단어 또는 어구 중 적어도 하나를 추출하는 단계는,

상기 복수의 단어들 각각의 역할을 식별하는 단계; 및

상기 복수의 단어들의 상기 식별된 역할을 기초로 상기 복수의 단어들로부터 하나의 어구를 추출하는 단계를 포함하는, 동시 재생 수행 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 제 1 미디어 항목에 관련된 데이터로부터 적어도 하나의 데이터 항목을 추출하는 단계는,

상기 제 1 미디어 항목에 관련된 상기 데이터의 각각의 데이터 항목의 발생 빈도를 결정하는 단계; 및

상기 제 1 미디어 항목에 관련된 상기 데이터 중 덜 빈번하게 사용된 데이터 항목을 추출하는 단계를 포함하는, 동시 재생 수행 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 제 1 미디어 항목에 관련된 데이터로부터 적어도 하나의 데이터를 추출하는 단계는,

상기 제 1 미디어 항목에 관련된 상기 데이터의 일부로부터 복수의 데이터 항목들을 추출하는 단계를 포함하고;

상기 추출된 적어도 하나의 데이터 항목을 기초로 적어도 하나의 제 2 미디어 항목을 선택하는 단계는,

상기 복수의 추출된 데이터 항목들 각각을 기초로 복수의 제 2 미디어 항목들을 검색하는 단계; 및

상기 복수의 추출된 데이터 항목들 각각에 대해 상기 검색된 제 2 미디어 항목들 중 가장 관련된 것을 선택하는 단계를 포함하는, 동시 재생 수행 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 추출된 적어도 하나의 데이터 항목을 기초로 상기 적어도 하나의 제 2 미디어 항목을 선택하는 단계는,

상기 제 1 미디어 항목을 적어도 하나의 세그먼트로 분할하는 단계;

상기 적어도 하나의 세그먼트에 관련된 데이터로부터 추출된 상기 적어도 하나의 데이터 항목을 기초로 복수의 제 2 미디어 항목들을 검색하는 단계;

상기 복수의 제 2 미디어 항목들 각각의 재생 시간 지속 기간을 결정하는 단계;

상기 적어도 하나의 세그먼트의 시간 지속 기간을 결정하는 단계; 및

상기 세그먼트 내에서 재생될 상기 복수의 제 2 미디어 항목들의 수를 선택하는 단계를 포함하는, 동시 재생 수행 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서, 상기 선택된 적어도 하나의 제 2 미디어 항목에서 주 컬러(dominant color)를 식별하는 단계를 추가로 포함하는, 동시 재생 수행 방법.
제 9 항에 있어서, 상기 제 1 미디어 항목 및 상기 선택된 적어도 하나의 제 2 미디어 항목을 동기화하는 단계는,

상기 식별된 주 컬러가 상기 제 1 미디어 항목의 재생 동안 상기 추출된 적어도 하나의 데이터 항목의 발생과 동시에 디스플레이되도록 상기 제 1 미디어 항목 및 상기 식별된 주 컬러를 동기화하는 단계를 포함하는, 동시 재생 수행 방법.
제 1 항 내지 제 10 항 중 어느 한 항에 있어서, 상기 추출된 적어도 하나의 데이터 항목에 하나의 컬러의 맵핑(mapping)을 수동으로 정의하는 단계를 추가로 포함하는, 동시 재생 수행 방법.
제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 수행하기 위해 복수의 프로그램 코드 부분들을 포함하는, 컴퓨터 프로그램 제품.
제 1 미디어 항목 및 제 2 미디어 항목의 동시 재생을 수행하기 위한 장치에 있어서,

제 1 미디어 항목에 관련된 데이터로부터 적어도 하나의 데이터 항목을 추출하기 위한 추출기;

상기 추출된 적어도 하나의 데이터 항목을 기초로 적어도 하나의 제 2 미디어 항목을 선택하기 위한 선택기; 및

상기 선택된 적어도 하나의 제 2 미디어 항목이 상기 제 1 미디어 항목의 재생 동안 상기 추출된 적어도 하나의 데이터 항목의 발생과 동시에 재생하도록, 상기 제 1 미디어 항목 및 상기 선택된 적어도 하나의 제 2 미디어 항목을 동기화하기 위한 동기화기를 포함하는, 동시 재생 수행 장치.
제 13 항에 있어서, 상기 추출기는 상기 제 1 미디어 항목과 관련된 텍스트 데이터로부터 상기 적어도 하나의 데이터 항목을 추출하기 위한 수단을 포함하는, 동시 재생 수행 장치.