KR101419976B1 - 분산형 라이브 멀티미디어 머니타이제이션 메커니즘 및 네트워크 - Google Patents

Abstract

라이브 멀티미디어 콘텐츠의 머니타이제이션(monetization)을 관리하기 위한 방법들, 시스템들 및 컴퓨터 판독 가능 매체가 실질적인 실시간으로 캡처링 디바이스들로부터 멀티미디어 콘텐츠를 수신하는 것을 포함한다. 캡처링 디바이스들은 캡처되는 콘텐츠 유형 또는 캡처 로케이션을 식별한다. 멀티미디어 콘텐츠로부터 하나 또는 그 이상의 프로모션용 미디어가 식별된다. 식별된 프로모션용 미디어는 하나 또는 그 이상의 프로모션용 광고들과 매칭된다. 복합 멀티미디어 스트림을 생성하기 위해 하나 또는 그 이상의 프로모션용 광고들이 식별된 프로모션용 미디어와 통합되고, 복합 멀티미디어 스트림이 실질적인 실시간으로 또한 시간에 따라서 수신 디바이스들에게 제시된다. 수신 디바이스들에서의 상호작용에 기초한 머니타이제이션 수익이 트랙킹된다. 머니타이제이션 수익은 멀티미디어 콘텐츠의 프로모션용 미디어와 연관된 머니타이제이션 기준에 의존한다.

Description

분산형 라이브 멀티미디어 머니타이제이션 메커니즘 및 네트워크{DISTRIBUTED LIVE MULTIMEDIA MONETIZATION MECHANISM AND NETWORK}

본 발명은 특정 이벤트들 또는 토픽들에 대한 라이브 멀티미디어 콘텐츠를 제공하는 것에 관한 것으로, 보다 상세하게는, 멀티미디어 콘텐츠의 사용자들의 네트워크로부터의 대화형 피드백을 구비한 캡처링 제공자들의 네트워크를 사용하여 라이브 멀티미디어 콘텐츠의 머니타이제이션(monetization)을 제공하는 시스템들에 관한 것이다.

사람들이 모바일 폰들, 디지털 카메라들, 웹 카메라들 등과 같은 전자적 멀티미디어 캡처링 디바이스들을 사용할 때 상당한 양의 멀티미디어 정보가 생성된다. 몇가지만 언급해 보면, 로케이션, 사용된 애플리케이션들, 사회적 네트워크, 방문된 물리적 및 온라인 로케이션들 등과 같이 캡처된 데이터 또는 이벤트들에 관련된 정보는, 최종 사용자들에게 유용한 서비스들 및 가치있는 정보를 제공하는데에 뿐만 아니라, 광고주들 및 소매업자들에게 상업적인 기회들을 제공하는데에 사용될 수 있다. 전통적으로, 그러한 정보는 무엇이 렌더링될 필요가 있고, 어디에 렌더링하며, 언제 수신하며 렌더링하고 렌더링될 콘텐츠를 캡처하기 위해 누가 관여할지에 대한 콘텐츠 제공자들 관점에 기초하여 서비스 콘텐츠 제공자들에 의해 관리되고 제공되었다. 부가하여, 그러한 정보는 이벤트/토픽의 콘텐츠 제공자의 연출(interpretation)에 기초하여 제공되었다. 이는 캡처링되고 렌더링되는 이벤트 또는 데이터의 표현이 매우 좁게 되는 결과를 낳았다. 예를 들면, 텔레비전 뉴스 채널들은, 특히 라이브 브로드캐스트들 중에는, 무엇이 캡처되어야 하고, 어떻게 캡처되어야 하는지를 안내하는 옵션이 시청하는 사용자들(소비자들)에게 제공되지 않을뿐더러 언제 또는 어디에 캡처할지도 제공되지 않는다. 사용자가 흥미있는 어떤 뉴스 캐스트들을 발견하면, 사용자는 그 콘텐츠를 시청하는데 시간을 소비할 것이다. 그렇지 않으면, 사용자는 흥미있는 것이 나타날 때까지 채널 서핑을 할 수밖에 없을 것이다. 따라서, 소비자는 정확하게 무엇이 커버되거나 캡처되어야 하는지에 대한 제어권이 전혀 없고 이벤트/토픽에 관련된 적절한 정보를 중계하는 콘텐츠 제공자에게 의존해야만 한다.

이러한 맥락에서 본 발명의 실시예가 상정된 것이다.

본 발명의 실시예들은 사용자들 및 사용자들 간의 상호작용 이벤트(interaction event)들 및 스폰서된 광고 제품들의 새로운 채널을 이루는 콘텐츠 스트림들 또는 콘텐츠 오브젝트들 및 스폰서된 프리젠테이션, 지오-타겟팅(geo-targeting), 행동 타켓팅, 인기 기반 수익 공유, 실세계 제품 배치 및 서피스 머니타이제이션(surface monetization)을 포함하는 머니타이제이션 모델들로 된 네트워크를 포함한다.

본 명세서에서는 시스템들, 컴퓨터 판독가능 매체, 프로그램 명령어들, 및 방법-시스템 조합들을 포함하는 몇몇 개별 실시예들이 예들로서 제공된다. 일 실시예에서, 시스템은 라이브 콘텐츠의 관리 및 획득, 인덱싱, 분배, 개인화 및 소비에 기초하는 수익 관리를 가능하게 하는 하드웨어 및 소프트웨어를 포함한다. 이 실시예는 분산형 실시간 네트워크를 정의하고, 여기서 멀티미디어 콘텐츠 내의 프로모션용 미디어에 관련된 프로모션용 광고들은 토픽, 캡처링 또는 소비 사용자들, 선호도들, 인기도, 및/또는 멀티미디어 콘텐츠의 중요도에 의존하여 식별되고, 필터링되고, 동적으로 주입/통합 및 관리될 수 있다. 시스템 및 방법은 전 세계적으로 분산된 다수의 라이브 콘텐츠 캡처링 디바이스들의 링크(link)를 가능하게 하고, 소비 사용자들로 하여금 라이브 콘텐츠 캡처링 디바이스들로부터의 많은 이용가능한 라이브 피드(feed)들로부터 뽑는(pick) 것을 가능하게 할 뿐만 아니라 소비 사용자들의 명시적 및 암묵적 피드백에 기초하여 캡처링 사용자들에게 소비 사용자들로부터의 실시간 피드백을 제공하는 것을 가능하게 한다. 멀티미디어 콘텐츠는 특정 이벤트들, 토픽들, 관심들, 로케이션들, 매핑된 로케이션들, 사람들, 그룹들, 사물들(things), 테마들, 장르 등에 대해 검색되고 필터링되며 관리되고, 프로모션용 광고들은 멀티미디어 콘텐츠 내의 하나 이상의 프로모션용 매체에 기초하여 관리된다.

일 실시예에서, 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하는 방법이 개시된다. 이 방법은 캡처링 디바이스들로부터 멀티미디어 콘텐츠를 실질적인 실시간으로 수신하는 단계를 포함한다. 캡처링 디바이스들은 캡처되는 콘텐츠 유형 또는 캡처 로케이션을 식별한다. 이 방법은 또한, 멀티미디어 콘텐츠로부터 하나 또는 그 이상의 프로모션용 미디어(promotional media)를 식별하는 단계를 더 포함한다. 식별된 프로모션용 미디어는 하나 또는 그 이상의 프로모션용 광고들과 매칭된다. 이 방법은 또한, 복합 멀티미디어 스트림을 생성하기 위해 하나 또는 그 이상의 프로모션용 광고들과 식별된 프로모션용 미디어를 통합시키는 단계와, 수신 디바이스들로 복합 멀티미디어 스트림을 제시하는 단계를 더 포함한다. 상기 방법은 수신 디바이스들에서의 상호작용(interaction)들에 기초하여 머니타이제이션 수익(monetization revenue)을 트랙킹(track)하는 단계를 포함한다. 머니타이제이션 수익은 멀티미디어 콘텐츠의 프로모션용 미디어와 연관된 머니타이제이션 기준에 의존한다.

다른 실시예에서, 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하는 시스템이 개시된다. 이 시스템은, 통신 네트워크상에서 실질적인 실시간으로 멀티미디어 콘텐츠를 캡처하고 전송하도록 구성된 복수의 캡처링 디바이스를 포함한다. 캡처링 디바이스들은 캡처되는 콘텐츠의 유형 또는 캡처의 로케이션을 식별한다. 이 시스템은 또한, 멀티미디어 콘텐츠를 수신하고 또한 통신 네트워크상에서 실질적인 실시간으로 피드백을 제공하도록 구성된 복수의 수신 디바이스를 포함한다. 이 시스템은 또한, 복수의 캡처링 디바이스와 복수의 수신 디바이스에게 통신가능하게 연결된 피드백 엔진을 포함한다. 피드백 엔진은 검색 선호도에 기초하여 멀티미디어 콘텐츠를 평가하고, 검색하고, 인덱싱하고 또는 우선순위화하는 것 중의 적어도 하나에 의해 멀티미디어 콘텐츠에 대한 요청들을 처리하고, 또한 피드백을 수집하고, 리뷰하고, 인덱싱하고, 우선순위화하는 것 중의 적어도 하나에 의해 피드백을 처리하도록 구성된다. 시스템은 피드백 엔진에 통신가능하게 연결된 머니타이제이션 엔진을 포함한다. 이 머니타이제이션 엔진은 복합 멀티미디어 스트림들을 생성하고 복합 멀티미디어 스트림들의 프로모션용 미디어에 관계된 하나 또는 그 이상의 프로모션용 광고들을 관리하여, 프로모션용 광고들로부터 생성된 수익이 캡처링 디바이스들로부터 획득된 변경 콘텐츠에 기초하여 사용자들 중에서 공유되도록 한다.

또 다른 실시예에서, 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하기 위한 프로그램 명령어들을 포함하는 컴퓨터 판독 가능 매체가 개시된다. 이 컴퓨터 판독 가능 매체는 실질적인 실시간으로 캡처링 디바이스들로부터 멀티미디어 콘텐츠를 수신하기 위한 프로그램 명령어들을 포함하고, 캡처링 디바이스들은 캡처되는 콘텐츠 유형 또는 캡처 로케이션을 식별한다. 이 컴퓨터 판독 가능 매체는 또한, 멀티미디어 콘텐츠로부터 하나 또는 그 이상의 프로모션용 미디어를 식별하기 위한 프로그램 명령어들을 포함하고, 식별된 프로모션용 미디어는 하나 또는 그 이상의 프로모션용 광고들과 매칭된다. 이 컴퓨터 판독 가능 매체는 또한, 복합 멀티미디어 스트림을 생성하기 위해 하나 또는 그 이상의 프로모션용 광고들과 식별된 프로모션용 미디어를 통합시키고 수신 디바이스들에 실질적인 실시간으로 복합 멀티미디어 스트림을 제시하기 위한 프로그램 명령어들을 포함한다. 이 컴퓨터 판독가능 매체는 또한, 수신 디바이스들에서의 상호작용들에 기초하여 머니타이제이션 수익을 트랙킹하기 위한 프로그램 명령어들를 포함한다. 머니타이제이션 수익은 멀티미디어 콘텐츠의 프로모션용 미디어와 연관된 머니타이제이션 기준에 의존한다.

또 다른 실시예에서, 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하기 위한 방법이 개시된다. 이 방법은 실질적인 실시간으로 캡처링 디바이스들로부터 하나 또는 그 이상의 프로모션용 미디어를 갖는 멀티미디어 콘텐츠를 캡처하는 단계를 포함한다. 캡처링 디바이스들은 캡처되는 콘텐츠 유형 또는 캡처 로케이션을 식별한다. 이 방법은 또한, 멀티미디어 콘텐츠로부터 하나 또는 그 이상의 프로모션용 미디어와 연관된 하나 또는 그 이상의 수익 산출 스폰서들을 식별하는 단계와, 복합 멀티미디어 스트림을 생성하기 위해 식별된 수익 산출 스폰서들과 연관된 하나 또는 그 이상의 프로모션용 광고들과 프로모션용 미디어를 통합시키는 단계를 포함한다. 상기 방법은 또한, 수신 디바이스들에 복합 멀티미디어 스트림을 제시하는 단계와 수신 디바이스들에서의 상호작용들에 기초하여 머니타이제이션 수익을 트랙킹하는 단계를 포함한다. 머니타이제이션 수익은 멀티미디어 콘텐츠의 프로모션용 미디어와 연관된 머니타이제이션 기준에 의존한다.

또 다른 실시예에서, 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하기 위한 방법이 개시된다. 이 방법은 실질적인 실시간으로 캡처링 디바이스들을 사용하여 멀티미디어 콘텐츠를 캡처하는 단계 - 캡처링 디바이스들은 캡처되는 콘텐츠 유형 또는 캡처 로케이션을 식별함 - 를 포함한다. 미디어 콘텐츠는 프로모션용 미디어의 이미지를 포함한다. 상기 방법은 또한, 수신 디바이스들에서 캡처된 멀티미디어 콘텐츠를 선택하는 시청자들의 수에 기초하여 캡처된 멀티미디어 콘텐츠의 인기도를 검출하는 단계를 포함한다. 상기 방법은 프로모션용 미디어의 이미지가 캡처된 멀티미디어 콘텐츠 내에 존재하는 시구간과, 프로모션용 미디어의 이미지가 존재하는 시간 동안의 캡처된 멀티미디어 콘텐츠의 인기도를 결정하는 단계와, 프로모션용 미디어의 이미지가 존재하는 시간 동안에 캡처된 멀티미디어 콘텐츠와 연관된 광고 수익을 할당하는 단계를 포함한다.

본 명세서에서 정의된 실시예들 및 시스템들은 다수이고, 여기에서 간략히 제공되는 개요는 단지 상세한 설명, 도면 및 청구범위에서 정의되는 많은 가능성들의 개관으로서의 역할을 할 것이다.

도 1a는 본 발명의 일 실시예에서, 사용되는 서버 팜들(server farms)의 네트워크를 도시하는 개략적인 개관도이다.
도 1b는 본 발명의 일 실시예에서, 서버 팜의 개관을 도시한다.
도 2a는 본 발명의 일 실시예에서, 멀티미디어 콘텐츠의 캡처 및 분배에 사용되는 라이브 멀티미디어 피드백 네트워크의 개관을 도시한다.
도 2b는 본 발명의 일 실시예에서, 피드백 엔진을 사용하는 시스템의 개관을 도시한다.
도 2c는 본 발명의 일 실시예에서, 라이브 멀티미디어 피드백 네트워크의 세부 도면을 도시한다.
도 3a는 본 발명의 일 실시예에서, 멀티미디어 콘텐츠를 캡처링할 때 사용되는 도 2c의 멀티-스트림 인터페이스 모듈의 개략도이다.
도 3b는 본 발명의 일 실시예에서, 맵-기반 인터페이스를 사용하여 특정한 재발생 이벤트에서 관심있는 포인트들/디바이스 로케이션 포인트들을 캡처링하는 것을 식별하는데 사용되는 도 2c의 맵-기반 인터페이스 모듈의 개략도이다.
도 3c는 본 발명의 일 실시예에서, 멀티미디어 콘텐츠를 캡처링하는데 사용되는 도 2c의 단일-스트림 인터페이스 모듈의 개략도이다.
도 3d는 본 발명의 일 실시예에서, 멀티미디어 콘텐츠를 캡처링하는데 사용되는 도 2c의 모발일-폰 기반 인터페이스 모듈의 개략도이다.
도 4는 본 발명의 일 실시예에서, 이벤트와 관련된 복수의 멀티미디어 콘텐츠 피드(feed)들을 필터링하는데 사용되는 필터링 메커니즘으로부터의 결과의 간단한 개관을 도시한다.
도 5는 본 발명의 일 실시예에서, 라이브 멀티미디어 피드백 사이클을 도시한다.
도 6은 본 발명의 일 실시예에서, 라이브 멀티미디어 스위칭 네트워크를 도시한다.
도 7은 본 발명의 일 실시예에서, 스위칭 엔진 복합 스트림 파이프라인을 도시한다.
도 8은 본 발명의 일 실시예에서, 복합 스위칭 사이클 및 데이터 플로우를 도신한다.
도 9는 본 발명의 일 실시예에서, 멀티미디어 콘텐츠를 도시하는 블록도이다.
도 10은 본 발명의 일 실시예에서, 문맥적으로 관련된 머니타이제이션(monetization) 기법의 개관을 도시한다.
도 11은 본 발명의 일 실시예에서, GU의 캡처링 디바이스를 도시한다.
도 12는 본 발명의 일 실시예에서, CU의 수신 및 피드백 디바이스를 도시한다.
도 13은 본 발명의 일 실시예에서, 믹서(Mixer)의 수신 및 피드백 디바이스를 도시한다.
도 14a 및 도 14b는 본 발명의 일 실시예에서, 브로드캐스트된 멀티미디어 스트림들의 실시관 상태를 갖는 이벤트에 대해 멀티미디어 스트림들을 캡처링하는데 사용되는 GU의 모바일 디바이스를 도시한다.
도 15는 본 발명의 일 실시예에서, 이벤트에 대한 멀티미디어 스트림을 수신하고 렌더링하는데 사용되는 CU의 수신 디바이스를 도시한다.
도 16은 본 발명의 일 실시예에서, 멀티미디어 스트림들에 피드백을 수신하고, 렌더링하며 제공하는데 사용되는 CU의 모바일 수신 디바이스를 도시한다.
도 17a 및 도 17b는 본 발명의 일 실시예에서, 광고 수익을 발생시키기 위한 프로모션용 미디어(promotional media)를 포함하는 캡처링 디바이스에 의해 캡처된 멀티미디어 콘텐츠를 도시한다.
도 18은 본 발명의 일 실시예에서, 광고 수익을 결정하는데 사용되는 인기도 대 시간 그래프 및 프로모션 미디어 대 시간 그래프를 도시한다.

본 발명은, 소비 사용자의 선호도들, 인기도, 중요도 및 관심들, 및 로케이션, 시간, 및/또는 나란히 있는 사람들, 오브젝트들과 같은 캡처의 사이트로부터의 피드백, 및/또는 캡처의 사이트에서 발생하고 및/또는 발생할 것 같은 이벤트들, 및/또는 캡처 디바이스를 동작시키는 사람 및/또는 조직체에 좌우되어 하나의 라이브 멀티미디어 피드로부터 다른 것으로 검색되고, 필터링되며, 동적으로 관리될 수 있거나, 또는 사용자 소비를 위한 네트워크 운영자에 의한 대화형 환경들 또는 채널들로 조직될 수 있는 분산형 실시간 네트워크를 생성함으로써 라이브 멀티미디어 콘텐츠의 획득 및 관리, 인덱싱 및 분배, 및 개인화 및 소비를 가능하게 하는 방법들, 시스템들, 장치들, 네트워크들 및 컴퓨터 코드를 정의한다. 다음의 설명은 발견의 양상을 기술하는 섹션, 그에 이어지는 스위칭 프로세스 및 시스템들 및 본 명세서에서 정의되는 실시예들에 의해 용이하게 되는 머니타이제이션에 관한 설명을 포함할 것이다.

예시적 실시예들의 메커니즘들은 풍부하게 개인화되고 맞춤화된 멀티미디어 콘텐츠를 소비 사용자에게 제공하기 위해 인적 요소와 컴퓨터 요소 모두를 포함한다. 인적 요소는 멀티미디어 생성 사용자들(Generating Users; GUs) 및 그들의 전자적 멀티미디어 캡처링 디바이스들(캡처링 디바이스들), 멀티미디어 소비 사용자들(Consuming Users; CUs) 및 그들의 전자적 멀티미디어 수신 및 피드백 디바이스들(대안으로 수신 디바이스들로 지칭됨)을 포함한다. 컴퓨터 요소들은 복수의 서버/서버 팜을 구비한 통신 네트워크 및 자신을 통해 GU들 및 CU들이 서로 상호작용하는 피드백 엔진을 포함한다. 이 메커니즘은 멀티미디어 콘텐츠의 특정 GU들과 CU들의 욕구(desires), 기호(likes), 취미(tastes) 및 선호도(preferences)에 의존하여 특정 시간들에서의 특정 라이브 멀티미디어 콘텐츠의 획득 및 관리를 가능하게 하는 소프트웨어 및 하드웨어를 포함할 수 있다. 부가하여, 멀티미디어 콘텐츠는, CU들 및 GU들의 선호도, 인기도, 중요도 및 관심에 의존하고, 및/또는 캡처의 로케이션 및/또는 시간, 및/또는 나란히 있는 사람들(collocated people), 오브젝트들, 및/또는 캡처의 사이트에서의 이벤트들, 및/또는 캡처 디바이스를 동작하는 사람 및/또는 조직체에 의존하여 하나의 라이브 멀티미디어 피드로부터 다른 것으로 자동으로 스위칭하도록 검색되고, 필터링되며 동적으로 관리될 수 있다. 멀티미디어 콘텐츠는 특정 이벤트들, 토픽들, 흥미들, 로케이션들, 매핑된 로케이션들, 사람들, 그룹들, 사건들(things), 테마들, 장르 등에 대해 검색되거나, 스위칭되거나 필터링될 수 있다.

GU들은 복수의 멀티미디어 콘텐츠를, 자신들의 각각의 멀티미디어 캡처링 디바이스들을 사용하여 특정한 라이브 이벤트들 또는 데이터를 커버링하는 멀티미디어 스트림들로서 생성하고, CU들은 이들 복수의 멀티미디어 콘텐츠를, CU들 및 네트워크 및 피드백 엔진 운영자(들)에 의해 설정된 복수의 기준에 기초하여 수신한다. CU들은 CU들 또는 네트워크의 설정된 기준에 기초하여 연속적인 피드백을 피드백 엔진에 제공하고, 따라서, 멀티미디어 콘텐츠는 각각의 CU들의 니즈(needs) 또는 네트워크 또는 스폰서 목적에 적절하도록 맞춤화될 수 있다. 일 실시예에서, 피드백 엔진은 CU들로부터 연속적인 피드백을 수신하고, 콘텐츠를 반복하여 맞춤화하고, 이것을 수신된 피드백에 기초하여 CU들에게 발행(publish)한다. 또 다른 실시예에서, 피드백 엔진은 연속적인 피드백, 가변하는 간격들에 걸친 피드백, 또는 CU들로부터의 연속적인 사이클들에서의 피드백을 수신할 수 있는데, 이 피드백은 모아지고 GU들에게 포워드되어, GU들이 적절한 조정을 가하여 CU들에 의해 요청되거나 네트워크에 의해 제안된 멀티미디어 콘텐츠를 캡처할 수 있다. 멀티미디어 콘텐츠를 제공하고, 피드백을 수신하고, 피드백에 기초하여 멀티미디어 콘텐츠를 맞춤화하는 사이클은 CU가 관련 이벤트/데이터에 관심이 있거나 또는 GU가 스트리밍 멀티미디어 콘텐츠를 캡처링하는 한 계속된다. 피드백은 과거의 라이브 이벤트들로부터의 조직된 콘텐츠의 비동기식 재생(replay)에 대해서도 또한 가능하다. 이 메커니즘은 각각의 CU들이 개개의 CU들의 요구사항을 만족시키는 맞춤화된 풍부한 멀티미디어 콘텐츠를 수신하도록 GU들과 CU들 간 동적 및 라이브의 양방향(two-way) 통신을 사용한다.

제안된 기법은, 관심있는 데이터 또는 특정 이벤트에 대한 멀티미디어 콘텐츠를 동적으로 제어하기 위해 또한 커버리지(coverage)를 위해 임의의 특정 콘텐츠 제공자에게 의존해야만 하지 않도록 하기 위해 CU들에게 능력을 부여함으로써 멀티미디어 콘텐츠를 보는 CU들의 경험을 풍부하게 할 수 있다.

다양한 실시예들의 이해를 용이하게 하기 위해, 피드백 메커니즘의 인프러스트럭처가 우선 설명될 것이고, 개시된 실시예들의 다양한 프로세스들의 상세한 설명은 피드백 메커니즘 인프러스트럭처를 참조하여 설명될 것이다. 피드백 메커니즘은 컴퓨팅 시스템의 서버 상에서 구현되고 인터넷 같은 통신 네트워크를 통해 모든 사용자에게 이용가능하게 된다. 피드백 메커니즘이 구현되는 기본적인 컴퓨터 네트워크가 우선 설명될 것이고, 개시된 실시예들의 특징들은 설명된 컴퓨터 네트워크를 참조하여 설명될 것이다.

도 1a는 본 발명의 일 실시예에서, 맞춤화된 콘텐츠의 풍부한 멀티미디어 스트림을 소비 사용자에게 제공하기 위해 대화형 멀티미디어 피드백 메커니즘이 구현될 수 있는 기본적 컴퓨터 네트워크를 도시한다. 컴퓨터 네트워크는 지구에 걸쳐 분산되고 인터넷 같은 통신 네트워크(네트워크)를 통해 서로 통신가능하게 접속되는 복수의 서버 컴퓨팅 시스템(서버) 및 복수의 서버 팜(110)의 조합을 포함한다. 서버 팜들(110) 각각은 인터넷 및 인트라넷(임의의 엔티티 내의 통신 네트워크)을 사용하여 상호접속된 복수의 서버를 포함할 수 있다. 서버들은 대화형(interactive) 멀티미디어 피드백 메커니즘(피드백 메커니즘)을 구현할 수 있다. 피드백 메커니즘은 서버 팜 내의 하나의 서버 상에 구현되고 다른 서버들에 의해 네트워크를 통해 액세스되거나 하나 이상의 서버 상에 구현되고 다른 서버들에 의해 액세스될 수 있다. 하나 또는 그 이상의 전자적 멀티미디어 캡처링 디바이스들을 갖는 복수의 생성 사용자들(GU들; 200) 및 하나 또는 그 이상의 전자적 멀티미디어 수신 및 피드백 디바이스들(수신 디바이스들)을 갖는 복수의 소비 사용자들(CU들; 300)은 복수의 서버 또는 서버 팜(110)을 통해 컴퓨터 네트워크에 통신가능하게 접속된다. GU(200)의 멀티미디어 캡처링 디바이스들은 GU(200)로 하여금 멀티미디어 콘텐츠를 실시간으로 캡처하고 서버 상의 피드백 메커니즘으로 전송하는 것을 가능하게 하는데, 여기서 멀티미디어 콘텐츠가 프로세싱되고 CU들(300)에게 발행된다. 피드백 메커니즘에 의해 발행되는 멀티미디어 콘텐츠는 싱글 피드, 복합 피드들 및/또는 믹싱되거나 리믹싱되는 피드들의 형태일 수 있다. 따라서, 컴퓨터 네트워크는 GU(200)로 하여금 세계 어느 곳에서든 그로부터의 멀티미디어 콘텐츠를 캡처하고 피드백 메커니즘을 통해 CU들(300)에게 그 멀티미디어 콘텐츠를 전송하는 것을 가능하게 하고, CU들(300)은 피드백 메커니즘을 통해 세계에 걸친 임의의 특정 이벤트 또는 데이터 또는 서로 상이한 이벤트들 및 데이터의 조합으로 대상을 좁혀 들어가는 능력을 갖는다.

본 발명의 대체 실시예에서, 하나 또는 그 이상의 전자적 멀티미디어 캡처링 디바이스들을 갖는 복수의 생성 사용자(GU들; 200), 및 하나 또는 그 이상의 전자적 멀티미디어 수신 및 피드백 디바이스들(수신 디바이스들)을 갖는 복수의 소비 사용자들(CU들; 300)은 컴퓨터 네트워크를 통해 서로 통신가능하게 접속된다. GU(200)의 멀티미디어 캡처링 디바이스들은 GU(200)로 하여금 멀티미디어 콘텐츠를 실시간으로 캡처하고 하나 또는 그 이상의 CU들의 수신 디바이스들 상의 피드백 메커니즘에게 전송하게 할 수 있는데, 여기서 멀티미디어 콘텐츠가 프로세싱되고 CU들(300)에서 발행된다. 피드백 메커니즘에 의해 처리되고 발행되는 멀티미디어 콘텐츠는 싱글 피드, 복합 피드들 및/또는 믹싱되거나 리믹싱되는 피드들의 형태일 수 있다. 본 실시예에서, CU들 및 GU들은 피어-투-피어(peer-to-peer) 형식으로 상호작용한다. 따라서, 컴퓨터 네트워크는 GU(200)로 하여금 세계의 어떠한 곳에서든지의 멀티미디어 콘텐츠를 캡처하고 피드백 메커니즘을 통해 CU들(300)에게 전송하게 하고, CU들(300)은 피드백 메커니즘을 통해 세계에 걸친 임의의 특정 이벤트 또는 데이터 또는 상이한 이벤트들 및 데이터의 조합으로 대상을 좁혀 들어가는 능력을 갖는다.

도 1b는 본 발명의 일 실시예에서, 멀티미디어 콘텐츠를 캡처하고 네트워크를 통해 멀티미디어 콘텐츠를 전송하는데 사용되는 서버 팜의 예시적 개관을 도시한다. 물론, 시스템은 처리 능력이 기능을 인에이블하기에 충분하기만 하면 싱글 네트워크 컴퓨팅 디바이스를 셋업하는 것도 가능하기 때문에 완전한 서버들의 팜을 요구하는 것은 아니다. 그러나, 보다 많은 사용자들 및 지구 전역에 걸친 분포가 구현됨에 따라, 더 많은 강건한(robust) 인프러스트럭처를 인에이블하기 위해 더 많은 컴퓨팅 디바이스들이 요구될 것이다.

도시된 바와 같이, 서버 팜(110)은 인터넷과 같은 통신 네트워크(네트워크)를 사용하여 서버 팜들(110) 내부 및 외부의 다른 서버들(115)에 통신가능하게 접속된 복수의 서버 컴퓨팅 시스템들(서버들)(115)을 포함한다. 하나 또는 그 이상의 GU(200)에 속하는 복수의 전자적 멀티미디어 캡처링 디바이스들은 멀티미디어 콘텐츠를 실시간으로 캡처하고 네트워크 내의 다른 서버들에게 전송하기 위해 서버들에게 통신가능하게 접속될 수 있다.

도 2a는 본 발명의 일 실시예에서, 서버 상에 구현된 간소화된 멀티미디어 전송 메커니즘의 개관을 도시한다. 도시된 바와 같이, 복수의 GU들의 복수의 캡처링 디바이스(200-A)는 멀티미디어 콘텐츠를 캡처하고 네트워크 상의 서버(115)로 전송하는데 사용된다. 서버(115)는 멀티미디어 콘텐츠를 프로세싱하고 또한 라우터로서 동작하고 또한 적절한 멀티미디어 콘텐츠를 하나 또는 그 이상의 소비 사용자들(CU들; 300) 수신 디바이스들(300-A, 300-B 또는 300-C)로 라우팅하는 피드백 메커니즘을 포함한다. GU(200)에 의해 전송되는 멀티미디어 콘텐츠는, 그 멀티미디어 콘텐츠가 하나 또는 그 이상의 CU들로부터의 요청 시에 검색될 수 있도록 서버(115)에 통신가능하게 접속된 데이터베이스 같은 레포지토리(repository)에 또한 저장된다. 일 실시예에서, 데이터베이스는 서버(115)의 일부이다. 다른 실시예에서, 데이터베이스는 데이터베이스 서버와 같은 상이한 서버 상에 있고 서버(115)에 통신가능하게 접속된다. 서버(115) 상의 피드백 메커니즘으로부터 수신된 멀티미디어 콘텐츠는 서버(115)에 통신가능하게 접속된 CU들(300)의 하나 또는 그 이상의 멀티미디어 수신 및 피드백 디바이스들 상에 렌더링된다. CU들(300)의 멀티미디어 수신 디바이스들은 그들이 멀티미디어 콘텐츠를 수신하고 렌더링하며 피드백들을 서버(115) 상의 피드백 메커니즘으로 전송하도록 구성되는 한 어떠한 형태도 가능할 수 있다. 각각의 CU들(300)의 수신 디바이스들 각각으로부터 수신된 피드백은 각각의 CU(300)에 대해 멀티미디어 콘텐츠를 맞춤화하기 위해 피드백 메커니즘에 의해 사용된다.

도 2b는 본 발명의 일 실시예에서, 소비 사용자(CU)(300)로부터의 요청들 및 피드백들에 기초하여, 실시간으로 맞춤화된 멀티미디어 콘텐츠를 소비자에게 제공하는데 사용되는 피드백 메커니즘의 블록도를 도시한다. 피드백 메커니즘은 스트림 관리 모듈(400-A) 및 피드백 관리 모듈(400-B)을 갖는 피드백 엔진(400)을 포함한다. 피드백 엔진의 기능의 개관은 도 2b를 참조하여 설명되는데, 더 자세한 설명이 아래의 도 2c를 참조하여 제공된다. 본 발명의 일 실시예에서, 스트림 관리 모듈(400-A)은 특정한 실시간 멀티미디어 콘텐츠에 대한 소비 사용자들(CU들)(300)로부터의 초기 요청을 수신하고 요청된 멀티미디어 콘텐츠를 제공할 수 있는 복수의 생성 사용자들(GU들)(200)을 식별하기 위해 네트워크를 검색한다. 이 실시예는 CU가 멀티미디어 콘텐츠에 대한 요청을 개시하는 것으로 설명되었다. 그러나, 네트워크 상의 다른 사용자들이 그러한 요청을 개시할 수도 있고 또는 GU(200)가 멀티미디어 콘텐츠를 네트워크 상의 다른 사용자들에게 포워드할 수도 있다.

스트림 관리 모듈(400-A)은 식별된 GU(200), GU(200)에 의해 캡처된 멀티미디어 콘텐츠 및/또는 멀티미디어 콘텐츠 토픽들을 확인(validate)하고, 식별된 GU(200)로부터 멀티미디어 콘텐츠를 모으고, 선호도, 로케이션, 하드웨어, 네트워크-가맹(network-affiliation), 데모그래픽(demographic), 가입자 상태 등과 같은 CU들의 시청 기준에 기초하여 멀티미디어 콘텐츠를 인덱싱하고, 포맷하며, 포맷된 멀티미디어 콘텐츠를 요청된 CU들(300)에게 멀티미디어 스트림으로서 분배한다. 멀티미디어 스트림들의 수신시에, CU들(300)은 피드백 관리 모듈(400-B)을 통해 멀티미디어 콘텐츠에 대한 피드백을 GU(200)에게 제공할 수 있다.

피드백 관리 모듈(400-B)은 수신 디바이스들에서의 멀티미디어 스트림들의 렌더링을 위한 디스플레이 포맷을 설치하고, 멀티미디어 콘텐츠 스트림들에 관련된 CU들(300)의 다양한 형태의 상호작용을 제어하고, 상호작용들을 피드백의 형태로 수집하고, 피드백을 리뷰하고, 인덱싱하고, 우선순위를 부여하여 GU(200)에게 실시간으로 발행한다. CU들(300)로부터의 피드백은 특정 GU(200)에게 안내되거나, CU들 네트워크 내의 다른 CU들(300)에게 안내되거나, 네트워크 내의 모든 CU들(300) 및 GU(200)에게 안내된다. 피드백 루프의 경우에, CU들(300)은 멀티미디어 콘텐츠 스트림들에 관련된 피드백 데이터를 제공하고, GU(200)는 CU들(300)의 피드백에 기초하여 멀티미디어 스트림들을 제공함으로써 응답하고, CU들(300)은 추가의 피드백으로 응답한다. 피드백 루프 프로세스는 CU들(300)이 멀티미디어 콘텐츠에 관심이 있거나 GU(200)이 이벤트/데이터에 관련된 멀티미디어 스트림들을 캡처링하고 전송하는 것을 계속하는 한 계속된다. 일 실시예에서, CU들(300)은 더 오래된 멀티미디어 콘텐츠를 참조하고 자신들의 미래의 콘텐츠의 제작들을 향상시키기 위해 또는 기존의/저장된 멀티미디어 콘텐츠의 또 다른 수정을 요청하기 위해 GU(200)에 대해 실시간 후(post-real-time) 피드백을 제공할 수 있다. 피드백 루프 프로세스의 세부사항은 도 5를 참조하여 보다 상세히 설명된다.

피드백 메커니즘의 기능적 양상들은 광범위하게 세 개의 주요 프로세스들, 즉, 발견(Discovery), 스위칭 및 머니타이제이션(Monetization)으로 분류될 수 있다. 발견 프로세스는 대화형 라이브 멀티미디어 피드백 메커니즘 및 네트워크를 사용하여 복수의 생성 사용자들(GU들; 200)을 위한 인프러스트럭처를 제공하여 멀티미디어 콘텐츠를 실시간으로 캡처하고 네트워크를 통해 전송함으로써, 복수의 소비 사용자들(CU들; 300)로 하여금 멀티미디어 콘텐츠를 수신하도록 할 수 있고, 또한 멀티미디어 콘텐츠가 스위칭되고, 믹싱되고 리믹싱되어 CU들의 요구사항을 만족시키는 최적의 멀티미디어 콘텐츠 스트림들을 얻도록 하기 위해 실시간 피드백을 제공할 수 있게 한다. 스위칭 프로세스는 라이브 멀티미디어 스위칭 네트워크를 사용하여 복수의 CU들(300) 및 GU(200)을 위한 인프러스트럭처를 제공함으로써 CU들(300)로부터의 라이브 피드백에 기초하여 멀티미디어 콘텐츠의 스위칭을 수행한다. 머니타이제이션 프로세스는 GU(200)에 의한 멀티미디어 콘텐츠의 캡처링 및 CU들(300)에서의 멀티미디어 콘텐츠의 발행동안 사용되는 머니타이제이션 기법을 정의하는 메트릭들(metrics)을 포함한다. 다양한 프로세스들이 이후에 상세히 설명된다.

I. 발견 프로세스:

발견 프로세스는 맞춤가능한 멀티미디어 콘텐츠가 CU들에게 제공될 수 있도록 복수의 생성 사용자들(GU들; 200), 소비 사용자들(CU들; 300) 및 브로드캐스트 및 시청을 위한 멀티미디어 콘텐츠가 식별되는 것에 있다. 용어 "발견(Discovery)"은, 본 출원의 문맥상에서 사용되는 바와 같이, 특정 콘텐츠에 대한 검색, 콘텐츠 필터링, 글로벌 네트워크를 통한 소스들(GU들)의 식별, 및 글로벌 네트워크로부터의 소스들의 특정 카테고리들의 식별을 가능하게 해주는 임의의 기능성 및 프로세스를 포괄하는 것으로 광범위하게 해석되어야 한다. 식별은 검색, 인덱싱, 필터링, 계층적 정의들, 가중 알고리즘, 또는 발견 기능 또는 기능들을 행하기 위해 수행되는 프로세스에 링크되고, 결합되거나 연계하여 실행될 수 있는 임의의 다른 최적화 프로그램들과 연관된 임의의 수의 방식들에서 행해질 수 있다. 이 프로세싱은 실질적인 실시간 프리젠테이션, 피드백 및 인터액티비티(interactivity)를 최적화하기 위해 분산된 프로세싱을 사용하여 수행될 수 있다.

일 실시예에서, 발견 프로세스는 복수의 GU(200), 복수의 CU들(300), 또는 복수의 믹서(Mixer)들에 의해 개시된다. 발견 프로세스는 이벤트/토픽의 발견, 이벤트/토픽을 커버하는 컴퓨터 네트워크 상에서의 하나 또는 그 이상의 GU(200)의 발견, 이벤트/토픽에 관심있는 CU들(300) 및 믹서들의 발견, GU(200), CU들(300) 및 믹서들로부터 피드백을 생성하고 풍부한 콘텍스트 기반 맞춤형 멀티미디어 스트림을 CU들(300)에게 제공하기 위해 각각의 수신자들에게 피드백을 전송하는 것을 포함하는 발견의 다중의 페이즈들 또는 레벨들을 포함한다. GU(200), CU들(300) 및 믹서들이 발견 프로세스를 개시하기 위해서는, GU(200), CU들(300) 및 믹서들 각각은, GU(200), CU들(300) 및 믹서들이 특정 이벤트/토픽에 대해 멀티미디어 콘텐츠를 브로드캐스트하거나 수신하기 위해 확인되고 식별될 수 있도록, 도 1a 및 도 1b에 설명된 바와 같이, 피드백 메커니즘을 갖는 컴퓨터 네트워크 상에 등록되어야만 한다.

GU(200)는 컴퓨터 네트워크(네트워크)에 경보(alert)를 생성함으로써 등록된 컴퓨터 네트워크 상에서 발견 프로세스를 개시할 수 있다. 호출 신호는 GU(200)가 네트워크 상에 등록되어 있다는 것을 제시하는 신호의 형태일 수 있다. 부가하여, 호출 신호는 i) GU가 멀티미디어 콘텐츠를 브로드캐스트할 것을 준비하고 있고, ii) GU가 특정 이벤트(라이브로 진행되고 기록 중임)에 대한 멀티미디어 콘텐츠를 캡처하고 브로드캐스트하기 시작했고, (iii) GU가 팀의 일부로서 다른 GU들과는 독립적으로 또는 그들과 함께 멀티미디어 콘텐츠를 캡처하고 브로드캐스트하는 것에 이용가능하고, (iv) GU에 의해 캡처된 멀티미디어 콘텐츠가 "믹싱"되는 것에 이용가능하고, v) GU가 컴퓨터 네트워크(네트워크)에서 멀티미디어 콘텐츠를 업로드하였거나 이용가능하게 하였거나, 또는 vi) GU가 믹서들, CU들 및 광고주들과 같은 다른 시청자들을 초대하여 GU가 캡처링하고 브로드캐스트하는 멀티미디어 콘텐츠를 보여주도록 하는데에 이용가능하다는 것을 더 나타낼 수 있다. GU는 경제적 또는 사회적 인센티브에 기초하여 발견 프로세스를 개시할 수 있다.

GU들과 연관되고 멀티미디어 콘텐츠를 캡처링하고 브로드캐스트하는데 사용되는 멀티미디어 캡처링 디바이스들은 GU들이 멀티미디어 콘텐츠를 캡처하고 실시간으로 피드백을 제공할 수 있도록 하는 다양한 제어들을 포함할 수 있다. 본 발명의 일 실시예에서, GU에 의해 멀티미디어 콘텐츠를 캡처링하고 브로드캐스트하는데 사용되는 캡처링 디바이스의 표현은 도 11에 도시되어 있다. 본 실시예에서, 캡처링 디바이스는 캡처된 이벤트/데이터를 디스플레이하기 위한 뷰 윈도우(330), GU(200)에 의해 생성된 멀티미디어 콘텐츠의 상태, 및 멀티미디어 콘텐츠를 브로드캐스트하거나 다른 GU(200), CU들(300) 또는 네트워크 상에 있는 멀티미디어 콘텐츠에 관심있는 다른 사용자들에 의해 제공되는 다른 미디어 콘텐츠와 멀티미디어 콘텐츠를 믹싱하기 위한 GU(200)의 이용가능성을 정의하는 "버블(bubble) 1"에 의해 표현된 바와 같은 디바이스의 복수의 하드웨어 제어들을 포함할 수 있다.

예를 들면, "브로드캐스트(Broadcast)" 제어는, GU(200)의 캡처링 디바이스로부터 네트워크로의 캡처된 멀티미디어 콘텐츠의 전송을 개시하여, 다른 사용자들이 브로드캐스트된 멀티미디어 콘텐츠를 시청할 수 있고 또한 캡처된 멀티미디어 콘텐츠의 상태(멀티미디어 콘텐츠가 브로드캐스트 중인지 아닌지의 여부)를 GU(200)에게 표시하는데 사용될 수 있다. "경보(Alert)" 제어는, 독립적인 브로드캐스터로서 또는 그룹으로서 브로드캐스트하는데 있어서의 GU(200)의 이용가능성, 또는 믹싱하는데 있어서 및/또는 믹서들, 다른 GU(200), CU들 및 광고주들과 같은 다른 관심있는 사용자 그룹들을 초대하여 브로드캐스트된 멀티미디어 콘텐츠를 시청하는데 있어서의 멀티미디어 콘텐츠의 이용가능성에 관해, 복수의 CU들(300), 다른 GU(200), 및 광고주들 또는 믹서들과 같은 다른 관심있는 사용자 그룹들을 경보하는데 사용될 수 있다. "피드백(Feedback)" 제어는 CU들, 다른 GU들 및 브로드캐스트된 멀티미디어 콘텐츠 상의 관심있는 사용자 그룹들로부터 실시간 피드백을 수신하고 렌더링하는데 사용될 수 있다. 실시간 피드백은 텍스트, 음성, 비음성 오디오, 그래픽들, 애니메이션, 사진들, 비디오, 진동 신호, 기온 변동, 또는 이들 형태들의 조합들뿐만 아니라 다른 멀티미디어 또는 통신의 멀티모달(multimodal) 수단으로서 제공될 수 있다. 피드백은 브로드캐스트된 멀티미디어의 콘텐츠에 특정적이거나 브로드캐스트를 조율하는 것일 수 있다. "기록/저장(Record/Save)" 제어는 멀티미디어 스트림을 캡처링 디바이스 상에 또는 중앙 서버를 통해 네트워크 상의 다른 사용자들에게 액세스 가능한 원격 저장 디바이스 상에 국부적으로 저장하기 위한 옵션을 제공하는데 사용될 수 있다. "머니타이제이션(Monetization)" 제어는 스폰서쉽, 제품 로케이션, 광고 매체, 또는 서피스 머니타이제이션(surface monetization)를 통해 멀티미디어 콘텐츠를 머니타이제이션하기 위한 방식을 제공하는데 사용될 수 있다.

또 다른 실시예에서, 캡처링 디바이스에서의 복수의 제어들은 소프트웨어를 통해 제공된다. 소프트웨어는 네트워크로부터 수신되고 캡처링 디바이스 상에 렌더링된다. 렌더링된 소프트웨어는 그래픽 사용자 인터페이스(GUI) 및 캡처링 디바이스가 특정화된 하드웨어 제어들을 갖는 캡처링 디바이스처럼 수행할 수 있도록 복수의 제어들을 인에이블하기 위한 특별한 기능을 포함한다.

일 실시예에서, CU들, GU들 및 다른 사용자들로부터의 실시간 피드백은 메타데이터에 의해 정의될 수 있는데, 이 메타데이터는 멀티미디어 콘텐츠의 인기도에 관한 유용한 정보 및/또는 임의의 다른 관련 정보를 제공할 수 있다. 예를 들면, 인기도는, "버블 2"에 의해 표시된 바와 같이 현재 브로드캐스트에 동조된 시청자들의 수와 같은 통계에 의해 정의될 수 있고, 또는 "버블 3"으로 도시된 바와 같이 CU가 특정 GU의 캡처링 디바이스가 포인팅하기를 바라는 관심 포인트를 표시하는 방향성 화살표들의 형태일 수 있고, 또는 "버블 4"에 도시된 바와 같이 CU들 및 다른 사용자들로부터 수신된 스트리밍 코멘트들로서 또는 "버블 5"에 도시된 바와 같이 맵 기반 사용자 인터페이스로서 정의될 수 있다.

본 발명의 일 실시예에서, 이벤트에 대해 멀티미디어 스트림들을 캡처하고 브로드캐스트하기 위해 GU(200)에 의해 사용되는 실제 모바일 캡처링 디바이스의 스냅샷이 도 14에 도시되어 있다. 도시된 바와 같이, 모바일 캡처링 디바이스는, 도 11을 참조하여 상세히 논의된 것들과 유사하게, 현재 캡처되고 전송되는 멀티미디어 스트림의 실시간 상태를 제공하는데 사용되는 복수의 제어를 포함한다. 예를 들면, 실시간 상태는 도 14 및 도 14a의 박스(350)에 도시된 바와 같이, CU들, GU들, 및 믹서들과 같은 사용자들에 대한 통계를 포함할 수 있고, 및/또는, 도 14 및 도 14b의 박스(350)에 도시된 바와 같이, (로케이션, 시간 및/또는 나란히 있는 사람들, 오브젝트들, 및/또는 캡처의 사이트에서 발생하는 및/또는 발생할 것 같은 이벤트들, 및/또는 캡처 디바이스를 동작시키는 사람 및/또는 조직을 포함하는) 이벤트/토픽의 계속되는 커버리지를 요청하는 CU들로부터의 실시간 스트리밍 피드백을 포함할 수 있다. 부가하여, 모바일 캡처링 디바이스는 도 11에 도시된 바와 같이 그리고 도 14 및 도 14a의 박스(1405)에 도시된 바와 같이 제어 버튼들을 포함한다. 피드백은 로케이션에 대해 특정적이거나 또는 이벤트에 대해 특정적이거나 또는 GU에 대해 특정적일 수 있다.

일 실시예에서, CU(300)는 피드백 엔진이 이용가능한 컴퓨터 네트워크(네트워크)에게 특정 이벤트/토픽에 대한 멀티미디어 콘텐츠를 등록하고 요청함으로써 발견 프로세스를 개시할 수 있다. CU들(300)은 GU(200)에 의해 캡처된 이벤트/토픽에 제공된 태깅(tagging)에 기초하여 멀티미디어 콘텐츠에 대해 검색을 개시할 수 있다. 일 실시예에서, 태깅은 GU(200)에 의해 제공될 수 있고 네트워크 상의 다른 사용자들에게 이용가능하게 될 수 있다. 다른 실시예에서, 태깅은 특정 이벤트/토픽에 관련된 멀티미디어 콘텐츠의 보다 쉽고 보다 빠른 검색을 가능하게 하기 위해 GU들 및 CU들 모두에 의해 제공될 수 있다. 멀티미디어 콘텐츠는 네트워크 상에서 캡처되고 발행될 수 있는 텍스트, 오디오, 비디오, 그래픽스, 진동들 등 중 임의의 하나 또는 그 이상일 수 있다. GU들, CU들 및 믹서들은 멀티미디어 콘텐츠를 브로드캐스트하고 수신하기 위해 라이브 멀티미디어 메커니즘 및 네트워크를 사용하는 데까지 나아간다.

멀티미디어 콘텐츠를 요청하는데 사용되는 CU들의 멀티미디어 수신 및 피드백 디바이스(수신 디바이스)는 CU들로 하여금 멀티미디어 콘텐츠를 요청하고, 수신하고, 수신 디바이스 상에 실시간으로 렌더링하는 것을 가능하게 하고 수신된 콘텐츠에 대한 실시간 피드백을 제공하는 것을 가능하게 하는 다양한 제어들을 포함할 수 있다. 캡처링 디바이스들에서 언급된 바와 같이, 수신 디바이스에서의 다양한 제어들은 하드웨어 제어들 또는 소프트웨어 제어들의 형태로 제공될 수 있다. 제어들이 소프트웨어를 통해 제공되는 실시예에서, 소프트웨어는 네트워크로부터 수신되고 수신 디바이스 상에 렌더링된다. 렌더링된 소프트웨어는 수신 디바이스가 특정화된 소프트웨어 제어들을 갖는 디바이스처럼 수행할 수 있도록 복수의 제어들을 인에이블하기 위해 그래픽 사용자 인터페이스(GUI) 및 특정한 기능을 포함한다.

부가하여, 수신 디바이스는 CU들에 의해 생성되거나 네트워크 상의 다른 등록된 사용자들에 의해 제공되는 다른 멀티미디어 파일들로부터의 콘텐츠를 갖는 수신된 멀티미디어 스트림들의 콘텐츠를 편집하고 리믹싱(remix)하도록 구성될 수 있다. 본 발명의 일 실시예에서 실질적인 실시간으로 피드백을 수신하고 제공하는데 사용되는 수신 디바이스의 표현이 도 12에 도시되어 있다. 도시된 바와 같이, 수신 디바이스는 CU들로 하여금 특정 이벤트/토픽에 대해 GU들에 의해 브로드캐스트된 멀티미디어 콘텐츠 중 일부 또는 전체를 저장가능하게 하고, 다른 CU들, 믹서들 및 다른 관심있는 사용자들과 멀티미디어 콘텐츠를 초대 및/또는 공유하는 것을 가능하게 하고, GU들, CU들, 믹서들 및 네트워크 상의 다른 사용자들에게 멀티미디어 콘텐츠에 대한 피드백을 제공하는 것을 가능하게 하는 "버블 1"로 도시된 옵션 제어들의 세트를 포함한다. 일 실시예에서, 피드백은, 온라인 채팅(chat), 음성, 미디어, 단문 메시지 서비스(SMS)(모바일 수신 디바이스들에 의해 공통으로 사용됨), 온라인 웹 로그(Blog) 등을 통한, 믹서들, GU들, 멀티미디어의 콘텐츠, 로케이션, 시간, 및/또는 나란히 선 사람들, 오브젝트들, 및/또는 캡처의 사이트에서 발생하고 및/또는 발생할 것 같은 이벤트들, 및/또는 캡처 디바이스를 동작시키는 사람 및/또는 조직, 서브젝트 등에 관한 코멘트를 포함할 수 있다.

옵션 제어들에 부가하여, 수신 디바이스는 피드백을 GU들에게 제공하기 위한 "주목점 지시자(Point-of-Attention Indicator)"를 갖는 뷰 윈도우; 개인의 선호도 기준에 기초하여 이벤트/토픽에 관련된 다중의 멀티미디어 피드들을 수신하고 필터링하기 위한 필터링 메커니즘; 멀티미디어 콘텐츠를 갖는 다중의 "믹싱된" 피드들을 수신하고, 저장하고 사용하며, 믹싱된 피드들을 다른 사용자들이 보기 위한 네트워크로 포워드하기 위한 믹서 메커니즘; 실시간 피드백을 제공하기 위한 실시간 통신 윈도우; 및 특정 이벤트/토픽에 대해 (통계를 포함하는) 메타데이터의 형태로 정보를 제공하기 위한 멀티미디어 콘텐츠 정보 메커니즘을 포함할 수 있다. 일 실시예에서, 주목점 지시자는 GU가 캡처링 디바이스를 조정하여 브로드캐스트된 멀티미디어 콘텐츠 내의 또는 브로드캐스트된 멀티미디어 콘텐츠 외부의 관심있는 특정 영역을 캡처할 수 있도록 GU에 대한 방향성 정보를 제공하는데 사용될 수 있다. 부가하여, 지시자는 줌 인(zooming in) 또는 줌 아웃(zooming out)에 관한 피드백을 제공할 수 있다. 지시자로부터의 피드백은 FE(Feedback Engine)를 통해 GU에 전송되고 방향성 화살표 또는 사운드, 히트 맵(heat map), 아이콘들, 진동 등과 같은 다른 형태의 피드백으로서 GU들의 뷰파인더에 나타난다. 일 실시예에서, 수신 디바이스는 이벤트/토픽의 맵에 GU들의 로케이션 및 기록 디바이스가 포인팅하는 방향을 나타낼 수 있는 지오-로케이터(geo-locator) 관련 메타데이터를 통해 이벤트/토픽의 다른 로케이션들로부터 멀티미디어 콘텐츠를 요청하기 위한 능력을 사용자에게 제공하기 위한 맵 기반 인터페이스를 더 포함할 수 있다. 맵(map)은 완전히 대화형하다. 일 실시예에서, 검색 인터페이스에는 또한 CU에게 관심이 있을 수 있는 다른 이벤트들, 사람 또는 채널들을 검색하는 것이 제공될 수 있다.

도 15는 본 발명의 일 실시예에서, 실제 CU의 멀티미디어 수신 및 피드백 디바이스(수신 디바이스)의 스냅샷을 도시한다. 도시된 바와 같이, 수신 디바이스는 CU에 의해 시청하기 위해 현재 선택된 특정 GU에 의해 캡처된 멀티미디어 스트림을 디스플레이하는 뷰잉(관심점(point-of-interest) 윈도우, 다른 GU들 또는 동일한 이벤트/토픽을 커버하는 동일한 GU로부터 수신되는 멀티미디어 스트림들을 나타내는 복수의 작은 윈도우를 포함한다. 작은 윈도우들 내의 멀티미디어 스트림들은 싱글 로케이션으로부터 또는 동일 이벤트/토픽 내의 복수의 로케이션으로부터 올 수 있다. 일 실시예에서, 복수의 작은 윈도우는, CU가 멀티미디어 스트림을 현재 캡처링하고 있는 GU들을 식별할 수 있도록, ID(identification), 로케이션 등과 같은 GU들에 관한 정보를 포함한다. 이 정보는, 동일한 또는 유사한 관심들을 갖는 CU들 및 GU들이 서로 상호작용할 수 있는 사회화 양상(socialization aspect)에서 사용될 수 있고, 및/또는 수익 창출을 위한 광고 또는 가치 생성 및 트랙킹의 다른 형태들을 배치하기 위해, 또는 단지 코멘트를 제공하기 위해 스폰서/믹서/광고주/다른 사용자에 의해 사용될 수 있다. 수익 창출 및 다른 형태의 가치 창출 및 트랙킹은 금융 양상에 제한되는 것이 아니라 사회적 양상도 포함한다는 것을 유의하자.

도 16은 CU들의 수신 및 피드백 장치의 대체 실시예의 스냅샷을 도시한다. 도시된 바와 같이, 모바일 멀티미디어 수신 및 피드백 장치는 피드백을 요청하고 수신하며 멀티미디어 콘텐츠에게 제공하는데 사용된다. 다른 실시예에서와 같이, 모바일 수신 디바이스는, CU가 동일 GU로부터의 또는 다른 GU들에 의한 다른 멀티미디어 스트림들로 스위치하는 것을 가능하게 하거나 피드백을 렌더링된 멀티미디어 스트림에 제공하도록 인에이블하기 위해, 모바일 폰 디바이스에서 이용가능한 다양한 옵션들을 통해 네비게이트(navigate)하기 위한 네비게이션 제어(385) 및 렌더링된 멀티미디어 콘텐츠에 관련된 실질적인 실시간 피드백을 제공하기 위한 키패드(370) 형태의 부가의 제어들과 함께, CU가 시청하는데에 현재 선택된 특정 GU에 의해 캡처된 멀티미디어 스트림을 디스플레이하기 위한 관심점 윈도우(330)를 포함한다. CU의 모바일 멀티미디어 수신 디바이스 상에 렌더링되는 멀티미디어 스트림은 CU에 의하거나 네트워크에 의해 FE 400에서 이용가능한 선택 기준을 사용하여 자동으로 선택될 수 있다. 일 실시예에서, 선택 기준은, CU의 수신 디바이스 상에 렌더링될 멀티미디어 스트림의 선택을 위해, 멀티미디어 스트림의 인기도, GU의 인기도, 이벤트/토픽의 인기도, 로케이션, 시간, 및/또는 나란히 선 사람들, 오브젝트들, 및/또는 캡처의 사이트에서 발생하는 및/또는 발생할 것 같은 이벤트들, GU의 상태, CU의 상태 등의 인기도를 사용할 수 있다.

본 발명의 일 실시예에서, 믹서는 등록한 다음 특정 이벤트/토픽 또는 다중의 이벤트들/토픽들 또는 그들의 몇몇 조합에 대해 멀티미디어 콘텐츠를 보거나 요청함으로써 컴퓨터 네트워크 상에서 발견 프로세스를 개시할 수 있다. 본 출원에서 사용되는 바와 같이, "믹서"는 CU 또는 GU가 아니지만 GU들에 의한 멀티미디어 콘텐츠 브로드캐스트에 관심을 갖고, 현재 브로드캐스트되는 멀티미디어 콘텐츠 스트림들에 다른 멀티미디어 콘텐츠를 믹싱하고 및/또는 하나의 멀티미디어 콘텐츠 스트림과 다른 것을 스위칭하여 멀티미디어 콘텐츠 스트림들의 실시간(포스트 실시간(post-real-time) 편집을 수행하고 싶어하는 사용자이다. 다른 멀티미디어 콘텐츠는 멀티미디어 콘텐츠 스트림들 내의 콘텐츠에 관련되거나 관련되지 않을 수 있고 믹서로부터 기원하거나 컴퓨터 네트워크 상에서 이용가능할 수 있다. GU들과 함께, 믹서는 경제적 또는 사회적 인센티브에 기초하여 발견 프로세스를 개시할 수 있다.

멀티미디어 콘텐츠 수신 시에 믹서를 지원하기 위해, 믹서들에게는 믹서로 하여금 멀티미디어 콘텐츠를 실시간으로 수신해서 볼 수 있게 하고 수신된 콘텐츠에 대해 실시간 피드백을 제공할 수 있게 하는 멀티미디어 수신 및 피드백 디바이스(믹서-수신 디바이스)가 제공된다. 일 실시예에서, 믹서-수신 디바이스(수신디바이스)는 CU의 수신 디바이스와 유사하다. CU들의 수신 디바이스들에서 언급된 바와 같이, 믹서의 수신 디바이스 내에는 하드웨어 제어들 또는 소프트 제어들의 형태의 다양한 제어들이 제공될 수 있다. 소프트웨어를 통해 제어들이 제공되는 실시예에서, 제어들을 제공한 소프트웨어는 CU들의 수신 디바이스들과 관련하여 논의된 것들과 당연히 유사하고 유사한 방식으로 얻어지고 구현된다.

CU들이 수신 디바이스와 유사한 믹서-수신 디바이스 상에서 이용가능한 메커니즘들에 부가하여, 믹서-수신 디바이스에는 이전에 선택된 믹싱되고/스위칭된 미디어 스트림(버블 3)의 그래픽 표현, 및 CU 수신 디바이스의 검색 옵션 대신 동일 이벤트의 다른 라이브 믹스들(mixes)을 보기 위한 라이브 믹스들 옵션(버블 8)이 제공된다. 일 실시예에서, 믹서에 의해 사용되는 믹서 수신 디바이스의 간단한 표현은 도 13에 도시되어 있다.

발견 프로세스의 실시예를 보다 상세히 설명하기 위해, 본 발명의 일 실시예에서, 발견 프로세스에 사용되는 라이브 멀티미디어 피드백 메커니즘 및 네트워크(LMFN)를 도시하는 도 2c를 주목한다. LMFN은 라이브 이벤트들을 발견하고, 브로드캐스트하고, 인덱싱하고, 그 라이브 이벤트들에 대한 피드백을 제공하고 편집하여, 세계 각지에서의, 사용자 개발의, 개인화된, 라이브의 편집된 이벤트들의 브로드캐스트들을 실시간으로 생성하는 복수의 사용의 협력을 가능하게 한다. LMFN은 다수의 캡처링 디바이스들과 그에 대응하는 디바이스 동작자들(GU들)을 실시간 라이브 멀티미디어의 다수의 믹서들 및 소비 사용자들에게 연결함으로써 이 목적을 달성한다. LMFN은 실시간 라이브 멀티미디어의 스트림들/채널들을 발견하고, 인덱싱하고, 랭킹(ranking)하며, 그 스트림들/채널들에 대한/관한 피드백을 제공하고, 스위칭하고, 믹싱하고 제시하며, 사회적 관계와 라이브 피드백에 기초하여 멀티미디어 콘텐츠 프리젠테이션을 맞춤화하거나 개인화하고, 인기있는 콘텐츠를 적절히 인식하고 보다 많은 노출과 보상으로 보응함으로써, 대화형 제어에 대한 소비 사용자들의 요구들을 만족시킨다. LMFN은 자신들의 멀티미디어 캡처링 디바이스들을 갖는 복수의 멀티미디어 생성 사용자들(GU들; 200), 통신 네트워크들, 피드백 엔진(FE; 400), 멀티미디어 소비 사용자들(CU들; 300) 및 자신들의 멀티미디어 수신 및 피드백 디바이스들을 갖는 믹서들을 포함한다.

전술한 바와 같이, GU(200)에게는 멀티미디어 콘텐츠를 캡처하여 실시간으로 FE(400)에게 전송하기 위해 비디오 카메라들 또는 비디오 카메라들이 설치된 모바일 폰들 같은 멀티미디어 캡처링 디바이스들이 제공된다. 캡처링 디바이스들은 비디오 콘텐츠를 캡처하기 위한 비디오 카메라들 또는 비디오 카메라들을 구비한 모바일 폰들로 제약되는 것이 아니라, 비디오 및 텍스트, 진동, 오디오 등과 같은 다른 형태의 멀티미디어 콘텐츠를 캡처하고 LMFN을 통해 전송할 수 있는 다른 디바이스들을 포함하는 것까지 확장될 수 있다. GU(200)는 캡처된 멀티미디어 콘텐츠를 전송하기 위해 자신들이 통신 네트워크에 대한 액세스를 갖도록 LMFN에 초기에 등록한다. 복수의 등록된 GU(200)는 싱글 이벤트 또는 토픽 또는 로케이션, 시간, 및/또는 나란히 있는 사람들, 오브젝트들, 및/또는 캡처의 사이트에서 발생하고 및/또는 발생할 것 같은 이벤트들, 및/또는 캡처 디바이스를 동시에 동작시키는 사람 및/또는 조직을 커버링할 수 있다. GU(200)는 의해 전송된 멀티미디어 콘텐츠는 GU(200)에 그리고 캡처된 이벤트/토픽의 멀티미디어 콘텐츠에 관련된 연관 정보를 제공하는 메타데이터의 세트를 포함한다. 등록된 GU(200)는 (경제적 또는 사회적)인센티브 또는 그 외의 것에 기초하여 멀티미디어 콘텐츠 전송을 시작할 수 있다. 한 로케이션 또는 이벤트로부터의 복수의 GU(200)는 상이한 조망(perspective)들을 포함하는 많은 각도들로부터의 그 로케이션 또는 이벤트를 커버링하는 다수의 동시적 멀티미디어 콘텐츠의 스트림들을 생성할 수 있다.

도 2c는 두 개의 상이한 로케이션(로케이션 1 및 로케이션 2)로부터의 동일한 이벤트를 커버하는 GU들의 두 세트(200-1 및 200-2)를 도시하며, GU들의 각각의 세트는 주어진 시간에서 많은 각도들 및 시각들을 커버하는 멀티미디어 콘텐츠의 스트림들을 생성한다. GU들의 세트(200-1 및 200-2)는 자신들의 멀티미디어 콘텐츠를 대응하는 메타데이터와 함께 자신들의 각각의 로케이션들로부터 FE(400)로 전송한다. GU(200)의 로케이션은 각각의 등록된 GU(200)의 멀티미디어 캡처링 디바이스들 내에 임베디드된 GPS(Global Position System) 같은 지오-로케이터 같은 다수의 방식으로 결정되거나 GU(200)로부터의 명시적인 로케이션 코딩에 의해 또는 셀 타워 ID 매핑, 셀 타워 삼각측량(triangulation), 블루투스 로케이션 비커닝(Bluetooth location beaconing), WiFi 삼각측량 등을 통해 결정될 수 있다.

특정 이벤트/토픽에 대한 멀티미디어 콘텐츠와 연관되고 함께 패키징된 메타데이터는 콘텍스트 기반(contextual based)이거나 소비 기반(consumption based)일 수 있다. 콘텍스트 기반 메타데이터는 특정 이벤트/토픽에, 및/또는, 로케이션, 시간, 및/또는 나란히 있는 사람들, 오브젝트들, 및/또는 캡처의 사이트에서 발생하는 및/또는 발생할 것 같은 이벤트들과 같은 특정 이벤트/토픽의 콘텍스트 콘텐츠에 관련된다. 메타데이터는 GU들에 의해, FE에 의해, 또는 GU들에 의해 사용되는 디바이스들에 의해 또는 멀티미디어 스트림들 내의 특정 콘텐츠에서 생성될 수 있다. 이들 콘텍스트 기반 메타데이터는 로케이션, 시간, 및/또는 나란히 있는 사람들, 오브젝트들, 및/또는 캡처의 사이트에서 발생하는 및/또는 발생할 것 같은 이벤트들, CU들, GU들 및 믹서들의 관심있는 서브-그룹, 특정 이벤트/토픽과 관련한 CU들, GU들 및 믹서들의 관계, 및 캡처되고 전송되는 이벤트/토픽 또는 콘텐츠의 세부사항에 관련된 정보를 포함할 수 있다. 소비 기반 메타데이터는 일반적으로 인기가 있거나, 임의의 CU, GU 또는 믹서 사용자 그룹들로부터의 그런 정보에 대한 특정한 요청 없이 일반 공중이 관심을 갖는 이벤트들/토픽들과 관련되거나, CU들, GU들 및 믹서들의 관심있는 서브-그룹의 소비 패턴들과 관련될 수 있다.

FE(400)는 동일한 이벤트 또는 토픽 및 다른 이벤트들/토픽들을 커버하는 상이한 GU(200)로부터의 다수의 입력 스트림들을 핸들링하고, 그들을 GU(200), 이벤트/토픽, 및 멀티미디어 스트림들에 제공되는 메타데이터에 기초하는 다른 기준에 따라 랭크(rank)하고 정렬(order)하며, 공중 CU들(300)에게 또는 특정 사용자 그룹들 또는 조직된 형태를 갖는 사용자들의 유형들에게 스트림들을 이용가능하게 한다. 본 출원에서 사용되는 바와 같이, 사용자는 CU 사용자 그룹, GU 사용자 그룹, 믹서, 스폰서, 광고주 중 임의의 하나 또는 멀티미디어 스트림들의 콘텐츠에 관심을 갖는 임의의 다른 사용자이다. 또한, FE(400)는 특정 이벤트 또는 토픽 또는 다수의 GU들에 의해 발행되는 다른 이벤트들/토픽들에 대해 GU(200)의 다수의 및/또는 오버래핑 로케이션들을 트랙킹할 수 있다. FE(400)는 수신된 멀티미디어 스트림들을 서로 비교하여 스트림들 간의 상관(correlation)을 결정하고 그 상관, 콘텍스트 메타데이터 및 소비 메타데이터에 기초하여 필터링함으로써 멀티미디어 스트림들을 조직한다. 예를 들면, 일 실시예에서, FE(400)는 특정 이벤트들/토픽들에 관한 GU(200)의 로케이션 같은, 상관에 기초하여 멀티미디어 스트림들을 필터링하고 함께 그룹화함으로써 멀티미디어 스트림들을 조직할 수 있다. 메타데이터 정보는 멀티미디어 콘텐츠를 그룹화하고 우선순위화하는데 사용될 수 있다. FE(400)는 조직된 멀티미디어 스트림들을 멀티미디어 콘텐츠에 관심있는 CU들(300)을 포함하는 사용자들에게 포워드한다.

FE(400)는 두 개의 주요 기능 - 스트림 관리 및 피드백 관리를 포함한다. 이들 두 기능은 하나의 FE(400)에 통합될 수 있거나 API(Application Programming Interface)들을 통해 서로 보완적으로 동작되는 두 개의 개별 FE(400)일 수 있다. 도 2c에 도시된 실시예에서, 두 기능들은 하나의 싱글 FE(400)에 통합된다.

일 실시예에서, FE 스트림 관리 모듈은 멀티미디어 스트림들을 수신하고, 랭크하며, 조직하고 발행하기 위해 SIM(Stream Intake Manager), SRM(Stream Ranking Manager) 및 SPM(Stream Publication Manager)을 포함한다. SIM은 새로운 멀티미디어 콘텐츠 스트림들 및 새로운 GU 사용자 요청들을 수신하는 것을 담당하고, GU 사용자들 및 멀티미디어 스트림들의 콘텐츠를 확인(validate)하는 것을 담당한다. 확인된 멀티미디어 스트림들은 멀티미디어 스트림들을 싱글 멀티미디어 스트림 소스 내로 또는 복합 멀티미디어 스트림 소스로서 수렴(converging)함으로써 SRM으로 패스된다.

SRM은 스트림들을 CU들(300)에게 발행하고 분배하기 위해 FE(400)에 의해 유지되고 사용된, 다양한 인덱스들로 SIM으로부터 수신된 승인되고 확인된 멀티미디어 스트림들을 리뷰하고, 상호참조하며 파퓰레이팅(populating)하는 것을 담당한다. SRM은 멀티미디어 스트림들의 명시적 메타데이터뿐만 아니라 멀티미디어 스트림들 및 GU들과 관계된 다른 특성들을 사용하여, 이벤트/토픽에 관계된 하나 또는 그 이상의 정렬된 리스트들 내에 그리고 하나 또는 그 이상의 카테고리들 내에 멀티미디어 스트림들 각각을 동적으로 조직한다. 시간 경과에 따라, 멀티미디어 스트림이 특정 카테고리에 속하기 위한 확인(validity) 또는 멀티미디어 스트림의 정렬된 리스트에서의 로케이션은 멀티미디어 스트림의 랭킹을 끊임없이 업데이트하는 LMFN 또는 멀티미디어 스트림의 이용가능성 또는 확인을 끊임없이 변경하는 SIM에 기초하여 변경할 수 있다. SRM은 인덱싱되고, 정렬되고 랭크된 멀티미디어 스트림들을 SPM으로 포워드한다.

SPM은 랭크되고, 정렬되고 인덱싱된 멀티미디어 스트림들을 CU들(300)에게 분배하는 것을 담당한다. SPM은 이들 멀티미디어 스트림들을 복수의 검색 선호도에 기초하여 다양한 포맷들로 CU들에게 제공한다. 검색 선호도는 사용자의 검색 기준(사용자 기준 또는 사용자 선호도), 관심있는 멀티미디어 콘텐츠에 대한 유형, 로케이션 등을 정의할 수 있다. 따라서, 검색 선호도는 이벤트 또는 주제 유형, 캡처될 이벤트의 길이, 캡처될 이벤트의 로케이션, 원하는 멀티미디어 포맷의 유형, 소비 사용자들의 선호 상태, 사용자 가입 상태, 멀티미디어 콘텐츠의 유형, 멀티미디어 콘텐츠와 연관된 메타데이터/태그들, 멀티미디어 콘텐츠가 캡처된 기간, 캡처링 디바이스의 하드웨어 선호도, 수신 및 캡처링 디바이스들의 로케이션, 네트워크-가맹, 데모그래픽스 등과 같은 정보를 포함할 수 있다.

일 실시예에서, 이들 멀티미디어 스트림들은 CU들(300)로부터의 초기 검색 요청에 기초하여 FE(400)로부터 CU들(300)에게 분배된다. 일 실시예에서, 검색 요청은 CU들(300)의 검색 선호도를 포함한다. 멀티미디어 스트림들은 그 멀티미디어 스트림들이 조직화된 방식으로 CU들(300)의 수신 디바이스들에 제공될 수 있도록 검색 선호도에 기초하여 인덱싱하고, 랭킹하고, 정렬되고 필터링함으로써 조직된다. 조직된 멀티미디어 스트림들은 CU들(300)의 수신 디바이스들과 연관된 프리젠테이션 기준에 기초하여 묶인다. 프리젠테이션 기준은 수신 디바이스들 상에 멀티미디어 스트림들을 렌더링하기 위한 요구사항들을 정의하고 사용자 기준, 네트워크 기준 및 수신 디바이스의 제약에 의해 구동된다. 프리젠테이션 기준은 멀티미디어 콘텐츠의 커버리지의 길이, 멀티미디어 콘텐츠가 렌더링을 위해 제공될 포맷, 멀티미디어 콘텐츠의 유형, 네트워크 대역폭 등을 포함할 수 있다. CU들에게 이용가능한 포맷들은 사용자 기준에 기초할 수 있고 다수의 스트림 뷰, 맵 기반 뷰, 또는 싱글 스트림 뷰를 포함할 수 있다. CU들(300)의 수신 디바이스들은 멀티미디어 스트림들을 수신 디바이스들 상에 원하는 포맷으로 렌더링하기 위한 적절한 인터페이스들을 포함할 수 있다.

도 3a 내지 도 3d는 FE(400)에 의해 전송된 멀티미디어 스트림들을 보기위해 CU들(300) 및 믹서들의 수신 디바이스들에서 이용가능한 다양한 포맷 인터페이스 페이지들을 도시한다. 포맷 인터페이스 페이지들은 MSI(Multiple Streams Interface), MBI(Map-Based Interface) 및 SSI(Single Stream Interface)를 포함할 수 있으며, 이들 각각은 구성가능하고, 관여된 GU들 및/또는 CU들의 상태에 의존하여 공적으로 되거나 사적으로 될 수 있다. 도 3a는, 본 발명의 일 실시예에서, CU들(300)에게 전송된 다수의 스트림들을 보기 위해 수신 디바이스에서 이용가능한 (도 2c에서 MSI로 도시된) 멀티플 스트림 인터페이스(300-A)를 도시한다. 도시된 바와 같이, MSI(300-A)는 선택된 멀티미디어 콘텐츠를 보기 위한 대형 뷰 윈도우(330)를 포함하고 그 내에서 컴포넌트 스트림들이 실시간 또는 실질적인 실시간(즉 FE를 통한 약간의 버퍼를 가짐)으로 재생되는 구성가능한 작은 윈도우들(340)의 행들을 갖는다.

본 발명의 실시예들은 실질적인 실시간으로 발생하는 동작들을 설명한다. 여기에서 사용되는 바와 같이 "실질적인 실시간"은 실시간 또는 실시간인 것처럼 보이는 동작들을 포함하도록 광범위하게 정의되어야 한다. 또한 실시간 동작이 송신 및/또는 프로세싱에서의 지연에 기인하여 가능하지 않은 실시예도 실질적인 실시간의 정의 내에 포함된다. 비록 눈에 띄거나 겨우 눈에 띄는 약간의 지연들이 실질적인 실시간의 정의에 적용되어야 하는 넓은 범위를 벗어나지 않으면서, 예시적 지연들은 멀티미디어 콘텐츠의 뷰어들 및 캡처들에게 실시간인 것처럼 보이는 환경들이 제시되도록 약간의 버퍼링된 지연을 포함하는 프로세싱을 산출할 수 있다.

다시 도 3a를 참조하면, 소비 사용자들로 하여금 CU들의 수신 디바이스들 상에서 이용가능한 다양한 옵션들을 통해 네비게이션하는 것을 가능하게 하도록, 피드백들을 제공하기 위한 대화형 스크린(350)(뷰 윈도우라고도 함), 및 스크린 제어(385)가 또한 제공된다. 따라서, CU는 자신들의 스크린 실면적(real-estate)이 자신들이 오픈되는 것을 허용하는 만큼의 많은 스트림들을 동시에 볼 수 있고, FE(400)의 SPM은 CU들이 자신들의 MSI 내에 개별 스트림들을 맞춤화하거나 재조직할 수 있음과 같이 스트림들의 전달을 트랙킹하고 조정하기를 계속할 것이다.

이미 언급한 바와 같이, 복수의 등록된 GU(200)는 특별 이벤트/토픽에 대한 복수의 멀티미디어 스트림을 캡처링하고 전송할 수 있다. FE(400)은 (몇천 개의 스트림들의 상태로 될 수 있는) 복수의 멀티미디어 스트림을 수신하고 FE(400)에서 정의된 특정의 조직 및 필터링 기준에 기초하여 멀티미디어 스트림들을 조직한다. 샘플 멀티미디어 스트림 피라미드가 본 발명의 일 실시예로 도4에 도시되었다. 피라미드의 베이스는 SIM에서 수신된 모든 멀티미디어 스트림들을 나타낸다. FE(400)은 콘텐츠 및 검색 선호에 기초하여 멀티미디어 스트림들을 반복적으로 필터링하고 조직하며 다중 스트림 뷰잉 포맷으로 CU들에게 필터링된 스트림들을 제공한다. 예를 들어, 전체 12,000개의 멀티미디어 스트림들이 피라미드의 베이스에 의해 표시된 대로 초기에 수신된다. 이런 멀티미디어 스트림들은 반복적으로 필터링되어 피드들을 줄이게 된다(12,000 -> 4,500 -> 870 -> 225 -> 75> -> 34 -> 12 -> 1). 필터링된 스트림들은 이후 수신 디바이스 상에서 렌더링되기 위해 CU들에게 전송된다. 일 실시예에서, 필터링된 스트림들은 단일 복합 스트림으로서 전송된다. 복합 스트림은 가장 최상의 단일 스트림이 뷰잉 윈도우 내에서 렌더링되면서 더 작은 윈도우들의 세트 내에서 렌더링되는 상부의 두 개의 선택 계층을 포함할 수 있거나, 또는 수신 디바이스의 실면적 공간의 가용성과 CU들의 요청/바람/기호와의 멀티미디어 스트림들의 관련성에 의존하여 상부의 세 개의 계층을 포함할 수 있다.

일 실시예에서, MSI는 이들 자신의 스크린들을 파퓰레이팅하기 위해 CU들에 의해 완전히 구성가능하고, CU들은 이들의 개인 MSI에 부가하기 위해 스트림들을 선택하는 것을 돕기 위한 검색 및 발견 도구들을 사용할 수 있다. CU들은 한번에 하나씩, 또는 (예를 들어 가장 인기 있는 것 등에 대해서) 특정 스트림들의 그룹들을 선택함으로써, 또는 CU들에 의해 선택되는 공간 내에 맞추어지는 특별한 인기 스트림들 그룹 내의 상부 스트림들 만큼을 디스플레이하기 위한 CU들의 스크린들의 부분을 지정함으로써 이것을 할 수 있다. 이런 식으로, MSI는 임의 개수의 사용자 정의 또는 네트워크 제공된 스트림들의 범주에 대해 CU들에 의해 완전히 구성가능한 개인 스트림 홈페이지로서 기능할 수 있다.

또 다른 실시예에서, MSI는 완전히 자동화되고 FE 운영자에 의해 파퓰레이팅되거나, 또는 각각의 특정 CU에 대한 그 밖의 제3 회원 공개자(affiliate publisher)에 의해 파퓰레이팅될 수 있다. 이 실시예에서, MSI는 (이전 실시예에서처럼 CU에 의하지 않고), FE 운영자에 의해, GU, 스트림 또는 CU 속성들, 또는 데이터에 기초하여 개인화될 수 있다. 이런 식으로, FE 운영자는 개개의 CU들을 위한 더 나은 사용자 경험을 산출하기 위해 활용되는 복수의 특수화된 MSI 템플릿들 또는 타입들을 생성할 수 있다. MSI 템플릿들은 목표로 하는 연령 그룹들, 수입 레벨들, 및/또는 CU들의 관심사에 기초하여 설계될 수 있다. 또한, MSI 템플릿들은 금융 서비스들, 스포츠 분야들 또는 팀들, 부동산, 여러 가지의 뉴스 조직체들 또는 정치적 단체들, 비즈니스 산업계들 및 전문가들 등과 같은 특정 주제까지 확장될 수 있다. MSI들은 컬러, 라이팅(lighting), 형상, 움직임, 포커스 등 같은 콘텐츠 기반 기준, 및 동일 로케이션에 있는 것, 한 사람의 사회적 네트워크에 의해 보여지는 것, GU들의 팀에 의해 캡처되는 것과 같은 공통 메타데이터 등의 많은 기준에 기초하여 멀티미디어 스트림들을 랭크하고 소팅할 수 있다. 일 실시예에서, FE 운영자는 LMFN의 시작 페이지 상에서 특정 MSI 페이지들을 나타내는 아이콘들의 선택을 파퓰레이팅할 수 있다. 그러면, MSI 페이지는 CU들에 의한 선택 및 피드백을 위해 이용가능한 현재 이용가능한 스트림들의 랭크된 리스트들로 파퓰레이팅될 것이다.

수신 디바이스의 MSI는 GU들의 스트림들을 현재 재생하는 MSI의 다수의 윈도우를 통해 피드백을 GU들에게 제공하기 위한 복수의 제어 및 옵션을 사용할 수 있다. 피드백 메커니즘은 사용자 선호도 및/또는 MSI 템플릿에 의존하여 가변할 수 있고, 각도를 변경하거나, 계속해서 동일 주제에 포커싱하거나, 보다 심도 깊은 주제의 커버리지를 제공하기 위해 CU 피드백을 지시하도록 원-클릭 확인(affirmation) 메커니즘, 더블-클릭 확인 메커니즘, 클릭-앤-드래그 확인 메커니즘, 마우스휠 메커니즘 등과 같은 메커니즘을 포함할 수 있다. 예를 들면, MSI 페이지를 보는 CU는 자신이 관심있는 특정 스트림을 나타내기 위해 스트림 상에 클릭함으로써 MSI 페이지와 상호작용할 수 있다. LMFN은 CU들이 자신들이 보는 콘텐츠를 동적으로 변경시키는 힘을 갖는 실시간 시스템이기 때문에, CU들은 클릭킹 액션에 의해 복합 스트림들에서 그리고 MSI 템플릿 포퓰레이션들에서 특정 스트림의 랭킹 및 두드러짐(prominence)을 증가시킬 수 있다.

다른 예에서, CU는 대응하는 GU에 표시하여 이들의 캡처링 디바이스의 각도 또는 해당 스트림의 토픽을 변경시키기 위해 뷰 윈도우에서 직접 스트림 상에 클릭하거나 클릭-앤-드래그할 수 있다. 이 클릭 또는 클릭-앤-드래그 액션은 GU가 포커스를 맞추어야 하는 온스크린 콘텐츠이거나 오프-스크린 콘텐츠에 행해질 것이다. CU로부터의 이들 액션들은 각도 또는 토픽 변경에 대한 투표(vote)로서 만이 아니라 랭킹 및 인기도에 대한 투표로서 FE에 의해 고려된다. FE는 몇몇 사전 정의된 구간에 걸친 모든 투표들(CU들의 액션들)을 수집하고, 수집된 피드백을 제안된 명령어들의 형태로 GU들에게 통신한다. 예를 들면, 제안된 명령어들은, 몇가지만 들자면, 캡처링 디바이스를 특정 방향들로 이동시키기 위한 명령, 특정 방향을 표시하기 위한 고유 사운드, 또는 깜박이는 화살표가 수집된 CU 피드백을 표시하면서 GU들의 뷰파인더에 나타날 수 있는 뷰잉 오버레이(viewing overlay), 또는 브로드캐스트 콘텐츠의 다양한 부분들에 대한 다양한 관심 레벨들을 표시하기 위한 GU들의 뷰파인더에 나타날 수 있는 "히트맵" 오버레이 등을 포함할 수 있다. 일 실시예에서, MSI는 공통의 카메라 액션들, 필터들, 또는 FE(400)에 의해 제공되는 다른 구성가능 옵션들을 표시하기 위한 방향성 탭들 및 버튼들을 포함하는 그래픽 오브젝트를 포함한다. CU들은 자신들의 마우스를 사용하여 상기 그래픽 오브젝트와 상호작용하여, 피드백을 위해 현재 선택된 멀티미디어 스트림들의 세트 또는 특정 멀티미디어 스트림의 피드백 또는 조작을 제어한다.

일 실시예에서, MSI는, 동일 스트림에 연결되거나 또는 MSI 템플릿에 제공된 통신 툴들에 의해, 또는 텔레커뮤니케이션 네트워크들, VOIP(Voice over Internet Protocol) 또는 다른 통신 툴들 같은 멀티미디어 통신 회로 또는 라이브 음성과 같은 사용자 선택 IM 통신 선호물들에 의해 다른 CU들과 통신하기 위한 IM(Instant Messenger) 같은 CU들을 위한 믹싱 및 통신 툴들을 위한 실면적(real-estate)을 또한 포함한다. 일 실시예에서, 예를 들면, LMFN은 GU들로서 활동하는 원격 필드의 몇몇 멤버들 및 네트워크 상의 CU들로서 활동하는 또 다른 원격 로케이션에서의 다른 자들과 함께 멀티미디어 제작 팀들에 의해 사용될 수 있다. 이 실시예에서, CU들은 멀티미디어 스트림들을 필드에 있는 다른 GU들과 조정하기 위해 GU들을 안내하는 프로듀서들로서 또한 활동한다. 이 실시예에서, GU들 및 CU들은 자신들의 MSI 및/또는 MBI가 팀 멤버들로 제한되도록 하고 LMFN에 걸쳐서 폐쇄적인 사설 통신을 사용하여 팀 멤버들 간에 통신하도록 구성할 수 있다.

도 3b는 일 실시예에서 이벤트/토픽에 관련된 맵(345)을 보기 위한 대형 뷰 윈도우(330)를 포함하는 (도 2c에서는 MBI 300-B로 도시됨) 맵 기반 인터페이스를 도시한다. 뷰는 이벤트/토픽을 캡처할 준비가 되었거나 또는 이미 이벤트/토픽을 캡처하고 전송중인, 이벤트에서 현재 이용가능한 복수의 캡처링 디바이스(200)를 식별한다. 뷰 윈도우(330)는 스크린을 통한 네비게이션을 돕기 위한 네비게이션 제어(385)를 포함한다. MBI는 실제 공간에서 GU들의 클러스터의 실제 또는 근사 맵을 포함하는 대화형 웹 페이지 또는 디바이스 인터페이스이다. MBI는 임의의 주어진 시간에 LMFM 상에서 액티브 GU들(등록됨)의 수, 랭킹, 유형, 밀도에 기초하여 스케일링하거나 상대적일 수 있다. MBI는 또한 CU의 질의들 또는 베이스 MBI와의 상호작용을 통해 생성되거나 LMFN 운영자에 의해 제공되는 바와 같이 글로벌 또는 채널, 카테고리, GU 또는 콘텍스트/이벤트 특정적일 수 있다.

일 실시예에서, MBI는 작은 아이콘 및 방향성 화살표 오버레이로 GU들 및 이들의 미디어 캡처의 각도를 표시한다. 클릭킹-앤-드래깅함으로써, CU들은 MBI의 씬(scene)을 스크롤할 수 있고, MBI는 GU들뿐만 아니라 그 방향에서 이용가능한 임의의 새로운 GU들 또는 토픽들 간의 상대적 로케이션 변화를 보여주기 위해 필요한 대로 리드로(re-draw)할 수 있다. 유사하게, MBI들은 MBI의 조망을 변경하기 위한 "줌 바(zoom bar)"(당해 분야에 공지됨)를 포함할 수 있다. 규칙적 구간들에서 모든 MBI들은 실시간 및 공간에서 GU들의 변경하는 각도들 또는 로케이션을 업데이트하기 위해 리드로한다. MBI 상에 GU들의 상태를 디스플레이하는 것에 부가하여, GU들의 로케이션, 배향, 초점 길이, 및 시야의 아이콘 표현은 피드백을 GU에게 제공할 때 CU에 의해 조작될 수 있다. MBI에서 GU들에 관한 이 상태 정보는, 충분히 자주 샘플링되고 리프레시된다면, 애니메이트(animate)될 수 있다.

일 실시예에 있어서, 줌 콘텐츠가 한정된 수의 GU를 나타낼 정도로 작으면, MBI는 "콜-아웃(call-out)" 박스들/윈도우들을 구비하여도 되며, 이 박스들/윈도우들에서 그 GU로부터의 현재의 멀티미디어 스트림이 MBI에 나타내어지고 있다. 예를 들면, 마라톤에서 GU용 MBI는 액티브하고 유효하며 선택가능한 모든 GU용 아이콘들로 전체 코스를 나타낼 수도 있지만, 출발선에서의 GU, 결승선에서의 GU, 및 코스 중간의 강조 로케이션에서의 GU용 콜 아웃 박스들을 가질 수 있다. GU들에 대한 미래/과거 정보, 그들의 로케이션, 방향, 초점 거리 및 시야뿐만 아니라, 장면(현재뿐만 아니라 이전에 브로드캐스트된 것)에서의 오브젝트들, 사람, 로케이션들도 MBI 상에 중첩되어, 무엇을, 어디서, 언제 브로드캐스트할 것인지에 대한 결정을 지원할 수 있다.

어느 포인트에서든, CU는 MBI 상의 GU용 아이콘을 어느 것이라도 선택할 수 있어, GU로부터의 대응하는 스트림을 SSI에 즉시 로드하거나, MBI를 통해서 GU에의 피드백을 직접 제공하거나, 그 스트림을 새로운 또는 기존의 MSI에 부가할 수 있다. 또한, CU는 특정 GU로부터 혹은 특정 이벤트/토픽에 대해서 새로운 멀티미디어 스트림을 추천하거나 요청할 수 있다. 일 실시예에 있어서, MBI에서 GU 아이콘을 더블 클릭하여 SSI에 해당 스트림을 로드하는 반면, GU 아이콘을 클릭-드래그하면 CU는 그 GU를 그들의 현재 디폴트 MSI에 부가할 수 있다. MBI 상에 시각화될 수 있는 관련 로케이션들, 이벤트들, 사람, 오브젝트들 등에 대한 정보뿐만 아니라 GU의 로케이션, 배향, 초점 길이에 대한 정보에 대한 GU 또는 CU에 대한 정보를 나타내는 다른 방법들은, GU 캡처 디바이스 및/또는 CU 수신 디바이스에서 브로드캐스트 스트림 상의 오버레이로서 피드백 정보를 나타내는 데에 이용될 수 있는데, 이들 디바이스에서 그 브로드캐스트 스트림은 피드백 스트림에 의해 오버레이되고, 복합되며, 및/또는 브로드캐스트 스트림의 라이브 비디오에 삽입된다.

도 3c는 본 발명의 일 실시예에서 CU 및 믹서에 제공되는 단일 스트림 인터페이스(도 2c에서 SSI(300-C)로 표시됨)를 도시한다. SSI(300-C)는 선택된 멀티미디어 스트림의 고해상도 렌더링이 가능하도록 하는 대형 뷰 윈도우(330)를 구비한다. 이 멀티미디어 스트림은 하나의 GU로부터 오는 라이브 멀티미디어 콘텐츠의 것일 수 있고, 또는 LMFN에 의해, 다른 CU에 의해, 또는 시청 CU들 자체에 의해 자동 생성된 복합 스트림일 수 있다. 일 실시예에 있어서, SSI는 단일의 선택된 멀티미디어 스트림을 시청하기 위한 메인 뷰 윈도우(330)와, 하부에 배치되고, CU, GU, MSI로부터 입수가능하거나 SSI에서 현재 재생되고 있는 상기 단일 멀티미디어 스트림에 관련된 다른 멀티미디어 스트림, 및/또는 최근에 시청된 브로드캐스트 스트림의 세그먼트들을 나타내는 일련의 보다 작은 윈도우(썸네일(340)로 표시됨)들을 구비한다. SSI(300-C)는 또한, 타이머 제어부의 설정에 기초하여 이벤트에 관련된 이전에 시청한 적절한 멀티미디어 스트림을 검색할 수 있도록 하는 타이머 제어부(360)를 구비한다. 이전에 시청한 멀티미디어 스트림을 검색하는 능력을 제공하기 위하여, 멀티미디어 스트림은 수신 장치 상에 국부적으로 저장되거나 통신 네트워크를 통해서 CU가 액세스 가능한 원격 데이터베이스에 저장되어도 된다. SSI는 CU가 현재의 멀티미디어 스트림과 상호작용하는 것 외에도 그 멀티미디어 스트림의 GU, 다른 GU, 관련 CU 또는 다른 CU에 피드백 및/또는 제안을 제공하고, GU 또는 CU로부터 피드백을 수신하도록 하는 네비게이션 제어부(385)를 구비한다. 일 실시예에 있어서, SSI는 또한 그로부터 임의의 멀티미디어 스트림이 최대양의 스크린 실면적이 부여되는 뷰이기 때문에, CU들이 그들의 마우스를 이용하여 현재 스트림의 프레임 내의 토픽, 서브젝트 또는 오브젝트를 선택하고, GU에 의해 캡처된 그 선택된 토픽, 서브젝트 혹은 오브젝트에 대하여 GU에게 피드백 혹은 방향을 통신할 수 있도록 한다.

도 3d는 본 발명의 일 실시예에 있어서 멀티미디어 스트림을 수신하고 랜더링하는 뷰어 인터페이스를 갖는 모바일 폰 디바이스를 도시한다. 이 모바일 폰 수신 디바이스 상의 다양한 구성 요소/옵션의 기능은 상기 도 16과 관련하여 상세하게 설명하였다.

도 2c에 대한 참조를 계속하면, 발견 프로세스는, CU가 CU 수신 장치에서 랜더링된 실시간 멀티미디어 스트림에 응답하여, FE(400)의 피드백 관리 모듈을 통해서 GU, 다른 CU 및 믹서에 실시간 피드백을 제공하는 것으로 계속한다. 피드백 관리 모듈은 MSI, MBI 혹은 SSI를 통해서 CU 상호작용을 처리하기 위해 함께 동작하는 FIM(Feedback Intake Mnager), FAM(Feedback Analysis Mnager)), FDM(Feedback Delivery Mnager)) 및 TRM(Transaction Mnager)을 구비하고, 해당 피드백을 GU들, CU들, 믹서들 및 다른 사용자들에게 통신한다.

FE(400)는 일단 론칭되면 그 내에서 논리적으로 해결될 때까지 독립적으로 실행하는 두개의 1차 피드백 루프(정규 통신 채널 및 직접 통신 채널)를 행한다. 정규 통신 채널은, CU, GU, 믹서 및 다른 사용자가 피드백 관리 모듈을 통해서 서로 통신할 때이다. 피드백 관리 모듈은 사용자로부터 피드백을 수신하고, 취합하고, 조직화하여, 그 피드백을 적절한 사용자에게 전달한다. CU와 GU 간의 정규 통신 채널 외에, 피드백 관리 모듈은, 스트림 관리 모듈과 달리, CU-GU 직접 회로를 통해서 GU와 CU 간의 휴먼-기반(human based) 통신 상호작용을 구비한다. 피드백 관리 모듈이 몇몇 형태의 GU에 대한 피드백과 GU로부터 후속 응답의 통신을 원할하게 하기 때문에, 피드백 관리 모듈은 관련된 또는 제3자 통신 네트워크를 구비할 수 있다.

피드백 관리 모듈은 복합 스트림에 대한 컴포넌트 풀(component pool)에서 개별 또는 관련 스트림의 랭킹 및 대중 가용성(population availability)을 수정하기 위하여 모든 GU, CU 및 믹서들 간에 또한 이들 중에서의 액션, 상호작용 및 통신 이벤트에 반응한다. 멀티미디어 렌더링 중에 풍부한 사용자 경험을 제공하기 위하여, LMFN은 사용자 그룹들 중에서의 실시간 통신을 허용하여 GU 상의 CU에 의한 경험의 실시간 영향을 촉진하도록 구성된다. 사용자 그룹들 간의 피드백은 CU와 GU간, CU와 CU간, CU와 믹서간, GU와 GU간, 및/또는 GU와 믹서간에 직접적인 상호작용 또는 FE를 통한 상호작용을 포함할 수 있다. 사용자 그룹들 간의 피드백은, 다양한 형태들이 수신 디바이스에서 캡처되고 송신될 수 있는 한, 직접(direct) 디바이스 피드백, 텍스트, 그래픽, 오디오, 커뮤니티 레이팅(community rating), 라이브 인기도, 진동, 온도 또는 이들의 소정 조합과 같은 많은 형태를 취할 수 있다.

GU 및 CU는 각각의 사용자와 연관된 여러 가지의 역할/타입 및 태그로 구별되며, 서로에 대해 또한 여러 관계에 의한 여러 토픽에 링크될 수 있고, 추가로 링크 및 그룹핑될 수 있는 그룹으로 조직화될 수 있다. 전형적인 GU 역할은 캡처링 디바이스 운영자가 다양한 각도로부터의 이벤트/토픽/사람/활동/오브젝트/제품/브랜드 또는 서비스의 샷(shot)들을 캡처하는 것, 믹서들이 캡처된 멀티미디어 콘텐츠를 적절한 시간에 적절한 광고 콘텐츠와 믹싱하고 다가오는 이벤트에 대해 소정의 로케이션에 로케이션하는 것, 주석가(commentator), 디렉터(director), 태거(tagger) 중 어느 하나 또는 그 조합을 포함할 수 있다. 일 실시예에서, 적절한 광고 콘텐츠는 멀티미디어 스트림의 관련된 문맥상 콘텐츠를 기초로 하여 GU 또는 믹서에 의해 멀티미디어 스트림 내의 적절한 로케이션에 선택되어 배치될 수 있다. 전형적인 CU의 역할은 시청자, 주석가, 스위처(switcher), 믹서, 트랜스크라이버(transcriber), 태거, 디렉터, 광고 유닛의 삽입자, 및 멀티미디어 스트림내의 오브젝트로의 하이퍼링크 부가자를 포함한다. 여러 사용자들 간의 통신 및 피드백은 캡처되고 송신될 수 있는 텍스트, 수치, 음성, 오디오, 그래픽, 아이콘, 비디오, 진동, 온도 등과 같은 다른 양상(modality)일 수 있다.

사용자들 간에 교환된 피드백은 스케일 및 문맥의 이슈들을 다룰 것이다. 스케일 이슈란 얼마나 많은 피드백이 만들어지고 소비되는 지와 얼마나 많은 사람에 의해 그렇게 되는 지를 다루는 것이다. 문맥 이슈란 피드백의 문맥상 소비와 생성을 다루는 것이다. FE(400)는 사용자(GU, CU, 믹서)에게 가용한 피드백을 만들기 이전에 취합하고, 필터링하고, 요약하고, 중재하고, 및 트랜스코딩한다. 또한, FE(400)는 CU로부터의 요청을 조정하며, CU 요청을 서비스하는 GU의 세트의 식별을 행한다. 예컨대, CU는 GU를 포함하지 않는 MBI 내의 한 로케이션을 선택할 수 있으며, FE 피드백 관리 모듈은 멀티미디어 콘텐츠의 잠재적 변경을 위해 CU에 의해 식별된 로케이션의 제한적 지오-임계치(geo-threshold) 내의 가장 근접한 GU의 세트로의 실시간 호출을 행한다. FE(400)는 실시간 통신을 GU 세트에 전송하고, GU 응답(승낙 또는 거부)을, 요청이 유래한 CU에 역으로 보고한다. 복수의 CU가 FE(400)에 대한 이러한 지오-기반 GU 요청을 배치한 예에서, LMFN 운영자가 개입하여 요청들을 스무딩하고, 카테고리 또는 제너럴리티(generality)로 요청을 조직화할 수 있어, 보다 대화형의 사용자 경험을 제공한다. 실시간 피드백에 덧붙여, LMFN은 CU 또는 GU가 LMFN에 의해 브로드캐스트하고 싶은 장소/이벤트/사람/토픽/오브젝트에 대한 프로액티브(proactive) 요청을 수신할 수 있다. 이들 요청은 GU가 어느 토픽을 브로드캐스트할지를 찾아낼 뿐만 아니라 널리 탐색하거나 이벤트에서 찾아내고자 하는 초기 타겟의 세트로서 구실할지를 결정하는데 도움을 줄 수 있다.

도 2c를 다시 참조하면, FIM은 MSI, MBI, SSI의 디바이스 디스플레이 또는 브라우저 디스플레이, 또는 CU로의 스트림의 임의의 다른 표현(representation)에 도움을 주며, 이런 데이터의 일부 또는 모두를 FAM에 제공하는 역할을 담당한다. FIM은 멀티미디어 콘텐츠를 기초로 하는 CU로부터 트랙킹될 수 있는 사용자 액션, 예컨대 마우스-오버(mouse-over) 액션, 클릭 액션, 클릭-드래그 액션 및 다른 대화형 형태의 일부 및 모두를 제어 및 취합한다. FIM은 CU 및 CU 액션을 승인 및 검증하며, 이들 액션을 CU 피드백으로서 취합하고, 취합된 피드백을 FAM에 전달한다.

FAM은 FIM으로부터 원시의(raw) 또는 모델링된 데이터를 수신하며, 특정 또는 취합된 CU, 토픽, 및 LMFN 운영자에 의해 특정된 임의의 다른 모델 또는 기준과 연관된 승인 및 확인(validate)된 피드백을 리뷰, 교차 참조 및 파퓰레이팅(populating)하는 역할을 담당한다. 예컨대, 일 실시예에서, 운영자는 게스트 또는 공중 CU 피드백보다 강하게 가입 CU 피드백을 가중할 수익 최적화 모델을 활용할 수 있다. FAM은 피드백을 취합하며, 멀티미디어 스트림과의 CU의 상호작용의 실시간 동적 논리 표현을 생성하며, 여기서 GU 및 다른 CU와 믹서는 FAM에서 선택된 특정 모델/기준을 기반으로 한다. FAM은 GU에 대한 보다 정밀한 로케이션 결정 정보를 이용하여 캡처링 디바이스를 도구화하고 및/또는 브로드캐스트 콘텐츠를 분석함에 의해 피드백을 조직화함으로써, GU의 로케이션뿐만 아니라 GU와 브로드캐스트 서브젝트 간의 관심 벡터(vector of attention)를 결정할 수 있어서, GU의 3차원 로케이션, GU가 생성하는 브로드캐스트 서브젝트 및 이미지 플레인(image plane), 및 GU, 브로드캐스트 서브젝트 및 이미지 플레인 간의 벡터를 효과적으로 결정할 수 있게 된다. 관심 맵(attention map)은 네트워크 상에서 GU 및 CU 둘 다의 스트림-투표/상호작용 행위(stream-voting/interaction behavior), 액션 및 통신의 가중된 표현을 묘사하는데 도움을 준다.

GU와 CU 간의 상호작용을 촉진하기 위해서, FAM은 멀티미디어 콘텐츠와 연관된 메타데이터뿐만 아니라 연관된 GU 및 CU와 멀티미디어의 도출된 속성 모두를 이용하여, 매 피드백 이벤트를 네트워크 상에서의 GU, CU, 믹서, 스폰서, 공개자 또는 다른 사용자(제3 사용자를 포함함)와 연관된 하나 이상의 데이터베이스 내에 배치한다. 그 후 데이터베이스는 실시간으로 랭킹 또는 취합 결정을 하기 위해 다른 FE 컴포넌트가 질의하는 것에 이용가능하게 된다. CU 상호작용의 스케일에 의해 정의된 시간의 미리 설정된 임계치(pre-set threshold) 후에, FAM은 CU 액션 또는 GU 응답에 기초하여 장기(long-term) 데이터를 TRM에 제공하며, 모든 GU로의 취합된 또는 개별화된 피드백의 즉각적인 전달을 위해 FDM에 대한 호출을 개시한다. 핵심 사항으로, LMFN은 LMFN의 여러 컴포넌트에 의해 매개된 현실 세계에서 전개되는 이벤트들 및 임의의 주어진 CU 간의 시공간적 관심 경로를 기본적으로 계산한다.

FDM은 취합된 응답을 수신하며, 통신 네트워크, 및 GU와 직접적인 통신을 가능하게 하는 다른 통신 캐리어 네트워크와 상호작용한다. 상호작용은 동기식 또는 비동기식일 수 있으며, MSI, MBI, SSI외에, 음성, 멀티미디어, 텍스트, IM 등을 포함하는 GU-측(side) 인터페이스를 포함하는 모든 공지된 형태를 포함한다. GU가 LMFN을 통해 브로드캐스트하지만 CU가 이들 스트림과 상호작용하지 않는 경우에, 어떠한 장기 피드백 데이터도 생성되지 않는다. 이 경우, GU 및 멀티미디어 스트림 데이터베이스만이 업데이트된다.

LMFN 처리시에, CU는 멀티미디어 스트림에 응답하여 연속적인 피드백을 GU에 제공하며, GU는 조정된 멀티미디어 스트림 및/또는 피드백으로 응답하고, CU는 다시 응답하며, 프로세스는 GU가 멀티미디어 콘텐츠를 캡처하기를 택하거나 CU가 관심을 잃거나 빠져나갈 때까지 계속된다. TRM은 개별 GU 및 CU 프로파일뿐만 아니라, 취합된 GU, CU 및 이벤트/토픽에 의해 생성된 소정의 관련된 스폰서 데이터도 업데이트하기 위한 데이터를 취합한다. TRM은 트랜잭션 이벤트에 기초하여 자신의 사용자, 콘텐츠 랭킹 및 스코어링(scoring) 데이터베이스를 유지하거나, 또는 이런 정보를 공유하거나 유지하고자 하는 다른 LMFN 모듈 또는 프로세스에 제공할 수 있다.

피드백 엔진(400) 내의 여러 모듈의 전술한 설명에서, 샘플 LMFN 루프 프로세스 또는 피드백 사이클은 본 발명의 일 실시예에서 도 5를 참고로 설명된다. 사이클은 GU가 멀티미디어 스트림을 캡처링하고 이를 통신 네트워크를 통해 FE(400)에 전송하는 것으로 시작한다. FE(400)는 멀티미디어 스트림을 인테이크(intake)하고, 리뷰하고, 랭크하고, 또한 이를 피드백 인터페이스 및 메커니즘을 갖는 관심 CU에 공개한다. 도시된 바와 같이, 피드백 인터페이스 메커니즘은, 이들이 GU에 의해 전송된 멀티미디어 스트림을 수신 및 전달할 수 있는 한, 어떠한 형태도 취할 수 있다. 멀티미디어 스트림은 단일, 다수의 또는 복합 스트림으로서 제공될 수 있다. CU는 멀티미디어 스트림을 소비하고, 토픽, 콘텐츠, 각도 등과 관련된 피드백을 GU에 제공한다. FE(400)는 CU 피드백을 수신, 처리 및 취합하며, 이 피드백을 GU에 전송한다. GU는 피드백을 수신하며 수정된 또는 새로운 멀티미디어 스트림으로 응답하고, 사이클은 CU가 멀티미디어 스트림을 시청하기를 택하거나 GU가 멀티미디어 스트림의 캡처링 및 전송을 중단할 때까지 계속된다.

Ⅱ. 스위칭 프로세스

스위칭 프로세스는 사용자로부터의 라이브 피드백에 기초하여 복합 스트림을 실시간으로 생성하기 위한 다수의 라이브 멀티미디어 피드들 간의 스위칭으로서 정의된다. 본 명세서에 사용되는 용어 "스위칭(switching)"은 라이브 멀티미디어 콘텐츠의 한 소스로부터 라이브 멀티미디어 콘텐츠의 다른 소스로의 포커싱(focusing)을 가능하게 하는 프로세스를 정의하는 것으로 널리 해석되어야 한다. 스위칭은 특정 사용자에 대한 미리 설정된 선호도(pre-set preference) 리스트를 이용하거나 또는 특정 사용자가 더 큰 선호도를 갖는 그룹 멤버인 경우의 알고리즘에 의해, 멀티미디어 콘텐츠를 뷰하는 과정 내에서 자동으로 수행되도록 구성될 수 있다. 본 발명의 실시예가 스위칭 기술의 특정 타입을 이용하여 상세히 설명되었다 할지라도, 스위칭 기술의 다른 타입이 또한 사용될 수 있음을 강조한다. 스위칭 능력은 라이브 멀티미디어 콘텐츠의 한 스트림으로부터 라이브 멀티미디어 콘텐츠의 다른 스트림으로의 이동, 전이, 시프팅 또는 엠퍼시스(emphasis)의 배치의 어떤 유형도 포함하며, 이같은 콘텐츠 타입 간의 이동은 페이딩-인, 클릭킹-온, 분할 스크린들로의 전환, 썸네일(thumbnail) 내에 썸네일 생성 등을 포함하는 임의 개수의 방식으로 수행될 수 있다. 또한, 스위칭 프로세스는 멀티미디어 콘텐츠에 대한 특정 소비자의 욕구, 취향, 기호 및 선호도에 따라서 특정 시간에 특정 라이브 미디어 콘텐츠로의 적절한 구역화(proper zoning)를 가능하게 하는 임의 수의 프로세스, 알고리즘, 기능성 코드 또는 하드-코드를 포함하는 것으로 널리 해석되어야 한다.

스위칭 프로세스는 복수의 CU, 복수의 GU, 또는 복수의 믹서에 의해 개시될 수 있다. 스위칭 프로세스는, 인기도, 로케이션, 서브젝트 콘텐츠 및 사용자 반응에 기초하여 스트림을 클러스터(cluster)하는 방식을 포함하여, 멀티미디어 소비 사용자들의 수와 이들 각각의 스트림에 대한 피드백에 따른 캡처된 미디어 스트림의 랭킹에 기초하여 복합 스트림의 생성을 실시간으로 가능하게 한다. 스위칭 프로세스는 CU, GU 또는 믹서에 의한 피드백 동안 및/또는 GU로부터의 응답 동안의 스위칭을 포함하는 스위칭의 다수의 양상들 또는 레벨들을 포함하며, 자동 및 수동 스위칭 모두를 포함한다.

스위칭 프로세스를 보다 상세히 설명하기 위하여, 본 발명의 일 실시예에서 스위칭 프로세스에 사용되는 LMSN(Live Multimedia Switching Network)를 도시하는 도 6을 참고한다. LMSN은 LMFN과 구조가 유사하며, 미디어 GU(Generating User), GU 캡처링 디바이스, FE 내의 SE(Switching Engine), 미디어 CU, CU 수신 디바이스 및 통신 네트워크를 포함한다. GU, CU 및 믹서는 사용자들이 스위칭 프로세스 동안 검증 및 식별될 수 있도록 스위칭 메커니즘을 갖는 LMSN의 모든 등록된 사용자들이다.

GU(또한 "Capturing Users"로도 불림) 캡처링 디바이스에 의해 캡처된 멀티미디어 콘텐츠는 FE에 실시간으로 전송되며, GU는 SE에 의해 처리된 후, 단일-소스 피드, 멀티 소스 복합 피드, 및 FE 운영자, 하나 이상의 SE 및 다른 상호동작가능한 제3 자 소프트웨어에 의해 편집 또는 리믹스된 피드를 포함하는 여러 포맷으로 FE에 의해 CU에 공개된다. 등록된 GU는 조직체와 독립적이거나 연관될 수 있고, 지불 또는 미지불, 스폰서되거나(sponsored) 또는 스폰서되지 않을(un-sponsored) 수 있다. 등록된 CU는 미디어 제작 또는 탈렌트 산업(talent industry)에 관여하는 통상의 또는 전문적인 사용자들, 또는 시청하는 공중 또는 사설 사용자 그룹들의 멤버일 수 있으며, 또한 믹서일 수 있다. LMSN은 CU 및 그들의 선호도에 대한 실시간 이력 데이터를 이용하여 대화형 멀티미디어 환경을 개인화(personalize)한다.

본 발명의 일 실시예에서, 스위칭 프로세스는 LMSN 상에서 시작하고, CU가 특별 멀티미디어 스트림을 선택할 때 CU에 의해 개시된다. 본 실시예는 CU에 의해 개시되는 스위칭 프로세스를 기술하고 있지만, 스위칭 프로세스는 GU들, 믹서들(Mixers), 광고자들, 콘텐츠 스폰서들 등과 같은 다른 사용자 그룹들에 의한 개시를 포함하도록 확장될 수 있다. 수동 및 자동 스위칭 프로세스의 모두에서, 스트림을 선택하는 각각의 CU에 대한 시작의 상대성(relativity)은 각각의 스트림의 특정 콘텍스트 내에서 CU들의 랭킹(rank) 매기기를 돕는 데에 중요하다. 이 순위는 선임순위(seniority) 및 이력에 기초하여 GU들에 대한 CU 피드백을 우선순위화하고 가중하는(weigh) 것을 돕는 데에 사용된다.

본 발명의 현 실시예들은 각각의 CU들의 시청 지속 기간(duration), 각각의 CU들의 시청 레이팅들 및 다른 팩터들에 기초하여 멀티미디어 스트림들을 랭킹 매기기 위한 랭킹 매기기 알고리즘(ranking algorithm)들을 사용한다. 랭킹 매기기 알고리즘들은, 새롭게 생성된 멀티미디어 스트림이 적합하게 랭킹 매겨지도록, 새롭게 생성된 멀티미디어 스트림 대 이전에 생성된 멀티미디어 스트림 간을 충분히 인식할 수 있을 정도로 지능적일 것이 필요하다. 따라서, CU들 및 GU들은, 서로에 대해 상대적으로 또한 전역적으로는 현 네트워크 상태 및 구성에 관련하여 CU들 및 GU들의 랭킹들을 변경하는 네트워크 피드백 루프 상호작용들(Network feedback loop interactions) 및 사회적 관계들의 동적 네트워크 내에 존재한다. CU들은 따라서 라이브 피드(live feed)들에 대한 액티브 클릭킹(active clicking)에 의해 스트림들을 선택할 수 있을 뿐만이 아니라, 실시간으로 시청하기 위해 또는 검색 기능을 통해서 CU들에게 이용가능해진 의도된 브로드캐스트 정보에 기초하여 생성 후에 시간 시프트된 시청을 위해 저장하도록 스트림들을 프로그램적으로 특정할 수 있다. GU들은 의도된 브로드캐스트 로케이션들과 이벤트들 및 토픽들과 같은 브로드캐스트 정보를 스케줄 또는 콘텐츠 스타일에 기초하여 업로드한다. 예를 들어, 지역 해변으로부터 라이브 인터뷰 쇼를 하는 GU는 자신의 쇼를 네트워크에 등록할 것이고, CU들은 이후 브로드캐스트할 때 쇼를 라이브로 액세스하거나, 이를 네트워크 콘텐츠 검색 기능을 통해 시간 시프트시켜서 발견(discover)하거나, 또는 일단 공개된 경우 네트워크가 통지(또는 카피)를 CU에게 전달할 수 있도록 심지어 이 쇼에 가입할 수 있다. CU들은 요청된 쇼들을 위한 정보를 네트워크에 게시할 수 있다. 예를 들어, 지역 해변으로부터의 쇼 브로드캐스트를 보고 있는 CU는 자신이 생각하기에 인터뷰할 가치가 있다고 보는 과거의 핫도그 상인이 생각날 수 있다. 이런 경우에, CU는 콘텐츠 제안들(이런 게스트를 초청해, 이런 인터뷰를 해라), 스타일 제안들(좋은 효과를 위해 핫도그 카트의 바퀴 아래서 인터뷰를 찍어라), 또는 GU로의 임의의 다른 피드백의 형태로 흥미진진한 충고를 제공한다.

일 실시예에서, CU는 이들의 제품, 이벤트, 인간적 관심사 얘기, 또는 특정 주제나 토픽에 대한 멀티미디어 커버리지를 위해 RFP들(Request for Proposals)을 게시하는 비용 지불 고객들일 수 있고, GU들은 이런 오퍼(offer)들을 네트워크를 통해 검색하여 이들의 다음 수익 품목(paying production gig)을 뽑고 선택할 수 있다. CU에 의해 배치된 RFP에 응답하여, GU는 합의된 커버리지를 완결하거나 또는 멀티미디어 제품을 브로드캐스트하기 위해 계약 폼을 작성한다. 이벤트들/토픽들에 대한 캡처된 멀티미디어는, 회사 판매 미팅들과 같이 또는 주주 미팅 또는 시청 홀 미팅과 같이 공개적으로, CU들의 제한된 또는 개인적 조직에게 네트워크를 통해서 브로드캐스트될 수 있다. 이런 브로드캐스트 멀티미디어는 따라서 금전적 보상, 네트워크 보상, 전문가 승인들 또는 네트워크에 의한 다른 비금전적 배열들을 위해 촉진될 수 있다.

이 시점으로부터 CU는 첫번째 로그인 또는 MSI, MBI 또는 SSI 페이지들을 로드하고, CU들에 의한 모든 액션들 및 상호작용들은 SE에 의해 트랙킹되고 로그된다. SE는 수신 디바이스에서의 CU들 액션들과 다른 사용자들과의 상호작용들을 모으고, 실시간으로 연결된 GU들 및 CU들의 SE의 네트워크 전체에 걸쳐서 멀티미디어 스트림들에 대한 코어 랭킹 매기기 알고리즘에게 피드한다. 일 실시예에서, 네트워크상에서의 스트림들과의 비실시간(비동기) 상호작용들이 사용자 및 스트림 트랜잭션 로그들, 사용자 랭킹들 및 미래의 컴포넌트 디폴트 점수에 포함된다. 예를 들어, "성공적 히트"를 갖는 멀티미디어 스트림을 구비한 GU는, 주어진 CU가 명시적으로 또는 묵시적으로 GU에 의해 캡처된 멀티미디어 스트림을 선호한 것의 표지(indicator)로서의 이 성공적 히트의 가중치로 인해 코어 랭킹 매기기 알고리즘에서 더 높은 랭킹로 시작할 것이다. 코어 랭킹 매기기 알고리즘은, 멀티미디어 스트림들을 랭킹 매기고 우선 순위 매기기하기 위해, 태깅(tagging), 뷰 카운트, 관심 정도, 개인 인기도의 사회적 네트워크 필터, 및 지리 기반 메트릭들을 사용할 수 있다. 코어 랭킹 매기기 알고리즘은 추가로 멀티미디어 스트림들을 랭킹 매기기 위해 사용자(비용 지불 스폰서들 대 지불하지 않은 스폰서들)의 상태와 같은 메트릭들을 포함할 수 있어서, 지불한 스폰서들(GU들) 멀티미디어 스트림들이 지불하지 않은 GU들보다 더 높게 순위가 매겨질 수 있도록 한다. 앞서 언급한 메트릭들뿐만이 아니라, 코어 랭킹 매기기 알고리즘은 CU, 믹서들, 네트워크 운영자들 등으로부터의 요청에 기초하여 도출될 수 있다.

SE는 또한 사용자 및 스트림 트랜잭션 로그들, 사용자 순위들 및 미래의 컴포넌트 디폴트 점수에 있어서의 강한 성공 지표인 멀티미디어 스트림과의 비동기 상호작용들을 포함하는 임의의 실시간 상호작용들을 포함한다. 특정 멀티미디어 스트림들이 성공적 히트들을 누적함에 따라, 이런 멀티미디어 스트림들은 그 인기가 증가하고, 따라서, 잠재적 스폰서쉽 또는 이익 창출을 위해 고려될 수 있다. 또한, 이런 멀티미디어 스트림들은 LMSN 내에서의 새로운 사용자 사회적 네트워크들을 계발하는 데에 추가로 사용될 수 있다.

SE는 이런 표지들(성공적 히트들 등)을 모으고, 네트워크상에서의 이런 멀티미디어 스트림들의 명성 및 가치를 정의하는 동적 네트워크 QS(Quality Score)를 생성한다. 일 실시예에서, 멀티미디어 스트림이 생성되고 개인 GU들 및 CU들로 된 선택 그룹 중에서 공유되면, 멀티미디어 스트림의 QS 값은 개인 GU들 및 CU들의 선택 그룹 내에서 계산되고 순위 매겨지지만, 네트워크상에서의 공중(public) 사용자들에게 이용가능해지지는 않는다. 또 다른 실시예에서, GU들 및 CU들이 짝으로서 함께 일한다면, 이런 GU들 및 CU들의 QS가 또한 모아진다.

따라서, 사용자들 및 멀티미디어 스트림들의 QS 값들은 인기도 및 명성, 사용자들과 멀티미디어 스트림들의 관계성 및 상태에 직접적으로 관련된다. 사용자들은 CU들, 믹서들, 멀티미디어 스트림들을 제공하는 다른 GU들, 또는 피드백을 제공하는 임의의 다른 관심있는 사용자들일 수 있다. 사용자들에게 관계된 QS 값들은 사용자들의 각각의 인기도 메트릭을 나타낼 수 있고, QS 값들에 기초하여 사용자들은 보상 시스템의 일환으로서 향상된 네트워크 권리 및 책임이 주어질 수 있다. 예를 들어, 브론즈, 실버, 골드 및 플래티넘 사용자들을 갖는 계층화된 시스템이 사용되어 커뮤너티 생성, 정책 실현 및 피처-리퀘스트-투-빌드(feature-request-to-build) 맞춤화 옵션들의 처리에서 가장 활동적인 사용자들을 리스팅할 수 있다. 이런 레벨들은 프로덕션의 특정 기능들, 브로드캐스트의 토픽들, 및/또는 스폰서쉽 만족까지 그 범위를 가질 수 있다. 일 실시예에서, 멀티미디어 스트림들은 개개의 멀티미디어 스트림들의 QS 값들에 기초하여 스폰서쉽(sponsership), 잠재적 머니타이제이션 등을 위해 사용될 수 있다.

본 발명의 일 실시예에서, 일단 GU가 특정 QS 값을 할당받으면, SE는 새롭게 생성된 멀티미디어 스트림들의 인기도에 관계없이, 이 시간에서 GU에 의해 생성된 임의의 새로운 멀티미디어 스트림들에게 동일한 QS 값을 할당할 수 있다. 적어도 하나의 피드백 주기가 처리된 후에, 디폴트 QS 레이팅은 실시간으로 모아진 CU들로부터의 상호작용 데이터에 기초하여 변경될 수 있다. SE는 따라서 LMSN 운영자가 이벤트들과 소비 추세에 따른 멀티미디어 스트림들의 생성 및 소비를 모니터링하도록 허용하는 튜닝(tuning) 메커니즘이다. SE의 튜닝 메커니즘은 더 많은 트래픽을 획득하고, 더 많은 CU 또는 GU를 사인 업(sing-up)하고, 스폰서들을 할당하고 또는 특정 콘텐츠 또는 사용자들을 프로모션하는 것과 같은 운영자들의 목적들을 최대화하는 데에 또한 사용될 수 있다. QS는 개인들로서의 GU 또는 CU에 관해서 뿐만 아니라 GU가 브로드캐스트하는 또는 CU가 믹스하는 여러가지의 주제들(장소들, 이벤트들, 사람들, 오브젝트들 등)에 관해서 계산될 수 있다. 이런 두 개의 QS의 여러가지의 믹스들은 멀티미디어 스트림들의 인기도를 랭킹 매기는 데에 사용될 수 있는 조합된 QS를 생성할 수 있다. 예를 들어 작은 QS를 갖는 GU는 높은 QS를 갖는 토픽에 관해 브로드캐스팅될 수 있는 한편, 높은 QS를 갖는 GU는 낮은 QS를 갖는 토픽에 대해서 브로드캐스팅될 수 있다. 모든 QS들이 브로드캐스트 멀티미디어 스트림들을 소비하는 주어진 CU에 대한 것일 뿐만이 아니라 CU들의 전체 네트워크 또는 CU들의 네트워크의 여러 서브세트들에 대해서 계산가능하다.

도 6을 다시 참조하면, 스위칭 프로세스를 돕기 위해, LMSN은 복합 스트림을 자동으로 (적절히) 생성, 유지 및 보관하는 것을 담당하는 하나 이상의 SE를 구비한다. SE는 멀티미디어 콘텐츠 및 사용자들(이들은 모두 소비 사용자 및 생성 사용자들임)의 상대적 랭킹에 기초하여 복합 스트림을 생성하고, 이 복합 스트림을 특정 CU 또는 CU 세트에 전달하기 위해 FE에 다시 갖다 놓는다. SE는 스타일 모델에 기대어(against) 랭킹 모델을 적용하기 위한 하나 이상의 랭킹 알고리즘을 이용하여 이를 달성한다. 랭킹 모델은 사용자 트랜잭션 로그(transaction log) 및 네트워크 오브젝티브(objective), GU 또는 생산 엔티티(producing entity)들에 의해 공급되는 반면에, 스타일 모델은 스위칭 인터페이스, 네트워크, 사용자 또는 다른 제3 자에 의해 공급될 수 있다. 생산된 복합 스트림은 다수의 GU로부터의 멀티미디어 스트림 뿐만 아니라, 다른 멀티미디어 콘텐츠의 소정의 텍스ㅌ, 그래픽, 오버레이(overlay), 오디오, 음악, 연설, 또는 매쉬-업(mash-up)을 포함한다. SE에 의해 생성되고 FE에 건내진 모든 복합 스트림은 단일 스트림으로 처리된다. 복합 스트림은 소스를 정의하는 메터데이터와, 복합 스트림을 구성하는 컴포넌트 기여(component contribution)을 포함하는 속성 데이터를 포함한다.

자동 스위칭 프로세스는 FE를 통해 사용자 데이터에 연결된 SE로 시작한다. 일 실시예에서, FE는 라이브 멀티미디어 스트림의 정렬된 동적 리스트를 SE에게 제공함으로써 사용자 데이터에 대한 SE 액세스를 실시한다. 다른 실시예에서, SE는 FE에 대한 사용자 데이터의 요청을 개시하며, FE는 SE에게 라이브 멀티미디어 스트림의 정렬된 동적 리스트로 응답한다. 정렬된 동적 리스트는 FE에 가용한 랭킹 알고리즘에 기초하여 실시간으로 생성된다. FE에 의해 제공된 사용자 데이터는 랭킹, 인기도, QS 등과 같은 정보를 포함한다. SE는 그후 자신에게 현재 가용한 스타일 모델 및 컴포넌트 랭킹 모델을 로딩한다. 스타일 모델은 스위칭 프로세스 동안 생성된 복합 멀티미디어 스트림을 제시하기 위한 템플릿에 SE를 제공한다. 복수의 GU에 의해 생성되고 송신된 새로운 멀티미디어 스트림이 FE를 통해 SE에 수신될때, SE는 자동으로 GU로부터 수신된 새롭게 생성된 멀티미디어 스트림을 모든 GU로부터의 기존 멀티미디어 스트림과 비교하고, 복합 스트림에 포함시키기 위해 인덱싱 및 큐잉한다(index and queue). SE 내의 복합 크리에이터(creator)는 하나 이상의 랭킹 알고리즘을 이용하여 랭킹 모델의 정렬된 리스트에 기대어 스타일 모델을 적용하여 각각의 CU에 대한 개별화된 복합 멀티미디어 스트림을 생성한다. SE는 이 개별화된 복합 멀티미디어 스트림을 FE에 전달하여 개별 CU에 공개/배포한다. 배포시, FE는 각각의 멀티미디어 스트림 및 GU에 대한 인기 리스트를 업데이트한다. SE는 수신된 새로운 멀티미디어 데이터와 업데이트된 인기 리스트에 기초하여 복합 멀티미디어 스트림을 조정한다. 스위칭 프로세스는 스타일 모델 또는 FE가 복합 플랜 제작(composite plan production)의 종료를 호출할 때까지 계속된다.

스위칭 동작 중인 복합 스트림의 예는 본 발명의 일 실시예로서 도 9에 예시된다. CU는 자신의 명시적인 요청시 SE에 의해 전달된 멀티미디어 콘텐츠의 복합 스트림을 수신한다. CU 수신 디바이스는 복합 멀티미디어 스트림을 렌더링한다. 복합 스트림은 복수의 GU에 의해 생성된 복수의 멀티미디어 콘텐츠를 포함한다. 멀티미디어 콘텐츠는 전반적으로 높은 랭킹을 갖는 선호되는 멀티미디어 콘텐츠가 렌더링되는 메인 뷰 윈도우(main view window) 측면을 따라 있는 소형 윈도우의 세트에 렌더링된다. 예컨대, 멀티미디어 콘텐츠 C(높은 관련성 랭킹(relevancy ranking)을 가짐)는 해당 포인트(point-of-interest)(메인 뷰)에서 렌더링되고 나머지 멀티미디어 콘텐츠는 CU 수신 디바이스에서 복수의 소형 원도우내에 렌더링된다. 복수의 콘텐츠가 실시간으로 전송 중이며 복합 스트림 내의 콘텐츠가 끊임없이 변경될 수 있음에 유의해야 한다. 콘텐츠 C는 콘텐츠들, 사용자들 또는 로케이션 인기도(location popularity)에 기초하여 선택될 수 있다. 스위칭 프로세스 동안, 메인 뷰의 콘텐츠(콘텐츠 C)는 CU 피드백에 기초한 랭킹의 전이에 기인하여 다른 콘텐츠(콘텐츠 H)로 스위칭된다. 피드백은 클릭, 클릭-앤드-드래그의 형태이거나, 다른 형태를 취할 수 있다. 일 실시예에서, CU, GU 또는 멀티미디어 콘텐츠에 관심있는 다른 사용자는 광고 또는 코멘트를 삽입함으로써 현재 랜더링중인 멀티미디어 콘텐츠를 맞춤화하여, 맞춤화된 멀티미디어 콘텐츠 H를 생성한다. 코맨트는 오디오, 비디오, 그래픽, 진동 등의 형태를 취한다. 맞춤화된 콘텐츠 H는 CU, GU들의 사설 그룹 내에서 공개 또는 공유되거나, 공용으로 공유될 수 있어서, 네트워크 내의 다른 사용자는 CU, GU 또는 믹서에 의해 설정된 선호도에 기초하여, 맞춤화된 멀티미디어 콘텐츠를 렌더링할 수 있다.

스위칭 프로세스를 돕기 위해, SE는 복수의 모듈을 포함한다. 도 6에 도시된 본 발명의 일 실시예에서, 각각의 SE는 CU에 대한 복합 스트림의 생성을 감독하기 위하여 적어도 하나의 CM(component manager), RM(ranking manager), SM(style manager), 및 STM(sponsor transaction manager)을 포함한다. 몇몇 SE는 염두에 둔 특정 CU 또는 CU 세트(예컨대, 아이들, 어른들, 스포츠 매니아들에 대한 혼합)로 맞추어지며(tailor), 반면에 다른 SE는 대략 특정 GU 또는 GU 세트(예컨대, 마이클 무어의 최근 네트워크 프로젝트(Michael Moore's latest Network project), GU 탈렌트 발견 경합(talent discovery competition), 개인용 가정 영화, 등)로 맞추어질 수 있거나, SE는 GU 또는 CU에 대한 모를(agnostic) 수 있으며, 대신에 복합 스트림을 생성하기 위하여 실제 멀티미디어 콘텐츠 상의 데이터 및 메터데이터만을 사용할 수 있다.

CM은 SE 복합 스트림 생성 파이프라인에 사용하기 위해 FE로부터 확인된 스트림을 수신하고, 가능한 복합 스트림에 즉각 및/또는 연속 삽입을 위해 이들 확인된 스트림을 인덱싱하는 역할을 담당한다. LMSN이 이미 생성된 복합체의 도구화된 인스턴스(instrumented instances of composites)들 모두를 포함할 뿐만 아니라, 실시간 복합체 생성 능력에 의존하기 때문에, SE는 CU 상호작용에 기초한 소스 및 스타일에 대한 자신들의 자체 믹싱을 실시간으로 동일 멀티미디어 스트림의 방금 생성된 부분에 최적화할 수 있다. CM은 그 SE에 의해 생성된 임의의 복합물 내의 멀티미디어 스트림에 대한 모든 소스 GU를 트랙킹하고, 임의의 새롭게 가용한 스트림을 계류중인 복합물 내로 삽입하기 위해 RM에 넘긴다.

RM은 CM으로부터 얻은 모든 가용한 멀티미디어 스트림을 취하고, 이를 리뷰 및 교차 참조하여 멀티미디어 스트림을 SE에 의해 사용되는 인덱스 내로 파퓰레이팅시켜 복합 스트림을 생성하는 역할을 담당한다. 명시적이며 또한 도출된 메터데이터와, 멀티미디어 및 연관된 사용자의 경로 속성 모두를 이용하여, RM은 하나 또는 그 이상의 리스트에 또한 특정 초기 로케이션의 하나 또는 그 이상의 카테고리에 모든 잠재적인 스트림을 배치한다.

시간에 걸쳐, 순서화된(ordered) 리스트상의 멀티미디어 스트림의 배치 또는 특정 카테고리의 리스트에 포함되었는지의 검증은 멀티미디어 스트림의 랭킹을 업데이트하는 LMSN 사이클에 기초하여 동적으로 변경되거나, 또는 멀티미디어 스트림의 가용성 또는 유효성을 동적으로 변화시키는 CM에 기초하여 동적으로 변경된다. 카테고리의 인덱스 및 랭킹 리스트가 일단 생성되면, RM은 랭킹 및 순서화된 리스트를 SM에 이용가능하게 만든다.

SM은 자신이 RM으로부터 수신한 랭킹 리스트 및 카테고리에 대한 스타일 모델을 GU로부터의 모든 가용한 멀티미디어 스트림에 적용함으로써 실제 복합물을 조립하는 역할을 담당한다. 스타일 모델은 시각적 외관, 장면의 길이, 전이의 선호도, 사운드 트랙, 그래픽 및 다른 대화형 또는 복합 생성 변수들(composite creative variables)을 제어한다. 스타일 모델은 사용자 특정적이거나 또는 GU 또는 LMSN 운영자에 의해 생성될 수 있다. 몇개의 스타일 모델을 몇개의 랭킹된 리스트와 결합시킴으로써, 귀결되는 복합물의 크기는 동일한 원래 콘텐츠를 모두 사용하는 이 시스템을 통해 생성될 수 있다. SM은 LMSN 내의 다른 모듈에 대한 피드백 정보일 수 있다. 샘플 SE 복합 스트림 생성 파이프라인은 본 발명의 일 실시예에서 도 7에 도시된다. 도시된 바와 같이, SM은 복합 스트림을, (페이지의 외양과 느낌을 제공하기 위한) 스폰서 스킨(sponsor skin)과, (사용자 선호도 기준을 정의하는) 스타일 모델과, 컴포넌트 랭킹 모델과 통합하여 복합 스트림을 생성한다.

도 8은 본 발명의 일 실시예에서, 스위칭 프로세스에서 사용되는 바와 같이 샘플 자동-복합 스위칭 사이클(LMSN 루프 프로세스)를 도시한다. 스위칭 프로세스는 사용자 데이터가 FE를 통해 SE에서 수신될 때 시작한다. SE에서의 SM은 스타일 모델, 랭킹 모델 및 스폰서 콘텐츠를 사용자 데이터의 적당한 콘텐츠에 적용하며, FE를 통해 CU에 전달되는 복합 스트림을 생성한다. CU는 복합 스트림상의 피드백을 FE를 통해 SE에 제공한다. SE는 멀티미디어 스트림을 맞춤화하기 위해 피드백을 GU에 전달하며, SE에 가용한 각각의 데이터베이스 또는 레포지토리(repository)에서 각각의 컴포넌트 데이터 및 사용자 데이터를 업데이트하여, 업데이트된 컴포넌트 및 사용자 데이터가 스위칭 프로세스중에 멀티미디어 스트림 및 GU의 랭킹 및 인기도를 결정하는데 사용될 수 있게 한다.

모든 스타일 모델에 포함될 수 있는 필요 컴포넌트는 복합 스트림 또는 SE에 대한 스폰서된 광고 속성(sponsored advertising attribute)이다. 스폰서된 광고 속성은 스폰서된 콘텐츠 데이터베이스에 저장된 관련성 있는 스폰서된 콘텐츠와 관련될 수 있다. 스폰서된 콘텐츠를 포함하는 스트림 또는 SE에서, STM은 스폰서된 콘텐츠 데이터베이스를 액세스하고, 스폰서된 콘텐츠를 식별하며, 스폰서된 콘텐츠 인테이크(intake)를 조절(coordinate)하며, 복합 스트림 내에서 식별된 스폰서된 콘텐츠를 승인, 매칭, 임베딩 및 전달하는 역할을 담당한다. 스폰서된 콘텐츠 데이터베이스는 SE/FE와 같은 서버상에 통합될 수 있거나, 또는 원격 스토리지 디바이스상에 호스트되고 통신 네트워크를 통해 SE/FE에 가용가능하게 될 수 있다. STM은 이들 기능 모두를 내부에 포함할 수 있거나, 또는 스폰서된 콘텐츠 데이터베이스를 액세스하기 위해 적절한 스폰서된 콘텐츠 관리 시스템으로 API를 통해 프로그래밍적으로 일할 수 있다.

SE 생성 복합 스트림의 CU는 피드백 및 인터페이스 옵션 기준으로 볼 때 단일 GU 생성 스트림과 동일한 모든 옵션을 포함할 수 있다. 일 실시예에서, LMSN 운영자는 특수화된 SE를 프로그래밍하여, 스폰서와 같은 관심 사용자로부터의 입력에 기초하여 어느 때든지(또는 특정 시간 기간 동안) 사용자 상호작용을 위한 공용 복합 채널을 생성한다. 예컨대, 스폰서된 복합 채널은 멀티미디어 스트림의 콘텐츠에 기초하여, 커버되는 이벤트 또는 타겟팅되는 사용자에 대해 특정 브랜드, 예컨대, Coke, Ford, WSJ, ACLU 등을 위한 LMSN 운영자에 의해 생성될 수 있다.

스폰서된 복합 채널 실시예에서, 광고주는 광고주의 채널에 대해 GU를 선택 또는 스태핑(staffing)하는 것으로의 직접적인 입력을 가질 수 있거나, 또는 LMSN이 캠패인 타겟 및 목표의 명세를 기초로 광고주에 대한 적절한 매칭을 하도록 위임할 수 있다. 광고 콘텐츠와의 실제 사용자의 상호작용으로부터 수신된 피드백에 기초하여, 브랜드된(branded) 채널은 시간이 흐를수록 최적화될 수 있다.

일 실시예에서, LMSN은 일련의 공용 메트릭-기반(series of public metric-based) 복합 채널을 생성한다. 메트릭-기반 복합 채널은 GU 또는 CU 특징, 토픽, 인기도 또는 관련도에 의해 조직화될 수 있다. 다른 실시예에서, RMI(Re-Mixer Interface)는 자신의 복합 스트림을 생성하고자 하는 CU에 대해 쓰일 수 있다. RMI는 기본적으로 CU가 자신의 자동 복합체를 생성하게 허용하는 SE-프로그래밍 툴(tool)이다. 일 실시예에서, SE는 실시간 뷰 카운트로 배타적으로 랭킹하도록 최적화되어, 귀결되는 복합물이 그 시간에서의 실제 네트워크 조건들에 좌우되어 하나의 GU 또는 다수의 GU로부터 연속적일 수 있도록 된다. CU가 맹렬히 주장(voting)하고 GU가 CU에 응답할려고 시도하며 이들의 스트림을 가장 인기있는 것으로 유지하는 게임에서, 이 실시예는 네트워크 참여 및 트래픽을 시간 경과에 따라 증가시킬 것이다.

FE는 멀티미디어 스트림 내의 콘텐츠의 랭킹 기준에 기초하여 적절한 포맷으로 가용한 멀티미디어 스트림을 디스플레이한다. 일 실시예에서, FE는 MSI에서 가용한 멀티미디어 스트림을 디스플레이하는데, 여기서 각각의 멀티미디어 스트림에 대한 개별 윈도우가 특정 랭킹 기준(사용자 또는 LVFN 운영자)에 기초하여 개별적으로 크기가 정해진다. 예컨대, 스트림이 (현재 및/또는 전체 경과 시간 CU 상호작용에 기초하여) 더 인기 있을수록, 더 큰 윈도우가 이런 스트림을 디스플레이할 것이다. 따라서, 본 실시예의 MSI는, 더 큰 윈도우가 특정 기준에 가장 근접하게 매칭하는 스트림을 나타내는 식으로, 예컨대 탐색 질의 결과는 더 상위의 랭크 피드를 더 큰 윈도우로 제시하는 등으로, 여러 가지의 크기를 갖는 윈도우들을 가질 것이다. 따라서, 스위칭 메커니즘은 CU 요청 및 사용자 피드백에 기초하여 여러 GU로부터 멀티미디어 스트림을 랭킹하고 우선순위화하여, 사용자가 그들의 필요와 요건을 만족하는 풍부한 맞춤화된 멀티미디어 프리젠테이션을 수신할 수 있도록 하는 툴을 제공한다.

Ⅲ. 머니타이제이션(Monetization) 프로세스

머니타이제이션 프로세스는, 콘텐츠 제공자 및 사용자가 캡처된 멀티미디어 콘텐츠와 함께 스폰서된 콘텐츠를 포함시킴으로써, 및/또는 멀티미디어 콘텐츠, 이벤트/토픽 및 사용자를 프로모션(promoting)함에 의해, 수익을 생성할 수 있는 툴 또는 메커니즘을 제공한다. 본 명세서에 사용되는 머니타이제이션은 소정의 캡처된 콘텐츠가 스폰서, 이미지의 클릭-쓰루(click-through) 또는 스폰서된 콘텐츠 등과 연관되게 타겟팅하는 능력을 포함하는 것으로 널리 해석되야 한다. 본 명세서에서 사용되는 클릭-쓰루는 특정 GU 또는 특정 캡처 구역에 포커싱되는 뷰어/소비자의 카운트를 포함할 수 있다. 이 카운트는 웹 페이지상에서 네비게이션과 유사한 메트릭으로서 사용될 수 있다. 또한, 머니타이제이션은 머니타이제이션의 레벨을 정의하는 특정 멀티미디어 스트림 또는 메트릭에 포커싱되는 커뮤니티 또는 사용자로부터의 레이팅(rating)과 연관될 수 있다. 예컨대, 가장 인기있는 멀티미디어 콘텐츠에 대한 더 많은 액세스에 대해, 또는 자신들이 생성하는 특정 멀티미디어 콘텐츠에 대한 더 많은 수의 뷰어들에 기인한 가장 인기있는 GU에 대해, 더 높은 레이팅이 부과되거나 보응될 수 있다. 머니타이제이션은, 따라서 특정 GU에 의해 캡처되거나 특정 CU에 의해 소비되는 콘텐츠를 스폰서하거나, 비용지불하거나 또는 영향을 미치고자 하는 제3 자들과 사용자들 간의 라이브 멀티미디어 스트림과 연관된 시청 활동 및 상호작용을 함께 결합하도록 구축될 수 있는 소정의 알고리즘, 프로세스, 또는 계약을 정의하는 것으로 널리 해석되어야 한다.

이에 따라 생성된 수익은 재정적, 사회적, 네트워크 기반 또는 통화 기반 등일 수 있다. 머니타이제이션 프로세스는, 광고 회사, 믹서, GU, CU 등 또는 임의의 다른 관심있는 사용자와 같은 사용자가, 멀티미디어 프리젠테이션의 콘텐츠, 캡처되는 이벤트/토픽에 기초할 뿐만 아니라 연관된 사용자들(캡처링, 믹싱, 재공개, 스폰서 또는 소비)에 기초하여, 스폰서된 프리젠테이션, 지오-타겟팅(geo-targeting), 행위 타겟팅, 인기도-기반 수익 공유, 현실 세계 제품 배치 및 광고 팩/서피스(pack/surface) 관리를 이용하여 멀티미디어 콘텐츠에게 수익 생성 스폰서쉽을 제공하는 것을 가능하게 한다.

머니타이제이션 프로세스는 인기도 및 가치에 따른 현재 캡처된 멀티미디어 스트림의 랭킹 및 관련된 특정 사용자 및 콘텐츠의 속성에 기초하여, 프로모션용 멀티미디어 콘텐츠와 캡처된 멀티미디어 콘텐츠를 통합하여 복합 멀티미디어 스트림의 자동 생성을 실시간으로 가능하게 한다. 캡처된 멀티미디어 스트림은 랭킹 알고리즘으로부터 획득된 정보를 이용하여 랭킹될 수 있고, 멀티미디어를 소비하는 사용자의 수, 및 인기도, 로케이션, 서브젝트 콘텐츠 및 사용자 상호작용에 기초하여 스트림을 클러스터링하는 방식을 포함하여 각각의 스트림에 대한 피드백에 기반할 수 있다. 머니타이제이션 프로세스는 CU, GU, 믹서, 광고주, 스폰서 등과 같은 사용자, CU, GU, 믹서에 의한 피드백 동안, GU로부터의 응답동안과 같은 것을 포함하여 콘텐츠를 프로모션하기 위한 다수의 사용자 및 레벨을 포함할 수 있고, 복합 멀티미디어 콘텐츠의 자동 및 수동 생성 모두를 포함할 수 있다. GU, CU 및 믹서는 머니타이제이션 메커니즘을 갖는 통신 네트워크상의 등록된 사용자이므로, GU, CU 및 믹서는 멀티미디어 콘텐츠의 프로모션 동안 검증 및 식별될 수 있다.

일 실시예에서, 머니타이제이션 프로세스는 소비 사용자가, 스트리밍 미디어에 대한 포토스톡형(photostock-type) 모델에 뒤따라오는 맞춤화된/개별화된 스트리밍 멀티미디어를 스폰서하게 허용한다. 이하, 맞춤화된/개별화된 스트리밍 멀티미디어가 개인용 또는 상용 모두에 생성될 수 있음에 유의해야 한다. 두가지 경우에, 스폰서된 콘텐츠를 캡처된 콘텐츠에 매칭하기 위한 프로세스는 근본적으로 동일하다. 맞춤화된 멀티미디어 스트림이 상용을 위해 생성되는 실시예에서, CU 요건에 맞추기 위해 스트리밍 멀티미디어를 맞춤화할 때, CU는 보다 많은 시청자 트래픽을 유인하기 위해 맞춤화된/개별화된 멀티미디어를 스폰서한다. 대안적으로, 머니타이제이션 프로세스는 분산형 모바일 네트워크를 통해 맞춤화된 멀티미디어 스트림의 국부 타겟팅 인센티브 프리젠테이션(localized targeting incentive presentation)을 허용하거나, 또는 사용자 피드백에 기초하여 드롭-인(drop-in), 실시간 광고를 허용할 수 있다. 따라서, 단일 로케이션에서 캡처된 동일 스트림은 CU 로케이션, 선호도, 시장 상황 등에 따라 다수의 상이한 복합 스트림으로 번들링(bundle)될 수 있다.

일 실시예에서, 머니타이제이션 프로세스는 소비 사용자들중의 인기에 비례해서 GU(멀티미디어 캡처러), 생산자, 리-믹서 및 주석가(commentator) 중에서 수익의 공유 또는 할당을 허용한다. 머니타이제이션 프로세스는 멀티미디어 스트림의 콘텐츠에 현재 관심있는 사용자(특정 GU, CU, 믹서, 광고주 또는 다른 사용자) 각각의 이전 히스토리를 기초로 사용자들(GU, 생산자, 리-믹서 및 주석가) 중에서 스케일링된 수익 공유를 제공하기 위해 (스위칭 프로세스에서 정의된 알고리즘과 유사한) 랭킹 알고리즘을 이용할 수 있다. 본질적으로, 스트림에 대한 수익-공유 계약 당사자 각각은 시간에 따라 스트림의 머니타이제이션에 의해 생성된 수익 또는 이득의 정적 또는 동적 백분율 부분을 배분받을 것이다. 이런 수익 공유 조정은 수익 부분이 실제 기여도에 좌우되어 변할 수 있는 일 세트의 범위에 대한 사용자 합의에 기초하여 실시간으로 사전 조정 또는 조정될 수 있다.

다른 실시예에서, 머니타이제이션 프로세스는 GU가 캡처된 멀티미디어 콘텐츠에 기초하여 머니타이제이션(광고) 수익을 생성하는 것을 허용한다. 본 실시예에서, GU는 특정 이벤트/토픽에 대한 멀티미디어 콘텐츠를 캡처한다. 캡처된 멀티미디어 콘텐츠는 GU가 수익 지불 스폰서들 중 하나에 속하는 것으로 식별하는 하나 이상의 프로모션용 미디어를 포함한다. GU는 캡처 디바이스에 의해 캡처된 프로모션용 미디어에 대한 광고 수익을 기꺼이 지불하고자 하는 광고주/스폰서의 리스트에 액세스할 수 있다. 광고주/스폰서의 리스트는 GU에 국부적으로 가용가능하거나, 또는 원격 스토리지 디바이스상에 원격으로 저장되며 통신 네트워크를 이용하여 GU에 의해 액세스될 수 있다. 광고주는 GU로부터의 어떠한 입력도 없이 네트워크 운영자에 의해 자동으로 선택될 수 있거나, 또는 머니타이제이션을 위해 멀티미디어 콘텐츠에 매칭될 스폰서된 콘텐츠 및 광고주에 관한 입력을 완료하는데 제한을 제공하는 일부 형태를 이용하여 GU에 의해 선택될 수 있다. 다른 머니타이제이션 모델은 자동 또는 선택 기반 시스템을 사용할 수 있다.

GU로부터 멀티미디어 콘텐츠를 수신, 취합 및 수신 디바이스로 전달하는 것과 관련된 시스템은, 수익 생산 스폰서에 의해 정의된 하나 이상의 프로모션용 광고를 대응하는 프로모션용 미디어와 통합하여, 복합 멀티미디어 스트림을 생성한다. 일 실시예에서 프로모션용 광고는 데이터 베이스로부터 획득되고, 프로모션용 미디어의 속성들의 조사는 프로모션용 광고들 중의 선택된 것들로의 적어도 하나의 링크의 식별을 가능하게 한다. 프로모션용 광고의 통합은, 프로모션용 광고를 배치하기 위해 수신 디바이스와 연관된 스크린상의 한 로케이션을 먼저 식별한 후 대응하는 하나 이상의 프로모션용 광고를 식별된 로케이션에 주입(inject)함으로써 수행된다. 로케이션은 시청가능한 스크린의 특정 부위 또는 부분일 수 있거나, 머니타이제이션 목적을 달성하기 위하여 프로모션용 콘텐츠를 정규 콘텐츠에 부가하는데 충분한 이미지의 일부 또는 계층(layer)일 수 있다. 프로모션용 광고는 GU가 프로모션용 미디어에 대해 머니타이제이션 수익을 생성하는 것을 가능하게 한다. 복합 멀티미디어 스트림은 그후 실질적인 실시간으로 수신 디바이스에서 제시된다. 일 실시예에서, 하나 이상의 프로모션용 광고와 연관된 머니타이제이션 수익은 캡처된 멀티미디어 콘텐츠에 관심있는 시청자들의 수에 기초하여 실현될 수 있다. 다른 실시예에서, 머니타이제이션 수익은 수신 디바이스에서 수행되는 프로모션용 광고와 관련된 특정 액션 및 상호작용에 기초하여 실현되고, 또 다른 실시예에서는 이들의 조합이 사용될 수 있다.

다른 실시예에서, 머니타이제이션 수익은 도 17a 및 17b에 도시된 바와 같이, 프로모션용 미디어 이미지에 기초하여 실현된다. 본 실시예에서, 캡처링 디바이스에 의해 캡처된 멀티미디어 콘텐츠는 프로모션용 미디어의 이미지(175)를 포함한다. 프로모션용 미디어의 이미지(175)는 Coke^TM과 같은 스폰서된 상품, 서비스, 또는 브랜드일 수 있다. GU는 프로모션용 미디어를 구비한 멀티미디어 콘텐츠를, 렌더링을 위해 수신 디바이스에 송신한다. GU로부터의 캡처된 멀티미디어 콘텐츠는 다른 캡처링 GU 및 믹서로부터의 멀티미디어 스트림을 포함하는 복합 멀티미디어 스트림의 일부일 수 있다.

멀티미디어 콘텐츠를 GU로부터 수신하고, 취합하며, 수신 디바이스에 전달하는 것과 관련된 시스템은 각각의 수신 디바이스에서 시청을 위해 캡처된 멀티미디어 콘텐츠를 선택하는 소비 사용자(178)의 수를 트랙킹함으로써 캡처된 멀티미디어 콘텐츠의 인기를 결정한다. 도 17a에 도시된 실시예에서, 전체 123명의 소비 사용자들은 프로모션용 미디어를 포함하지 않은 오후 11시에서의 GU로부터 캡처된 멀티미디어 콘텐츠를 시청하고 있다. 소비 사용자의 수는 프로모션용 미디어를 포함하는 동일한 GU에 의해 캡처된 멀티미디어 콘텐츠에 대해서는 도 17b에 도시된 바와 같이 오후 2시 50분에 1,235명으로 변경된다.

이 시스템은 프로모션용 미디어의 이미지가 수신 디바이스에서 현재 렌더링중인 캡처된 멀티미디어 콘텐츠에 포함되는 시간 기간(오후 2:50과 오후 3:50 사이)과, 그 시간 기간 동안 멀티미디어 콘텐츠의 대응하는 인기도 레이팅(popularity rating)을 결정한다. 도 18은 "인기도-대-시간" 그래프와 "프로모션용 미디어-대-시간" 바 그래프(bar graph)를 도시하며, 여기서 프로모션용 미디어-대-시간 그래프에서의 바(185)는, 멀티미디어 콘텐츠의 인기도가 피크일 때, 프로모션용 미디어가 캡처된 멀티미디어 콘텐츠를 나타내는 시간 기간을 나타낸다. 단지 하나의 피크가 도시되고 단지 하나의 스폰서가 본 예에서 트랙킹되어 있다 할지라도, 캡처된 콘텐츠가 변화할 때 다수의 스폰서에 대해 다수의 피크를 가지는 것은 가능하다.

이 시스템은 프로모션용 미디어와 연관된 수익 발생 알고리즘을 식별하며, 프로모션용 미디어의 이미지가 캡처된 멀티미디어 콘텐츠에 존재했을 때의 시간 기간 동안 멀티미디어 콘텐츠의 인기도에 기초하여 캡처된 멀티미디어 콘텐츠와 연관된 광고 수익을 계산한다. 계산된 광고 수익은, 이벤트/토픽 캡처 동안 프로모션용 미디어를 캡처하게 하는 인센티브(incentive)로서 GU에게 할당되며, 스폰서된 광고주에게 비용청구되며, 믹서, 성우(voice talent) 등과 같은 임의의 다른 네트워크 사용자와 적절한 대로 공유될 수 있다.

머니타이제이션 프로세스의 다른 양상은 도 10을 참고로 이하 후술된다. 머니타이제이션 프로세스는 현실 세계 존재에 기초하여 특정 제품/오브젝트/이벤트/토픽/사람 배치로 시작한다. 광고주 또는 스폰서는 기존 제품을 광고하거나 신상품을 소개하는 적절한 광고를 포함시킴으로써 또는 단순히 브랜드 광고 캠페인의 일부로서 수익을 발생시키기 위해 멀티미디어 스트림 내의 제품 배치(프로모션용 미디어)하는 것을 저울질할 수 있다. 광고 배치 및/또는 수익 발생은 멀티미디어 스트림에 상대적인 제품의 배치, 스폰서된 제품의 각도(sponsored angle of the product), 멀티미디어 스트림내의 정적 또는 동적 클릭가능한 엘리먼트, 제품이 특징지워지는 시간량, 멀티미디어 스트림의 인기도, 멀티미디어 스트림에 의해 캡처되는 이벤트/토픽의 유형, 또는 타겟팅된 청중 등과 같은 소정의 머니타이제이션 기준을 기반으로 스케일링될 수 있다. 도 10의 실시예는 지붕에 제품 사인이 있는 아파트 단지가 어느 한층에 불이 난다는 긴급 뉴스에 대해 커버되는 샘플 광고 생성 이벤트를 도시한다.

일반적으로, GU 및 CU로의 실시간 피드백은 현실 세계에서 머니타이제이션에 대한 기회를 나타낸다. 이런 실시간 피드백은 수익을 발생시키도록 광고주, 제품 제공자 및 다른 관심있는 사용자들에게 팔릴 수 있다. 멀티미디어 스트림이 실시간으로 시청될 때, 콘텐츠 생산자 또는 제품 제공자는 스트리밍 매체내의 가상 공간에 프로모션용 광고를 잠재적으로 삽입할 수 있다. 이런 프로모션용 광고의 삽입은 콘텐츠 생산자 또는 제품 제공자에게만 국한되지 않으며, GU, CU, 믹서 등과 같은 사용자들에 의해 수행될 수 있다. 이런 프로모션용 광고는 문맥 관련(contextual) 또는 비-문맥 관련 기반 광고일 수 있다.

본 발명의 일 실시예에서, 프로모션용 광고는 대화형이다. 소비 디바이스상의 사용자들의 상호작용은 실시간으로 사용자 피드백으로서 가입 광고주에게 제공되어, 광고주가 배치되는 적당한 프로모션용 광고를 증가, 감소 또는 수정하는 것을 허용해 준다. 프로모션용 광고 삽입은 특정 사용자의 기호, 사용자의 프로파일, 로케이션 및 지역화 등을 기반으로 맞춤화될 수 있다. 따라서, 머니타이제이션 프로세스는 복합 미디어에 대한 원활한 생산-소비 파이프라인과 창조적 프로젝트에 가용한 펀딩(funding)을 잘 분포시키기 위한 새로운 스폰서 기회를 제공하고, 스폰서가 재능있는 멀티미디어 콘텐츠 디벨로퍼 및 리믹서(developer and remixer)으로의 즉각적이며 동적인 액세스를 하도록 허용해 준다. 콘텐츠 및 사용자 속성에 기초하여 멀티미디어 내에 문맥 광고의 디스플레이를 허용함으로써, 광고는 멀티미디어 또는 이벤트의 사용자, 토픽, 유형의 타겟팅된 특정 세트에 맞춤화될 수 있다.

멀티미디어 콘텐츠의 머니타이제이션을 돕기 위해서, 머니타이제이션 프로세스는, 멀티미디어 스트림들/이벤트들/토픽들/사람들과 연관된 프로모션용 미디어로부터 수집되는 정보에 기초하여 광고 레이어들을 삽입할 멀티미디어 스트림들 내의 특정 서피스(surface)들을 식별하기 위한 머니타이제이션 엔진을 포함한다. 머니타이제이션 엔진은 수집된 정보에 기초하여 잠재적 머니타이제이션 기회들을 검출하기 위한 알고리즘들을 포함할 수 있고 적합한 광고들을 삽입하기 위한 머니타이제이션 도구들을 제공할 수 있어서 스폰서 또는 광고자들이 광고 수익을 낼 수 있도록 한다. 본 알고리즘은 이력 데이터, GPS 기술 및 수동(manual) 정보 삽입을 사용하여, 콘텍스트 정보에 기초하여 프로모션용 광고들의 형태로 스폰서된 광고를 삽입할 미디어 스트림들 내의 서피스 또는 로케이션을 식별할 수 있다. 프로모션용 광고들은 멀티미디어 스트림들과 직접적으로 통합되거나 또는 APIs(Appplication Programming Interfaces)를 사용하여 국부적으로 또는 원격적으로 저장된 광고 데이터베이스로부터 참조될 수 있다. 스폰서된 광고들은 멀티미디어 칩들, 오디오, 그래픽들, 텍스트, 애니메이션 등의 임의의 형태일 수 있고 멀티미디어 스트림들의 콘텐츠에 국한되지 않는다는 점을 유의해야 한다. 또한, 머니타이제이션 엔진은 광고에 관심을 갖는 모든 사용자들을 식별하기 위한 로직을 포함할 수 있는데, 이런 사용자들로는 멀티미디어 스트림들에 대한 프로모션 광고들의 배치/삽입/오버레이를 허용하기 위해서 광고 캠페인에 대해 사인한 광고자들 또는 비용지불한 스폰서 멤버들 등이 있고, 몇몇 실시예에서 광고자들은 특정 스트림에 포함되기 위한 권리를 쟁취하기 위해서 서로 경쟁할 수 있다. 머니타이제이션 엔진은 LMFN(Live Media Feedback Mechanism and Network)의 기반구조 내에 포함될수 있고, 피드백 주기 동안에 사용될 수 있거나 또는 LMSN(Live Media Switching Network) 내에 포함될 수 있고 또한 스위칭 주기 동안에 사용될 수 있다. LMFN 기반구조는 발견 프로세스 항목에서 더 자세히 설명되었고, LMSN 기반구조는 스위칭 프로세스(Switching process) 항목에서 더 자세히 설명되었고, 따라서 본 단락에서 커버되지 않는다.

일단 프로모션용 광고가 멀티미디어 스트림들과 통합되었다면, 머니타이제이션 엔진은 프로모션용 광고를 구비한 멀티미디어 스트림들이 얼마나 자주 액세스되는지에 기초하여, 또는 대화형 광고들의 경우에는 얼마나 많이, 얼마나 자주, 또한 어떤 식으로(예로, 클릭, 마우스 오우버, 사인 업 등) 사용자들이 프로모션용 광고와 상호작용했는지에 기초하여 LMFN 또는 LMSN을 사용하여 사용자 상호 작용들에 의해 생성된 광고 수익을 트랙킹한다. 프로모션용 광고들과의 상호작용을 통해서 수집된 정보는 머니타이제이션 엔진에 의해 FE를 통해서 사용자들(CUs, GUs, 스폰서들, 광고자들 등)에게 피드백하는 데에 사용된다. 머니타이제이션 엔진으로부터의 피드백은 수집된 정보에 기초하여 머니타이제이션 엔진에게 이용가능한 미리 정의된 수익 생성 알고리즘을 사용하여 결정된 광고 수익들의 형태를 가질 수 있다. 따라서, 머니타이제이션 프로세스는 더 많은 GUs, CUs, 광고자들 및 스폰서들을 끌어들이는 데에 사용될 수 있는 맞춤화된 멀티미디어 스트림들의 콘텐츠를 머니타이즈하기 위한 메커니즘을 제공한다.

본 발명의 여러 실시예들의 이점들은 매우 많다. 예를 들어, 스트림라인화된(streamlined) 실시간 피드백 메커니즘은 낮거나 거의 비용이 들지 않는 멀티미디어 프로덕션을 가능케 한다. 현 실시예들은 직관적, 동적 및 자가 최적화 피드백/프리젠테이션에 기초하여 더 개인화된 미디어 소비 및 수익 생성을 허용한다. 본 프로세스는, 새로운 재능있는 멀티미디어 GUs 집단이 재능있는 사용자 그룹들(개인뿐만 아니라 그룹들도) 중에서의 발견, 프리젠테이션 및 수익 창출과, 복합 미디어를 위한 소비 경로로의 원활한 프로덕션을 이루는 것뿐만 아니라 여러 사용자들이 사회적으로 상호 작용하도록 허용하기 위해 멀티미디어 콘텐츠를 제공하는 것을 허용한다. 재능있는 사용자 그룹들(개인뿐만 아니라 그룹들도)에 의한 발견, 프리젠테이션, 및 수익 공유는 LMFN, LMSN, 및 머니타이제이션 엔진(집합적으로 LMN(Live Media Network) 라고 불림)을 통해서 이루어진다. LMN의 사회적 측면은 재능 있는 GU들 및 CU들, GU들 및 CU들의 팀들, 및 브로커들을 식별하는 것과, 사용자들의 선호도들에 기초하여 맞춤화된 온-디맨드 라이브 멀티미디어 스트림을 전달하는 한편 이런 사용자 그룹들 중에서의 또한 관심있는 스폰서들, 콘텐츠 프로듀서들 및 에이전트들과의 사회적 상호작용을 허용하는 것을 포함한다.

그러나, 당업자에게는, 본 발명이 이런 특정 상세 사항들의 일부 또는 전부없이도 실시될 수 있다는 점이 명백할 것이다. 다른 경우들에서는 공지된 프로세스 동작들은 본 발명을 불필요하게 흐리지 않기 위해서 상세히 설명하는 것을 피하였다.

본 발명의 실시예들은, 핸드 헬드 디바이스들, 마이크로프로세서 시스템들, 마이크로프로세서 기반 또는 프로그램 가능 소비자 전자 장치들, 미니컴퓨터들, 메인 프레임 컴퓨터들 등을 포함하는 여러가지의 컴퓨터 시스템 구성들로 실시될 수 있다. 본 발명은 태스크들이 유선 기반 네트워크 또는 무선 네트워크를 통해서 링크된 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수도 있다.

상기 실시예들을 염두에 두면, 본 발명은 컴퓨터 시스템들에 저장된 데이터를 수반하는 여러 가지의 컴퓨터 구현 동작들을 채택할 수 있다. 이런 동작들은 물리적 양들의 물리적 조작들을 요구하는 것들이다. 보통은, 반드시 필요한 것은 아니지만, 이런 양들은 저장되고, 전달되고, 조합되고 및 다른 식으로 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취한다.

본 발명의 일부를 이루는 여기 설명된 동작들의 어떤 것이든 유용한 기계 동작들이다. 본 발명은 이런 동작들을 수행하기 위한 디바이스 또는 장치에 관한 것이다. 본 장치는 요구되는 목적을 위해 특별하게 구축되거나 또는 본 장치는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 구성되는 범용 컴퓨터일 수 있다. 특히, 여러가지의 범용 머신들이 여기 교시에 따라서 작성된 컴퓨터 프로그램들과 함께 사용될 수 있거나, 또는 요구되는 동작들을 수행하기 위해 더 특수화된 장치를 구축하는 것이 더 편리할 수 있다.

본 발명은 컴퓨터 판독가능 매체상의 컴퓨터 판독 가능 코드로서 구체화될 수 있다. 컴퓨터 판독 가능 매체는 데이터를 저장할 수 있고 이후에 컴퓨터 시스템에 의해 판독될 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 판독 가능 매체는 네트워크 결합된 컴퓨터 시스템상에서 분산될 수 있어서 컴퓨터 판독가능 코드가 분산 방식으로 저장되고 실행될 수 있도록 한다.

지금까지의 발명이 이해의 명료성을 기하기 위해 어느 정도 상세히 설명되었지만, 본 발명의 범위 내에서 특정 변화들 및 변경들이 이뤄질 수 있는 것이 명백하다. 따라서, 본 실시예들은 예시적인 것으로서 제한적인 것으로 여겨서는 안 되며, 본 발명은 여기 주어진 상세 사항에 국한되지 않고, 균등물 내에서 변경될 수 있다.

Claims (24)

1. 라이브 멀티미디어 콘텐츠의 머니타이제이션(monetization)을 관리하기 위한 방법으로서, 컴퓨터에 의해 구현되는 방법이며,
   피드백 엔진(feedback engine)에 의해, 캡처링 디바이스들(capturing devices)로부터 멀티미디어 콘텐츠를 실질적인 실시간으로 수신하는 단계 - 상기 캡처링 디바이스들은 캡처되는 콘텐츠의 유형 또는 캡처 로케이션을 식별함 -;
   상기 피드백 엔진에 통신가능하게 접속된 머니타이제이션 엔진에 의해, 상기 캡처링 디바이스들에 의해 실질적인 실시간으로 캡처되어 송신되는 상기 멀티미디어 콘텐츠 내의 하나 또는 그 이상의 프로모션용 미디어(promotional media)를 식별하는 단계 - 상기 식별된 프로모션용 미디어는 하나 또는 그 이상의 프로모션용 광고들과 매칭됨 -;
   상기 머니타이제이션 엔진에 의해, 실질적인 실시간으로 복합 멀티미디어 스트림(composite multimedia stream)을 생성하기 위해서 하나 또는 그 이상의 프로모션용 광고들과 상기 식별된 프로모션용 미디어를 자동적으로 통합시키는 단계;
   실질적인 실시간으로 수신 디바이스들에서 상기 복합 멀티미디어 스트림을 제시하는 단계;
   상기 머니타이제이션 엔진에 의해, 상기 수신 디바이스들에서의 상호작용들(interactions)에 기초하여, 상기 멀티미디어 콘텐츠 및 프로모션용 광고와 연관되는 복수의 사용자들 각각에 대한 머니타이제이션 수익(monetization revenue)을 트랙킹(tracking)하는 단계; 및
   상기 머니타이제이션 엔진에 의해 상기 머니타이제이션 수익을, 상기 멀티미디어 콘텐츠의 프로모션용 미디어와 연관된 머니타이제이션 기준에 기초로 하는 단계
   를 포함하고,
   상기 머니타이제이션 수익을 트랙킹하는 단계는,
   실질적인 실시간으로 상기 수신 디바이스들로부터 피드백을 획득하는 단계 - 상기 피드백은, 상기 수신 디바이스들에 제시된 상기 하나 또는 그 이상의 프로모션용 광고들 각각과 연관된 액션들 및 상호작용들을 결정함 -; 및
   상기 수신 디바이스들로부터의 상기 피드백에 기초하여 수익 공유 알고리즘을 이용하여 상기 프로모션용 광고들 각각에 대한 머니타이제이션 수익을 평가하는 단계 - 상기 수익 공유 알고리즘은 랭킹 알고리즘에 기초하여 머니타이제이션 수익을 스케일링함 -
   를 더 포함하는, 컴퓨터 구현 방법.
2. 제1항에 있어서, 상기 멀티미디어 콘텐츠를 수신하는 단계는,
   상기 멀티미디어 콘텐츠에 대한 상기 랭킹 알고리즘(ranking algorithm)을 식별하는 단계; 및
   정렬된(ordered) 멀티미디어 스트림을 생성하는 단계 - 상기 정렬된 멀티미디어 스트림은, 상기 랭킹 알고리즘으로부터 획득된 정보에 기초하여 상기 수신된 멀티미디어 콘텐츠를 조직화함으로써 생성됨 -
   를 더 포함하는 컴퓨터 구현 방법.
3. 제1항에 있어서, 상기 프로모션용 미디어를 통합시키는 단계는,
   상기 머니타이제이션 기준에 기초하여 상기 멀티미디어 스트림 내에 상기 프로모션용 미디어에 관련된 상기 하나 또는 그 이상의 프로모션용 광고들을 배치하기 위해 상기 수신 디바이스들과 연관된 디스플레이 스크린 상의 로케이션 또는 레이어를 결정하는 단계; 및
   상기 수신 디바이스들과 연관된 디스플레이 스크린 상의 로케이션 또는 레이어에 상기 프로모션용 광고들을 배치하는 단계
   를 더 포함하는 컴퓨터 구현 방법.
4. 제1항에 있어서, 상기 프로모션용 광고들 각각은, 상기 프로모션용 광고들 중 선택된 것들로의 적어도 하나의 링크의 식별을 가능하게 하기 위해서 상기 프로모션용 미디어와 연관된 하나 또는 그 이상의 속성들의 조사에 기초하여 데이터베이스로부터 식별 및 획득되는, 컴퓨터 구현 방법.
5. 제1항에 있어서, 상기 프로모션용 광고들은, 상기 프로모션용 미디어를 캡처하거나 시청하는 사용자에 의해 수동으로 통합되거나, 또는 상기 복합 멀티미디어 스트림을 생성하는 것과 연관된 시스템에 의해 자동으로 통합되는, 컴퓨터 구현 방법.
6. 제1항에 있어서, 프로모션용 광고는 대화형(interactive)인 컴퓨터 구현 방법.
7. 제1항에 있어서, 프로모션용 광고는, 멀티미디어 클립, 오디오 클립, 그래픽들, 텍스트 또는 애니메이션 중 하나 또는 그 이상을 포함하는 컴퓨터 구현 방법.
8. 제1항에 있어서, 상기 머니타이제이션 기준은, 상기 멀티미디어 스트림에 대한 프로모션용 미디어 배치(placement), 상기 프로모션용 미디어의 피처된 각도(featured angle), 상기 프로모션용 미디어의 피처된 시간, 상기 멀티미디어 스트림의 인기도, 상기 멀티미디어 스트림에 의해 캡처되는 이벤트/토픽의 유형, 또는 목표로 하는 청중 중 적어도 하나를 포함하는 컴퓨터 구현 방법.
9. 삭제
10. 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하는 시스템으로서,
    실질적인 실시간으로 멀티미디어 콘텐츠를 캡처하여, 통신 네트워크를 통해 송신하도록 구성된 복수의 캡처링 디바이스들 - 상기 캡처링 디바이스들은 캡처되는 콘텐츠의 유형 또는 캡처 로케이션을 식별함 -;
    상기 통신 네트워크를 통해 실질적인 실시간으로 상기 멀티미디어 콘텐츠를 수신하며, 피드백을 제공하도록 구성된 복수의 수신 디바이스들;
    상기 복수의 캡처링 디바이스들 및 상기 복수의 수신 디바이스들에 통신가능하게 접속된 피드백 엔진 - 상기 피드백 엔진은, 검색 선호도에 기초하여 실질적인 실시간으로 멀티미디어 콘텐츠를 확인(validate)하는 것, 검색하는 것, 인덱싱하는 것 또는 우선순위화하는 것 중 적어도 하나에 의해 멀티미디어 콘텐츠에 대한 요청들을 처리하며, 실질적인 실시간으로 피드백을 수집하는 것, 리뷰하는 것, 인덱싱하는 것, 우선순위화하는 것 중 적어도 하나에 의해 피드백을 처리하도록 구성됨 -; 및
    상기 피드백 엔진에 통신가능하게 접속된 머니타이제이션 엔진 - 상기 머니타이제이션 엔진은 상기 복수의 캡처링 디바이스에 의해 전송된 하나 이상의 멀티미디어 콘텐츠 내에 캡쳐된 하나 이상의 프로모션용 미디어 및 상기 프로모션용 미디어를 위한 하나 이상의 프로모션용 광고를 식별하고, 상기 하나 이상의 프로모션용 광고들을 상기 멀티미디어 콘텐츠 내의 캡쳐된 상기 식별된 프로모션용 미디어와 통합함으로써 자동적으로 복합 멀티미디어 스트림들을 생성하며, 실질적인 실시간으로 복합 멀티미디어 스트림들의 일부인 프로모션용 미디어에 관련된 상기 하나 또는 그 이상의 프로모션용 광고들을 관리하도록 구성되어, 상기 프로모션용 광고들로부터 생성된 수익이 캡처링 디바이스들로부터 획득된 변화하는 콘텐츠에 기초하여 상기 멀티미디어 콘텐츠 및 프로모션용 광고와 연관된 사용자들 사이에서 공유될 수 있음 -
    을 포함하고,
    상기 피드백 엔진으로부터 수신된 상기 피드백은 상기 수신 디바이스들에 제시되는 상기 하나 이상의 프로모션용 광고들 각각과 연관된 액션들 및 상호작용들을 결정하고, 상기 피드백은 수익 공유 알고리즘을 사용하여 상기 프로모션용 광고들의 각각에 대한 상기 수익을 평가하는 데에 이용되고, 상기 수익 공유 알고리즘은 랭킹 알고리즘에 기초하여 상기 수익을 스케일링하는,
    머니타이제이션 관리 시스템.
11. 제10항에 있어서, 상기 머니타이제이션 엔진은 상기 피드백 엔진과 통합되는 머니타이제이션 관리 시스템.
12. 제10항에 있어서, 프로모션용 광고들, 멀티미디어 콘텐츠, 멀티미디어 콘텐츠 및 사용자들과 연관된 메타데이터를 저장하는 원격 저장 디바이스를 더 포함하며, 상기 원격 저장 디바이스는 상기 머니타이제이션 엔진에 통신가능하게 접속되는 머니타이제이션 관리 시스템.
13. 제10항에 있어서, 상기 캡처링 디바이스들은 상기 캡처된 멀티미디어 콘텐츠를 국부적으로 저장하는 저장소를 포함하며, 상기 수신 디바이스들은 후속 검색을 위해 상기 멀티미디어 콘텐츠 및 피드백을 국부적으로 저장하는 저장소를 포함하는 머니타이제이션 관리 시스템.
14. 제10항에 있어서, 상기 사용자들은, 캡처링 사용자들, 소비 사용자들, 믹서들(Mixers), 스폰서들, 광고자들 또는 주석가들(commentators) 중 하나 또는 그 이상을 포함하는 머니타이제이션 관리 시스템.
15. 컴퓨터에 의해 실행되는 경우, 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하는 방법을 수행하는 프로그램 명령어들을 포함하는 컴퓨터 판독가능 매체로서,
    상기 프로그램 명령어들은,
    실질적인 실시간으로 캡처링 디바이스들로부터 멀티미디어 콘텐츠를 수신하기 위한 프로그램 명령어들 - 상기 캡처링 디바이스들은 캡처되는 콘텐츠의 유형 또는 캡처 로케이션을 식별함 -;
    실질적인 실시간으로 상기 캡처링 디바이스들에 의해 캡처되어 송신되는 상기 멀티미디어 콘텐츠 내의 하나 또는 그 이상의 프로모션용 미디어를 식별하기 위한 프로그램 명령어들 - 상기 식별된 프로모션용 미디어는 하나 또는 그 이상의 프로모션용 광고들과 매칭됨 -;
    실질적인 실시간으로 복합 멀티미디어 스트림을 생성하기 위해서 상기 하나 또는 그 이상의 프로모션용 광고들과 상기 식별된 프로모션용 미디어를 자동적으로 통합시키기 위한 프로그램 명령어들;
    실질적인 실시간으로 수신 디바이스들에서 상기 복합 멀티미디어 스트림을 제시하기 위한 프로그램 명령어들;
    상기 수신 디바이스들에서 제시된 상기 복합 멀티미디어 스트림과 연관된 상호작용들에 기초하여, 상기 멀티미디어 콘텐츠 및 프로모션용 광고와 연관되는 복수의 사용자들 각각에 대한 머니타이제이션 수익을 트랙킹하기 위한 프로그램 명령어들; 및
    상기 머니타이제이션 수익을, 상기 멀티미디어 콘텐츠의 프로모션용 미디어와 연관된 머니타이제이션 기준에 기초로 하기 위한 프로그램 명령어들
    을 포함하고,
    상기 머니타이제이션 수익을 트랙킹하기 위한 프로그램 명령어들은,
    실질적인 실시간으로 상기 수신 디바이스들로부터 피드백을 획득하는 프로그램 명령어들 - 상기 피드백은 상기 수신 디바이스들에 제시된 상기 하나 또는 그 이상의 프로모션용 광고들 각각과 연관된 액션들 및 상호작용들을 결정함 -; 및
    상기 수신 디바이스들로부터의 상기 피드백에 기초하여 수익 공유 알고리즘을 이용하여 상기 프로모션용 광고들 각각에 대한 머니타이제이션 수익을 평가하는 프로그램 명령어들 - 상기 수익 공유 알고리즘은 랭킹 알고리즘에 기초하여 머니타이제이션 수익을 스케일링함 - 을 더 포함하는,
    컴퓨터 판독가능 매체.
16. 제15항에 있어서,
    상기 프로모션용 미디어를 통합시키기 위한 프로그램 명령어들은,
    상기 머니타이제이션 기준에 기초하여 상기 멀티미디어 스트림 내에 상기 프로모션용 미디어에 관련된 상기 하나 또는 그 이상의 프로모션용 광고들을 배치하기 위해 상기 수신 디바이스들과 연관된 디스플레이 스크린 상의 로케이션 또는 레이어를 결정하기 위한 프로그램 명령어들; 및
    상기 수신 디바이스들과 연관된 디스플레이 스크린 상의 로케이션 또는 레이어에 상기 프로모션용 광고들을 배치하기 위한 프로그램 명령어들
    을 더 포함하는 컴퓨터 판독가능 매체.
17. 제15항에 있어서, 프로모션용 광고는 대화형인 컴퓨터 판독가능 매체.
18. 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하기 위한 방법으로서 컴퓨터에 의해 구현되는 방법이며,
    캡처링 디바이스들에 의해 캡쳐되고 전송된 멀티미디어 콘텐츠를 실질적인 실시간으로 수신하는 단계 - 상기 캡처링 디바이스들은 캡처되는 콘텐츠의 유형 또는 캡처 로케이션을 식별함 -;
    머니타이제이션 엔진에 의해 실질적인 실시간으로 상기 캡처링 디바이스들에 의해 캡처된 상기 멀티미디어 콘텐츠 내의 하나 이상의 프로모션용 미디어를 식별하는 단계;
    상기 머니타이제이션 엔진에 의해 상기 멀티미디어 콘텐츠로부터 상기 하나 또는 그 이상의 프로모션용 미디어와 연관된 하나 또는 그 이상의 수익 산출 스폰서들을 식별하는 단계;
    상기 머니타이제이션 엔진에 의해 실질적인 실시간으로 복합 멀티미디어 스트림을 생성하기 위해서 상기 프로모션용 미디어와 상기 식별된 수익 산출 스폰서들과 연관된 하나 또는 그 이상의 프로모션용 광고들을 자동적으로 통합시키는 단계;
    상기 머니타이제이션 엔진에 의해 실질적인 실시간으로 수신 디바이스들에 상기 복합 멀티미디어 스트림을 제시하는 단계;
    상기 머니타이제이션 엔진에 의해 상기 수신 디바이스들에서의 상호작용들에 기초하여, 상기 멀티미디어 콘텐츠 및 프로모션용 광고와 연관되는 복수의 사용자들 및 상기 수익 산출 스폰서들 각각에 대한 머니타이제이션 수익을 트랙킹하는 단계;
    상기 머니타이제이션 엔진에 의해 상기 머니타이제이션 수익을, 상기 멀티미디어 콘텐츠의 프로모션용 미디어와 연관된 머니타이제이션 기준에 기초로 하는 단계
    를 포함하고,
    상기 머니타이제이션 수익을 트랙킹하는 단계는,
    실질적인 실시간으로 상기 수신 디바이스들로부터 피드백을 획득하는 단계 - 상기 피드백은, 상기 수신 디바이스들에 제시된 상기 하나 또는 그 이상의 프로모션용 광고들 각각과 연관된 액션들 및 상호작용들을 결정함 -; 및
    상기 수신 디바이스들로부터의 상기 피드백에 기초하여 수익 공유 알고리즘을 이용하여 상기 프로모션용 광고들 각각에 대한 머니타이제이션 수익을 평가하는 단계 - 상기 수익 공유 알고리즘은 랭킹 알고리즘에 기초하여 머니타이제이션 수익을 스케일링함 - 를 더 포함하는,
    컴퓨터 구현 방법.
19. 제18항에 있어서,
    상기 하나 또는 그 이상의 프로모션용 광고들을 통합시키는 단계는,
    상기 머니타이제이션 기준에 기초하여 상기 멀티미디어 스트림 내에 상기 프로모션용 미디어에 관련된 하나 또는 그 이상의 프로모션용 광고들을 배치하기 위해 상기 수신 디바이스들과 연관된 디스플레이 스크린 상의 로케이션 또는 레이어를 결정하는 단계; 및
    상기 수신 디바이스들과 연관된 디스플레이 스크린 상의 로케이션 또는 레이어에 상기 프로모션용 광고들을 배치하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
20. 제18항에 있어서,
    상기 프로모션용 광고들 각각은 하나 이상의 상기 프로모션용 미디어의 속성들의 조사에 의해 데이터베이스로부터 획득되고, 상기 속성들은 상기 프로모션용 광고들 중 선택된 것들로의 적어도 하나의 링크의 식별을 가능하게 하는 컴퓨터 구현 방법.
21. 삭제
22. 라이브 멀티미디어 콘텐츠의 머니타이제이션을 관리하기 위한 방법으로서 컴퓨터에 의해 구현되는 방법이며,
    캡처링 디바이스들에 의해 캡쳐되고 전송된 멀티미디어 콘텐츠를 실질적인 실시간으로 수신하는 단계 - 상기 캡처링 디바이스들은 캡처되는 콘텐츠의 유형 또는 캡처 로케이션을 식별함 -;
    머니타이제이션 엔진에 의해 실질적인 실시간으로 상기 캡처링 디바이스들에 의해 캡처된 상기 멀티미디어 콘텐츠 내의 프로모션용 미디어와 연관된 이미지를 식별하는 단계;
    상기 머니타이제이션 엔진에 의해 수신 디바이스들에서 상기 캡처된 멀티미디어 콘텐츠를 선택하는 시청자들의 수에 기초하여 실질적인 실시간으로 상기 캡처된 멀티미디어 콘텐츠의 인기도를 검출하는 단계;
    상기 머니타이제이션 엔진에 의해 상기 캡처된 멀티미디어 콘텐츠에 프로모션용 미디어와 연관된 상기 이미지가 존재하는 시간 구간과, 상기 프로모션용 미디어의 이미지가 존재하는 시간 구간 동안의 상기 캡처된 멀티미디어 콘텐츠의 인기도를 결정하는 단계; 및
    상기 머니타이제이션 엔진에 의해 상기 프로모션용 미디어의 이미지가 존재하는 시간 구간 동안에 상기 캡처된 멀티미디어 콘텐츠에 대하여 복수의 사용자들 각각과 연관되는 광고 수익을 할당하는 단계
    를 포함하고,
    상기 광고 수익을 할당하는 단계는,
    실질적인 실시간으로 상기 수신 디바이스들로부터 피드백을 획득하는 단계 - 상기 피드백은, 상기 프로모션용 미디어의 이미지가 제시된 기간 동안의 상기 프로모션용 미디어의 상기 이미지와 연관된 액션들 및 상호작용들을 결정함 -; 및
    상기 수신 디바이스들로부터의 상기 피드백에 기초하여 수익 공유 알고리즘을 이용하여 상기 프로모션용 미디어에 대한 상기 광고 수익을 계산하는 단계 - 상기 수익 공유 알고리즘은 상기 멀티미디어 컨텐츠의 인기도와 랭킹에 기초하여 랭킹 알고리즘을 이용하여 머니타이제이션 수익을 스케일링함 -
    을 더 포함하는, 컴퓨터 구현 방법.
23. 제22항에 있어서, 상기 프로모션용 미디어의 이미지가 존재하는 시간 구간 동안의 인기도의 필요 레벨(requisite level)을 갖는 캡처링 디바이스에 상기 광고 수익의 미리 규정된 양이 할당되는 컴퓨터 구현 방법.
24. 제22항에 있어서, 상기 프로모션용 미디어의 이미지는 스폰서된 상업 제품 또는 서비스의 것인 컴퓨터 구현 방법.

Images