KR102111270B1 - 멀티미디어 플랫폼을 통해서 멀티미디어 컨텐츠를 추천하기 위한 방법 및 시스템 - Google Patents

멀티미디어 플랫폼을 통해서 멀티미디어 컨텐츠를 추천하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102111270B1
KR102111270B1 KR1020157011172A KR20157011172A KR102111270B1 KR 102111270 B1 KR102111270 B1 KR 102111270B1 KR 1020157011172 A KR1020157011172 A KR 1020157011172A KR 20157011172 A KR20157011172 A KR 20157011172A KR 102111270 B1 KR102111270 B1 KR 102111270B1
Authority
KR
South Korea
Prior art keywords
multimedia content
multimedia
information
user
state
Prior art date
Application number
KR1020157011172A
Other languages
English (en)
Other versions
KR20150067242A (ko
Inventor
앨베르토 메시나
사비노 메타
마우리지오 몬탕누오로
Original Assignee
에스.아이.에스브이.이엘. 쏘시에타‘ 이탈리아나 퍼 로 스빌루포 델‘엘레트로니카 에스.피.에이.
라이 라디오텔레비지오네 이탈리아나 에스.페.아.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스.아이.에스브이.이엘. 쏘시에타‘ 이탈리아나 퍼 로 스빌루포 델‘엘레트로니카 에스.피.에이., 라이 라디오텔레비지오네 이탈리아나 에스.페.아. filed Critical 에스.아이.에스브이.이엘. 쏘시에타‘ 이탈리아나 퍼 로 스빌루포 델‘엘레트로니카 에스.피.에이.
Publication of KR20150067242A publication Critical patent/KR20150067242A/ko
Application granted granted Critical
Publication of KR102111270B1 publication Critical patent/KR102111270B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은, 멀티미디어 플랫폼(101)을 통해서 멀티미디어 컨텐츠를 추천하기 위한 방법에 관한 것으로, 여기서 멀티미디어 플랫폼(101)은 적어도 하나의 사용자 인터페이스(10)를 통해서 관찰가능한 복수의 멀티미디어 컨텐츠를 포함하며, 상기 방법은: 멀티미디어 플랫폼(101)이, 적어도 하나의 제 1 피스의 시맨틱 정보(semantic information)가 연관되는 적어도 하나의 제 1 멀티미디어 컨텐츠(1)를 선택하기 위해 사용자 인터페이스(10)로부터 적어도 하나의 제 1 커맨드(204)를 수신하는 단계; 멀티미디어 플랫폼(101)이, 적어도 하나의 제 2 피스의 시맨틱 정보가 연관되는 적어도 하나의 제 2 멀티미디어 컨텐츠(2)를 선택하기 위한 사용자 식별자(user identifier)인 제 2 커맨드를 적어도 하나의 사용자 인터페이스(10)로부터 수신하고, 관찰되고 있는 제 1 멀티미디어 컨텐츠(1)와 제 2 멀티미디어 컨텐츠(2) 사이의 연관에 관한 적어도 하나의 피스의 정보(11)를 추가로 수신하는 단계 ― 적어도 하나의 피스의 정보(11)는 시맨틱 어그리게이션에 관한 것임 ―; 멀티미디어 플랫폼(101)이, 제 2 피스의 시맨틱 정보와 제 1 피스의 시맨틱 정보 사이의 비교를 통해서, 사용자 식별자, 제 1 멀티미디어 컨텐츠(1) 및 제 2 멀티미디어 컨텐츠(2), 그리고 연관(11)을 나타내는 적어도 하나의 제 1 상태를 프로세싱하는(12) 단계; 멀티미디어 플랫폼이, 제 1 프로세싱된 상태(12)에 기초하여 그리고 복수의 멀티미디어 컨텐츠에 관한 복수의 상태들의 적어도 하나의 추가적인 상태와의 비교에 기초하여, 적어도 하나의 제 3 멀티미디어 컨텐츠(3)를 나타내는 적어도 하나의 제 2 상태를 추천하는 단계를 포함한다. 본 발명은 또한, 멀티미디어 컨텐츠를 추천하기 위한 관련 시스템에 관한 것이다.

Description

멀티미디어 플랫폼을 통해서 멀티미디어 컨텐츠를 추천하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR RECOMMENDING MULTIMEDIA CONTENTS THROUGH A MULTIMEDIA PLATFORM}
본 발명은 멀티미디어 컨텐츠를 추천하기 위한 방법 및 시스템에 관한 것이다.
오늘날, 액세스가능한 멀티미디어 컨텐츠의 양은 거대하고 그리고 일정하게 증가하고 있다. 매우 다량의 정보(소셜 네트워크들 상의 이미지들, 비디오들, 문헌들, 코멘트들, ...)가 수많은 사용자들 사이에서 계속적으로 생산되고 있고, 아카이브되고 있으며, 공유되고 있다. 이러한 맥락에서, 사용자가 관심 정보에 대한 액세스를 획득하는 방법은 중요한 정보를 수반한다(take).
일반적인 관심 콘텐츠를 리트리브하기 위해, 사용자는 질의(query)로 지칭되는 텍스트 포맷의 검색 요청을 발행할 수 있다. 후속하여, 정보 검색 & 리트리벌 시스템은, 질의의 컨텐츠를 분석하고, 이를 이용가능한 컨텐츠의 적합한 "인덱스들"과 비교한다. 이러한 인덱스들은 보통 컨텐츠 분석에 기초하여 사전정의되고 설계된다.
멀티미디어 컨텐츠 자체와 연관된 정보는 문헌에서 주지의 사실로서 "메타데이터"로 지칭된다.
시스템은 그후, 상이한 모달리티들(modalities) 및 메트릭들(metrics)을 이용함으로써, 질의를 통해서 표현된 사용자의 요청을 가장 잘 충족시키는 컨텐츠를 리턴한다.
이러한 컨텐츠 검색 및 리트리벌 프로세스 동안 메타데이터의 중요성은 명백하다. 메타데이터가 더 많고 더욱 전형적일수록, 컨텐츠 식별 및 리트리벌 프로세스는 더욱 효율적이 된다.
이러한 멀티미디어 컨텐츠 검색 및 리트리벌 프로세스를 가능하게 하기 위해, "추천 시스템들"이 이용되며, 그 기능은 사용자의 니즈(needs) 및 기대들을 예측할 수 있는 멀티미디어 컨텐츠를 더욱 정확하게 식별하는 것이다. 멀티미디어 컨텐츠 추천 시스템의 일례는, 고객맞춤형(customized) 프로그램 가이드를 사용자에게 제공하는 추천 시스템을 포함하는 미디어 서버를 설명하는 문헌 US2007/0208718A1으로부터 알려져 있다.
일반적으로, 이하에 요약되는 추천 시스템들의 2개의 카테고리들을 식별하는 것이 근본적으로 가능하다.
협업 필터링 추천 시스템들은, "유사한 사용자들"에 의해 행해진 이전의 선택들에 기초하여 추천들을 생성한다. 사실상, 사용자들은 일 세트의 선호사항(preference)들에 의해 정의된 스테레오타입들로 그룹화된다. 이에 따라, 이러한 협업 시스템들을 기초로 한 추정은, 일 그룹의 사용자들의 거동이 그 그룹에 속하는 단일 사용자의 거동을 추론(deduce)하는데 이용될 수 있다는 것이다.
문헌 US 6,438,579B1은, 그룹 거동 로직에 따라, 사용자 자신에 의해 주어진 컨텐츠 평가들과 다른 사용자들에 의해 주어진 다른 컨텐츠의 평가들 사이에서의 통신(correspondence)에 기초하여 사용자에게 멀티미디어 컨텐츠가 제안되는 공동 추천 시스템을 설명한다.
컨텐츠-기반 필터링 추천 시스템들은, (명시적으로 나타나든지 또는 함축적으로 나타나든지 간에) 사용자의 선호사항들 및 사용자 자신이 이미 사용했던 컨텐츠의 특성들을 추천될 컨텐츠와 연관된 메타데이터 또는 특성들과 비교함으로써 추천들을 생성한다. 사용자의 선호사항들은, 사용자가 자신의 평가들을 계획적으로(deliberately) 제공할 때 명료하게 획득되고; 중요한 정보가 또한 사용자의 동작들을 자동으로 기록하고 모니터링함으로써 추출될 수 있다. 사용자에 의해 이용되는 컨텐츠의 특성들은 통상적으로 시청각 컨텐츠 분석 알고리즘들에 의해 추출된다.
컨텐츠-기반 추천 시스템의 일례는, 사용자 플랫폼으로부터 수신된 사용자의 이전 거동에 기초하여 사용자에 대한 잠재적 관심사의 컨텐츠를 제안하는 추천 시스템을 설명하는 문헌 US2011/0125585A1으로부터 알려져 있다.
그러나, 멀티미디어 컨텐츠 추천 시스템들의 기술에서 알려진 솔루션들은 완전하게 만족스러운 것으로 판명되지 않는다.
사실상, 멀티미디어 컨텐츠를 즐기기 원하는 사용자는, 정보 검색 및 리트리벌 시스템과 전적으로 개인적인 방식으로 상호작용하고, 사전에 거의 식별될 수 없는 사용자 자신의 문화적 그리고 맥락적 니즈에 기초하여 몇몇 컨텐츠를 다른 것들 대신에 더욱 심층적으로 탐구하기로 결정할 수 있다.
일반적으로, 사용자는 더 나은 결과들로 유도할 수 있는 (존재하는 유의어들에 대한) 단어들을 이용함으로써 또는 부정확한 방식으로 질의를 표현할 수 있다. 이에 더해, 중요성 또는 유사성 개념과 일반적으로 연관되는 추천 시스템들에 의해 이용되는 사전정의된 컨텐츠 인덱싱은 필수적으로 질의들의 단조로운 해석(univocal interpretation)을 함축한다. 이러한 양상들의 결과는, 추천 시스템이 사용자의 니즈를 완전하게 충족시키지 않는 사용자 결과들로 리턴할 수 있다.
이에 따라, 사용자는, 추천 시스템과의 시간-소모 상호작용을 갖도록 강제되지만; 이러한 상호작용은 종종 검색이 완료된 이후에 시스템에 의해 종종 "잊혀져서" 이에 따라 심지어 사용자 자신조차도 나중에 이 상호작용을 동적으로 재구성하기 어렵게 된다.
본 발명의 목적은 종래 기술의 결함들 중 몇몇을 극복하는 방법 및 시스템을 제공하는 것이다.
특히, 본 발명은 사용자와 시스템 사이에서의 상호작용에 관한 정보의 묘사 및 저장을 활용함으로써 사용자에 대한 관심 멀티미디어 컨텐츠를 더욱 효율적으로 리트리브할 수 있는 멀티미디어 컨텐츠 추천 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 사용자 자신의 이전의 성과 경험(fruition experience) 동안 사용자에 의해 가능한 대로 만들어진 연관들을 유리하게 하기 위해 이용하도록 허용하는 멀티미디어 컨텐츠 추천 방법 및 시스템을 제공하는 것이다.
본 발명의 이러한 그리고 다른 목적들은, 본 설명의 구성 요소(integral part)인, 첨부된 청구항들에서 설명된 특징들을 통합하는, 멀티미디어 컨텐츠, 및 관련 시스템을 추천하기 위한 방법을 통해서 달성된다.
본 발명은, 멀티미디어 컨텐츠를 추천하기 위한 방법을 제공하는 일반적인 아이디어에 기초하며, 여기서: 커맨드는, 시맨틱(semantic) 정보의 연관된 제 1 피스와 함께, 적어도 하나의 제 1 멀티미디어 컨텐츠를 재생하기 위해 적합한 사용자 인터페이스를 통해서 사용자로부터 수신되고; 적합한 사용자 인터페이스를 통해서, 사용자는 적어도 하나의 제 2 피스의 시맨틱 정보가 연관되는, 적어도 하나의 제 2 멀티미디어 컨텐츠의 선택을 발행하고, 이와 함께(along with) 제 2 멀티미디어 컨텐츠와 제 1 멀티미디어 컨텐츠 사이의 연관에 관련된 정보가 관찰되고 있고, 상기 정보는 시맨틱 어그리게이션(semantic aggregation)에 관한 것이며; 이 시스템은, 제 2 피스의 시맨틱 정보와 제 1 피스의 시맨틱 정보 사이의 비교를 통해서, 사용자의 아이덴티티, 제 1 멀티미디어 컨텐츠 및 제 2 멀티미디어 컨텐츠, 그리고 연관을 나타내는 적어도 하나의 제 1 상태를 프로세싱하고; 적어도 하나의 제 3 멀티미디어 컨텐츠를 나타내는 적어도 하나의 제 2 상태는, 제 1 프로세싱된 상태에 기초하여 그리고 상기 복수의 멀티미디어 컨텐츠에 관련된 복수의 상태들의 적어도 하나의 추가 상태와의 비교에 기초하여 추천된다.
본 발명은 또한, 멀티미디어 컨텐츠 및 개별적인 제 1 피스들의 시맨틱 정보를 저장하는 제 1 메모리, 프로세서, 및 적어도 하나의 제 1 멀티미디어 컨텐츠를 재생하도록 적응된 적어도 하나의 사용자 인터페이스를 포함하는 멀티미디어 컨텐츠를 추천하기 위한 시스템에 관한 것이다. 이 시스템은, 사용자 인터페이스를 통해서 선택된 적어도 하나의 제 2 멀티미디어 컨텐츠, 적어도 하나의 제 2 피스의 시맨틱 정보, 및 사용자 식별자를 저장하도록 적응되고 그리고 관찰되고 있고 상기 사용자 인터페이스를 통해서 수신되며 그리고 시맨틱 어그리게이션에 관련된 제 1 멀티미디어 컨텐츠와 제 2 멀티미디어 컨텐츠 사이의 연관에 관한 적어도 하나의 피스의 정보를 저장하도록 추가로 적응된 적어도 하나의 제 2 메모리를 더 포함한다. 프로세서는, 적어도 상기 제 2 피스의 시맨틱 정보를 상기 제 1 피스의 시맨틱 정보와 비교하고 그리고 적어도 하나의 제 1 정보 상태를 상세화(elaborate)하기 위해, 사용자에 관한 정보, 제 1 멀티미디어 컨텐츠 및 제 2 멀티미디어 컨텐츠에 관한 정보, 그리고 연관에 관련된 정보를 프로세싱하도록 적응된다. 제 2 메모리는 제 1 정보 상태를 저장하도록 적응되고, 프로세서는 상기 복수의 멀티미디어 컨텐츠에 관련된 복수의 상태들 중 적어도 하나의 추가 상태와의 비교에 기초하여 사용자에게 추천될, 제 1 메모리 내의 적어도 하나의 제 3 멀티미디어 컨텐츠를 나타내는 적어도 하나의 제 2 정보를 상세화하기 위해, 제 1 정보 상태 및 멀티미디어 컨텐츠에 관한 정보를 프로세싱하도록 추가로 적응된다.
이러한 방식으로, 시스템은 사용자로 하여금 2개 또는 그 초과의 멀티미디어 컨텐츠들 사이에서의 시간 관계들뿐만이 아니라 시맨틱 관계들을 표현하도록 허용한다. 따라서, 사용자는, 임의의 멀티미디어 컨텐츠 또는 "아티팩트(artefact)"를 리소스와 연관시켜 정확한 그리고 명시적인 시맨틱 의미(semantic meaning)를 부여할 수 있다. 다음으로, 추천 시스템에 의해 파생되어 해석될 수 있는 상기 의미는 더욱 효율적인 추천들을 제공하기 위해 이용된다.
이에 따라, 제안된 본원의 솔루션은, 먼저, 상호작용 분석에 기초하여 그리고 이해(comprehension) 및 사용자의 특성들에 기초하여 멀티미디어 컨텐츠를 추천하는 새로운 그리고 더욱 완전한 방식을 제공하기 때문에, 종래 기술의 결점들을 극복하도록 허용한다.
이러한 솔루션은, 상당한 이점들을 제안하며, 추천 시스템들의 기능들을 더욱 효과적으로 수행한다.
결과적으로, 시스템은 특정 사용자에 대한 또는, 더욱 일반적으로는 사용자들의 커뮤니티에 대한 성능을 개선시키는 목적을 위해 상호작용에 의해 생성된 풍부한 정보(the wealth of information)를 활용할 수 있다.
본원에 제안된 방법 및 시스템은, 사용자에 의해 생성된 추가적인 멀티미디어 컨텐츠(오디오, 비디오, 텍스트 또는 이들의 어그리게이트(aggregate)들)를 관찰되는 주어진 세트의 컨텐츠와 연관시킬 뿐만 아니라 관찰된 그리고 생성된 컨텐츠를 어그리게이팅함으로써 복합 컨텐츠(complex contents)를 생성하도록 허용한다.
동시에, 사용자에게는 사용자와 시스템 사이의 상호작용을 특징화하고 그 질을 높이는(enrich) 각각의 멀티미디어 컨텐츠 정보와 연관시키는 가능성이 부여된다.
종래 기술에 비해 본 발명의 본질적 이점은, 현재 교환되고 있는 것보다 훨씬 더 많은 정보를 시스템에 제공하는 가능성이 사용자에게 부여되어 이에 따라 시스템과 사용자 사이에서 정보 균형을 재-확립한다는 것이다. 이러한 균형은 본원에서 제안된 진보된 상호작용 기능들을 통해서 완전하게 표현될 수 있는 사용자의 정보 니즈에 대한 더 높은 적응성 면에서 정보 시스템의 성능을 개선시킬 수 있다는 것을 추측할 수 있다.
사실상, 재생되고 있는 멀티미디어 컨텐츠의 스트림에서 이용가능한 증가된 표현력은 시스템에 의해 더욱 효과적으로 활용될 수 있고 이에 따라 인덱싱된 컨텐츠와 사용자의 요청들 사이의 연관에서의 불확실성을 감소시킨다.
본원에 제안되는 솔루션에서, 정보 검색 및 리트리벌 프로세스는 멀티미디어 컨텐츠를 즐기면서 사용자에 의해 수행되는 연관 프로세스를 더욱 효과적인 방식으로 후속한다.
유리하게, 제안된 발명은 본원에 포함된 정보에 대한 사용자의 질의들과 실제 수요 사이에 현재 존재하는 갭을 이어주도록(bridge) 허용한다.
동시에, 제안된 발명은, 사용자에 의해 관찰되는 컨텐츠의 해석에 있어서의 풍부한 가능한 음영들과, 이러한 정보를 지속적인 그리고 재사용가능한 방식으로 보존하는 추천 시스템들의 일반적인 능력 사이의 갭을 이어주도록 허용한다.
본 발명의 추가적인 목적들 및 이점들은, 비-제한적 예시에 의해 공급되는, 후술하는 상세한 설명 및 첨부된 도면들로부터 더욱 명백하게 될 것이다.
도 1은, 멀티미디어 컨텐츠를 추천하기 위한 방법을 예시한다.
도 2는, 멀티미디어 컨텐츠를 추천하기 위한 시스템을 예시한다.
도 3은, 사용자에 대해 멀티미디어 컨텐츠에 관한 일반적인 추천을 예시한다.
도 4는, 사용자에 대해 복수의 멀티미디어 컨텐츠에 관한 일반적인 추천을 예시한다.
도 5는, 멀티미디어 컨텐츠의 추천의 일 예시를 나타낸다.
도 6은, 멀티미디어 컨텐츠의 추천의 제 2 예시를 나타낸다.
첨부된 도면들에서, 유사 엘리먼트들, 동작들, 또는 디바이스들이 상이한 도면들에서 동일한 참조 번호들로 식별된다.
도 1은, 멀티미디어 컨텐츠를 추천하기 위한 방법을 예시한다.
사용자(10)는, 멀티미디어 플랫폼, 예를 들어, 비디오들, 이미지들, 오디오, 텍스트 및/또는 다른 멀티미디어 컨텐츠로의 액세스를 허용하는 멀티미디어 플랫폼 상에서 멀티미디어 컨텐츠를 즐기고 있다.
이러한 멀티미디어 플랫폼은, 컴퓨터들, "커넥티드(Connected) TV/IPTV", 텔레비전 세트들, 스마트폰들, 개인용 디지털 보조기구들, 태블릿들 등과 같은 디바이스들을 이용함으로써 인터넷을 통해서 통상적으로 액세스가능한, 현재 이용가능한 수많은 멀티미디어 플랫폼을 나타내고 예시한다.
사용자(10)는 멀티미디어 컨텐츠를 리트리브하기 위해 멀티미디어 플랫폼과 상호작용할 수 있는데: 단계(101)에서, 본 발명에 따라, 사용자(10)는 멀티미디어 플랫폼과 상호작용하고 이에 따라 컨텐츠 추천으로 이끌 프로세스를 시작한다. 단계(101)에서 발생하는 상기 상호작용은 수개의 유형들일 수 있는데, 여기서 특정 대상(subject)에 대한 사용자의 지식을 더 심화시키고자 하는 사용자 자신의 니즈를 충족시키기 위해 사용자(10)는 멀티미디어 컨텐츠를 검색하는데; 예를 들어, 사용자(10)는 최근에 로딩된 멀티미디어 컨텐츠의 미리결정된 리스트를 브라우징(browse)하거나 또는 키워드-기반 컨텐츠 검색을 행하거나, 또는 이미 추천된 컨텐츠의 리스트를 브라우징할 수 있다.
사용자(10)는 (동일한 참조번호(10)로 포함되는 것으로 고려될 수 있는) 적합한 사용자 인터페이스를 통해서 멀티미디어 플랫폼과 상호작용하며, 이는 이하에 더욱 상세하게 설명될 것이다. 게다가, 멀티미디어 플랫폼은, 본 발명의 목적을 위해, 사용자 자신의 아이덴티티에 대응하는 것으로 고려될 수 있는 사용자 식별자를 통해서, 예를 들어, 알려진 사용자명 및 패스워드 시스템을 통해서 사용자(10)를 인식한다.
단계(102)에서, 사용자(10)는 멀티미디어 플랫폼상에서 멀티미디어 컨텐츠(1)를 관찰하기 원하고; 이를 달성하기 위해, 사용자(10)는 상기 멀티미디어 컨텐츠(1)(비디오든, 오디오든, 이미지든 또는 그 외 이든 간에)를 멀티미디어 플랫폼이 재생하게 하기 위한 커맨드를, 적합한 사용자 인터페이스를 통해서 발행한다. 이러한 맥락에서, 사용자(10)에 의해 수행되는 "관찰하는(observing)" 동작은, (예를 들어, 심지어는 재생되고 있는 비디오에 주의를 기울이지 않고 이를 배경에서 뮤트 상태로 남겨두는) 사용자(10)에 의해 실제로 시청되고 있다고 제한되는 것으로 이해되지 않아야 하며; 대신에, 사용자(10)에 의해 발행된 선택 커맨드 및 멀티미디어 플랫폼에 의한 컨텐츠(1)의 후속 프리젠테이션 또는 재생에 관련된 가능한 시나리오들을 포함하는 것을 의미한다.
단계(103)에서, 사용자(10)는 그 사용자 인터페이스를 통해서 플랫폼상에 다른 멀티미디어 컨텐츠(2)를 로딩하여 이를 단계(102)에서 방금 관찰된 멀티미디어 컨텐츠(1)와 연관시킨다. 예를 들어, 사용자(10)는 사용자 자신의 단말의 메모리에 상주하고 있는, 또는 심지어는 이에 연결된 카메라와 같은 제 3 디바이스로부터 비디오(2)를 로딩할 수 있다. 사용자(10)에 의해 로딩된 멀티미디어 컨텐츠(2)는 멀티미디어 플랫폼과 상호작용하면서 사용자(10)에 의해 생산할 수 있는 몇몇 형태들을 취할 수 있고; 이러한 멀티미디어 컨텐츠는 시청각, 또는 태그들, 텍스트 주석들(text annotations), 오디오 등일 수 있다는 점이 주목되어야 한다. 이러한 방식으로, 상이한 "상태들" 사이에서 이동하는 사용자(10)의 상호작용이 모델링될 수 있는데, 여기서 하나의 "상태"로부터 다른 상태로의 천이는 멀티미디어 컨텐츠의 성과 또는 관찰을 통해 배타적으로 발생하지 않지만, 또한 추가적인 멀티미디어 컨텐츠를 로딩함으로써 발생할 수 있다.
본 설명의 범위 내에서, 용어 "상태"는 수리물리학(mathematical physics) 및 시스템 이론에 따른 상태의 정의와의 일부 연결들을 갖는 암시적 의미(connotation)를 취한다.
이러한 프레임들에서, "동적 시스템"의 개념은, 시간 경과에 따른 진화가 일반적인 수학적 모델에 의해 설명될 수 있는 시스템을 나타낸다. 이러한 수학적 모델은 현재의 "상태"를 미래 및/또는 과거의 상태에 결속시키는데 적합한 법칙들에 의해 특징화된다. 이에 따라, 멀티미디어 컨텐츠 시스템은 실질적으로 더 많은 또는 더 적은 복수의 상태들을 가정할 수 있는 동적 시스템이다.
본 설명에서, 이는 임의의 시간 인스턴트에서의 자신의 컨디션을 정의하는 시스템 자체의 특성들의 값들의 세트로서 동적 시스템의 "상태"를 정의하도록 선택되어 있다.
모델의 정의는, 이전 상태들에 관한 정보로부터 시작하여, 시간 경과에 따른 시스템의 진화, 즉, 그 후속 상태들을 인지하도록 허용한다.
앞서 언급된 바와 같이, 사용자에 의한 멀티미디어 컨텐츠의 성과는, 이러한 동적 시스템에 영향을 받는 것으로 고려될 수 있다.
멀티미디어 컨텐츠 추천 시스템들의 경우, "상태"는 특정 컨디션이며, 이 컨디션에서 사용자-멀티미디어 성과 페어가 존재한다. 이러한 동적 시스템의 진화를 아는 것 또는 더 나아가 예상하는 것은, 사용자의 니즈를 더욱 효과적으로 충족시킬 수 있는 추천 시스템으로 유도한다.
따라서, 멀티미디어 컨텐츠의 성과를 특징화하는 특정 세트의 변수들을 정의할 필요가 있으며; 변수들의 수가 더 많으면 많을수록, 성과가 설명되는 단위 크기(granularity)가 더 커진다. 그러나, 고려되는 정보의 양이 더 커지면 커질수록, 시스템의 진화를 관리하기는 더 어려워진다. 본 발명의 예시적인 실시예에서 이용될 수 있는 특정 변수들이 이하 설명될 것이다.
이에 따라, 본 상세한 설명에서 정의된 것과 같은 용어 "상태"의 하나의 가능한 대안적인 명확한 공식화(formulation)는 "정보 상태"이다.
단계(103)에서 로딩 동작 동안, 사용자(10)는 단계(102)에서 관찰되는 컨텐츠와 단계(103)에서 로딩되는 컨텐츠 사이의 연관(11)를 함축적으로 또는 명시적으로 나타내며; 상기 연관(11)은, 이하 더욱 명료하게 될, 사용자(10)에 의해 로딩되는 제 2 멀티미디어 컨텐츠(2)와 관찰되고 있는 제 1 멀티미디어 컨텐츠(1) 사이에서의 관련성(affinity)을 나타낸다.
상기 연관(11)은, 예를 들어, 주석, 코멘트, 타이틀, 개요 등과 같은 컨텐츠 그 자체를 설명하는 정보를 제공하는 텍스트 데이터들 사이에서의 시맨틱 비교를 통해 표현될 수 있다.
상기 연관(11)은 또한, 예를 들어, 공유, 긍정적 예시, 부정적 예시, 대립(opposition), 제안, 참조(reference), 소스(source), 공헌(contribution), 함축(implication), 파생(derivation), 질의와 같은 논리적인 것일 수 있다. 이러한 마지막 유형의 연관(질의)은, 사용자가 다른 컨텐츠를 검색하기 위해 텍스트 컨텐츠(일련의 키워드들) 또는 멀티미디어 컨텐츠(참조 이미지)를 이용하는 전형적인 상황을 모델링한다.
상기 연관(11)은 또한, 예를 들어, 이전/다음, 선행(antecedent), 결과(consequent)와 같은 시간-기반의 또는 논리적-인과관계의 것일 수 있다.
상기 연관(11)은 추가로, 구조적인 그리고 복합적인 것, 또는 집합적인 것, 예를 들어, 그 일부 그리고 그와 어그리게이팅된 것일 수 있다. 이러한 유형의 연관 프리미티브(association primitive)들은, "복합" 멀티미디어 오브젝트들로 식별될 수 있는 멀티미디어 오브젝트들의 어그리게이트들을 구성하도록 허용한다.
물론, 명백한 일반화로서 사용자(10)가 특정 연관들(11)에 더해 멀티미디어 플랫폼상에서 이용가능한 사전정의된 것들을 정의할 수 있는 것으로 가정될 수 있다.
단계(104)에서, 멀티미디어 플랫폼은, 단계들(102 및 103)에서 발생된 상태에 관한 복수의 피스들의 요약 정보, 특히: 이하의 정보를 추정하는데, 이하의 정보는:
- 사용자(10)의 식별자;
- 관찰되고 있는 제 1 멀티미디어 컨텐츠(1)의 식별자;
- 관찰되고 있는 제 1 멀티미디어 컨텐츠(1)의 제 1 피스의 시맨틱 정보;
- 사용자(10)에 의해 로딩되는 제 2 멀티미디어 컨텐츠(2)의 식별자;
- 관찰되고 있는 제 2 멀티미디어 컨텐츠(2)의 제 2 피스의 시맨틱 정보;
- 단지 시맨틱 어그리게이션에 관하여 행해진 연관(11)을 나타내는 식별자를 포함한다.
멀티미디어 컨텐츠와 함께 사용자(10)의 상호작용에 관한 앞서-언급된 정보를 저장하는 가능성은, 자동적 학습(automatic learning)을 제공하고, 이러한 복합 데이터(complex data)로부터 도출가능한 지식을 심화하도록 허용한다. 게다가, 특정한 형태의 저장은, 복수의 멀티미디어 플랫폼들 사이에서 정보가 공유되도록 허용할 수 있어서 이에 따라 사용자(10)의 멀티미디어 경험을 개선시킨다.
단계(105)에서, 멀티미디어 플랫폼은, 사용자(10)에게 추천될 추가적인 멀티미디어 컨텐츠(3)를 잠재적으로 흥미로운 것으로 식별하는 적어도 하나의 추가 상태를 재구성하기 위해 단계(104)에서 추론된 정보를 프로세싱한다.
단계(105)에서 행해진 추천은, 특히 멀티미디어 컨텐츠에 관련된 복수의 상태들의 적어도 하나의 추가적인 상태와의 비교에 기초하여 상호작용 모델에서 파라미터 세트에 따라 멀티미디어 컨텐츠를 추천하기 위해 적합한 그리고 바람직하게 표준의 신택스(syntax)로 표현된, 단계(104)에서 저장된 정보를 활용하는 "데이터 마이닝(Data Mining)" 엔진을 이용한다.
바람직하게, 컨텐츠(2)를 로딩할 때 사용자(10)에 의해 설정된 특정 연관(11)에 기초하여, 특정 추천 메커니즘이 시스템에 의해 확립된다.
이러한 방식으로, 사용자의 상호작용에 의해 설계된 "경로"는 시간 시퀀스로 간단하게 주어지지 않으며: 사용자는 시맨틱 관점에서 사용자 자신이 생각하기에 밀접한, 즉, 관련된 멀티미디어 리소스들을 함께 "결속"시키도록 선택한다. 이에 더해, 사용자는 또한 정확한 시맨틱 자격(semantic qualification)을 이의 결과로 간주함으로써 상기 결속을 나타내는 가능성을 갖는다.
이 시점에서, 2개 또는 그 초과의 상태들 사이에서 명료한 의미론들(즉, 관계의 유형)을 이용가능하게 하여, 시스템은 사용자에게 사용자 자신의 니즈에 더 가까운 추천을 제공할 수 있다.
예를 들어, 사용자가 "대립(opposition)" 개념의 이용에 의해 제 2 멀티미디어 컨텐츠(2)를 제 1 멀티미디어 컨텐츠(1)와 연관시키면, 시스템은 제 2 멀티미디어 컨텐츠(2)의 어떤 특성들이 제 1 멀티미디어 컨텐츠(1)로부터 가장 많이 분기하는지를 학습하기 위해 이러한 명료한 지식을 활용할 수 있고, 이에 따라 이러한 특성들을 갖는 임의의 다른 컨텐츠가 또한 "대립 관계(in opposition)"로 분류될 수 있는 것으로 추론할 수 있다.
마찬가지로, 사용자가 논리적-인과관계의 "결과" 개념의 이용에 의해 제 2 멀티미디어 컨텐츠(2)를 제 1 멀티미디어 컨텐츠(1)와 연관시키면, 시스템은 컨텐츠들 사이에서 인과적(causal) 네트워크들을 확립하기 위해 이러한 개념의 본질적 타동성(intrinsic transitivity)을 활용할 수 있고, 이는 멀티미디어 컨텐츠(2)로부터 시작함으로써 이러한 네트워크들에서 도달가능한 컨텐츠를 사용자(10)에게 도달하게 하고 추천하도록 허용한다.
마지막으로, 사용자가 복합적인 "~와 어그리게이팅되는(aggregated with)" 개념을 이용하여 제 2 멀티미디어 컨텐츠(2)를 제 1 멀티미디어 컨텐츠(1)와 연관시켜 이에 따라 사용자-정의된 로직에 기초하여 상호간에 관련되어 있는 일 세트의 오브젝트들을 함축적으로 생성한다면, 시스템은 어그리게이팅된 멀티미디어 컨텐츠(2 및 1)의 어떤 특성들이 공통인지를 분석함으로써 이러한 상황을 활용할 수 있고 그후 이러한 특성들에 기초하여 멀티미디어 컨텐츠(2 및 1)와 더욱 유사한 추가적인 오브젝트들을 추천한다.
이들 모두로부터, 종래 기술과는 다르게, 선험적으로 정의된 추천 체계들(예를 들어, 구체적인 협력적 추천 방법)을 선호하는 시나리오들이 부각되며, 시스템은 추천에 대한 적응형 접근방식을 구현할 수 있다.
앞서-예시된 방법은, 멀티미디어 컨텐츠 추천 프로세스에서 사용자의 참여의 질을 높이고 개선시킨다.
더 넓은 프레임에서, 새로운 "어그리게이트" 컨텐츠를 생성하기 위해 멀티미디어 컨텐츠 사이에서 구성 오퍼레이터들의 이용을 통해, 사용자는 또한 사용자 자신에 의해 관찰되는 멀티미디어 컨텐츠들 및 이들에 의해 생성된 것들을 이용함으로써 "새로운" 어그리게이트 멀티미디어 컨텐츠를 구성하는 가능성을 갖는다. 동시에, 사용자는 이러한 멀티미디어 컨텐츠에 함축적이든 또는 명시적이든 기여하고, 사용자가 상호작용하는 멀티미디어 컨텐츠와 구체적인 연관이 관찰되고 있다. 이러한 메커니즘은 잠재적으로 멀티미디어 컨텐츠들 사이에서의 무한한 사이클의 복합적 귀환성(compositive recursivity)을 확립하며, 이는 종래 기술 추천 시스템과 비교하여 전진(step forwards)을 나타낸다.
바람직한 실시예에서, 멀티미디어 플랫폼은 멀티미디어 컨텐츠의 성과에 관여된 사용자의 상호작용의 프로세스를 모델링하고, OWL(Web Ontology Language)로 지칭되는 RDF(Resource Description Framework) 표준에 기초하는 형식 언어(formal language)를 통해서 이 프로세스를 표현한다. OWL 언어는, World Wide Web 발행 및 공유를 위한 시맨틱 마크업 언어이다.
OWL 언어의 이용을 통해서, 당업자는, 클래스들, 클래스들 사이에서의 관계들 및 클래스들에 속하는 개인들을 이용하여, 도 1을 참조하여 설명된 상호작용 프로세스를 공식화할 수 있다. 명료하게 제시되지 않은 이러한 관계들은, 추정적(inferential) 및 연역적(deductive) 프로세스들을 구현하는 자동 추리(reasoning) 방법들을 적용함으로써 온톨로지(ontology) 시맨틱들의 분석으로부터 논리적으로 도출될 수 있다.
후술하는 것은, OWL 언어를 이용하는 바람직한 실시예에서 온톨로지 클래스들을 열거한다.
사용자: 하나 또는 그 초과의 디바이스들 상에서 멀티미디어 컨텐츠의 성과에 관여되는 사람. 사용자는 멀티미디어 경험의 메인 액터(main actor)이다.
이벤트: 일반적인 실제 이벤트의 요약 표현.
상태: 주어진 상태의 멀티미디어 경험에서 상호작용 원자들 및 그들의 개별적인 역할들의 세트를 명료한 뜻으로(univocally) 식별하는 "변수들" 또는 "좌표들"의 세트에 의해 식별된, 특정 이벤트.
사용 이벤트: (예를 들어, 사용자가 텍스트를 읽고 있고, 비디오를 시청하고 있을 때, ...) 사용자가 관찰가능한 것을 실제로 이용하기로 결정하는 매 번 발생하는 구체적인 이벤트.
멀티미디어 경험: 주어진 시간 인터벌 내에서, 특정 수의 멀티미디어 컨텐츠의 사용자에 의한 성과를 나타내는 복합 세트의 이벤트들(상태들 및 사용 이벤트들).
멀티미디어 오브젝트: 예를 들어, 비디오, 오디오, 텍스트 포맷들의 멀티미디어 컨텐츠를 생산하기 위해 디바이스에 의해 처리될 수 있는 임의의 유형의 데이터. 멀티미디어 오브젝트의 묘사는, 자신의 로우-레벨 특성들(예를 들어, 비디오의 "컬러 히스토그램")을 포함할 수 있다. 멀티미디어 오브젝트는 멀티미디어 경험의 상태 동안 아티팩트로 또는 관찰가능한 것으로의 역할을 담당할 수 있다. 멀티미디어 오브젝트들은 이하의 유형들의 오브젝트들을 포함한다:
- 텍스트;
- 이미지;
- 비디오;
- 시청각;
- 오디오.
상호작용 원자: 관찰가능한 것들 및 아티팩트들의 요약 표현.
관찰가능한 것: 사용자 자신의 멀티미디어 경험 동안, 특정 상태에 있으면서, 사용자가 사용하기로 결정할 수 있는 구체적인 멀티미디어 오브젝트. 관찰가능한 것은, 특정 상태에 있는 사용자에게 가시적인 임의의 멀티미디어 오브젝트(예를 들어, 그래픽 인터페이스에 있는 이미지)이다.
아티팩트: 특정 상태에 있으면서 사용자에 의해 관찰가능한 것에 부가된 구체적인 멀티미디어 오브젝트. 아티팩트는 사용자 자신의 멀티미디어 경험의 특정 상태 동안 사용자에 의해 능동적으로 생성된(예를 들어, 태그들, 주석들, 음성) 또는 사용자에 의해 선택된 임의의 멀티미디어 오브젝트이다.
역할: 특정 상태에 있으면서 상호작용 원자(예를 들어, 관찰가능한 것 또는 아티팩트)의 기능성(functionality)을 나타내는 일종의 메타데이터. 예를 들어, 사용자가 이미지(관찰가능한 것)에 주석을 붙이는 의도를 가지고 텍스트 부분(아티팩트)을 부가한다면, 이러한 텍스트의 역할은 "주석(annotation)"일 것이다.
RDF 언어들에서, 일반적인 스테이트먼트 또는 피스의 정보(즉, 임의의 간단한 개념)는 "트리플렛": 주어-동사-목적어를 통해 설명된다. "동사"는 "주어"가 "목적어"에 결속되는 관계/속성을 나타낸다. 상기 스테이트먼트를 표현하기 위한 신택스(syntax)는:
- 범위(또는 공동-도메인), 즉, "목적어"를 나타내는 클래스
- 도메인, 즉, 관계("동사")가 적용될 수 있고, "주어"를 나타내는 클래스
를 요구한다.
후술하는 것은, OWL 언어를 이용하는 바람직한 실시예에서의 온톨로지 클래스들 사이에서의 관계들을 열거한다.
● 아티팩트를 특징화함:
도메인: '멀티미디어 오브젝트' 범위: '아티팩트'. 이러한 특성은, 특정 상태에서 멀티미디어 오브젝트가 아티팩트 역할을 갖는다는 사실을 표현한다.
● 멀티미디어 경험을 특징화함
도메인: '상태' 범위: '멀티미디어 경험'. 이러한 특성은, 멀티미디어 경험을 자신의 구성(constituent) 상태들에 결속시킨다.
● 관찰가능한 것을 특징화함
도메인: '멀티미디어 오브젝트' 범위: '관찰가능한 것'. 이러한 특성은, 특정 상태에서 멀티미디어 오브젝트가 관찰가능한 역할을 갖는다는 사실을 표현한다.
● ~로 구성됨
도메인: '상호작용 원자' 범위: '상호작용 원자'. 이러한 특성은, 2개의 상호작용 원자들 사이에서 조성들(예를 들어, 공간적 관계 또는 시간적 관계)을 고려한다.
● 상태를 설명함
도메인: '관찰가능한 것' 범위: '상태'. 이러한 특성은, 관찰가능한 것들을 개별적인 상태들과 연관시킨다.
● 상태를 뒤따름
도메인: '상태' 범위: '상태'. 이러한 특성은, 상태들의 시간 시퀀스를 모델링한다. 이는 타동적(transitive) 특성이다.
● 아티팩트를 가짐
도메인: '상태' 범위: '아티팩트'. 이러한 특성은, 상태들을 개별적인 구성 아티팩트들에 결속시킨다.
● 멀티미디어 경험을 가짐
도메인: '사용자' 범위: '멀티미디어 경험'. 이러한 특성은, 사용자들과 멀티미디어 경험들을 연관시킨다.
● 관찰가능한 것을 가짐
도메인: '상태' 범위: '관찰가능한 것'. 이러한 특성은, 상태들을 개별적인 구성의 관찰가능한 것들에 결속시킨다.
● 역할을 가짐
도메인: '상호작용 원자' 범위: '역할'. 이러한 특성은, 특정 상태에 있는 동안 역할을 상호작용 원자(관찰가능한 것 또는 아티팩트)와 연관시킨다.
● 사용 이벤트를 가짐
도메인: '관찰가능한 것' 범위: '사용 이벤트'. 이러한 특성은, 특정 상태에 있는 동안 관찰가능한 것의 실제 사용을 기록한다.
● 사용자를 가짐
도메인: '멀티미디어 경험' 범위: '사용자'. 이러한 특성은, 멀티미디어 경험들을 개별적인 사용자들과 연관시킨다.
● 그 일부
도메인: '상호작용 원자' 범위: '상호작용 원자'. 이러한 특성은, '~로 구성'의 역이며, 구성된 상호작용 원자들과 개별적인 엔티티들 사이에서 정반대 결속(inverse bond)을 허용한다.
● 상태를 섭동시킴
도메인: '아티팩트' 범위: '상태'. 이러한 특성은, 상태들과 아티팩트들 사이의 관계를 표현한다.
● 상태를 선행함
도메인: '상태' 범위: '상태'. 이러한 특성은, '상태를 뒤따름'의 역이다.
● 시맨틱하게 관련됨
도메인: '상태' 범위: '상태'. 이러한 특성은, 상태들 사이에서의 시맨틱 관계를 모델링한다.
제안된 온톨로지는 멀티미디어 오브젝트들을 맵핑함으로써 멀티미디어 경험에 관여된 사용자들을 "모델링"하도록 허용한다. 사용자가 컨텐츠를 관찰함으로써 그리고 추가적인 컨텐츠를 로딩함으로써 멀티미디어 플랫폼과 상호작용하고 있을 때, 사용자 자신은 멀티미디어 플랫폼에 의해 해석된 정보 상태의 변화를 야기한다. 사용자는, 추가적인 멀티미디어 컨텐츠를 그와 함께 연관시킴으로써 특정 멀티미디어 컨텐츠의 질을 높일 수 있고, 이에 따라 플랫폼의 정보 상태를 변형시킬 수 있다. 일반적으로, 모델은 사용자의 거동, 임의의 멀티미디어 컨텐츠와의 사용자 자신의 상호작용, 및 상호작용 동안 오브젝트들에 의해 재생된 역할들을 완전하게 캡쳐할 수 있다.
도 2는, 멀티미디어 플랫폼의 일 실시예, 또는 멀티미디어 컨텐츠를 추천하기 위한 시스템을 예시한다.
멀티미디어 컨텐츠를 추천하기 위한 시스템은, 비디오, 오디오, 이미지들, 텍스트 등과 같은 복수의 멀티미디어 컨텐츠를 저장하는 제 1 메모리(201)를 포함한다. 시스템은 제 1 메모리(201)에 동작가능하게 연결된 메모리(202) 및 프로세서(203)를 더 포함한다. 특히, 메모리(202)는 휘발성 또는 비휘발성일 수 있는 반면, 메모리(201)는 바람직하게 영구적인 것이다. 프로세서(203)는 메모리(202)에 액세스하고 그리고 그 안에 저장된 데이터에 대한 동작들을 수행하도록 적응된다.
시스템은 적어도 하나의 사용자 인터페이스(204)를 더 포함하고, 이 사용자 인터페이스(204)를 통해서 사용자(10)(도 1 참조)는 멀티미디어 플랫폼으로의 액세스를 획득할 수 있다. 사용자 인터페이스(204)를 통해서, 사용자는 적어도 하나의 제 1 멀티미디어 컨텐츠를 재생하고 관찰할 수 있다. 사용자 인터페이스(204)를 통해서, 사용자는 또한 추가적인 멀티미디어 컨텐츠를 메모리(202)로 로딩할 수 있다. 사용자 인터페이스(204)를 통해서, 사용자는 또한 방금 로딩된 제 2 멀티미디어 컨텐츠와 관찰되고 있는 제 1 멀티미디어 컨텐츠 사이에서 디지털 정보로서 표현된 연관을 시그널링할 수 있다.
프로세서(203)는, 사용자(10, 도 1 참조)에 관한, 관찰되고 있는 제 1 멀티미디어 컨텐츠(1, 도 1 참조)에 관한, 로딩되고 있는 제 2 멀티미디어 컨텐츠(2, 도 1 참조)에 관한, 제 1 및 제 2 멀티미디어 컨텐츠에 관한 시맨틱 정보에 관한, 그리고 이들 사이에서 특히 시맨틱 어그리게이션으로서 연관(11, 도 1 참조)에 관한 정보를 프로세싱하도록 적응된다.
이에 따라, 프로세서(203)는, 사용자에게 추천될, 제 1 메모리(201) 내의 제 3 멀티미디어 컨텐츠(3, 도 1 참조)를 나타내는 적어도 하나의 제 2 정보 상태를 상세화하고 계산하기 위해, 메모리(202)에 저장된 적어도 하나의 제 1 정보 상태를 먼저 계산함으로써, 그리고 플랫폼의 제 1 메모리(201)에 저장된 복수의 멀티미디어 컨텐츠에 관련된 그리고 제 1 정보 상태에 관련된 정보를 프로세싱함으로써, 사용자에 대한 잠재적 관심의 추가 멀티미디어 컨텐츠(3, 도 1 참조)를 선택할 수 있다.
이러한 프로세싱은, 플랫폼의 복수의 멀티미디어 컨텐츠에 관한 복수의 가능한 추가적인 상태들과의, 부근 규칙들(vicinity rules)에 따른 비교를 통해서 발생한다.
도 3은, 이전에 설명된 것과 같이 정보 상태들 사이에서의 천이를 이용하여 획득된, 사용자에게의 멀티미디어 컨텐츠의 추천을 나타낸다.
사용자에 의해 수행되는 정보 검색 및 리트리벌 프로세스는, 앞서 개략된 바와 같이, 하나의 "상태"로부터 다른 상태로 전환하는 시스템의 진화로 구성된다. 멀티미디어 컨텐츠의 성과에서, "상태"는 주어진 공간-시간 및 로직 콘텍스트 내에서 사용자(10)에 의해 이용가능한 멀티미디어 컨텐츠와 그리고 사용자(10)와 연관된 특성들의 세트에 의해 나타난다.
하나의 상태로부터 다른 상태로의 천이는, 사용자가 멀티미디어 컨텐츠를 플랫폼상에서 이용가능한 다른 멀티미디어 컨텐츠와 연관시키는 동작 이후에 발생한다.
상태(301)에서, 사용자는 멀티미디어 플랫폼상에서 멀티미디어 컨텐츠(30)를 관찰하고 있다. 이전에 설명된 바와 같이, 사용자는 멀티미디어 컨텐츠(30)와 추가적인 멀티미디어 컨텐츠(31)의 겹쳐진(one over the other) 구성으로 도면에서 예시된 연관 정보를 특정하여 이에 따라 상태(302)에 처하게 됨으로써 멀티미디어 컨텐츠(30)와 추가적인 멀티미디어 컨텐츠(31)를 연관시키기로 결심한다. 상태(303)에서, 상태(302)에 관한 정보에 기초하여, 멀티미디어 플랫폼은 사용자에게 추가적인 멀티미디어 컨텐츠(32)를 추천한다.
이에 따라, 사용자의 모든 각각의 동작은, 사용자에 의해 제공된 그리고 관찰가능한 멀티미디어 컨텐츠에 관한 그리고 그들의 상호 연관에 관한 정보 상태를 변경하는 효과를 갖는다.
도 4는, 이전에 설명된 바와 같이, 정보 상태들 사이에서의 천이의 이용에 의해 획득된, 사용자에 대한 다수의 멀티미디어 컨텐츠의 추천을 나타낸다. 기능적 레벨에서, 하나의 상태에서 다른 상태로의 천이는 사용자가 상호작용 프리미티브를 표현하는 매 번 발생한다. 이러한 상호작용 프리미티브들의 수 및 품질은, 정의된 역할들에 그리고 플랫폼상에서 이용가능한 구성 잠재력들에 의존한다.
상태(401)에서, 사용자는 멀티미디어 컨텐츠(40)를 관찰하고 있으며, 이를 통해서 사용자 자신은 구성에 있어서 추가적인 컨텐츠(41)를 연관시키고 이에 따라 상태(402)에 처하게 된다. 상태(402)로부터 시작하면, 멀티미디어 플랫폼은, 복수의 잠재적인 상태들(403a, 403b, 403c)이 대응하는 복수의 멀티미디어 컨텐츠를 추천한다. 추천 방법은, 그후 반복적으로 반복될 수 있고, 매우 복잡한 어그리게이션 상태들에 도달하여 사용자에 의해 이용가능하게 형성된 정보를 효과적으로 그리고 완전하게 활용하도록 허용한다. 사용자의 상호작용은 제한되지 않은 횟수들로 가설에 근거하여 반복될 수 있다. 하나의 상태로부터 다음 상태로 전환하면서, 멀티미디어 컨텐츠들과 연관된 정보들의 피스들은 하나를 다른 하나에 끼워 넣고(nest), 이에 의해 복잡한 그리고 정보가-풍부한 구조들을 발생시킨다. 추천 방법의 가능한 반복들은, 개별적인 라벨들(k-1, k 및 k+1)이 상이한 상태들(401, 402 및 403)와 연관된다는 사실(여기서, k는 1보다 크거나 1과 동일한 정수임)로 강조된다.
특정 멀티미디어 컨텐츠의 추천이 (1보다 훨씬 큰) 임의의 수의 이전의 상태들에 의존하고, 그리고 이러한 이전 상태들로부터 추론될 수 있는 정보가 추가적인 멀티미디어 컨텐츠의 추천을 제공하는데 있어서 동의하는 실시예가 또한 상상가능하다. 이러한 실시예는, 사용자의 요구를 최대한 충족시키기 위해 더욱 풍부하고 더욱 복잡한 시나리오를 캡쳐할 수 있다.
특정 실시예에서, 당업자는, OWL 언어에 의해 표현된 일 세트의 상호작용 프리미티브들을 정의할 수 있고, 이는 예를 들어 이하와 같다:
add(<artefact(1); role(1)>) 프리미티브는 아티팩트 및 자신의 구체적인 역할을 부가한다.
add(<observable(k); role(k)>) 프리미티브는 관찰가능한 것 및 자신의 구체적인 역할을 부가한다.
find-similar(observable (1)) 프리미티브는 관찰가능한 것(1)과 "유사한" 오브젝트를 찾는다.
사용자들 사이에서의 상호작용 및 추천 시스템들에 관한 복합 정보를, 예를 들어, 추천 시스템의 메모리에 영구적으로 저장하는 가능성은, 멀티미디어 컨텐츠 인덱싱 및 리트리벌 시스템들이 기초할 수 있는, 알려진 데이터 마이닝, 기계 학습 및 지식 발견 기술들 및 방법들에 의한 이러한 정보의 다수의 직접 활용들을 허용한다. 이는, 후자(the latter)의 정보 풍부함을 완전하게 활용할 수 있는, 본원에 제안된 정보 모델에 기초한 추가적인 추천 기법들을 셋 업하는 가능성을 더 강조한다.
이하는, 멀티미디어 컨텐츠를 추천하기 위한 방법의 일부 실시예들의 기능들을 나타내는 몇몇 예시들을 설명할 것이다.
도 5를 참조하면, 사용자는 자신의 연관을 주석으로 특정하는 멀티미디어 컨텐츠를 로딩할 수 있다. 사용자는 별(501)의 이미지를 관찰함으로써 사용자 자신의 멀티미디어 경험을 시작하고: 사용자는 관찰가능한 것(1)으로 특징화된 상태 "i"에 있으며, 여기서 i는 1보다 크거나 1과 동일한 정수를 나타낸다. 후속하여, 사용자는 처음의 별과 유사한 별(502), 즉, 관찰가능한 것(2)을 검색하고 찾음으로써 멀티미디어 플랫폼과 상호작용한다. 이러한 동작은, "i"로부터 "i+1"로의 상태 천이를 야기한다. 마지막으로, 사용자는 별들 둘 모두를 수집하도록 결정하고 그리고 2개의 관찰가능한 것들을 복합 컨텐츠{관찰가능한 것(1), 관찰가능한 것(2)}(503)로 어그리게이팅한다. 이 목적을 위해, 사용자는 "이러한 2개의 별들은 유사함"이라는 주석을 부가하고; 구체적인 상호작용 프리미티브에 의해 정의되는 이러한 동작은, 상태 'i+1'로부터 상태 'i+2'로의 천이를 야기한다. "유사한" 텍스트 정보 및 2개의 별들(501 및 502)의 이미지들을 고려함으로써, 멀티미디어 플랫폼은, 예를 들어, 이미지 검색 엔진에 의존함으로써 유사한 별들의 추가적인 이미지들(504)을 사용자에게 추천할 수 있을 것이다.
도 6을 참조하면, 사용자는 자신의 연관을 코멘트로서 특정하는 멀티미디어 컨텐츠를 로딩할 수 있다. 사용자는, 비디오(601): 2015년 2월 5일 Lemme과의 매치 동안 사용자 자신의 아이돌인 Bruffon에 의해 행해진 "실수(blunder)"를 시청함으로써 자신의 멀티미디어 경험을 시작한다. 이는, 관찰가능한 것(1)에 의해 특징화된 상태이다. 골키퍼의 실수에 의해 우울했으며, 그는 자신의 음성을 기록함으로써 이에 대한 코멘트를 남기기로 결정하여; 사용자가 "Bruffon, 당신은 여전히 최고에요"라는 문장을 말하는 것을 포함하는 오디오 트랙이 아티팩트(602)이다. 사용자는 이것을 처음 비디오와 연관시키는 이 오디오 클립(602)을 코멘트로서 부가하기로 결정한다. 이러한 동작은, 'i'로부터 'i+1'의 상태 천이를 야기한다. 멀티미디어 플랫폼에는, 사용자에 의해 말해진 텍스트를 재현하는 음성 녹음 엔진(voice transcription engine)이 장착되고, 소리 "Bruffon"을 비디오 기술에 관련된 것으로서 고려함으로써 상태 'i+2'에서 Bruffon의 추가적인 비디오들(603)을 사용자에게 추천할 수 있게 될 것이다.
임의의 특정 도면과 구체적으로 연관되지 않은 그리고 도 3 및 도 4에 이미 설명된 것을 참조함으로써 완전하게 이해될 수 있는 추가적인 예시들이 이하 제시된다.
사용자는, 자신의 연관을 소스로서 특정하는 멀티미디어 컨텐츠를 로딩할 수 있다.
사용자는, 텔레비전 프로그램 동안 발생되는 사실과 관련된 인터넷상에서의 기사 'w1'를 읽고 있다. 이러한 경우에 또한, 사용자는 기술적으로 관찰가능한 것(1)으로 특징화된 상태 'i'에 있다.
그후, 사용자는 인터넷상에서 방금 본 'w1'의 컨텐츠를 발신했던 텔레비전 프로그램을 검색하기로 결정한다. 사용자는 'tv1'을 검색하고 찾으며: 이러한 동작은 상태 'i'를 'i+1'로 변경시킨다. 마지막으로, 사용자는 "소스" 역할을 관찰가능한 'tv1'와 연관시킴으로써 컨텐츠 모두(웹 및 TV)를 수집하기로 결정한다. 구체적인 상호작용 프리미티브에 의해 정의된 이러한 연관은, 상태 'i+1'를 'i+2'로 변경시킨다.
사용자는 자신의 연관을 파생어 및 주석으로서 구체화하는 멀티미디어 컨텐츠를 로딩할 수 있다.
사용자는, 노래, 특히 70년대의 유명한 히트송을 포함하는 오디오 클립을 청취함으로써 사용자 자신의 멀티미디어 경험을 시작하며; 기술적으로, 사용자는 관찰가능한 것(1)으로 특징화된 상태 'i'에 있다. 후속하여, 사용자는 최초 노래의 모던 커버인, 관찰가능한 것(2)에 관련된 보다 최근의 뮤직 비디오를 검색하고 찾음으로써 시스템과 상호작용한다. 이러한 동작은, 'i'로부터 'i+1'로의 상태 천이를 야기한다. 사용자는 역할을 최초 오디오 클립으로부터의 "파생"으로 특정한다. 마지막으로, 사용자는 "이 노래의 비디오는 커버임"이라는 주석을 수집본(복합 관찰가능한 것)에 주석함으로써 오디오 클립 및 비디오를 수집하기로 결정한다. 구체적인 상호작용 프리미티브에 의해 정의된 이 동작은, 상태 'i+1'를 'i+2'로 변경시킨다. 멀티미디어 플랫폼은 그후 70년대의 오리지널 밴드에 의한 노래들의 더 모던한 커버들을 리턴한다. 사용자는 자신의 연관을 질의로서 구체화하는 멀티미디어 컨텐츠를 로딩할 수 있다.
사용자는 가쉽 기사를 읽음으로써 사용자 자신의 멀티미디어 경험을 시작하는데: 사용자는 관찰가능한 것(1)으로 특징화된 상태 'i'에 있다. 이 기사는, 글로 표현된 텍스트(written text) 및 사진을 포함한다. 텍스트는 유명한 미국인 배우인 최근의 바람둥이에 관하여 말하는 한편, 사진은 그를 대중적인 영화의 장면으로 보여준다. 사진, 즉, 관찰가능한 것(2)으로부터, 사용자는 장면을 인식하기는 하지만 그 장면이 추출되었던 영화의 제목은 기억하지 못할 수 있다. 사용자는 그후 사진을 선택하여 이에 의해 상태를 'i'로부터 'i+1'로 변경시키고, 이를 "질의"로서 이용하여 이를 유명한 미국인 배우의 이름과 연관시킨다. 그후 멀티미디어 플랫폼은, 장면이 추출되었던 영화의 예고편(trailer)을 리턴한다.
사용자는, 자신의 연관을 선행 및 결과로서 특정하는 멀티미디어 컨텐츠를 로딩할 수 있다.
사용자는 사용자의 손녀가 그녀의 첫 번째 생일 초를 불려고 시도하는 웃긴 사진을 바라봄으로써 사용자 자신의 멀티미디어 경험을 시작한다. 사용자는, 관찰가능한 것(1)으로 특징화되는 상태 'i'에 있다. 사용자는, 사진 이전의 수개월 전에 촬영된 사용자 자신의 손녀의 비디오, 즉, 관찰가능한 것(2)이 동일한 폴더에 존재하고 있는 것을 깨달았다. 이후에, 사용자는 아티팩트인 '관찰가능한 것(2)'에 이전의 역할을 부가하기로 결정하여, 이에 의해 '관찰가능한 것(3)'을 생성하고: 상태는 이에 따라 'i'로부터 'i+1'로 변한다. 이러한 동작은, 할아버지(즉, 사용자)로 하여금 사용자의 손녀가 태어나기 전에 쓰여진(written) 시를 기억하도록 야기한다. 시, 즉, '관찰가능한 것(3)'은 데스크탑에 저장되어 있다. 컴퓨터를 끄기 전에, 할아버지는 비디오 및 사진(아티팩트)를 상기 시에 따른 결과로서 이들을 해석하는 것과 연관시키기로 결정한다. 안면 인식 소프트웨어를 통해서 멀티미디어 플랫폼은, 손녀를 피쳐링하는 사진들 및 비디오들과 같은 추가적인 멀티미디어 컨텐츠들을 그 시와 연관시킨다.
사용자는, 자신의 연관을 함축으로서 그리고 제안으로서 특정하는 멀티미디어 컨텐츠를 로딩할 수 있다.
사용자인 Mrs. Rossi는, TV 상에서 오직 요리 컨텐츠를 시청하기 좋아한다. 그 대신에, 그녀의 남편인 Mr. Rossi는 스포츠 컨텐츠를 다루는 텔레비전 프로그램을 주로 시청한다.
Mrs. Rossi는, 그녀가 집에 혼자 있는 동안, 그녀의 상호작용 텔레비전 세트를 턴 온하여 Calabria의 미식법 제품들(관찰가능한 것(1))에 관한 프로그램을 방송하고 있는 CHANNEL X(상태 'i')로 튜닝함으로써 그녀의 멀티미디어 경험을 시작한다.
이 시점에서, 이 여자는, 그녀가 혼자서 TV를 시청할 때 오직 현재 방송되고 있는 것들과 유사한 문제들을 다루는 프로그램들만을 좋아한다는 사실을 시스템에 통신하기로 결정한다. (예를 들어,) 리모콘의 청색 키를 누름으로써, 이 여자는 특정 동작을 시작하는데: 텔레비전 세트에 통합된 비디오 카메라가 사진을 찍고 이에 따라 여러 가지 중에서 Mrs. Rossi의 얼굴을 기록한다.
이제, 사용자에 의해 찍힌 사진을 이용함으로써, 알려진 기법들을 통해서, 시스템이 사람의 얼굴을 인식할 수 있고 이러한 이유로 그녀의 아이덴티티를 인식할 수 있다고 가정한다.
사진(아티팩트)에는 함축적인 역할이 주어진다. 상태는 'i'에서 'i+1'로 변한다.
저녁에, Mr. Rossi는 회사에서 돌아왔다. 그의 아내는 주방에서 저녁을 준비하고 있다. 테이블에 앉기 전에, Mr. Rossi는 TV에서 어떤 것을 시청할지를 결정한다. 그는, CHANNEL X(상태 'k'), 즉, 그의 아내가 시청했던 마지막 채널로 자동으로 튜닝하는 TV를 턴 온한다. Mr. Rossi는 별로 그의 관심사가 아닌 컨텐츠(관찰가능한 것(k))를 현재 송출하고 있는 TV 앞에 앉는다. 어떤 프로그램을 선택할지 알지 못하고 프로그램 스케줄을 체크하기에 너무 게으른 상태로, Mr. Rossi는 제안(역할)에 대해 시스템에 묻는다.
리모콘 상의 (예를 들어) 적색 버튼을 간단하게 누름으로써, 텔레비전 세트에 통합된 비디오 카메라는 다른 사진(아티팩트)을 취한다. 시스템은, 사용자를 인식하고, 과거에서 저장된 정보(예를 들어, 어제 저녁 또는 그 이전 날들에 시청했던 프로그램에 관한 정보)에 기초하여 중요한 럭비 매치를 라이브로 송출하고 있는 프로그램을 제안한다.
예시에 의해, 장르, 지리적 위치, 이벤트 유형 등과 같은 이러한 파라미터들이, (간략화를 위해 열거되지 않은 다른 파라미터들과 함께) 가능한 "성과-사용자" 시스템을 구성할 수 있다.
상기 파라미터들은 (간략화를 위해 본원에서 고려되지 않는 추가적인 값들과 함께) 이하의 값들을 취할 수 있다:
장르 : 정치, 스포츠, 뉴스 등
지리적 위치 : 이탈리아, 독일 등
이벤트 유형 : 콘서트, 지진 등
이제, 초기 시간 인스턴트 t0에서, "성과-사용자" 시스템은 "상태" state(t0)에 있고,
state( t0 ): 정치, 이탈리아, 선거, 등
으로 특징화된다.
이 초기 상태에서, 시스템은 사용자의 선호상들에 관한 어떠한 정보도 아직 갖지 않는다. 추천 시스템은 종래 기술에 따라 사전정의된 체계들(협업 또는 컨텐츠-기반 시스템들)에 기초하여 멀티미디어 컨텐츠를 추천할 수 있다
특정 인스턴트에서, 사용자는, 앞서-언급된 사전정의된 체계들에 속하지도 않는, 사용자 자신의 요구에 따라 사용자 자신에 의해 선택된, 제 2 멀티미디어 컨텐츠를 이용하도록 선택한다.
사용자에 의한 성과 이후에, 성과 컨디션은 초기 상태 state( t0 )로부터 후속의 state( t1 ), 예를 들어,
state( t1 ): 정치, 독일, 선거 등
으로 전환한다.
이 스테이지에서, 추천 시스템은 2개의 연속 상태들, 즉, state( t0 )state(t1) 사이에 존재하는 관계를 자동으로 검출한다. 사실상, 2개의 상태들의 특정 파라미터들은 하나의 필드에 의해 다르며, 이 필드를 통해 시맨틱 피스의 정보, 즉 "지리적 위치"가 연관된다. 즉, 상태들 state( t0 )state( t1 )은, 머신-판독가능하고 그 이용가능성이 상호작용 모델의 공식화를 위해 이용된 특정 온톨로지에 따른 명료한 시맨틱 관계에 의해 결속된다.
멀티미디어 컨텐츠를 이용하면서, 사용자에게는 이에 따라 하나의 상태에서 다른 상태로 "점핑"하는 그리고 상기 온톨로지에 의해 제공된 다양한 관계들의 함수로서 이러한 상태들의 "어그리게이팅"하는 가능성이 부여된다.
여기에 관계들의 몇몇 예시들이 있다:
state( t0 )state( t1 )와 유사하다,
state( t0 )state( t1 )에 의해 야기된다.
state( t0 )state( t1 )와는 상이하다.
등...
전술한 예시를 계속하기 위해, 사용자는 사용자 자신의 요구에 따라 선택된 제 2 멀티미디어 컨텐츠를 시청하기로 선택하고 그러한 이유로 상태 state( t0 )로부터 state( t1 )로 "점프"한다.
이 시점에서, 사용자는 이하의 관계의 이용에 의해 상기 상태들을 결속시키도록 결정한다.
state( t0 )state( t1 ) 와 유사하다.
추천 시스템은 멀티미디어 컨텐츠와 연관된 시맨틱 정보 및 상이한 상태들에 관한 시맨틱 어그리게이션 정보를 이용하고; 이러한 시맨틱 어그리게이션 정보는:
(i) 함축적 관계들, 즉, 사용자가 존재하는 상태를 구별하도록 허용하는 상태들의 특성 파라미터들, 및
(ii) 사용자 자신에 의해 표현된 명시적 관계들
로서 제공될 수 있다.
이 예시에서, 사용자는 2개의 상태들을 시맨틱하게 결속시키는 관계, 이 경우에는 "상이한 지리적 위치"를 추천 시스템에 함축적으로 통신한다.
상기 함축적 관계는, 추천 시스템이 "잠재적인" state( t2 )를 제공할 수 있는 진화 모델이 된다.
state( t2 ): 정치, 스웨덴, 선거 등.
본원에 이용된 용어 "잠재적인"은, state( t1 )의 컨텐츠를 선택할 때, 성과가 state(t2) 상에서 무너지도록 필수적으로 야기하기 위한 사용자의 의무는 아니고: 수많은 다른 대안도 또한 가능하다는 사실을 고려한다.
이에 따라, 사용자에 의해 행해지는 모든 각각의 성과 선택은, 추천 시스템이 멀티미디어 컨텐츠에 관한 추천들을 제공하는 신뢰도를 확인할 수 있다.
이 예시를 계속하기 위해, 사용자가 상태 state( t2 )와 연관된 컨텐츠를 이용하기로 실질적으로 결정하는 경우, 추천 시스템은 추가적인 잠재적 state( t3 ) 를 생성할 것이며:
state( t3 ): 정치, 루마니아, 선거 등
이러한 식이다.
사용자는 하나 또는 그 초과의 관계들의 이용에 의해 2개의(또는 그 초과의) 멀티미디어 컨텐츠를 결속시킬 가능성을 갖는다.
일반적으로, 추천 시스템은, 함축적으로는 2개의 상이한 상태들의 특성 파라미터들을 비교함으로써, 또는 명시적으로는 사용자에 의해 수행된 동작을 통해서 2개 또는 그 초과의 상태들 사이에 존재하는 관계들에 관한 정보를 포착하도록 적응된다.
다시 말해서, 개별적인 피스의 시맨틱 정보가 연관되는 제 2 멀티미디어 컨텐츠를 선택하기 위한 커맨드를 수신하는 멀티미디어 플랫폼은, 사용자에 의해 관찰되고 있는 멀티미디어 컨텐츠들 사이에서의 연관(이 연관은, 시맨틱 어그리게이션을 고려함)에 관한 정보를 (함축적이든 또는 명시적이든 간에) 수신할 수 있다.
명시적 관계의 이용에 대하여, 사용자는 (전술한 예시를 일컫는) 초기 성과 f0 를 종료하고, 심지어 얼마 지나서 (현재 예시를 일컫는) 다른 성과 f1를 시작하는 것으로 가정한다.
상기 성과 f1 동안, 사용자는, 성과 f0 동안 도달했던 상태와 동일하지만 반드시 성과 f0 를 시작했던 동일한 상태 state( t0 )로부터 나오는 것은 아닌 상태 state(t1)로 다시 들어간다고 가정한다.
이 시점에서, 추천 시스템은, 추가적인 시맨틱 어그리게이션 정보(즉, state(t0)state( t1 )와 유사함)을 부가함으로써, 상태 state( t0 )의 특성 컨텐츠(정치, 이탈리아, 선거 등)를 사용자에게 추천할 수 있다.
상이한 멀티미디어 컨텐츠 및 상태들과 연관된 시맨틱 정보의 피스들 사이에서의 시맨틱 어그리게이션들의 공식화를 통해서, 추천 시스템은, 원칙적으로, 성과의 상태에 기초하여 그리고 멀티미디어 성과 경로에 따라 직면되는 임의의 이전의 상태들에 기초하여, 사용자의 특정 선택들에 추천 시스템 자신을 적응시킬 수 있다.
시스템의 복잡도를 증가시키면서, 이는 사용자의 요청들을 더 잘 충족시킬 수 있는 멀티미디어 컨텐츠의 시맨틱 어그리게이션을 발생시키도록 허용한다.
상태들 사이에서 이러한 어그리게이션들의 "귀납적(a posteriori)" 이용은 상태 자신들을 발생시켰던 시간 연속 로직들로부터 전체적으로 결속해제되는 것에 주목해야 한다.
수많은 예시들에 의해 또한 나타낸 바와 같이, 본 발명의 주 이점들 중 하나는, 제안된 방법이 특정 세트의 멀티미디어 컨텐츠의 성과에 관여된 사용자의 상호작용을 모델링할 수 있고, 사용자에게는 특정 역할을 이러한 컨텐츠와 또한 연관시키는 동안 추가적인 멀티미디어 컨텐츠를 부가하는 가능성이 부여된다는 것이다.
제안된 방법 및 시스템은, 풍부하고 복잡한 방식으로 사용자 자신의 다른 컨텐츠를 통해 부여된 멀티미디어 컨텐츠의 질을 높일 수 있는, 사용자에 의해 수행되는 조사 프로세스를 상세화하고 정보를 파악하도록 허용한다. 이 방식에서, 검색 및 리트리벌 시스템들이 모델의 정보 풍요성을 완전히 활용할 수 있기 때문에, 가능한 정보 검색 및 리트리벌 페이즈는 극히(extremely) 용이해진다. 사실상, 검색 및 리트리벌 시스템들은, 사용자들 자신들에 의해 제공된 그룹화 및 구성 정보와 함께, 사용자의 상호작용의 오브젝트들과 연관된 역할들에 관한 정보를 이용함으로써 그들의 인덱스들의 질을 동적으로 높일 수 있다. 이에 따라, 현재의 방법에 기초한 추천 시스템은 사용자의 요구사항들을 더 잘 충족시킬 수 있다.
제안된 방법 및 시스템은, 컴퓨터상에서 로딩되고 실행될 컴퓨터 프로그램의 이용에 의해 구현에 특히 적합하다.
상기 컴퓨터는 바람직하게, 예를 들어, 인터넷을 통해 접속된 컴퓨터들의 네트워크에 속하며, 여기서 디바이스들 중 적어도 하나, 특히 사용자에 액세스가능한 디바이스는 PC, 랩탑, 태블릿, 스마트폰, 미디어 센터, 텔레비전 세트 또는 임의의 다른 기능적으로 동등한 디바이스이다.
당업자가 인식하는 바와 같이, 제안된 방법에는 수많은 변형들이 행해질 수 있다. 예를 들어, 온톨로지는, 본원에서 OWL 언어를 참조하여(제한하지 않고) 설명되지만; 예를 들어, XML 스키마와 같은 다른 언어들도 이용될 수 있다.
게다가, 멀티미디어 컨텐츠의 성과에 관여되는 사용자 또는 사용자들의 커뮤니티의 거동에 관한 정보는, 불균일한 기술적 플랫폼들 사이에서 또한 효율적으로 레코딩되고, 공유되고, 그리고 재이용될 수 있다.
또한, 이 방법은, 예를 들어, 상호작용 TV들, 모바일 폰들, 태블릿들, PC들의 상이한 디바이스들에 동시에 통합될 수 있다. 이러한 방식으로, 복수의 디바이스들의 사용자들의 거동이 추적될 수 있고, 그후 이러한 정보는 새로운 애플리케이션들에 대해 이용될 수 있다.

Claims (11)

  1. 멀티미디어 플랫폼(101)을 통해서 멀티미디어 컨텐츠를 추천하기(recommending) 위한 방법으로서,
    상기 멀티미디어 플랫폼(101)은 적어도 하나의 사용자 인터페이스(10)를 통해서 관찰가능한 복수의 멀티미디어 컨텐츠를 포함하고,
    상기 멀티미디어 컨텐츠를 추천하기 위한 방법은:
    - 상기 멀티미디어 플랫폼(101)이, 적어도 하나의 제 1 피스의 시맨틱 정보(semantic information)가 연관되는 적어도 하나의 제 1 멀티미디어 컨텐츠(1)를 선택하기 위해 적어도 하나의 제 1 커맨드(204)를 상기 적어도 하나의 사용자 인터페이스(10)로부터 수신하는 단계;
    - 상기 멀티미디어 플랫폼(101)이, 적어도 하나의 제 2 피스의 시맨틱 정보가 연관되는 적어도 하나의 제 2 멀티미디어 컨텐츠(2)를 선택하기 위해 사용자 식별자(user identifier)인 제 2 커맨드를 상기 적어도 하나의 사용자 인터페이스(10)로부터 수신하고, 관찰되고 있는 상기 적어도 하나의 제 1 멀티미디어 컨텐츠(1)와 상기 적어도 하나의 제 2 멀티미디어 컨텐츠(2) 사이의 연관에 관련된 적어도 하나의 피스의 정보(11)를 추가로 수신하는 단계 ― 상기 적어도 하나의 피스의 정보(11)는 시맨틱 어그리게이션(semantic aggregation)에 관한 것임 ―;
    - 상기 멀티미디어 플랫폼(101)이, 상기 제 2 피스의 시맨틱 정보와 상기 제 1 피스의 시맨틱 정보 사이의 비교를 통해서, 상기 사용자 식별자, 상기 적어도 하나의 제 1 멀티미디어 컨텐츠(1) 및 상기 적어도 하나의 제 2 멀티미디어 컨텐츠(2), 그리고 상기 연관을 나타내는 적어도 하나의 제 1 상태를 프로세싱하는 단계(12);
    - 상기 멀티미디어 플랫폼이, 상기 적어도 하나의 제 1 프로세싱된 상태(12)에 기초하여 그리고 상기 복수의 멀티미디어 컨텐츠에 관련된 복수의 상태들의 적어도 하나의 추가적인 상태와의 비교에 기초하여, 적어도 하나의 제 3 멀티미디어 컨텐츠(3)를 나타내는 적어도 하나의 제 2 상태를 추천하는 단계를 포함하는,
    멀티미디어 컨텐츠를 추천하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 사용자 인터페이스(10)로부터 수신된 상기 적어도 하나의 제 2 멀티미디어 컨텐츠(2)는, 상기 적어도 하나의 사용자 인터페이스(10)의 포착(acquisition) 디바이스를 통해서 직접 발생되는 컨텐츠인,
    멀티미디어 컨텐츠를 추천하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 제 2 멀티미디어 컨텐츠(2)는 이미지들 및 오디오를 포함하는,
    멀티미디어 컨텐츠를 추천하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 제 2 멀티미디어 컨텐츠(2)는 비디오를 포함하는,
    멀티미디어 컨텐츠를 추천하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 피스의 시맨틱 어그리게이션 정보(11)는, 상기 제 1 피스의 시맨틱 정보와 연관된 텍스트 정보와 상기 제 2 피스의 시맨틱 정보와 연관된 텍스트 정보 사이에서의 텍스트 비교로부터 획득되는,
    멀티미디어 컨텐츠를 추천하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 연관에 관련된 적어도 하나의 피스의 정보(11)는, 관찰되고 있는 상기 적어도 하나의 제 1 멀티미디어 컨텐츠(1)와 연관된 시간 정보와 상기 적어도 하나의 제 2 멀티미디어 컨텐츠(2)의 수신의 시간 인스턴트와 연관된 시간 정보 사이의 시간 비교로부터 추가로 획득되는,
    멀티미디어 컨텐츠를 추천하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 제 1 상태 및 상기 제 2 상태는, 상기 멀티미디어 플랫폼(101)의 개별적인 컨디션들을 나타내도록 구성된 복수의 저장된 피스들의 정보와 연관되는,
    멀티미디어 컨텐츠를 추천하기 위한 방법.
  8. 멀티미디어 컨텐츠를 추천하기 위한 시스템으로서,
    상기 시스템은,
    복수의 멀티미디어 컨텐츠 및 복수의 개별적인 제 1 피스들의 시맨틱 정보를 저장하는 제 1 메모리(201), 프로세서(203) 및 적어도 하나의 제 1 멀티미디어 컨텐츠(1)를 재생하도록 구성된 적어도 하나의 사용자 인터페이스(204), 그리고 상기 사용자 인터페이스(204)를 통해서 선택된 적어도 하나의 제 2 멀티미디어 컨텐츠(2), 적어도 하나의 제 2 피스의 시맨틱 정보, 및 사용자 식별자를 저장하도록 구성되고 그리고 관찰되고 있는 상기 적어도 하나의 제 1 멀티미디어 컨텐츠(1)와 상기 적어도 하나의 제 2 멀티미디어 컨텐츠(2) 사이의 연관에 관련된 적어도 하나의 피스의 정보(11)를 저장하도록 추가로 구성된 적어도 하나의 제 2 메모리(202)를 포함하고, 상기 피스의 정보는 상기 사용자 인터페이스(204)를 통해서 수신되고 시맨틱 어그리게이션에 관한 것이며;
    상기 프로세서(203)는, 상기 제 1 피스의 시맨틱 정보와 적어도 상기 제 2 피스의 시맨틱 정보를 비교하고 그리고 적어도 하나의 제 1 정보 상태를 프로세싱하기 위해, 상기 적어도 하나의 사용자 식별자에, 상기 적어도 하나의 제 1 멀티미디어 컨텐츠(1) 및 상기 적어도 하나의 제 2 멀티미디어 컨텐츠(2)에, 그리고 연관에 관련된 상기 적어도 하나의 피스의 정보(11)에 관련된 정보를 프로세싱하도록 구성되고,
    상기 제 2 메모리(202)는, 상기 적어도 하나의 제 1 정보 상태를 저장하도록 구성되고,
    상기 프로세서(203)는, 상기 제 1 메모리(201) 내에서 적어도 하나의 제 3 멀티미디어 컨텐츠(3)를 나타내는 적어도 하나의 제 2 정보 상태를 상세화(elaborate)하기 위해 상기 적어도 하나의 제 1 정보 상태에 그리고 상기 복수의 멀티미디어 컨텐츠에 관련된 정보를 프로세싱하도록 추가로 구성되고,
    상기 프로세서는, 상기 복수의 멀티미디어 컨텐츠에 관련된 복수의 상태들의 적어도 하나의 추가적인 상태와의 비교를 행하도록 구성되는,
    멀티미디어 컨텐츠를 추천하기 위한 시스템.
  9. 제 8 항에 있어서,
    상기 시스템은, 제 1 항 내지 제 7 항 중 어느 한 항에 따른 방법을 구현하도록 구성되는,
    멀티미디어 컨텐츠를 추천하기 위한 시스템.
  10. 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로그램은, 컴퓨터 상에서 실행될 때, 제 1 항 내지 제 7 항 중 어느 한 항에 따른 방법을 구현하는 명령들을 포함하고, 상기 멀티미디어 플랫폼과 연동하는(cooperate),
    컴퓨터 판독가능 저장 매체.
  11. 제 10 항에 있어서,
    상기 컴퓨터 프로그램은, 자원 기술 프레임워크(Resource Description Framework) 표준에 따라 웹 온톨로지 언어(Web Ontology Language)를 이용함으로써 컴파일링되는 명령들을 포함하는,
    컴퓨터 판독가능 저장 매체.
KR1020157011172A 2012-10-05 2013-10-04 멀티미디어 플랫폼을 통해서 멀티미디어 컨텐츠를 추천하기 위한 방법 및 시스템 KR102111270B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITTO2012A000867 2012-10-05
IT000867A ITTO20120867A1 (it) 2012-10-05 2012-10-05 Metodo e sistema per la raccomandazione di contenuti multimediali su una piattaforma multimediale
PCT/IB2013/059115 WO2014054025A1 (en) 2012-10-05 2013-10-04 Method and system for recommending multimedia contents through a multimedia platform

Publications (2)

Publication Number Publication Date
KR20150067242A KR20150067242A (ko) 2015-06-17
KR102111270B1 true KR102111270B1 (ko) 2020-05-18

Family

ID=47278469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157011172A KR102111270B1 (ko) 2012-10-05 2013-10-04 멀티미디어 플랫폼을 통해서 멀티미디어 컨텐츠를 추천하기 위한 방법 및 시스템

Country Status (12)

Country Link
US (1) US20150278351A1 (ko)
EP (1) EP2904523A1 (ko)
JP (1) JP6597967B2 (ko)
KR (1) KR102111270B1 (ko)
CN (1) CN104903888A (ko)
AR (1) AR101615A1 (ko)
BR (1) BR112015007486A2 (ko)
EA (1) EA201590672A1 (ko)
IT (1) ITTO20120867A1 (ko)
MX (1) MX2015003977A (ko)
TW (1) TWI499287B (ko)
WO (1) WO2014054025A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101655674B1 (ko) 2015-05-14 2016-09-08 현대자동차주식회사 하이브리드 차량용 변속기
CN105357562B (zh) * 2015-11-11 2017-10-24 腾讯科技(深圳)有限公司 一种信息处理方法及终端
US10255503B2 (en) 2016-09-27 2019-04-09 Politecnico Di Milano Enhanced content-based multimedia recommendation method
KR101983493B1 (ko) * 2017-04-10 2019-05-29 한국과학기술원 자연어 텍스트로부터 학습된 객체 표상에 포함된 특성 해석 및 시각화 방법 그리고 시스템
US10747833B2 (en) * 2017-10-30 2020-08-18 Nio Usa, Inc. Personalized news recommendation engine
CN111159435B (zh) * 2019-12-27 2023-09-05 新方正控股发展有限责任公司 多媒体资源处理方法、系统、终端及计算机可读存储介质
CN111246255B (zh) 2020-01-21 2022-05-06 北京达佳互联信息技术有限公司 视频推荐方法、装置、存储介质、终端及服务器
CN113792212B (zh) * 2021-08-31 2023-09-01 北京百度网讯科技有限公司 多媒体资源推荐方法、装置、设备以及存储介质
US11962857B2 (en) 2021-12-10 2024-04-16 On24, Inc. Methods, systems, and apparatuses for content recommendations based on user activity

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006500674A (ja) 2002-09-24 2006-01-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 異なるタイプのメディアコンテンツを関連付けるシステム及び方法
US20060282856A1 (en) 2005-03-04 2006-12-14 Sharp Laboratories Of America, Inc. Collaborative recommendation system
US20070156770A1 (en) 2005-10-18 2007-07-05 Joel Espelien System and method for controlling and/or managing metadata of multimedia
US20100268700A1 (en) 2009-04-15 2010-10-21 Evri, Inc. Search and search optimization using a pattern of a location identifier
US20110125585A1 (en) 2009-11-20 2011-05-26 Rovi Technologies Corporation Content recommendation for a content system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317722B1 (en) * 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
US7917924B2 (en) * 2000-04-07 2011-03-29 Visible World, Inc. Systems and methods for semantic editorial control and video/audio editing
KR100493902B1 (ko) * 2003-08-28 2005-06-10 삼성전자주식회사 콘텐츠 추천방법 및 시스템
TW200606681A (en) * 2004-08-13 2006-02-16 Parasoft Corp Music recommendation system and method
US20070208718A1 (en) * 2006-03-03 2007-09-06 Sasha Javid Method for providing web-based program guide for multimedia content
CN101227502A (zh) * 2008-02-20 2008-07-23 赛码科技(北京)有限公司 一种基于内容定向的数字信息发布方法和系统
KR101460611B1 (ko) * 2008-09-04 2014-11-13 삼성전자주식회사 멀티미디어 컨텐츠에 관한 사용자 관심정보의 수집 방법 및제공 방법과 그 장치
JP5359534B2 (ja) * 2009-05-01 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN102597991A (zh) * 2009-09-26 2012-07-18 哈米什·奥格尔维 文档分析与关联系统及方法
US9443245B2 (en) * 2009-09-29 2016-09-13 Microsoft Technology Licensing, Llc Opinion search engine
US8332434B2 (en) * 2009-09-30 2012-12-11 Business Objects Software Limited Method and system for finding appropriate semantic web ontology terms from words
JP2011164681A (ja) * 2010-02-04 2011-08-25 Sharp Corp 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP2011217209A (ja) * 2010-03-31 2011-10-27 Sony Corp 電子機器、コンテンツ推薦方法及びプログラム
CN101968802A (zh) * 2010-09-30 2011-02-09 百度在线网络技术(北京)有限公司 一种基于用户浏览行为进行互联网内容推荐的方法与设备
US8694656B2 (en) * 2010-11-09 2014-04-08 Sony Corporation System and method for creating a viewing social network
TWI529628B (zh) * 2010-11-18 2016-04-11 Alibaba Group Holding Ltd Information sending method and system based on user card

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006500674A (ja) 2002-09-24 2006-01-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 異なるタイプのメディアコンテンツを関連付けるシステム及び方法
US20060282856A1 (en) 2005-03-04 2006-12-14 Sharp Laboratories Of America, Inc. Collaborative recommendation system
US20070156770A1 (en) 2005-10-18 2007-07-05 Joel Espelien System and method for controlling and/or managing metadata of multimedia
US20100268700A1 (en) 2009-04-15 2010-10-21 Evri, Inc. Search and search optimization using a pattern of a location identifier
US20110125585A1 (en) 2009-11-20 2011-05-26 Rovi Technologies Corporation Content recommendation for a content system

Also Published As

Publication number Publication date
MX2015003977A (es) 2015-10-29
EA201590672A1 (ru) 2015-08-31
ITTO20120867A1 (it) 2014-04-06
TWI499287B (zh) 2015-09-01
AR101615A1 (es) 2017-01-04
CN104903888A (zh) 2015-09-09
BR112015007486A2 (pt) 2017-07-04
TW201419840A (zh) 2014-05-16
EP2904523A1 (en) 2015-08-12
WO2014054025A1 (en) 2014-04-10
US20150278351A1 (en) 2015-10-01
JP6597967B2 (ja) 2019-10-30
JP2015536005A (ja) 2015-12-17
KR20150067242A (ko) 2015-06-17

Similar Documents

Publication Publication Date Title
KR102111270B1 (ko) 멀티미디어 플랫폼을 통해서 멀티미디어 컨텐츠를 추천하기 위한 방법 및 시스템
JP7371155B2 (ja) 会話型相互作用におけるユーザの意図の曖昧性の解消
US10798035B2 (en) System and interface that facilitate selecting videos to share in a messaging application
CN105142028B (zh) 面向三网融合的电视节目内容搜索与推荐方法
JP4363806B2 (ja) オーディオビジュアルプログラム管理システム及びオーディオビジュアルプログラム管理方法
US20160014482A1 (en) Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
US20150293995A1 (en) Systems and Methods for Performing Multi-Modal Video Search
US20120047119A1 (en) System and method for creating and navigating annotated hyperlinks between video segments
Sotelo et al. TV program recommendation for groups based on muldimensional TV-anytime classifications
US10491968B2 (en) Time-based video metadata system
US11609738B1 (en) Audio segment recommendation
JP2013506342A (ja) 異種のコンテンツソースの関連付け
Messer et al. SeeNSearch: A context directed search facilitator for home entertainment devices
Bellekens et al. User model elicitation and enrichment for context-sensitive personalization in a multiplatform TV environment
Tran et al. Character-based indexing and browsing with movie ontology
Kaiser et al. Metadata-driven interactive web video assembly
Lalmas et al. Searching multimedia data using MPEG-7 descriptions in a broadcast terminal
US11977599B2 (en) Matching video content to podcast episodes
Majumdar et al. Scaling New Peaks: A Viewership-centric Approach to Automated Content Curation
Cena et al. A Proposal for an Open Local Movie Recommender
Tjondronegoro et al. Delivering a fully interactive mobile TV
CN118077206A (en) Matching video content to podcast episodes
Sawada Recast: an interactive platform for personal media curation and distribution
CA3187486A1 (en) Methods and apparatuses for preventing spoilers in autocompleted search queries
Fricke et al. Work Package 5: LinkedTV platform

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant