KR20140054386A - 비디오 스트림들 및 다른 콘텐츠의 키워드-기반의 비선형 네비게이션을 위한 방법들 및 장치 - Google Patents

비디오 스트림들 및 다른 콘텐츠의 키워드-기반의 비선형 네비게이션을 위한 방법들 및 장치 Download PDF

Info

Publication number
KR20140054386A
KR20140054386A KR1020147008249A KR20147008249A KR20140054386A KR 20140054386 A KR20140054386 A KR 20140054386A KR 1020147008249 A KR1020147008249 A KR 1020147008249A KR 20147008249 A KR20147008249 A KR 20147008249A KR 20140054386 A KR20140054386 A KR 20140054386A
Authority
KR
South Korea
Prior art keywords
audio
program
keyword
keywords
visual
Prior art date
Application number
KR1020147008249A
Other languages
English (en)
Other versions
KR101606657B1 (ko
Inventor
스탠리 모
클라우디오 제이. 오초아
빅터 스질라기
엘리옷 스미스
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20140054386A publication Critical patent/KR20140054386A/ko
Application granted granted Critical
Publication of KR101606657B1 publication Critical patent/KR101606657B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

하나의 예시적인 실시예에서, 프로그램 네비게이션 시스템은 텔레비전(TV) 세트(또는 다른 오디오/비주얼 표시 디바이스) 및 모바일 디바이스를 포함한다. TV 세트가 오디오/비주얼 프로그램을 재생하는 동안, 키워드 인식 모듈은 프로그램과 연관된 텍스트 데이터로부터 키워드들을 추출한다. 텍스트 데이터는 프로그램에서 발화된 워드들과 매치하는 텍스트 워드들을 포함할 수 있다. 키워드들에 대한 타임 마커들이 또한 저장될 수 있다. 타임 마커는 대응하는 키워드에 대한 프로그램 내에서의 재생 시간을 표시할 수 있다. TV 세트는 모바일 디바이스에 키워드들을 자동으로 전송할 수 있고, 모바일 디바이스는 사용자 인터페이스에 키워드들을 자동으로 디스플레이할 수 있다. 사용자는 이후 키워드들 중 하나를 선택할 수 있다. 그 응답으로, 모바일 디바이스는 자동으로 TV 세트로 하여금 선택된 키워드를 포함하는 프로그램의 일부분으로 점프하게 할 수 있다. 다른 실시예들이 기술되고 주장된다.

Description

비디오 스트림들 및 다른 콘텐츠의 키워드-기반의 비선형 네비게이션을 위한 방법들 및 장치{METHODS AND APPARATUS FOR KEYWORD-BASED, NON-LINEAR NAVIGATION OF VIDEO STREAMS AND OTHER CONTENT}
본 개시내용은 일반적으로 데이터 프로세싱에 관한 것이다. 더 구체적으로, 본 개시내용은 비디오 스트림들 및 다른 콘텐츠의 키워드-기반의 비선형 네비게이션을 가능하게 하기 위한 기술에 관한 것이다.
영화, 텔레비전(TV) 쇼 및 다른 오디오/비주얼(A/V) 프로그램들은 다양한 포맷들로 배포될 수 있다. 예를 들어, 한 사람이 영화 "Casablanca"를 보기를 원하는 경우, 그 사람은 OTA(over the air)로 또는 전기 또는 광학 케이블을 통해, 아날로그 또는 디지털 TV 채널 상에서 방송되는 영화를 찾을 만큼 충분히 운이 좋을 수 있다. 대안적으로, 그 사람은 비디오 카세트 테이프와 같은 자기 매체 상에, 또는 DVD(digital versatile disk)와 같은 광학 매체 상에 저장된 영화를 구매하거나 대여할 수 있다. 영화는 또한 인터넷과 같은 광역 네트워크(WAN)를 통해 원격 서버로부터 TV 세트로 다운로딩하도록 이용가능할 수 있다.
추가로, 사람(또는 "뷰어")는 프로그램의 특정 부분 또는 세그먼트에 특히 관심이 있을 수 있다. 예를 들어, 뷰어는 Casablanca에서 Humphrey Bogart가 Ingrid Bergman에게 "당신의 눈동자에 건배를(Here's looking at you, kid)"이라고 말하는 장면을 보기를 원할 수 있다. 그러나, 위에서 논의된 프로그램 포맷들 및 종래의 프로그램 재생 디바이스들 중 임의의 것을 가지고서는, 프로그램 내의 관심 있는 특정 부분을 찾는 것이 어려울 수 있다.
특히, 프로그램의 선형 네비게이션이 요구될 수 있다. 예를 들어, 비디오 카세트를 이용하여, 뷰어는, 자신이 관심 있는 부분을 찾을때까지 테이프를 재생, 빨리감기, 또는 되감기할 필요가 있을 수 있다. DVD 또는 다운로드된 프로그램을 이용하여, 프로그램은 챕터들로 분할될 수 있고, 뷰어는 원격 제어를 사용하여 프로그램의 선택된 챕터로 점프할 수 있다. 그러나, 뷰어는 어느 챕터가 관심 있는 특정 부분을 포함하는지 알지 못할 수 있고, 심지어 자신이 어느 챕터가 관심 있는 부분을 포함하는지를 안다고 할지라도 뷰어는 여전히 관심 있는 특정 부분을 찾기 이전에 그 챕터의 적어도 일부분을 통해 재생하거나 빨리감기할 필요가 있을 수 있다.
본 발명의 특징들 및 장점들은 첨부된 청구항들, 하나 이상의 예시적인 실시예들의 후속하는 상세한 설명, 및 대응하는 특징들로부터 명백해질 것이다.
도 1은 프로그램 네비게이션 시스템의 예시적인 실시예를 특징으로 하는 컴퓨팅 환경의 예시적인 실시예의 블록도이다.
도 2는 프로그램 네비게이션 시스템에 대한 모바일 디바이스 상의 사용자 인터페이스의 예시적인 실시예의 개략도이다.
도 3은 대략 TV 세트의 관점으로부터, 프로그램 네비게이션 서비스들을 제공하기 위한 프로세스의 예시적인 실시예를 도시하는 흐름도이다.
도 4a 및 4b는 대략 모바일 디바이스의 관점으로부터, 프로그램 네비게이션 서비스들을 제공하기 위한 프로세스의 예시적인 실시예의 흐름도를 제시하는 도면이다.
이 개시내용은, 비디오 스트림들 및 다른 콘텐츠의 키워드-기반의, 비선형 네비게이션을 위한 방법의 하나 이상의 실시예들을 기술한다. 유사하게, 이 개시내용은 비디오 스트림들 및 다른 콘텐츠의 키워드-기반의, 비선형 네비게이션을 제공하는 프로그램 네비게이션 시스템의 하나 이상의 실시예들을 기술한다. 일 예시적인 실시예에 따라, 프로그램 네비게이션 시스템은 TV 세트(또는 다른 A/V 표시 시스템) 및 모바일 디바이스를 포함한다. TV 세트가 오디오/비주얼 프로그램을 재생하는 동안, 키워드 인식 모듈은 프로그램과 연관된 키워드들을 텍스트 데이터로부터 추출할 수 있다. 텍스트 데이터는 프로그램에서 발화된 워드들에 매칭하는 텍스트 워드들을 포함할 수 있다. 키워드들에 대한 타임 마커들이 또한 저장될 수 있다. 타임 마커는 대응하는 키워드에 대한 프로그램 내에서의 재생 시간을 표시할 수 있다. TV 세트는 자동으로 키워드들을 모바일 디바이스에 전송할 수 있고, 모바일 디바이스는 자동으로 사용자 인터페이스 내에 키워드들을 디스플레이할 수 있다. 사용자는 이후 키워드들 중 하나를 선택할 수 있다. 그 응답으로, 모바일 디바이스는 자동으로 TV 세트로 하여금 선택된 키워드를 포함하는 프로그램의 일부로 점프하게 할 수 있다. 프로그램 네비게이션 시스템들의 대안적인 실시예들, 뿐만 아니라 방법 및 프로그램 제품 실시예들을 포함하는 다른 실시예들이 기술되고 주장된다.
통상적으로, 사람은 재생, 빨리 감기, 또는 되감기 등 시간에 의해 선형 방식으로 비디오 프로그램을 통해서만 네비게이팅할 수 있다. 더 최근의 포맷들(예를 들어, DVD들)은 또한 미리 정의된 챕터들을 제공하고, 사용자로 하여금 선택된 챕터의 시작으로 점프하게 한다. 그러나, 사람이 비디오 프로그램을 시청하고 있는 중이며 특정 토픽 또는 개념이 유입된 프로그램 내의 포인트로 이동하기를 원하는 경우, 위에서 언급된 이유로 인해 그렇게 하기가 어려울 것이다. 오디오 프로그램들은 통상적으로 유사한 조건들에 당면한다. 예를 들어, 홈 스테레오 상의 컴팩트 디스크(CD)로부터 음악을 재생하는 동안, 사용자는 원격 제어를 사용하여 노래 내에서 빨리감기 또는 되감기하거나, 또는 다음 노래, 현재 노래, 또는 이전 노래의 시작으로 점프할 수 있다.
TiVo, Inc.는 태블릿이 디지털 비디오 레코더(DVR)에 대한 원격 제어로서 역할을 하게 하는 태블릿에 대한 애플리케이션을 제공한다. 추가로, SYZYGY 그룹(그래픽 디자인 하우스)은 "GOAB. A TV EXPERIENCE CONCEPT[:] HOW WILL WE WATCH TV IN THE FUTURE?"라는 명칭으로 인터넷 상에 비디오를 릴리즈하였다. 그 비디오는 http:==lab*syzygy*de=en=approach 및 http:==vimeo*com=21386019에서 이용가능하다. (그러나, 의도치 않은 하이퍼링크들을 회피하는 것이 U.S.P.T.O. 정책이므로, 그 URL(uniform resource locator)들에서의 마침표들 및 사선(forward slash)들은 각각 별표 및 등호들로 대체되었다.) 비디오는 텍스트 "What if..."로 시작한다. 이후, 비디오는, 원격 제어 디바이스에 의해, 전자 프로그램 가이드에 의해, Netflix에의해 제공된 것과 같은 프로그램 선택 필터에 의해, 아마존에 의해 제공된 것과 같은 소매상 애플리케이션에 의해, 그리고 Facebook과 같은 소셜 상호작용 애플리케이션에 의해 제공된 것과 유사한 특징들을 포함하는 스크린들을 통해, 태블릿 컴퓨터가 어떻게 보이는지를 도시한다. 예를 들어, 비디오는 텍스트 "그리고 당신의 기분에 맞추세요"를 도시하고, 이후 사용자가 워드들의 클라우드로부터 속성들 "스릴 있는" 및 "실제"를 선택함을 도시한다. 비디오는 또한, 텍스트 "18: 19 / 3RD - SHOT"에 인접한 작은 검은색 원 내의 작은 흰색 삼각형과 같은 오브젝트들과 함께, 하키 게임에 대한 그래픽을 포함하는 스크린을 태블릿 상에 도시한다. 사용자가 이러한 오브젝트 위에서 태핑한 이후, 비디오는 플레이어가 골을 슈팅한 하키 게임의 일부를 재생하는 TV를 보여주는 것처럼 보인다. 비디오의 또다른 부분은, 태블릿 상에서 TV에 이전에 나타난 제품에 대한 온라인 카탈로그 엔트리를 사용자가 보고 있음을 보여주는 것처럼 보인다. 비디오는 또한 사용자가 태블릿을 이용하여 (a) 다른 온라인 친구들과 그 카탈로그 엔트리를 공유하고, (b) 그 친구들로부터 피드백을 수신하고, (c) 제품을 구매하는 것을 보여주는 것처럼 보인다. 그러나, 비디오는 많은 부분을 상상(imagination)으로 남기며, 명백하게 노출된 생각들에 대해서는, 비디오는 그 생각들 중 임의의 것이 누군가에 의해 실제로 구현되었는지를 알려주지(say) 않는다.
또다른 필드에서, 뉴스 방송과 같은 상업적 프로그램의 프로듀서는 비디오 세그먼트들의 완전한 선형 비디오로의 어셈블리를 허용하는 비선형 편집 시스템을 사용할 수 있다. 그러나, 이러한 편집 시스템들은 일반 대중을 위한 것이 아니라, 편집자들을 위해 설계되었다. 따라서, 이러한 편집 시스템은 원격 제어를 가지지 않고 오직 단일 스크린만을 포함할 수 있다. 그리고, 이러한 시스템이 편집자로 하여금 다양한 식별된 비디오 세그먼트들을 함께 선택하고 이을 수 있게 하지만, 편집자는 여전히, 자신이 그 비디오 세그먼트 내에 특정 구문 또는 키워드를 위치시키기를 원하는 경우 선형 방식으로 각각의 개별 비디오 세그먼트를 통해 스크럽(scrub)할 필요가 있을 것이다. 반면, 하기에 기술되는 적어도 하나의 실시예는, TV 세트에 의해 재생되는 A/V 프로그램 내에서 검출되거나 또는 이와 연관된 키워드들에 기초하여, TV 세트 및 TV 세트를 제어하기 위해 사용되는 별도의 모바일 컴퓨팅 디바이스를 포함한다.
출원인은, 프로그램의 해당 부분에서 사용되는 키워들에 기초하여, 프로그램 내의 관심 있는 특정 부분으로 점프하기 위한 용이한 방식을 사용자에게 제공하는 임의의 종래의 시스템들을 알지 못한다.
본 개시내용에 따라, 비선형 프로그램 네비게이션 시스템은 세컨더리 디바이스(예를 들어, 태블릿 컴퓨터, 스마트폰, 넷북 등)으로 하여금 종래의 원격 제어보다 더욱 많은 지능을 가지는 네비게이션 디바이스로서 역할을 하게 한다. 특히, 개시된 프로그램 네비게이션 시스템은 사용자로 하여금 A/V 프로그램들 사이에서만이 아니라, A/V 프로그램 내에서, 사용자에게 관심 있는 특정 콘텐츠에 직접 관련된 직관적 방식으로 네비게이팅하게 한다. 이 개시내용의 목적으로, 용어들 "오디오/비주얼 프로그램" 및 "A/V 프로그램"은 오디오 콘텐츠, 비디오 콘텐츠, 또는 오디오 및 비디오 콘텐츠 모두를 포함하는 프로그램들을 나타내기 위해 사용된다.
도 1은 본 개시내용에 따라 비선형 프로그램 네비게이션 시스템의 예시적인 실시예를 특징으로 하는 컴퓨팅 환경의 예시적인 실시예의 블록도이다. 이 실시예는 TV 세트(10) 및 모바일 디바이스(40)를 포함한다. 하기에 상세하게 기술된 바와 같이, 모바일 디바이스(40)는 프로그램 네비게이션 시스템(72)으로서 본원에서 지칭된 소프트웨어 애플리케이션을 포함한다. TV 세트(10)는 상이한, 그러나 대응하는 프로그램 네비게이션 시스템(32)을 포함한다. 프로그램 네비게이션 시스템들(32 및 72)은 함께 작용하여 본원에 기술된 프로그램 네비게이션 기능들을 수행할 수 있다. 따라서, 프로그램 네비게이션 시스템들(32 및 72)은 총체적으로 단일 프로그램 네비게이션 시스템으로서 지칭될 수 있다.
도 1의 실시예에서, TV 세트(10)는 디코딩 시스템(20)에 결합된 디스플레이 디바이스(60)를 포함한다. 많은 상이한 타입들의 디코딩 시스템들은 많은 상이한 종류들의 실시예들에서 사용될 수 있다. 예를 들어, 적절한 디코딩 시스템들은, 제한 없이, 디스플레이 디바이스와 동일한 섀시에 내장 되어 A/V 신호들을 디코딩하는 컴포넌트들(예를 들어, TV 튜너), TV 셋톱 박스들(예를 들어, 케이블 박스들 및 디지털 비디오 레코더(DVR)들), 광학 디스크 재생기들, 비디오 게임 콘솔들, 및 홈 엔터테인먼트 센터에서 사용하도록 구축된 범용 컴퓨터들을 포함할 수 있다. 따라서, 이러한 개시내용의 목적으로, "텔레비전 세트" 및 "TV 세트"와 같은 용어들은 동일한 섀시에 인클로징된 디스플레이 디바이스 및 TV 튜너를 특징으로 하는 디바이스들에 제한되는 것이 아니라, 디코딩 시스템에 저장되거나 디코딩 시스템에 의해 수신된 A/V 프로그램에 기초하여, 비디오 신호들을 디스플레이 디바이스에 (그리고/또는 오디오 신호들을 하나 이상의 스피커들에) 송신할 수 있는 디코딩 시스템과 통신하는 디스플레이 디바이스를 특징으로 하는 임의의 오디오/비주얼 표시 시스템을 포함한다.
도 1의 실시예에서, 디코딩 시스템(20)은 프로그램 네비게이션 시스템(32)을 실행하기 위해 필요하거나 적합한 다양한 하드웨어 컴포넌트들을 가지는 데이터 프로세싱 시스템(예를 들어, 개인용 컴퓨터)이다. 직접적으로 또는 간접적으로 함께 결합될 수 있는 이들 컴포넌트들은 적어도 하나의 프로세서(22), 랜덤 액세스메모리(RAM)(24), 다양한 네트워크 또는 입력/출력(I/O) 포트들(26), 및 적어도 하나의 비-휘발성 저장 디바이스(예를 들어, 디스크 드라이브(30))를 포함한다. I/O 포트들은 (a) 유선 및/또는 무선 네트워크 인터페이스들, (b) 적외선 또는 블루투스와 같은 기술들을 사용하는 단거리 무선 인터페이스들, (c) A/V 인터페이스들(예를 들어, 케이블 TV 포트 또는 아날로그 또는 디지털 TV 안테나 포트), (d) 임의의 다른 적절한 통신 인터페이스들을 포함할 수 있다.
프로그램 네비게이션 시스템(32)은 디스크 드라이브(30) 상에 상주할 수 있으며, 디코딩 시스템(20)은 프로그램 네비게이션 시스템(32)의 일부 또는 전부를 메모리(24) 내로 카피하고, 프로세서(22) 상에서 프로그램 네비게이션 시스템(32)을 실행할 수 있다. 프로그램 네비게이션 시스템(32)은 하기에 훨씬 더 상세히 기술된다.
디코딩 시스템(20)은 또한 디코더(38)를 실행하여 A/V 프로그램의 인코딩된 버전을 디스플레이 디바이스(60) 상에서 디스플레이되고 하나 이상의 스피커들(62)을 통해 재생될 비디오 및 오디오 스트림들로 변환할 수 있다. 예를 들어, 동영상 전문가 그룹(MPEG)은 동영상 및 연관된 오디오 정보의 포괄적 코딩을 위한 대중적인 표준을 개발하였으며, 그 표준은 MPEG-2로서 알려져 있다. 디코딩 시스템(20)은 디코더(39)를 사용하여 MPEG-2 포맷으로 TV 세트(10)에 전달된(또는 전달 중인) 프로그램(예를 들어, 영화)을 디코딩할 수 있다. 일부 실시예들에서, 프로세서(22)에 의해 실행되거나 프로세서(22)와는 상대적으로 독립적으로 동작하는 상이한 종류의 디코더들은 MPEG-2 포맷 또는 다른 포맷들을 사용하는 프로그램들을 디코딩하기 위해 사용될 수 있다.
도 1은 또한 프로그램 네비게이션 시스템(72)을 실행하기 위한 모바일 디바이스(40) 내의 다양한 자원들 또는 컴포넌트들을 도시한다. 일 실시예에서, 모바일 디바이스(40)는, 함께 직접적으로 또는 간접적으로 결합될 수 있으며, 적어도 하나의 프로세서(42), RAM(44), 다양한 네트워크 또는 입력/출력(I/O) 포트들(46), 적어도 하나의 비휘발성 저장 디바이스(70)(예를 들어, 디스크 드라이브, 플래시 메모리 등), 및 디스플레이 디바이스(50)를 포함하는, 컴포넌트들을 가지는 태블릿 컴퓨터이다. 일 실시예에서, 디스플레이 디바이스(50)는 터치 스크린이며, 또한 입력 디바이스로서 역할을 한다. 다른 타입들의 디스플레이들 및 입력 디바이스들이 다른 실시예들에서 사용될 수 있다.
디코딩 시스템(20) 및 모바일 디바이스(40)에 대한 I/O 포트들은 유선 및/또는 무선 네트워크 인터페이스들, 적외선 또는 블루투스와 같은 기술들을 사용하는 단거리 무선 인터페이스들, 및/또는 임의의 다른 적절한 통신 인터페이스를 포함할 수 있다. 예를 들어, 하기에 더욱 상세하게 기술되는 바와 같이, 모바일 디바이스(40) 및 TV 세트(10)는 하나 이상의 무선 라우터들(84)에 의해 제공되는 로컬 영역 네트워크(LAN)을 통해 서로 통신할 수 있다. 대안적으로, 모바일 디바이스(40) 또는 다른 디바이스들 중 임의의 것은 인터넷 및/또는 서로 통신하기 위해 셀룰러 기술을 사용할 수 있다. 다른 실시예들에서, 적외선 통신, 블루투스 통신, WiFi 및 WiMax를 포함하지만 이에 제한되지 않는 브로드밴드 통신들, 및 임의의 다른 적절한 통신 기술 및 통신 기술들의 조합이 사용될 수 있다.
일부 대안적인 실시예들에서, 스마트폰들이 프로그램 네비게이션 시스템에 대한 모바일 디바이스로서 사용될 수 있다. 다른 실시예들에서, 모바일 디바이스들은 주로 본원에 기술된 교시들에 따라 연관된 TV 세트들을 제어하기 위한 원격 제어들로서 역할을 할 수 있다. 다른 실시예들에서, 다른 타입들의 프로세싱 시스템들은 모바일 디바이스로서 역할을 할 수 있다. 도 1의 실시예에서, 프로그램 네비게이션 시스템(72)은 사용자에게 정보 및 옵션들을 제시하고 사용자로부터 입력을 수신하기 위한 사용자 인터페이스 모듈(78)을 포함한다.
도 2는 모바일 디바이스(40)의 사용자 인터페이스 모듈(78)에 의해 표시되는 사용자 인터페이스(100)의 예시적인 실시예의 개략도이다. 사용자 인터페이스(100)는 사용자가 A/V 프로그램 내의 관심 있는 특정 부분에 대해 네비게이팅하는 것을 보조하기 위한 다양한 오브젝트들을 포함할 수 있다. 그 오브젝트들은 TV 세트(10)에 의해 현재 재생되고 있는 프로그램의 타이틀을, 가능하게는 프로그램에 관한 다른 일반적인 정보와 함께, 디스플레이하는 타이틀 박스(110)를 포함할 수 있다. 프로그램 네비게이션 시스템(72)은 프로그램에 대한 전자 프로그램 가이드(EPG) 데이터로부터, 그리고/또는 임의의 다른 적절한 소스로부터 이 정보를 획득할 수 있다. 프로그램 네비게이션 시스템(32)은 A/V 프로그램으로부터 이러한 종류의 정보를 추출할 수 있고, 이후, 예를 들어, TV 세트(10)가 먼저 프로그램을 재생하기 시작할 때 프로그램 네비게이션 시스템(72)에 이 정보를 송신할 수 있다.
사용자 인터페이스(100)는 또한, 프로그램으로부터의 키워드들(122)이 나타나는 스크롤링 배너(120)를 포함할 수 있다. 배너로부터 키워드를 선택함으로써, 사용자는 TV 세트(10)로 하여금 키워드가 나타나는 프로그램의 부분으로 점프하게 할 수 있다. 사용자 인터페이스(100)의 사용에 관한 추가적인 상세항목들은, 도 3을 참조하여 하기에 제공된다.
또한, 이 개시내용의 목적들로, TV 세트가 프로그램의 특정 부분으로의 점프 또는 시프트로서 기술될 때, 또는 유사한 구문들이 사용될 때, 해당 구문들은, TV 세트가, TV 세트에 의해 표시되고 있는 그 콘텐츠와 관련하여 프로그램 내의 상이한 재생 시간으로 점프하는 것을 의미한다. 다시 말해, TV 세트가 새로운 재생 시간으로 점프하거나 시프트할 때, 방에서의 TV의 물리적 위치는 통상적으로 변경하지 않지만, TV에 의해 재생되고 있는 프로그램의 부분은 변경된다.
다시 도 1을 참조하면, 추가적인 데이터 프로세싱 시스템들이 또한 TV 세트(10) 및 모바일 디바이스(40)와 협력하여 본원에 기술된 기능성을 제공할 수 있다. 예를 들어, TV 세트(10)는 원격 데이터 프로세싱 시스템(90) 상에서 A/V 프로그램들(98)의 컬렉션(collection) 또는 데이터베이스로부터 영화들 또는 다른 A/V 프로그램들을 다운로드할 수 있다. TV 세트(10)는 또한 원격 시스템(90)에서 워드 데이터베이스(92)로부터 중요한 워드들의 다양한 컬렉션들을 다운로드할 수 있다. 하기에 훨씬 더 상세히 기술되는 바와 같이, 프로그램 네비게이션 시스템(32)은 A/V 프로그램에 대한 어느 텍스트 워드들이 키워드들로서 식별되어야 하는지를 결정할 시에 중요한 워드들의 하나 이상의 컬렉션들을 사용할 수 있다. 또한, 하기에 훨씬 더 상세히 기술될 바와 같이, 모바일 디바이스(40)는 쇼핑 애플리케이션(94)으로부터, 백과사전 애플리케이션(96)으로부터, 그리고/또는 원격 시스템(90) 상의 다른 정보들의 소스들로부터 정보를 획득할 수 있다. 다른 실시예들에서, 다수의 원격 시스템들이 사용될 수 있다. 예를 들어, 각각의 원격 시스템은 상이한 타입의 정보를 제공할 수 있다. TV 세트(10) 및 모바일 디바이스(40)는 광역 네트워크(WAN)(82)(예를 들어, 인터넷)를 통해 원격 시스템들과 통신할 수 있다. 원격 데이터 프로세싱 시스템(90)은, 하나 이상의 프로세서들, 메모리, 디스크 드라이브 및/또는 다른 비휘발성 메모리 디바이스들, 및 저장 디바이스들 내에 저장된 소프트웨어를 포함하지만 이에 제한되지 않는, 모바일 디바이스(40)와 유사한 컴포넌트들을 포함할 수 있다. 일부 실시예들에서, 도면이 원격 시스템(90)에서 도시하는 정보 및/또는 컴포넌트들 중 일부 또는 전부가, 완전히 또는 부분적으로, 모바일 디바이스(40) 내에 그리고/또는 TV 세트(10) 내에 대안적으로 저장될 수 있다.
TV 세트(10) 내에서, 프로그램 네비게이션 시스템(32)은 통신 인터페이스(34)를 포함한다. 유사하게, 모바일 디바이스(40) 내의 프로그램 네비게이션 시스템(72)은 통신 인터페이스(74)를 포함한다. 프로그램 네비게이션 시스템(32)은 TV 세트(10)가 프로그램을 재생하는 동안 통신 인터페이스(34)를 사용하여 키워드들을 모바일 디바이스(40)에 전송한다. 모바일 디바이스(40)는 통신 인터페이스(74)를 사용하여 키워드들을 TV 세트(10)로부터 수신하고, 프로그램 제어 커맨드들을 TV 세트(10)에 전송한다. 일 실시예에서, 이들 통신 인터페이스들은 확장가능한 메시징 및 존재 프로토콜(XMPP) 표준에 기초하고, 이들은 프로그램 네비게이션 시스템들(32 및 72)로 하여금 서로 통신하도록 허용한다. 예를 들어, TV 세트(10) 및 모바일 디바이스(40)는 통신 인터페이스들(34 및 74)을 사용하여 XMPP 서버에 등록할 수 있으며, XMPP 서버는 이들 등록된 애플리케이션들 사이의 양방향 통신을 제공한다. 추가로, 프로그램 네비게이션 시스템은 일반적으로 TV 세트 및 다수의 모바일 디바이스들 사이의 통신을 허용할 수 있다. 그러한 경우, TV 세트로부터 송신된 메시지들은 등록된 모바일 디바이스들 모두에 방송될 수 있다. 디코딩 시스템(20), 모바일 디바이스(40), 또는 또다른 데이터 프로세싱 시스템을 포함하는 임의의 적절한 프로세싱 시스템은 XMPP 서버로서 사용될 수 있다.
도 3은 대략 TV 세트(10)의 관점으로부터, 프로그램 네비게이션 서비스들을 제공하기 위한 프로세스의 예시적인 실시예를 도시하는 흐름도이다. 프로세스는, 블록(210)에서 표시된 바와 같이, TV 세트(10)가 A/V 프로그램을 재생하기 시작할 때 시작할 수 있다. 위에서 기술된 바와 같이, 프로그램 네비게이션 시스템은, 방송 TV, 스트리밍 프로그램들, 자기 또는 광학 매체 상에 저장된 프로그램들 등을 제한 없이 포함하는, 많은 상이한 종류들의 포맷들을 가지는 A/V 프로그램들을 지원할 수 있다. 적어도 하나의 실시예에서, TV 세트(10)가 아직 머신 액세스 가능한 매체에 저장된 프로그램의 일부 또는 전부를 가지지 않은 경우, TV 세트(10)는 프로그램이 재생 중일 때 프로그램의 일부 또는 전부를 저장하여, 키워드-기반 네비게이션을 용이하게 할 수 있다. 또한, 블록(212)에서 표시된 바와 같이, TV 세트(10)가 프로그램을 재생하기 시작할 때, 프로그램 네비게이션 시스템(32)은 이후 프로그램으로부터 EPG 데이터를 추출하거나 캡쳐할 수 있다. 이러한 개시내용의 목적으로, 용어 "EPG 데이터"는 프로그램에 관한 일반적인 정보를 지칭하며, 제한 없이 다음 용어들을 포함한다:
프로그램 채널(예를 들어,PBS),
쇼 타이틀(예를 들어, Michael Palin의 새로운 유럽)
에피소드 타이틀(예를 들어, 다뉴브에서 드네프르까지)
장르(예를 들어, 여행)
시놉시스(예를 들어, Michael이 헝가리, 우크라이나, 흑해, 얄타, 부다페스트의 "House of Terror", Hortobagy 국립 공원, Hun족 Attila에 의해 침략당한 영역들, 및 Leeds를 방문한다. 그는 또한 우크라이나 수상과 결혼한 시장 상인을 방문한다.)
또한, EPG 데이터는 EPG 채널로부터, A/V 프로그램 자체 내로부터, 또는 다른 소스들로부터 획득될 수 있다.
다시 도 1을 참조하면, 일 실시예에서, 프로그램 네비게이션 시스템(32)은, 프로그램이 재생 중일 때, 프로그램으로부터 텍스트 데이터를, 대응하는 재생 시간 정보와 함께, 자동으로 캡쳐하는 텍스트 데몬(daemon)(37)을 포함한다. 일 실시예에서, 텍스트 데몬(37)은 자바스크립트로 쓰여지고, 디코딩 시스템(20) 상의 운영 체제(OS)에 대한 비디오/오디오 스택에서 동작하는 플러그-인으로서 구현된다. 대안적인 실시예들에서, Java 및 C/C++을 제한 없이 포함하는 다른 타입들의 구현예들이 텍스트 데몬에 대해 사용될 수 있다.
블록(212)에서 EPG 데이터를 캡쳐하는 동작은 다음 데몬(37)에 의해 또는 프로그램 네비게이션 시스템(32)의 다른 부분에 의해 수행될 수 있다. TV 세트(10)가 모바일 디바이스(40)로부터의 프로그램 네비게이션 커맨드들을 따르므로, 모바일 디바이스(40)는 마스터로서 지칭될 수 있고, TV 세트(10)는 슬레이브로서 지칭될 수 있다. 따라서, 블록(214)에서 도시된 바와 같이, 슬레이브가 EPG 데이터를 추출한 이후, 프로그램 네비게이션 시스템(32)은, 통신 인터페이스들(34 및 74)을 통해, 추출된 EPG 데이터를 마스터에 송신할 수 있다.
블록(216)에 도시된 바와 같이, 프로그램 네비게이션 시스템(32)은 이후 프로그램으로부터 어느 워드들이 키워드들로서 간주되어야 하는지를 결정할 시에 사용될 키워드 참조 데이터를 (예를 들어, 중요한 워드 데이터베이스(92)로부터) 검색할 수 있다.
블록(216)에서 도시된 바와 같이, 텍스트 데몬(37)은 이후, 프로그램으로부터 텍스트 데이터를 자동으로 파싱하기 시작하여, 프로그램의 오디오 부분으로부터 각각의 발화된 워드의 텍스트 버전을, 이들 워드들 각각에 대한 타임 스탬프 또는 타임 마커와 함께 캡쳐할 수 있다. 방송 신호들의 경우, 예를 들어, 텍스트 데몬(37)은, 폐쇄 캡션 텍스트 피드(feed)가 TV 세트(10)에 의해 동적으로 수신될 때, 프로그램에 대한 텍스트 데이터를 그 피드로부터 추출할 수 있다. 통상적으로, 폐쇄 캡션 텍스트 피드는 프로그램의 오디오 부분의 전사(transcription)를 포함하며, 그 텍스트 피드는 프로그램의 오디오 및 비디오 부분들과의 동기화 시에 공급된다.
하이퍼텍스트 마크업 언어의 버전 5(HTML5)을 사용하는 인터넷 프로토콜 TV(IPTV)의 경우, TV 세트(10)는 텍스트 주석들을 포함하는 프로그램들을 수신할 수 있고, 텍스트 데몬(37)은, 대응하는 프로그램 재생 시간들을 캡쳐하는 동안, 상기 주석들로부터 워드들을 추출할 수 있다. 다른 포맷들(예를 들어, DVD 또는 블루레이 상의 영화들, 로컬 저장 또는 스트리밍 영화들 등)에 대해, 텍스트 데몬은 다른 기법들을 사용하여 (a) 프로그램에 대해 오디오로 발화된 워드들에 대응하는 텍스트 데이터 및 (b) 그 워드들에 대한 연관된 재생 시간들을 획득할 수 있다.
위에서 제안된 바와 같이, 텍스트 데이터를 추출하는 동안, 텍스트 데몬(37)은 또한 텍스트 데이터 내의 각각의 워드 또는 구문에 대한 프로그램 내에서의 재생 시간을 식별하는 타임 마커를 저장할 수 있다. 이 타임 마커는 워드에 대한 "비디오 타임코드", 워드에 대한 "재생 시간", 또는 워드에 대한 "인-포인트(in-point)"로서 지칭될 수 있다. 다시 말해, 텍스트 데몬(37)은 폐쇄 캡션 텍스트 피드로부터 각각의 워드를, 이들 워드들 각각의 시작에 대한 대응하는 프로그램 재생 시간과 함께 캡쳐할 수 있다. 일 실시예에서, 재생 시간들, 타임 마커들, 인-타임들 등과 같은 시간 속성들은 모두 HH:MM:SS:FF의 영화 및 텔레비전 기술자 협회(SMPTE) 포맷에 따르며, 여기서 HH:MM:SS는 레코딩의 시간("실시간") 또는 프로그램의 시작으로부터의 시간량("테이프시간")을 측정하고, FF는 그 시간(second) 내의 현재 프레임의 수를 식별한다. 다른 실시예들에서, 상이한 포맷들이 상이한 속성들 중 하나 이상에 대해 사용될 수 있다.
또한, 블록(220)에서 도시된 바와 같이, 텍스트 데몬(37)이 프로그램으로부터 텍스트 데이터를 파싱하고 대응하는 타임 마커들을 저장하는 동안, 키워드 인식 모듈(38)은 자동으로 파싱된 워드들 중 어느 것이 키워드들로서 취급되어야 하는지를 결정할 수 있다. 일 실시예에서, 키워드 인식 모듈(38)은 프로그램 네비게이션 시스템(32)의 일부분으로서 구현된다.
키워드 인식 모듈(38)은 임의의 적절한 기법 또는 기법들의 조합을 시용하여 키워드들을 식별할 수 있다. 일부 기법들은 프로그램의 텍스트 데이터를 키워드들로 간주될 특정 타입의 워드들 또는 구문들을 발견하기 위해 탐색, 인덱싱, 또는 그렇지 않은 경우, 분석하는 것을 포함할 수 있다. 예를 들어, 키워드 인식 모듈(38)은 워드 또는 구문이 특정 횟수보다 더 많이 사용되는 경우 그 워드 또는 구문을 키워드로서 식별할 수 있다. 또다른 예로서, 텍스트 데이터 및 EPG 모두에서 나타나는 워드들은 키워드들로서 간주될 수 있다. 또다른 예로서, 키워드 인식 모듈(38)은 프로그램의 텍스트 데이터를 적절한 명사들에 대해 탐색하여, 모든 적절한 명사들을 키워드들로서 다룰 수 있다. 그러나, 키워드 인식 모듈(38)은 둘 이상의 적절한 명사들이 순서대로 나타나거나 또는 오직 전치사들에 의해서만 분리될 때 그 워드들이 묶이거나 결합되어 단일 키워드를 형성할 수 있다(예를 들어, 제2차 세계대전, 베스트팔렌 조약). 일 실시예에서, 키워드 인식 모듈(38)은 프로그램의 텍스트 데이터를 분석하여, 명사 구문들을 포함하는 상이한 스피치 부분들을 식별한다. 또다른 실시예에서, 키워드 인식 모듈(38)은 텍스트 데이터 내의 워드의 대문자화를 분석하여 적절한 명사들을 식별한다. 이들 및 다른 기법들의 임의의 조합이 사용되어 다른 실시예들에서 적절한 명사들을 식별할 수 있다.
키워드들을 식별하기 위한 일부 기법들은, 도 1의 워드 데이터베이스(92)와 같은 중요한 항목들의 하나 이상의 기존 데이터베이스를 가지고 프로그램의 텍스트 데이터를 교차 참조하는 것을 포함할 수 있다. 이러한 데이터베이스들은, 장소들의 리스트, 유명한 이름들의 리스트, 및 책에서의 콘텐츠 및/또는 인덱스들의 표들을 제한 없이 포함할 수 있다. 상이한 데이터베이스들이 또한 상이한 토픽들 또는 장르들에 초점을 둘 수 있다. 예를 들어, 하나의 데이터베이스는 운동선수들의 이름 및 중요한 스포츠 항목들을 포함할 수 있는 반면, 또다른 데이터베이스는 중요한 비즈니스 항목들을 포함한다.
위 기법들 및/또는 다른 기법들의 임의의 조합이 상이한 실시예들에서 사용될 수 있다.
블록(222)에서 도시된 바와 같이, 프로그램 네비게이션 시스템(32)이 각각의 키워드를 식별하므로, 프로그램 네비게이션 시스템(32)은 그 키워드 및 대응하는 타임 마커를 마스터에 송신할 수 있다. 키워드들 및 대응하는 타임 마커들은 총체적으로 "키워드 데이터"로서 지칭될 수 있다. 블록(230)에 도시된 바와 같이, 프로그램 네비게이션 시스템(32)은 이후 자신이 마스터로부터 프로그램 제어 커맨드를 수신했는지의 여부를 결정할 수 있다. 이러한 커맨드가 수신되지 않은 경우, 프로세서는 블록(218)으로 되돌아갈 수 있으며, 텍스트 데몬(37)은 위에서 기술된 바와 같이, 텍스트 데이터를 파싱하고, 대응하는 타임 마커들을 저장하는 것 등을 계속한다.
그러나, 프로그램 네비게이션 시스템(32)이 프로그램 네비게이션 시스템(72)으로부터 프로그램 제어 커맨드를 수신할 때, 블록(232)에 표시된 바와 같이, 프로그램 네비게이션 시스템 내의 프로그램 제어 모듈(36)은 TV 세트(10)로 하여금 프로그램 내의 현재 위치로부터 프로그램 제어 커맨드에 특정된 위치로 점프하게 한다. 예를 들어, 사용자가 모바일 디바이스(40)를 사용하여 사용자가 관심 있는 특정 키워드를 선택할 때, 프로그램 제어 모듈(36)은 TV 세트(10)로 하여금 선택된 키워드가 사용된 프로그램의 재생 시간으로 점프하게 함으로써 결과적인 프로그램 제어 커맨드에 응답한다. 예를 들어, 사용자가 "헝가리"에 대한 키워드(122)를 선택한 경우, TV 세트(10)는 A/V 프로그램 내에서 워드 "헝가리"의 최초 이용과 연관된 비디오 인-타임으로 다시 점프할 수 있다. 그리고, 사용자가 그후 "에스테르곤"에 대한 키워드(122)를 선택하는 경우, TV 세트(10)는 A/V 프로그램 내의 용어 "에스테르곤"의 최초 이용과 연관하여 비디오에 대해 인-타임으로 순방향 점프할 수 있다.
블록(240)에서 도시된 바와 같이, 프로그램 네비게이션 시스템(32)은 이후 프로그램의 종료에 도달했는지의 여부를 결정할 수 있다. 그러한 경우, 프로세스가 종료할 수 있다. 그렇지 않은 경우, 프로세스는 블록(218)로 되돌아갈 수 있고, 프로세싱은 위에서 기술된 바와 같이 계속된다.
도 4a 및 4b는 대략 모바일 디바이스(40)의 관점에서, 프로그램 네비게이션 서비스들을 제공하기 위한 프로세스의 예시적인 실시예의 흐름도를 제시한다. 블록(300)에서 도시된 바와 같이, 그 프로세스는 프로그램 네비게이션 시스템(72)이 프로그램 네비게이션 시스템(32)으로부터 EPG 데이터를 수신하는 것으로 시작할 수 있다. 사용자 인터페이스 모듈(78)은 이후, 블록(310)에 표시되고 도 2에 예시된 바와 같이, 사용자 인터페이스(100)의 타이틀 박스(110)에 EPG 데이터의 일부 또는 전부를 디스플레이할 수 있다. 블록(312)에 도시된 바와 같이, 프로그램 네비게이션 시스템(72)은 또한, 프로그램이 TV 세트(10) 상에 보여지고 있고 프로그램 네비게이션 시스템(32)이 키워드들을 식별하고 있을 때, 실시간으로 프로그램 네비게이션 시스템(32)으로부터 키워드 데이터를 수신할 수 있다. 그리고, 블록(314)에서 표시되고 도 2에서 예시된 바와 같이, 사용자 인터페이스 모듈(78)은 각각의 새로운 키워드(122)를 배너(120)에 추가하여, 더 새로운 키워드들에 대한 공간을 만들 필요가 있는 경우, 가능하게는 스크린에서 더 오래된 키워드들을 스크롤 오프시킬 수 있다. 그러나, 사용자 인터페이스 모듈(78)은 사용자로 하여금, 예를 들어, 배너 영역에서 사용자로부터의 플릭(flick)을 인식하고, 그 응답으로, 플릭의 방향으로 키워드들을 스크롤링함으로써, 어느 키워드들이 스크린 상에 나타날지를 조정하게 할 수 있다.
또한, 사용자 인터페이스 모듈(78)은, 키워드의 속성 및 타임 마커로의 그것의 매핑에 기초하여, 그리고/또는 사용자-특정 설정들에 기초하여, 다양한 다른 네비게이션 메커니즘들을 제공할 수 있다. 예를 들어, 동일한 키워드의 다수의 발생들이 발견된 경우, 사용자 인터페이스 모듈(78)은 그 워드에 대한 단일 버튼(또는 다른 오브젝트)를, 얼마나 많은 발생들이 발견되었는지에 대한 표시와 함께 디스플레이할 수 있다. 사용자는 이후, 키워드를 한번 선택하여 프로그램 내의 키워드의 최초 발생으로 점프하고, 반복적으로 선택하여 동일한 키워드가 사용된 프로그램의 상이한 세그먼트들을 통해 연속적으로 진행할 수 있다. 예를 들어, TV 세트(10)가 Bob Newhart Show를 재생하고 있는 경우, 키워드 인식 모듈(38)은 "Bob"이 키워드라고 결정할 수 있고, 사용자는 사용자 인터페이스(100)에서 반복적으로 "Bob"을 선택하여, 워드 "Bob"이 발화된 쇼의 각 부분을 볼 수 있다.
또다른 옵션으로, 사용자 인터페이스 모듈은 자동으로 키워드의 가장 최근 발생으로 점프하거나, 또는 사용자에게 가장 최근의 발생으로 점프하기 위한 옵션을 제공하도록 설정될 수 있다. 또다른 옵션으로, 사용자 인터페이스 모듈(78)은 리스트 포맷 내의 발생들을 제시하여, 사용자로 하여금 점프할 키워드의 임의의 발생을 선택하게 할 수 있다. 사용자 인터페이스 모듈(78)은 또한 프로그램으로부터의 일부 문맥을 제공하여, 사용자가 리스트 내의 각각의 키워드가 프로그램 내에 위치되는 장소를 이해하는 것을 보조한다. 예를 들어, 프로그램 네비게이션 시스템(32)은 각각의 키워드의 시간으로부터의 비디오 트랙의 스냅샷을 프로그램 네비게이션 시스템(72)에 송신할 수 있고, 사용자 인터페이스 모듈(78)은 그 스냅샷들을 키워드들과 함께 디스플레이할 수 있다. 또다른 옵션으로, 프로그램 네비게이션 시스템(32)은 텍스트 데이터로부터의 일부 인접한 텍스트를 프로그램 네비게이션 시스템(72)에 송신할 수 있고, 사용자 인터페이스 모듈(78)은 그 텍스트를 키워드들과 함께 디스플레이할 수 있다. 또다른 옵션으로, 프로그램 네비게이션 시스템(32)은 키워드를 포함하는 오디오 클립을 프로그램 네비게이션 시스템(72)에 송신할 수 있고, 사용자 인터페이스 모듈(78)은 사용자가 그 키워드와 상호작용할 때 그 오디오를 재생할 수 있다.
또다른 옵션으로, 사용자 인터페이스 모듈은 키워드의 가장 중요한 발생으로 자동으로 점프하거나, 또는 사용자에게 가장 중요한 발생으로 점프하기 위한 옵션을 제공하도록 설정될 수 있다. 상이한 키워드들의 중요성을 랭크시키기 위한 임의의 적절한 기법이 사용될 수 있다. 예를 들어, 프로그램 네비게이션 시스템(32)은 키워드가 텍스트 데이터의 이전 세그먼트들과 가장 많은 텍스트적 중첩(overlap)을 가지는 텍스트 데이터의 세그먼트에서 발생한다는 결정에 기초하여 키워드가 가장 중요하다고 결정할 수 있다.
또다른 실시예에서, 다른 방식들이 키워드들을 디스플레이하기 위해 사용될 수 있다. 예를 들어, 사용자 인터페이스 모듈(78)은 키워드들을 상이한 토픽들로 카테고리화할 수 있으며, 각각의 토픽은 둘 이상의 키워드들에 링크된다. 또다른 옵션으로, 사용자 인터페이스 모듈(78)은 키워드들을 태그 클라우드로서 디스플레이하도록 구성될 수 있다.
블록(320)에 도시된 바와 같이, 프로그램 네비게이션 시스템(72)은 또한 임의의 보충 정보 소스들이 인에이블되었는지의 여부를 결정할 수 있다. 예를 들어, 사용자 인터페이스(100)는 사용자가 보충 정보의 특정 소스들을 인에이블하거나 디스에이블하도록 동작할 수 있는 인에이블 버튼들(112)(또는 다른 타입들의 오브젝트들)을 포함할 수 있다. 도 2의 실시예에서, 인에이블 버튼들(112)은 온라인 백과사전(예를 들어, 위키피디아) 및 온라인 벤더(예를 들어, 아마존)을 인에이블하거나 디스에이블하기 위해 사용될 수 있다. 임의의 보충 정보 소스들이 인에이블된 경우, 프로세스는 페이지 커넥터 A를 통해 도 4b로 빠져나갈 수 있고, 블록(400)에 도시된 바와 같이, 프로그램 네비게이션 시스템(72)의 데이터 검색 모듈(77)은 가장 최근의 키워드를 사용하여 인에이블된 소스들 각각으로부터 정보를 검색한다. 사용자 인터페이스 모듈(78)은 이후 블록(410)에서 도시된 바와 같이, 사용자 인터페이스(100)에서 검색된 정보의 일부 또는 전부를 디스플레이할 수 있고, 더 새로운 키워드에 대한 정보는 가능하게는 더 오래된 키워드에 대한 정보를 대체한다. 예를 들어, 도 2에서, 사용자 인터페이스(100)는 2개의 키워드들(122)을 보충 정보의 2개 열들과 함께 도시한다. 제1 열(130)은 제1 보충 소스(예를 들어, 위키피디아)로부터의 정보를 포함하고, 박스는 이전 키워드(예를 들어, 헝가리)와 관련된 정보를 포함하는 박스 위에 나타나는 배너(120) 내의 가장 새로운 키워드(예를 들어, 에스테르곤)와 관련된 정보를 포함한다. 제2 열(132)은 제2 보충 소스(예를 들어, 아마존)로부터의 정보를 포함하고, 그 열 내의 상이한 박스들은, 전술된 바와 같이, 상이한 키워드들에 대한 정보를 디스플레이한다. 사용자 인터페이스 모듈(78)은 또한 사용자로 하여금, 예를 들어, 사용자로부터의 플릭들또는 임의의 다른 적절한 사용자 입력 기법에 대해 응답함으로써, 어느 박스들이 보여지는지를 조정하도록 열들을 조작하게 할 수 있다.
도 4b의 블록들(420 및 422)에 표시된 바와 같이, 사용자 인터페이스 모듈은 또한 보충 정보와의 사용자에 의한 추가적인 상호작용들을 허용한다. 예를 들어, 열(132)이 아마존에 의해 판매 중인 헝가리에 관한 책을 도시하는 경우, 사용자 인터페이스 모듈(78)은 사용자로 하여금 책을 구매하게 할 수 있다. 그리고, 열(130)이 헝가리에 관한 위키피디아 엔트리를 도시하는 경우, 사용자 인터페이스 모듈(78)은 사용자로 하여금 그 위키피디아 엔트리 내의 하이퍼 링크를 선택함으로써 그 위키피디아 엔트리로부터 상이한 웹 페이지로 점프하게 할 수 있다.
블록(420)에 도시된 바와 같이, 사용자 인터페이스 모듈(78)은 보충 정보와의 어떠한 사용자 상호작용도 검출하지 못하며, 프로세스는 페이지 커넥터 B를 통해 도 4a로 되돌아갈 수 있다.
사용자 인터페이스 모듈(78)은 이후, 블록(330)에 도시된 바와 같이, 사용자가 디스플레이된 키워드들 중 하나를 선택했는지의 여부를 결정할 수 있다. 키워드가 선택되지 않은 경우, 프로세스는 블록(312)으로 되돌아갈 수 있다. 그러나, 사용자가 키워드를 선택한 경우, 블록(332)에 표시된 바와 같이, 프로그램 제어 모듈(76)은 프로그램 제어 커맨드를 TV 세트(10)에 송신하여, 선택된 키워드를 포함하는 프로그램의 일부분으로 점프하도록 TV 세트(10)에 명령할 수 있다. 예를 들어, 프로그램 제어 커맨드는 선택된 키워드에 대한 타임 마커를 포함할 수 있다. 따라서, 프로그램 제어 커맨드는 TV 세트(10)로 하여금 그것의 비디오 타임 마커를 가지는 선택된 키워드에 의해 식별된 인-포인트에 대해 비디오를 "스크럽(scrub)"하게 할 수 있다.
또다른 실시예에서, 타임스탬프들은 TV 세트(10)에 저장되며, 프로그램 제어 커맨드와 함께 송신될 필요가 없다. 대신, 프로그램 제어 커맨드는 선택된 키워드들, 또는 선택된 키워드의 인스턴스를 식별할 수 있으며, TV 세트 내의 프로그램 제어 모듈은 그 정보를 사용하여 적절한 인-타임을 결정할 수 있다. 어느 경우든, 프로그램 네비게이션 시스템은 사용자로 하여금 키워드가 도입된 정확한 프레임을 용이하게 네비게이팅하게 한다. 이러한 엔트리 포인트는 정확하도록 사용자에 의해 사전설정되거나 또는 키워드 인스턴스 이전의 임의의 수의 초가 되도록 구성될 수 있다.
블록(340)에 도시된 바와 같이, 프로그램 네비게이션 시스템(72)은 이후, TV 세트(10)가 새로운 A/V 프로그램을 재생하기 시작했는지의 여부를 결정할 수 있다. 새로운 프로그램이 시작된 경우, 프로세스는 블록(300)으로 리턴할 수 있고, 프로그램 네비게이션 시스템은 새로운 프로그램 등에 대한 EPG 데이터를 수신한다. 새로운 프로그램이 시작되지 않은 경우, 프로세스는 블록(312)으로 리턴할 수 있고, 프로그램 네비게이션 시스템은 프로그램 네비게이션 시스템(32)으로부터 기존의 프로그램에 대한 새로운 키워드들을 수신하는 것 등을 계속한다.
기술된 바와 같이, 본 개시 내용에 따르는 프로그램 네비게이션 시스템은 A/V 프로그램으로부터 키워드들을 캡쳐하고, 최종 사용자로 하여금 이들 키워드들을 이용하여 프로그램 내의 특정 부분을 직접 네비게이팅하게 한다. 프로그램 네비게이션 시스템은 최종 사용자로 하여금 비디오 스트림을 통해 앞뒤로 용이하게 조종하고, 캡쳐된 키워드들을 단순히 클릭함으로써 관심 있는 세그먼트들을 위치시키게 할 수 있다.
(예를 들어, DVR을 구비한) TV 세트(10)에 의해 레코딩된 프로그램들에 대해, 프로그램 네비게이션 시스템은, 레코딩의 정확한 시작 시간 및 종료 시간, 프로그램과 함께 레코딩되었던 광고 또는 다른 프로그램들의 일부의 콘텐츠(예를 들어, 사전-게임 스포츠 쇼 및/또는 사후 게임 코멘터리) 등과 같은 그 레코딩의 특정 속성으로 인해, 그 특정 레코딩에 대해 고유한 키워드들 및 시간 스탬프들을 생성할 수 있다.
또한, TV 세트(10) 및/또는 모바일 디바이스(40)는 (예를 들어, DVR 상의) 프로그램에 대한 (식별된 키워드들의 리스트 및 대응하는 타임 마커들을 포함하는) 키워드 데이터를 저장할 수 있다. 프로그램이 후속하여 재생될 때, 프로그램 네비게이션 시스템은 저장된 키워드 데이터를 사용하여 사용자로 하여금 임의의 원하는 키워드의 세그먼트에 직접(순방향 또는 역방향으로) 점프하게 할 수 있다. 추가로, 저장된 키워드 데이터가 또다른 사용자의 디바이스에 송신되어, 다른 사용자로 하여금 동일한 프로그램을 시청하는 동안 키워드-기반 네비게이션을 이용하게 할 수 있다.
일반적인 소비 시장에서의 사용에 추가하여, 프로그램 네비게이션 시스템은, 예를 들어, 트레이닝 및 교육 시장에서 사용될 수 있다. 예를 들어, 학생은 프로그램 네비게이션 시스템을 사용하여 트레이닝 비디오를 시청할 수 있고, 결과적인 키워드들은 학생으로 하여금 (예를 들어, 관심 있는 특정 토픽들에 관한 프로그램의 일부분들을 리뷰할 목적으로) 관심 있는 비디오 세그먼트들을 더욱 용이하게 찾게 할 것이다.
본 교시들은 또한 제시되고 있는 콘텐츠에 매치하는 텍스트 데이터를 가지는 다른 타입들의 프로그램들과 함께 사용될 수 있다. 예를 들어, 프로그램 네비게이션 시스템은 스피커들을 통해 오디오 프로그램(예를 들어, 노래 또는 노래 모음)을 재생하기 위해 사용될 수 있고, 프로그램 네비게이션 시스템은 가사의 기록(transcript)으로부터 키워드들을 추출할 수 있다. 대안적으로, 프로그램 네비게이션 시스템은 전자책("ebook")을 디스플레이하기 위해 사용될 수 있고, 프로그램 네비게이션 시스템은, ebook의 네비게이션에 사용하기 위해 ebook으로부터 키워드들을 추출할 수 있다.
추가로, 비디오로부터의 용어들이 캡쳐되어 ebook에서 강조될 수 있다. 예를 들어, 의대생들은 외과의가 수술을 집도하는 것을 보는 동안 모바일 디바이스들을 사용하여 전자 해부학책을 볼 수 있다. 외과의는 수술을 집도하는 동안 수술을 서술할 수 있으며, 그 내레이션이 동시에 기록(transcribe)될 수 있다. 프로그램 네비게이션 시스템은 자동으로 전사로부터 키워드들을 인식할 수 있고, 그 키워드들은 또한 모바일 디바이스들에 나타난다. 학생은 이후, 키워드를 클릭하여 해부학 책의 대응하는 부분으로 점프할 수 있다. 예를 들어, 외과의가 "간"이라고 말하는 경우, 프로그램 네비게이션 시스템은 그 워드를 키워드로서 인식하고, 학생이 그 키워드를 클릭할 때, 그 학생의 모바일 디바이스는 해부학 책에서 간에 대한 챕터로 점프할 수 있다. 또한, 일 실시예에서, 모바일 디바이스는, 각각의 새로운 키워드가 나올 때 자동으로 ebook의 대응하는 챕터 또는 페이지로 점프하도록 구성될 수 있다.
추가로, 하나의 모바일 디바이스는 다른 모바일 디바이스들을 제어하도록 구성될 수 있다. 예를 들어, 학급 대표가 있는 학생 그룹에서, 학급 대표가 자신의 모바일 디바이스 상의 키워드를 클릭할 때, 모든 모바일 디바이스들이 ebook의 대응하는 섹션으로 점프할 수 있다.
본원에서 기술되고 예시된 원리들 및 예시적인 실시예들의 견지에서, 예시된 실시예들이 이러한 원리들로부터 벗어나지 않는 배열들 및 상세항목에서 수정될 수 있다는 점이 인식될 것이다. 또한 이전 논의가 특정 실시예들에 대해 초점을 두었지만, 다른 구성들이 참작된다. 또한, "일 실시예에서", "또다른 실시예에서" 등과 같은 표현들이 본원에서 사용되지만, 이들 구문들은 일반적으로 실시예 가능성들을 참조하도록 의도되며, 발명을 특정 실시예 구성들로 제한하도록 의도되지는 않는다. 본원에서 사용되는 바와 같이, 이들 용어들은 다른 실시예들로 조합될 수 있는 동일한 또는 상이한 실시예들을 참조할 수 있다.
또한, 서로 통신하고 있는 것으로서, 또는 서로에 대해 응답하는 것으로서 기술된 컴포넌트들 또는 디바이스들은, 다른 방식으로 명시적으로 특정되지 않는 한, 서로 계속 통신할 필요는 없다. 추가로, 서로 커플링되거나 서로 통신하고 있는 것으로서, 또는 서로 응답하고 있는 것으로서 기술된 디바이스들은 직접적으로 또는 하나 이상의 중재자들을 통해 간접적으로 통신하거나 커플링될 수 있다.
또한, 본원에 도시된 하드웨어 및 소프트웨어 컴포넌트들이, 각각이 다른 것들과는 실질적으로 독립적으로 설계되고, 구성되거나 업데이트될 수 있도록, 적절하게 자가-포함된 기능 엘리먼트들을 나타낸다는 점이 이해되어야 한다. 대안적인 실시예들에서, 컴포넌트들 중 다수는 본원에서 기술되고 예시된 기능성을 제공하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합들로서 구현될 수 있다. 예를 들어, 대안적인 실시예들은 발명의 동작들을 수행하기 위한 명령어들 또는 제어 로직을 인코딩하는 머신 액세스 가능한 매체를 포함한다. 이러한 실시예들은 또한 프로그램 제품들로서 지칭될 수 있다. 이러한 머신 액세스 가능한 매체는, 자기 디스크, 광학 디스크, RAM, 판독 전용 메모리(ROM), 플래시 메모리 등과 같은 유형(tangible) 저장 매체를 제한 없이 포함할 수 있다. 대안적으로, 기술된 동작들을 구현하기 위한 제어 로직의 일부 또는 전부는 하드웨어 로직으로(예를 들어, 집적 회로 칩, 프로그램가능한 게이트 어레이(PGA), 주문형 집적 회로(ASIC) 등의 일부로서) 구현될 수 있다. 명령어들은 또한 분산 환경에서 사용될 수 있고, 단일 또는 다중-프로세서 머신들에 의한 액세스를 위해 로컬로 그리고/또는 원격으로 저장될 수 있다.
유사하게, 예시적인 프로세스들이 특정 순서로 수행되는 특정 동작에 관련하여 기술되었지만, 다수의 수정들이 그 프로세스들에 적용되어 본 발명의 다수의 대안적인 실시예들을 도출할 수 있다. 예를 들어, 대안적인 실시예들은 개시된 모든동작들보다 더 적은 동작들을 사용하는 프로세스들, 추가적인 동작들을 사용하는 프로세스들, 및 본원에 개시된 개별 동작들이 조합되고, 세부분할되고, 재배열되거나, 그렇지 않은 경우 변경되는 프로세스들을 포함할 수 있다.
본원에 개시된 예시적인 실시예들로부터 용이하게 유도될 수 있는 광범위한 유용한 치환들의 관점에서, 이러한 상세한 설명은 오직 예시적인 것으로서 의도되며, 발명의 범위를 제한하는 것으로서 취해지지 않아야 한다. 따라서, 발명으로서 주장되는 것은, 후속하는 청구항들의 범위 내에 드는 모든 구현예들 및 이러한 구현예들의 모든 등가물들이다.

Claims (24)

  1. 오디오/비주얼 프로그램 네비게이션을 위한 방법으로서,
    모바일 컴퓨팅 디바이스에서, 오디오/비주얼 표시 시스템에 의해 현재 재생되고 있는 오디오/비주얼 프로그램에 대한 키워드 데이터의 스트림을 상기 오디오/비주얼 표시 시스템으로부터 무선으로 수신하는 단계 ― 상기 키워드 데이터의 스트림은 상기 오디오/비주얼 프로그램의 오디오 콘텐츠로부터 발화된 워드들에 매칭하는 텍스트 키워드들을 포함함 ― ;
    상기 모바일 컴퓨팅 디바이스에서, 사용자 인터페이스에 상기 오디오/비주얼 표시 시스템으로부터의 키워드들 중 둘 이상을 자동으로 디스플레이하는 단계;
    상기 모바일 컴퓨팅 디바이스에서, 사용자가 상기 디스플레이된 키워드들 중 하나를 선택했음을 표시하는 사용자 입력을 수신하는 단계; 및
    상기 모바일 컴퓨팅 디바이스에서 상기 사용자 입력을 수신하는 것에 응답하여, 상기 오디오/비주얼 표시 시스템으로 하여금 상기 선택된 키워드를 포함하는 상기 오디오/비주얼 프로그램의 일부분으로 자동으로 점프하게 하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 키워드 데이터는 상기 오디오/비주얼 표시 시스템에 의해 상기 오디오/비주얼 프로그램에 대한 폐쇄 캡션 데이터(closed caption data)로부터 추출된 키워드들을 포함하는 방법.
  3. 제1항에 있어서,
    상기 오디오/비주얼 표시 시스템은:
    텔레비전 튜너;
    광학 디스크 재생기; 및
    디지털 비디오 레코더
    로 구성된 그룹으로부터 적어도 하나의 디코딩 디바이스와 통신하는 디스플레이 디바이스를 포함하는 방법.
  4. 제1항에 있어서,
    상기 키워드 데이터는 대응하는 키워드들과 연관된 타임 마커들을 더 포함하고,
    상기 오디오/비주얼 표시 시스템으로 하여금 상기 선택된 키워드를 포함하는 상기 오디오/비주얼 프로그램의 일부분으로 자동으로 점프하게 하는 단계는:
    상기 선택된 키워드 및 상기 대응하는 타임 마커에 기초하여, 상기 오디오/비주얼 프로그램의 선택된 부분으로 점프하도록 상기 오디오/비주얼 표시 시스템에 명령하는 프로그램 제어 커맨드를 생성하는 단계; 및
    무선 통신 인터페이스를 통해 상기 오디오/비주얼 표시 시스템에 상기 프로그램 제어 커맨드를 송신하는 단계
    를 포함하는 방법.
  5. 제1항에 있어서,
    상기 모바일 컴퓨팅 디바이스와 상기 오디오/비주얼 표시 시스템 사이에 무선 통신 채널을 구축하는 단계;
    상기 무선 통신 채널을 사용하여 상기 오디오/비주얼 표시 시스템으로부터 상기 오디오/비주얼 프로그램에 대한 상기 키워드 데이터를 수신하는 단계; 및
    상기 무선 통신 채널을 사용하여 상기 오디오/비주얼 표시 시스템으로 하여금 상기 선택된 키워드를 포함하는 상기 오디오/비주얼 프로그램의 일부분으로 점프하게 하는 단계
    를 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 사용자 인터페이스에 상기 키워드들 중 둘 이상을 자동으로 디스플레이하는 단계는, 상기 모바일 컴퓨팅 디바이스가 상기 오디오/비주얼 표시 시스템으로부터 새로운 키워드들을 수신하면 상기 사용자 인터페이스 상으로 새로운 키워드들을 스크롤링하고 상기 사용자 인터페이스의 오래된 키워드들을 스크롤 오프(scroll off)하는 단계; 및
    사용자 입력에 응답하여, 오래된 키워드들을 상기 사용자 인터페이스 상으로 다시 스크롤링하여, 상기 사용자로 하여금 상기 오래된 키워드들 중 하나를 이용하여 상기 오디오/비주얼 표시 시스템에 의해 재생될 오디오/비주얼 프로그램의 대응하는 부분을 선택하게 하는 단계
    를 포함하는 방법.
  7. 제1항에 있어서,
    상기 오디오/비주얼 표시 시스템으로부터 상기 오디오/비주얼 프로그램에 대한 적어도 하나의 키워드를 수신한 이후에:
    상기 모바일 컴퓨팅 디바이스에서, 상기 적어도 하나의 키워드에 관련된 정보를 공중(public) 광역 네트워크로부터 자동으로 검색하는 단계; 및
    상기 모바일 컴퓨팅 디바이스에서, 상기 적어도 하나의 키워드에 관련된 정보의 적어도 일부를 상기 공중 광역 네트워크로부터 자동으로 디스플레이하는 단계
    를 더 포함하는 방법.
  8. 제7항에 있어서,
    상기 적어도 하나의 키워드에 관련된 정보를 자동으로 검색하는 단계는:
    온라인 백과 사전으로부터 상기 적어도 하나의 키워드의 의미에 관한 참조 정보를 자동으로 검색하는 단계; 및
    상기 공중 광역 네트워크를 통해 판매하기 위한 제품들을 공급하는 벤더의 웹사이트로부터 상기 적어도 하나의 키워드에 관련된 제품들에 관한 구매 정보를 자동으로 검색하는 단계
    를 포함하고,
    상기 키워드들 중 적어도 하나에 관련된 정보의 적어도 일부를 상기 공중 광역 네트워크로부터 자동으로 디스플레이하는 단계는 상기 모바일 컴퓨팅 디바이스에서 상기 참조 정보의 적어도 일부 및 상기 구매 정보의 적어도 일부를 동시에 디스플레이하는 단계
    를 포함하는 방법.
  9. 제8항에 있어서,
    상기 공중 광역 네트워크 상의 특정 정보 소스의 비활성화(deactivation)를 요청하는 사용자 입력을 수신하는 단계; 및
    비활성화가 요청되지 않은 상기 공중 광역 네트워크 상의 정보 소스들로부터만 정보를 자동으로 검색하는 단계
    를 포함하는 방법.
  10. 제조 물품으로서,
    유형의(tangible) 머신 액세스가능한 매체; 및
    모바일 디바이스에 의해 실행될 때, 상기 모바일 디바이스로 하여금 제1항 내지 제9항 중 어느 한 항에 개시된 단계들을 수행하게 하는, 상기 머신 액세스 가능한 매체 내의 명령어들
    을 포함하는 제조 물품.
  11. 모바일 컴퓨팅 디바이스로서,
    프로세서;
    상기 프로세서에 응답하는 적어도 하나의 로컬 저장 디바이스; 및
    상기 모바일 컴퓨팅 디바이스에 의해 실행될 때, 상기 모바일 컴퓨팅 디바이스로 하여금 제1항 내지 제9항 중 어느 한 항에 개시된 단계들을 수행하게 하는, 상기 로컬 저장 디바이스 내의 명령어들
    을 포함하는 모바일 컴퓨팅 디바이스.
  12. 모바일 컴퓨팅 디바이스로서,
    오디오/비주얼 표시 시스템에 의해 현재 재생되고 있는 오디오/비주얼 프로그램에 대한 키워드 데이터의 스트림을 상기 오디오/비주얼 표시 시스템으로부터 수신하도록 동작가능한 무선 통신 인터페이스 ― 상기 키워드 데이터의 스트림은 상기 오디오/비주얼 프로그램의 오디오 콘텐츠로부터 발화된 워드들에 매칭하는 텍스트 키워드들을 포함함 ― ;
    사용자 인터페이스에 상기 키워드들 중 둘 이상을 자동으로 디스플레이하고, 사용자가 상기 키워드들 중 하나를 선택했음을 표시하는 사용자 입력을 수신하도록 구성되는 사용자 인터페이스 모듈; 및
    상기 키워드를 선택한 상기 사용자 입력에 응답하여, 상기 오디오/비주얼 표시 시스템으로 하여금 상기 선택된 키워드를 포함하는 상기 오디오/비주얼 프로그램의 일부분으로 자동으로 점프하게 하도록 구성되는 프로그램 제어 모듈
    을 포함하는 모바일 컴퓨팅 디바이스.
  13. 제12항에 있어서,
    상기 키워드 데이터는 상기 오디오/비주얼 표시 시스템에 의해 상기 오디오/비주얼 프로그램에 대한 폐쇄 캡션 데이터로부터 추출된 키워드들을 포함하는 모바일 컴퓨팅 디바이스.
  14. 제12항 또는 제13항에 있어서,
    상기 키워드 데이터는 대응하는 키워드들과 연관된 타임 마커들을 더 포함하고,
    상기 프로그램 제어 모듈은:
    상기 선택된 키워드 및 상기 대응하는 타임 마커에 기초하여, 상기 오디오/비주얼 프로그램의 선택된 부분으로 점프하도록 상기 오디오/비주얼 표시 시스템에 명령하는 프로그램 제어 커맨드를 생성하는 것; 및
    상기 무선 통신 인터페이스를 통해 상기 오디오/비주얼 표시 시스템에 상기 프로그램 제어 커맨드를 송신하는 것
    을 포함하는 동작들을 수행하도록 더 구성되는 모바일 컴퓨팅 디바이스.
  15. 제12항 또는 제13항에 있어서,
    상기 사용자 인터페이스 모듈은:
    상기 모바일 컴퓨팅 디바이스가 상기 오디오/비주얼 표시 시스템으로부터 새로운 키워드들을 수신하면, 상기 사용자 인터페이스 상으로 새로운 키워드들을 스크롤링하고, 상기 사용자 인터페이스의 오래된 키워드들을 스크롤 오프하는 것; 및
    사용자 입력에 응답하여, 오래된 키워드들을 상기 사용자 인터페이스 상으로 다시 스크롤링하여, 상기 사용자로 하여금 상기 오래된 키워드들 중 하나를 이용하여 상기 오디오/비주얼 표시 시스템에 의해 재생될 상기 오디오/비주얼 프로그램의 대응하는 부분을 선택하게 하는 것
    을 포함하는 동작들을 수행하도록 구성되는 모바일 컴퓨팅 디바이스.
  16. 제12항 또는 제13항에 있어서,
    상기 키워드들 중 적어도 하나에 관련된 정보를 공중 광역 네트워크로부터 자동으로 검색하도록 동작가능한 데이터 검색 모듈
    을 더 포함하고,
    상기 사용자 인터페이스 모듈은 상기 키워드들 중 적어도 하나에 관련된 정보의 적어도 일부를 상기 공중 광역 네트워크로부터 자동으로 디스플레이하도록 동작가능한 모바일 컴퓨팅 디바이스.
  17. 제16항에 있어서,
    상기 데이터 검색 모듈은 상기 적어도 하나의 키워드의 의미에 관한 참조 정보를 온라인 백과사전으로부터 자동으로 검색하도록 동작가능하고,
    상기 데이터 검색 모듈은 상기 공중 광역 네트워크를 통해 판매하기 위한 제품들을 공급하는 벤더의 웹사이트로부터 상기 적어도 하나의 키워드에 관련된 제품들에 관련된 구매 정보를 자동으로 검색하도록 동작가능하고,
    상기 사용자 인터페이스 모듈은 상기 참조 정보의 적어도 일부 및 상기 구매 정보의 적어도 일부를 동시에 디스플레이하도록 동작가능한 모바일 컴퓨팅 디바이스.
  18. 오디오/비주얼 표시 디바이스로서,
    디스플레이 디바이스;
    상기 디스플레이 디바이스와 통신하는 디코더 ― 상기 디코더는 상기 디스플레이 디바이스 상에 오디오/비주얼 프로그램의 비디오 콘텐츠를 디스플레이하도록 구성됨 ― ;
    상기 오디오/비주얼 표시 디바이스가 상기 오디오/비주얼 프로그램을 재생하는 동안 상기 오디오/비주얼 프로그램에 대해 상기 오디오/비주얼 표시 디바이스에 의해 수신된 텍스트 데이터 내로부터 키워드들을 자동으로 식별하도록 구성되는 키워드 인식 모듈 ― 상기 키워드들은 상기 오디오/비주얼 프로그램의 오디오 콘텐츠로부터 발화된 워드들에 매칭하는 텍스트 워드들을 포함함 ― ;
    상기 오디오/비주얼 표시 디바이스가 상기 오디오/비주얼 프로그램을 재생하는 동안, 상기 오디오/비주얼 프로그램에 대한 키워드 데이터의 스트림을 모바일 디바이스에 송신하는 것 ― 상기 키워드 데이터의 스트림은 상기 키워드 인식 모듈에 의해 식별된 키워드들 중 적어도 일부를 포함함 ― ; 및
    상기 모바일 디바이스에 상기 오디오/비주얼 프로그램에 대한 적어도 일부 키워드 데이터를 송신한 이후, 상기 모바일 디바이스에 송신된 키워드 데이터의 스트림으로부터 상기 모바일 디바이스의 사용자에 의해 선택된 키워드에 관한 프로그램 제어 커맨드를 상기 모바일 디바이스로부터 수신하는 것
    을 포함하는 동작들을 수행하도록 동작가능한 무선 통신 인터페이스; 및
    상기 모바일 디바이스로부터의 프로그램 제어 커맨드에 기초하여, 상기 오디오/비주얼 표시 디바이스로 하여금 상기 오디오/비주얼 프로그램의 현재 재생 시간으로부터 상기 오디오/비주얼 프로그램의 상이한 재생 시간으로 상기 오디오/비주얼 프로그램을 자동으로 시프트하게 하도록 구성되는 프로그램 제어 모듈
    을 포함하는 오디오/비주얼 표시 디바이스.
  19. 제18항에 있어서,
    상기 디코더는:
    텔레비전 튜너;
    광학 디스크 재생기; 및
    디지털 비디오 레코더
    로 구성된 그룹으로부터 적어도 하나의 컴포넌트를 포함하는 오디오/비주얼 표시 디바이스.
  20. 제18항에 있어서,
    상기 디코더는:
    텔레비전 튜너;
    광학 디스크 재생기;
    디지털 비디오 레코더; 및
    상기 오디오/비주얼 표시 디바이스 내의 마이크로프로세서 상에서 실행할 디코더 애플리케이션
    으로 구성된 그룹으로부터 적어도 하나의 컴포넌트를 포함하는 오디오/비주얼 표시 디바이스.
  21. 제18항 또는 제20항에 있어서,
    상기 키워드 인식 모듈은:
    중요한 항목들의 기존 데이터베이스를 가지고 상기 오디오/비주얼 프로그램에 대해 상기 오디오/비주얼 표시 디바이스에 의해 수신된 텍스트 데이터를 자동으로 교차 참조하는 것; 및
    상기 오디오/비주얼 프로그램에 대한 텍스트 데이터, 및 중요한 항목들의 데이터 베이스 모두 내에 나타나는 워드들을 키워드들로서 자동으로 식별하는 것
    을 포함하는 동작들을 수행함으로써 키워드들을 자동으로 식별하도록 동작가능한 오디오/비주얼 표시 디바이스.
  22. 제18항 또는 제20항에 있어서,
    상기 키워드 인식 모듈은:
    상기 텍스트 데이터 내의 어느 워드들이 적절한 명사들인지를 자동으로 결정하는 것; 및
    상기 적절한 명사들의 적어도 일부를 키워드들로서 자동으로 식별하는 것
    을 포함하는 동작들을 수행함으로써 키워드들을 자동으로 식별하도록 동작가능한 오디오/비주얼 표시 디바이스.
  23. 제18항 또는 제20항에 있어서,
    상기 모바일 디바이스로부터의 상기 프로그램 제어 커맨드는 상기 사용자에 의해 선택된 키워드에 대한 재생 시간을 특정하고,
    상기 프로그램 제어 모듈은 상기 오디오/비주얼 표시 디바이스로 하여금 상기 오디오/비주얼 프로그램의 현재 재생 시간으로부터 상기 프로그램 제어 커맨드에 의해 특정된 재생 시간으로 자동으로 점프하게 하도록 동작가능한 오디오/비주얼 표시 디바이스.
  24. 제18항 또는 제20항에 있어서,
    외부 소스로부터 상기 오디오/비주얼 프로그램의 인코딩된 버전을 수신하도록 동작가능한 네트워크 인터페이스; 및
    상기 디코더와 통신하는 저장 매체 - 상기 저장 매체는 상기 오디오/비주얼 프로그램의 인코딩된 버전의 적어도 일부분을 저장하도록 동작가능함 -
    로 구성된 그룹으로부터 적어도 하나의 항목을 더 포함하는, 오디오/비주얼 표시 디바이스.
KR1020147008249A 2011-09-12 2011-09-12 비디오 스트림들 및 다른 콘텐츠의 키워드-기반의 비선형 네비게이션을 위한 방법들 및 장치 KR101606657B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/051214 WO2013039473A1 (en) 2011-09-12 2011-09-12 Methods and apparatus for keyword-based, non-linear navigation of video streams and other content

Publications (2)

Publication Number Publication Date
KR20140054386A true KR20140054386A (ko) 2014-05-08
KR101606657B1 KR101606657B1 (ko) 2016-03-25

Family

ID=47883557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147008249A KR101606657B1 (ko) 2011-09-12 2011-09-12 비디오 스트림들 및 다른 콘텐츠의 키워드-기반의 비선형 네비게이션을 위한 방법들 및 장치

Country Status (7)

Country Link
US (1) US9407892B2 (ko)
EP (1) EP2756686A4 (ko)
JP (1) JP2015503131A (ko)
KR (1) KR101606657B1 (ko)
CN (1) CN103765910B (ko)
TW (1) TWI538498B (ko)
WO (1) WO2013039473A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2756686A4 (en) 2011-09-12 2015-03-04 Intel Corp METHOD AND DEVICE FOR KEYWORK-BASED NON-LINEAR NAVIGATION OF VIDEO STREAMS AND OTHER CONTENT
CN103902611A (zh) * 2012-12-28 2014-07-02 鸿富锦精密工业（深圳）有限公司 视频内容搜索系统及方法
CN103309993B (zh) * 2013-06-20 2016-09-14 天脉聚源(北京)传媒科技有限公司 一种关键词的提取方法及装置
US10002191B2 (en) 2013-12-31 2018-06-19 Google Llc Methods, systems, and media for generating search results based on contextual information
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
GB2528039A (en) * 2014-07-01 2016-01-13 Canon Kk Method for identifying objects across time periods and corresponding device
US9484032B2 (en) 2014-10-27 2016-11-01 Xerox Corporation Methods and systems for navigating through multimedia content
TWI550421B (zh) * 2015-03-06 2016-09-21 視頻搜尋方法與系統
US11340763B2 (en) 2017-11-28 2022-05-24 International Business Machines Corporation Non-linear navigation of videos
US10754904B2 (en) 2018-01-15 2020-08-25 Microsoft Technology Licensing, Llc Accuracy determination for media
US11200425B2 (en) * 2018-09-21 2021-12-14 Samsung Electronics Co., Ltd. Method for providing key moments in multimedia content and electronic device thereof
TWI709094B (zh) * 2019-08-26 2020-11-01 國立交通大學 社群資訊處理方法與系統
CN110866563B (zh) * 2019-11-20 2022-04-29 咪咕文化科技有限公司 相似视频检测、推荐方法、电子设备和存储介质
US11490133B1 (en) * 2019-12-09 2022-11-01 Amazon Technologies, Inc. Insertion of directed content into a video asset
CN113398602B (zh) * 2021-07-15 2024-04-30 网易（杭州）网络有限公司 信息处理方法、装置、存储介质及计算机设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08287077A (ja) * 1995-04-14 1996-11-01 Nec Corp キーワード選択支援装置
JP4325071B2 (ja) 2000-04-07 2009-09-02 ソニー株式会社 デジタルビデオ再生方法及びデジタルビデオ再生装置
JP4818534B2 (ja) * 2001-06-14 2011-11-16 京セラ株式会社 動画像配信システム、動画像配信方法および通信端末装置
JP2003304523A (ja) 2002-02-08 2003-10-24 Ntt Docomo Inc 情報配信システム、情報配信方法、情報配信サーバ、コンテンツ配信サーバ及び端末
EP1573594A2 (en) * 2002-12-11 2005-09-14 Koninklijke Philips Electronics N.V. Method and system for utilizing video content to obtain text keywords or phrases for providing content related links to network-based resources
US20070154171A1 (en) * 2006-01-04 2007-07-05 Elcock Albert F Navigating recorded video using closed captioning
US20070174326A1 (en) * 2006-01-24 2007-07-26 Microsoft Corporation Application of metadata to digital media
JP4905103B2 (ja) * 2006-12-12 2012-03-28 株式会社日立製作所 動画再生装置
US20080282312A1 (en) * 2007-05-08 2008-11-13 Yahoo! Inc. System and method for allocating tuner and/or recording resources
JP2009010797A (ja) * 2007-06-29 2009-01-15 Hitachi Ltd 情報提示方法及び装置
KR101370904B1 (ko) 2007-08-17 2014-03-10 엘지전자 주식회사 영상물의 녹화 방법 및 그 방법을 채용한 방송 수신기
JP5280062B2 (ja) 2008-02-14 2013-09-04 ソニー株式会社 情報提供装置、情報取得端末、放送受信端末、情報提供システム、情報提供方法、およびプログラム
KR100994827B1 (ko) 2008-07-07 2010-11-17 주식회사 미디어루트디에스피 방송 콘텐츠의 자막에 근거한 부가정보 제공 장치 및 방송수신 장치
KR101515859B1 (ko) 2008-12-05 2015-05-06 삼성전자 주식회사 디스플레이장치 및 그 컨텐츠 리스트 표시 방법
KR101527386B1 (ko) 2008-12-08 2015-06-10 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US20100169930A1 (en) 2008-12-25 2010-07-01 Samsung Electronics Co., Ltd. Broadcasting receiver and method of searching for keyword of broadcasting receiver
KR101638957B1 (ko) 2009-01-13 2016-07-14 삼성전자주식회사 디스플레이장치 및 그의 방송예약방법
EP2227005B1 (en) 2009-03-04 2018-05-02 Samsung Electronics Co., Ltd. Remote controller with multimedia content display and control method thereof
JP2010245853A (ja) * 2009-04-07 2010-10-28 Hitachi Ltd 動画インデクシング方法及び動画再生装置
US20110262103A1 (en) * 2009-09-14 2011-10-27 Kumar Ramachandran Systems and methods for updating video content with linked tagging information
KR20110061802A (ko) 2009-12-02 2011-06-10 엘지전자 주식회사 자막 정보를 이용한 영상 재생 장치 및 영상 재생 방법
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR20110065155A (ko) 2009-12-09 2011-06-15 주식회사 에치에프알 인터넷 프로토콜 ｔｖ 서비스 장치, 양방향 통신용 리모컨 및 양방향 통신용 리모컨의 영상구현 방법
JP5430381B2 (ja) 2009-12-15 2014-02-26 三星電子株式会社 携帯端末を用いた表示機器操作システム
KR101313977B1 (ko) 2009-12-18 2013-10-01 한국전자통신연구원 이동 단말기를 사용한 ｉｐｔｖ 서비스 제어 방법 및 시스템
US8903847B2 (en) 2010-03-05 2014-12-02 International Business Machines Corporation Digital media voice tags in social networks
EP2756686A4 (en) 2011-09-12 2015-03-04 Intel Corp METHOD AND DEVICE FOR KEYWORK-BASED NON-LINEAR NAVIGATION OF VIDEO STREAMS AND OTHER CONTENT

Also Published As

Publication number Publication date
US9407892B2 (en) 2016-08-02
WO2013039473A1 (en) 2013-03-21
TWI538498B (zh) 2016-06-11
EP2756686A1 (en) 2014-07-23
KR101606657B1 (ko) 2016-03-25
TW201320725A (zh) 2013-05-16
EP2756686A4 (en) 2015-03-04
US20130272676A1 (en) 2013-10-17
JP2015503131A (ja) 2015-01-29
CN103765910A (zh) 2014-04-30
CN103765910B (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
KR101606657B1 (ko) 비디오 스트림들 및 다른 콘텐츠의 키워드-기반의 비선형 네비게이션을 위한 방법들 및 장치
Li et al. Browsing digital video
US7346264B2 (en) Non-linear reproduction control method of multimedia stream and apparatus thereof
US9743144B2 (en) System and method for content-based navigation of live and recorded TV and video programs
EP2974341B1 (en) Using an audio stream to identify metadata associated with a currently playing television program
US9396761B2 (en) Methods and systems for generating automatic replays in a media asset
US20070005655A1 (en) Content providing system, content providing apparatus and method, content distribution server, and content receiving terminal
US9558784B1 (en) Intelligent video navigation techniques
KR20150052123A (ko) 소셜 미디어를 통해 가장 흥미있는 순간들에의 딥링크들을 제공함에 의해 프로그램 콘텐츠의 발견을 돕기
US20090222849A1 (en) Audiovisual Censoring
US9564177B1 (en) Intelligent video navigation techniques
US20100080533A1 (en) Network media player with user-generated playback control
KR20060069430A (ko) 디브이디 링크된 인터넷 북마킹
JP2010055501A (ja) 情報提供サーバ、情報提供方法及び情報提供システム
JP2008078876A (ja) 番組録画再生装置、番組再生位置制御方法及び番組情報提供装置
CA2556641A1 (en) A system and method for content-based navigation of live and recorded tv and video programs
US11405681B2 (en) Apparatus, systems and methods for trick function viewing of media content
JP2015119286A (ja) コンテンツサーバ、コンテンツ再生装置、コンテンツ再生制御方法、コンテンツ再生制御プログラム
JP2012203773A (ja) 動画推薦装置及び動画推薦方法
JP2006332765A (ja) コンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体
JP2014207619A (ja) 録画再生装置、及び録画再生装置の制御方法
JP2012004687A (ja) コンテンツ再生装置、コンテンツ出力装置、およびコンテンツ再生システム
JP2012034235A (ja) 映像再生装置及び映像再生方法
KR101592944B1 (ko) 자막 단어 검색 장치 및 방법
JP2007329605A (ja) 再生装置及び台詞検索方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee