KR20160071372A - 비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법 및 장치 - Google Patents

비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160071372A
KR20160071372A KR1020167008162A KR20167008162A KR20160071372A KR 20160071372 A KR20160071372 A KR 20160071372A KR 1020167008162 A KR1020167008162 A KR 1020167008162A KR 20167008162 A KR20167008162 A KR 20167008162A KR 20160071372 A KR20160071372 A KR 20160071372A
Authority
KR
South Korea
Prior art keywords
video program
display
interest
region
video
Prior art date
Application number
KR1020167008162A
Other languages
English (en)
Inventor
아싼느 게르무드
루이 슈발리에
쟝-로낭 비구루
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160071372A publication Critical patent/KR20160071372A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H04N2005/44586—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

제1 비디오 프로그램을 디스플레이하는 동시에 제2 비디오 프로그램을 감독하기 위한 방법 및 장치(2)가 설명된다. 이 방법은 제1 비디오 프로그램 및 제2 비디오 프로그램을 수신하는 단계(10)를 포함한다. 제2 비디오 프로그램에서 관심 영역이 식별된다(11). 제1 비디오 프로그램, 및 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 정보가 디스플레이에 제공되는 한편(12), 제2 비디오 프로그램의 적어도 일부가 기록된다(13). 관심 영역의 적어도 일부에 대응하는 제공된 정보의 변화에 응답하여, 기록된 제2 비디오 프로그램의 적어도 일부가 검색되고(14), 디스플레이에 제공된다(15).

Description

비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법 및 장치{METHOD AND APPARATUS FOR SIMULTANEOUSLY DISPLAYING AND SUPERVISING VIDEO PROGRAMS}
본 발명은 비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법 및 장치에 관한 것이다. 보다 구체적으로는, 본 발명은 하나의 비디오 프로그램을 감독 및 재생하는 동안 다른 비디오 프로그램을 디스플레이하는 것에 관한 것이다.
멀티미디어 신호 처리 및 송신 기술의 빠른 개발에 따라, 오늘날 사용자 장비 디바이스들은 다수의 디지털 또는 아날로그 튜너를 지원하여, 하나보다 많은 채널 또는 미디어 콘텐츠가 동시에 튜닝, 디스플레이 및/또는 기록되는 것을 허용할 수 있다. 더욱이, 디스플레이의 픽처-인-픽처(Picture-in-Picture)(PIP) 피처는 시청자가 주요 미디어 채널을 시청하면서, 주요 미디어 콘텐츠를 오버레이하는 더 작은 윈도우 내에 디스플레이되는 다른 미디어 프로그램을 모니터링하는 것을 허용한다. 이제, PIP 디스플레이 및 다수의 미디어 채널 간의 교환 가능성으로 인해, 시청자가 여러 개의 미디어 채널을 동시에 시청하고 팔로잉하는 것이 더 쉽고 더 편리하다.
그러나, PIP 디스플레이에 대한 중대한 문제가 존재한다. 더 작은 윈도우 내에 디스플레이되는 미디어 프로그램의 직접 해상도 감소는 미디어 콘텐츠의 상세 비전의 손실을 유발한다. 손실은 시청자가 가장 또는 심지어는 유일하게 관심을 갖는 특정 콘텐츠를 포함하는 미디어 프로그램에 대해 특히 심각하다. 예를 들어, PIP 디스플레이에서 스포팅 이벤트를 모니터링하면서 다른 주요 미디어 프로그램을 시청하기를 원하는 시청자의 경우, 시청자는 스코어링 이벤트의 스코어들의 변화들에만 관심을 가질 수 있다. 명료화를 위해 PIP 프로그램의 관심 영역, 예를 들어 스포팅 이벤트의 스코어 영역만이 PIP 디스플레이 내에 디스플레이 및 확대되는 것이 바람직할 것이다. 특정 이벤트 또는 스코어 영역의 디스플레이가 추가적인 데이터 서비스에 의해 모니터링 및 제공될 가능성이 존재한다. 텍스트 포맷 또는 이미지 포맷의 특정 이벤트들의 데이터는 외부 데이터 서비스에 의해 수집되고, 디스플레이를 위해 PIP 디스플레이 및 사용자 장비 디바이스로 직접 송신된다. 그럼에도 불구하고, 그에 따라, 모니터링되는 특정 이벤트들은 외부 서비스 센터에 의해 제한된다. 게다가, 시청자는 PIP 프로그램으로부터 그 자신의 관심 영역을 임의로 정의 및 선택할 수 없다.
이벤트 발생 직후의 PIP 프로그램의 즉각적인 재생은 다중 미디어 시청 경험을 위한 다른 바람직한 개선이다. 그러한 피처는 스포팅 및 엔터테인먼트 이벤트들에 대해 특히 유용하다. 통상적으로, 다수의 미디어 프로그램 간의 스위칭은 시청자에 의해 사용자 입력을 통해 제어 및 트리거링되지만, 이는 항상 효율적이지는 않으며, 시청자에게 귀찮을 수 있다. 더 쉽고 더 효율적인 방식으로 즉각적인 재생을 제공할 수 있는 방법들 및 시스템이 필요하다.
따라서, 본 발명의 목적은 다중 미디어 시청 경험을 위한 개선된 해결책을 제안하는 것이다. 더 구체적으로, 본 발명은 사용자-지향 특정 이벤트를 모니터링 및 재생할 가능성을 동반하는 비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법들 및 시스템들을 제공한다.
본 발명의 제1 양태에 따르면, 제1 비디오 프로그램을 디스플레이하는 동시에 제2 비디오 프로그램을 감독하기 위한 방법은 적어도 하나의 비디오 신호를 수신하고, 적어도 하나의 비디오 신호로부터 제1 비디오 프로그램 및 제2 비디오 프로그램을 추출하는 단계; 제2 비디오 프로그램에서 관심 영역을 식별하는 단계; 제1 비디오 프로그램, 및 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 정보를 디스플레이에 제공하는 단계; 제2 비디오 프로그램을 기록하는 단계; 관심 영역의 적어도 일부에 대응하는 제공된 정보의 변화에 응답하여, 기록된 제2 비디오 프로그램의 적어도 일부를 검색하는 단계; 및 제2 비디오 프로그램의 검색된 일부를 디스플레이에 제공하는 단계를 포함한다.
바람직하게, 제1 비디오 프로그램, 및 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 정보를 디스플레이에 제공하는 것은 픽처-인-픽처에 기초하여 이루어진다. 유사하게, 제2 비디오 프로그램의 검색된 일부를 디스플레이에 제공하는 것도 또한 픽처-인-픽처에 기초하여 이루어진다.
일 실시예에서, 기록된 제2 비디오 프로그램의 적어도 일부를 검색하여 디스플레이에 제공하는 것은 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 제공된 정보의 변화에 응답하여 사용자 입력의 수신 시에 개시된다.
다른 실시예에서, 제1 비디오 프로그램을 디스플레이에 제공하는 것은 실시간으로 이루어지고, 제2 비디오 프로그램의 기록은 시간-시프트 기록이며, 그에 의해 기록된 제2 비디오 프로그램의 적어도 일부를 검색하여 디스플레이에 제공하는 것은 지연된다. 더 구체적으로, 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 제공된 정보는 제공된 정보의 변화가 발생한 때 변화 시간을 기록하기 위해 분석된다. 제2 비디오 프로그램의 검색된 일부는 변화 시간보다 이른 시간부터 시작되는 재생을 위해 디스플레이에 제공된다.
추가 실시예에서, 제2 비디오 프로그램에서의 관심 영역의 식별은, 제2 비디오 프로그램에서 복수의 픽셀 포인트를 검출하고 이러한 픽셀 포인트들의 x 및 y 좌표들을 추출하는 단계를 포함한다. 구체적으로, 식별은 픽셀 포인트들의 SIFT, OpponentSIFT 및/또는 SURF 피처들을 분석하는 단계를 포함한다.
본 발명의 제2 양태에 따르면, 제1 비디오 프로그램을 디스플레이하는 동시에 제2 비디오 프로그램을 감독하도록 구성된 장치는 적어도 하나의 비디오 신호를 수신하고, 적어도 하나의 비디오 신호로부터 제1 비디오 프로그램 및 제2 비디오 프로그램을 추출하기 위한 수신 유닛; 제2 비디오 프로그램을 기록하기 위한 기록 유닛; 제2 비디오 프로그램에서 관심 영역을 식별하고, 기록된 제2 비디오 프로그램의 적어도 일부를 검색하기 위한 제어 유닛; 및 제1 비디오 프로그램, 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 정보, 및 제2 비디오 프로그램의 검색된 일부를 디스플레이에 제공하기 위한 처리 유닛을 포함하고, 제어 유닛은, 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 제공된 정보의 변화에 응답하여, 기록된 제2 비디오 프로그램의 적어도 일부를 검색한다.
이제, 더 나은 이해를 위해, 본 발명은 도면들을 참조하여 아래의 설명에서 더 상세히 설명될 것이다. 본 발명은 이러한 개시되는 예시적인 실시예들로 한정되지 않으며, 특정된 피처들은 첨부된 청구항들에서 정의되는 바와 같은 본 발명의 범위로부터 벗어나지 않고서 편의상 결합되고/되거나 수정될 수도 있다는 것을 이해한다.
도 1은 본 발명에 따른 방법을 구현하는 장치를 나타내는 개략도이다.
도 2는 본 발명에 따른 제1 비디오 프로그램을 디스플레이하는 동시에 제2 비디오 프로그램을 감독하기 위한 방법을 나타내는 흐름도이다.
도 1은 제1 비디오 프로그램을 디스플레이하는 동시에 제2 비디오 프로그램을 감독하도록 구성되는 본 발명의 장치(2)에 대한 일 실시예를 나타낸다. 장치(2)는 적어도 하나의 비디오 신호를 수신하고, 적어도 하나의 비디오 신호로부터 적어도 제1 비디오 프로그램 및 제2 비디오 프로그램을 추출하기 위한 수신 유닛(20), 제1 비디오 프로그램 및 제2 비디오 프로그램 중 적어도 하나를 기록하기 위한 기록 유닛(21), 제어 유닛(22) 및 처리 유닛(23)을 포함한다. 예를 들어, 장치(2)는 비디오 신호들을 수신 및 송신할 수 있는 셋톱 박스 또는 유사한 외부 디바이스들일 수 있다. 대안으로서, 장치(2)는 TV 세트 내에 통합된 디바이스일 수도 있다. 수신 유닛(20)은 적어도 하나의 비디오 신호를 각자 수신하는 하나 또는 다수의 튜너를 포함할 수 있다. 기록 유닛(21)은 RAM, ROM, 하드 디스크들, 해시디스크(hashdisk) 및 하이브리드 타입의 메모리를 포함하는 메모리일 수 있다. 바람직하게, 기록 유닛(21)은 적어도 하나의 비디오 신호로부터 추출된 적어도 하나의 비디오 프로그램을 시간-시프트 기록하기 위해 수신 유닛(20) 내의 대응하는 튜너와 관련된 원형 버퍼를 적어도 포함한다. 선택 사항으로서, 장치(2)는 수신 유닛(20)과 기록 유닛(21) 사이에 디코더들(24, 25) 또는 유사한 디바이스들을 더 포함한다. 셋톱 박스의 예에서와 같이, 디코더들(24, 25)은 튜너들과 원형 버퍼들 사이에 배치되고, 따라서 그들에 접속될 수 있다.
제어 유닛(22)은, 적어도 하나의 비디오 신호를 수신하고 비디오 프로그램들을 추출하도록 수신 유닛(20)에 요청하는 것, 및 비디오 프로그램들을 기록하도록 기록 유닛(21)에 요청하는 것과 같이, 장치(2) 내의 다양한 디바이스들을 관리하는 데 사용된다. 제어 유닛(22)은 사용자 입력을 수신 및 송신하기 위한 사용자 입력 유닛(도시되지 않음)을 더 포함할 수 있다. 대안으로서, 사용자 입력 유닛은 제어 유닛(22)과 별개로 배열될 수 있다. 예를 들어, 사용자 입력 유닛은 사용자가 입력을 입력할 수 있는 원격 제어 디바이스일 수 있다. 처리 유닛(23)은 비디오 프로그램들 및 그들에 대한 정보를 디스플레이(3)에 제공하며, 예를 들어 다중화기 또는 유사한 디바이스일 수 있다. 바람직하게, 디스플레이(3)는 풀 메인 스크린 상에서 하나의 비디오 프로그램을 시청하는 동시에 픽처-인-픽처(PIP) 디스플레이(4)로서 삽입된 윈도우 내에 다른 프로그램을 디스플레이하는 것을 허용한다. 장치(2)의 도움으로, 비디오 프로그램들을 포함하는 적어도 하나의 비디오 신호가 수신되고, 디스플레이를 위해 그에 접속된 디스플레이(3)로 송신될 수 있다.
본 발명의 방법을 구현하는 장치(2)에 의해 수신되는 비디오 신호들의 양은 제한되지 않는다는 것을 이해해야 한다. 유사하게, 적어도 하나의 비디오 신호 내에 포함되는 비디오 프로그램들의 양도 제한되지 않는다. 적어도 하나의 비디오 신호는 예를 들어 텔레비전 안테나와 같은 RF 신호의 소스, 케이블, 마이크로파, 광섬유, 위성 텔레비전 시스템으로부터의 입력 등으로부터 올 수 있다. 대안으로서, 비디오 신호들은 DVD 또는 블루레이 플레이어 디바이스, VCR, 컴퓨터 등과 같은 보조 소스로부터 제공될 수 있다. 적어도 제1 비디오 프로그램 및 제2 비디오 프로그램은 동일하거나 상이한 비디오 신호들로부터 올 수 있다. 즉, 각각의 개별 비디오 프로그램은 적어도 하나의 비디오 신호로부터 독립적으로 추출된다. 따라서, 전술한 장치(2)의 구성은 다수의 비디오 신호를 수신하고 다수의 비디오 프로그램을 추출하도록 유연하고 조정 가능하다. 셋톱 박스의 경우에, 장치(2)는 다수의 튜너 및 원형 버퍼는 물론, 본 발명의 방법의 구현을 위한 임의의 추가 또는 대안 디바이스들도 포함할 수 있다. 구체적으로, 장치(2)는 수신 유닛(20)에서 또는 임의의 다른 타입의 신호 소스로부터 비디오 신호들을 수신하고, 비디오 신호들로부터 비디오 프로그램들을 추출할 수 있다. 예를 들어, 제1 비디오 프로그램은 튜너에서 수신된 비디오 신호로부터 추출될 수 있고, 제2 비디오 프로그램은 DVD 플레이어로부터 제공될 수 있다. 대안으로서, 양 비디오 프로그램은 동일한 비디오 신호로부터 올 수 있다.
도 2에 도시된 바와 같이, 본 발명에 따른 방법의 바람직한 실시예는 적어도 하나의 비디오 신호를 수신하고(10), 적어도 하나의 비디오 신호로부터 제1 비디오 프로그램 및 제2 비디오 프로그램을 추출하는 단계; 제2 비디오 프로그램에서 관심 영역을 식별하는 단계(11); 제1 비디오 프로그램, 및 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 정보를 디스플레이에 제공하는 단계(12); 제2 비디오 프로그램을 기록하는 단계(13); 관심 영역의 적어도 일부에 대응하는 제공된 정보의 변화에 응답하여, 기록된 제2 비디오 프로그램의 적어도 일부를 검색하는 단계(14); 및 제2 비디오 프로그램의 검색된 일부를 디스플레이에 제공하는 단계(15)를 포함한다.
도 1을 참조하면, 본 발명의 방법은 셋톱 박스로서 장치(2)의 바람직한 실시예와 관련하여 더 설명될 것이다. 수신 유닛(20)의 2개의 튜너 각각은 적어도 하나의 비디오 신호로부터 추출된 제1 비디오 프로그램 및 제2 비디오 프로그램을 수신하고, 대응하는 디코더들(24, 25)로 송신한다. 기록 유닛(21) 내에 하나의 원형 버퍼만이 존재하는 경우, 제1 비디오 프로그램이 처리 유닛(23)으로 직접 송신된 후에 디스플레이를 위해 디스플레이(3)에 제공될 것이다. 제2 비디오 프로그램은 대응하는 디코더를 통해 원형 버퍼로 송신되어 그 안에 저장될 것이다. 선택 사항으로서, 기록 유닛(21) 내에 2개의 원형 버퍼가 존재하는 경우, 제1 비디오 프로그램 및 제2 비디오 프로그램 양자는 기록 유닛(21) 내에 저장될 수 있다.
제어 유닛(22)은 제2 비디오 프로그램에서 관심 영역을 식별한다. 여기서, 관심 영역(region-of-interest)(ROI)은 사용자가 가장 관심을 갖거나 스크린 또는 제2 비디오 프로그램의 프레임 상의 다른 영역들보다 많이 주목하는 영역을 말한다. 예를 들어, ROI는 스포팅 이벤트의 스코어 영역 또는 주식 시세표 내에 표시된 특정 주식일 수 있다. ROI의 식별은 사용자 요청에 의해 또는 미리 결정된 조건들을 제공받는 장치(2)에 의해 자동으로 달성될 수 있다. ROI가 식별되면, ROI의 적어도 일부에 대응하는 정보가 분석되고, 처리 유닛(23)에 제공된다. 정보는 텍스트, 이미지, 픽셀 포인트, 또는 임의의 다른 형태의 정보일 수 있다. 이어서, 정보는 처리 유닛(23)을 통해 디스플레이에 제공된다. 예를 들어, ROI가 스포팅 이벤트의 스코어 영역이고, 이 영역이 픽셀 이미지이고, 배경 이미지 및 스코어들을 나타내기 위해 정면에 표시된 숫자들을 포함하는 경우, 이러한 ROI의 정보는 단지 숫자들에 대응하는 픽셀 포인트들일 수 있다. 대안으로서, 정보는 숫자들 및 배경 이미지를 포함하는 ROI의 전체 이미지를 지칭할 수도 있다. 바람직하게, 제2 비디오 프로그램의 ROI의 적어도 일부에 대응하는 이러한 정보는 PIP 디스플레이(4) 상에 디스플레이되는 한편, 디스플레이(3)는 ROI의 분석 및 추출 없이 디스플레이로 직접 송신되는 제1 비디오 프로그램을 디스플레이한다. 물론, 제1 비디오 프로그램, 및 제2 비디오 프로그램의 ROI의 적어도 일부에 대응하는 정보에 대한 디스플레이는 그 반대일 수도 있다.
제1 비디오 프로그램, 및 제2 비디오 프로그램의 ROI의 적어도 일부에 대응하는 정보가 디스플레이(3)에 의해 디스플레이되는 동안, ROI의 정보가 계속 분석된다. 이와 동시에, 제2 비디오 프로그램은 기록 유닛(21)에 의해 기록된다. 제2 비디오 프로그램의 적어도 일부의 기록은 기록 유닛(21)의 원형 버퍼 내의 시간-시프트 기록인 것이 바람직하다. 즉, 제1 비디오 프로그램은 실시간으로 디스플레이(3)에 제공되고, 제2 비디오 프로그램은 원형 버퍼 내에 시간-시프트 기록되며, 따라서 제2 비디오 프로그램의 적어도 일부의 후속 검색 및 디스플레이로의 제공이 지연된다.
제공된 정보의 변화가 검출되면, 원형 버퍼 내에 저장된 제2 비디오 프로그램의 적어도 일부의 검색 및 디스플레이로의 제공이 장치(2)의 제어 유닛(23)에 의해 자동으로 또는 사용자 입력 유닛을 통한 사용자 입력의 수신 시에 개시된다. 이어서, 제2 비디오 프로그램의 검색된 일부는 처리 유닛(23)을 통해 재생을 위해 디스플레이에 제공된다. 바람직하게, 제2 비디오 프로그램의 검색된 일부는 제2 비디오 프로그램의 ROI의 적어도 일부에 대응하는 정보가 또한 제공되는 PIP(4)로서 디스플레이된다. 바람직하게, 제2 비디오 프로그램의 관심 영역의 적어도 일부에 대응하는 제공된 정보는 정보의 변화가 발생한 때 변화 시간을 기록하기 위해 분석된다. 따라서, 제2 비디오 프로그램의 검색된 일부의 재생은 기록된 변화 시간보다 이른 시간에 시작된다. 예를 들어, 정보의 변화가 비디오 프로그램의 30분에서 발생하는 경우, 비디오 프로그램의 검색된 일부의 재생은 그의 27분 또는 28분에서 시작될 수 있다. 기록 유닛(21)의 원형 버퍼의 크기는 검색 및 재시청될 이미지 크기 및 비디오 시퀀스 지속기간에 의존한다.
일 실시예에서, 제1 비디오 프로그램은 뉴스 또는 영화와 같은 TV 채널일 수 있으며, 제2 비디오 프로그램은 시청자에 대한 ROI가 스코어 영역일 수 있는 스포팅 이벤트이다. 2개의 비디오 프로그램의 수신에 이어서, 제1 비디오 프로그램은 디스플레이(3)로 직접 송신되며, 스포팅 이벤트는 기록 유닛(21) 내에 버퍼링 및 저장된다. 전술한 바와 같이 스코어 숫자들일 수 있는 스포팅 이벤트의 스코어 영역의 적어도 일부에 대응하는 정보는 디스플레이를 위해 PIP 디스플레이(4)로 송신된다. 즉, 시청자는 디스플레이(3) 상에서 주요 TV 채널을 시청하는 동시에, PIP 디스플레이(4) 상에서 스포팅 이벤트의 스코어들을 감독할 수 있다.
스포팅 이벤트의 스코어들, 즉 제2 비디오 프로그램에 대응하는 정보는 장치(2)에 의해 계속 감독 및 분석된다. 스코어들에 대한 변화가 존재하면, 저장된 스포팅 이벤트의 검색이 트리거링된다. 스포팅 이벤트의 일부가 제어 유닛(22) 및 처리 유닛(23)에 의해 검색되고, PIP 디스플레이(4) 상에서 재생된다. 이러한 재생은 장치(2)에 의해 자동으로 또는 시청자가 스코어들의 변화에 의해 경고될 때 사용자 입력에 의해 개시될 수 있다. 스코어들의 변화 시간이 기록되며, 스포팅 이벤트의 재생이 변화 시간보다 이른 미리 결정된 시간에 시작될 수 있다. 즉, 시청자는 스코어가 변화하기 직전의 스코어링의 가장 중요한 기간을 재시청할 수 있다.
제2 비디오 프로그램 내의 ROI의 식별에 대한 일례는 복수의 픽셀 포인트를 검출하고, 픽셀 포인트들의 x 및 y 좌표들을 추출하는 것을 포함한다. 구체적으로, ROI의 식별은 픽셀 포인트들의 SIFT, OpponentSIFT 및/또는 SURF 피처들을 분석함으로써 수행되는 광학 문자 인식에 기초한다. SIFT는 이미지들 내의 국지적 피처들을 검출 및 기술하기 위한 강건한 계산이며, 이는 통상의 기술자에게 알려진 기술이고, 여기서는 그의 상세가 생략된다.
일 실시예에서, SIFT 기술의 검출 단계는 본 발명에 따른 제2 비디오 프로그램 내의 ROI의 식별을 위해 사용된다. 이것은 제2 비디오 프로그램의 복수의 연속 프레임에서 픽셀 포인트들을 검출하고, 프레임들 사이에서 픽셀 포인트들의 기술자들(descriptors), 예를 들어 x 및 y 좌표들을 비교하고, 프레임별로 히스토그램을 통해 기술자들을 누산하여 특정 픽셀 포인트들을 식별함으로써 달성된다. 예를 들어, 스포팅 이벤트의 스코어 영역에 적용될 때, 히스토그램의 빈들(bins)은 스코어들의 수에 대응하는 픽셀 포인트들을 지시할 것인데, 그 이유는 스코어 영역이 비디오 프로그램의 프레임들 내의 비교적 정적인 영역이기 때문이다. 따라서, 쉽고 편리한 기술인 누산된 히스토그램의 분석은 시청자가 가장 관심을 갖는 영역에 대응하는 픽셀 포인트들의 위치의 추출을 도울 수 있다. SIFT 기술의 식별 결과는 다른 기술들보다 더 강건하고 정확하다.
오늘날, 미디어 시청자가 많은 정보를 동시에 획득하는 것이 일반적으로 본질적이다. 전술한 본 발명의 방법에 따르면, 시청자는 비디오 프로그램을 시청하는 동시에 다른 비디오 프로그램을 감독할 수 있다. 비디오 프로그램의 ROI를 식별하고, 그에 대응하는 정보를 디스플레이함으로써, 시청자는 제1 비디오 프로그램을 시청하면서 제2 비디오 프로그램에 대한 가장 관심 있는 정보에 집중할 수 있다. 이것은 제2 비디오 프로그램의 ROI가 PIP 모드로 디스플레이될 때 특히 중요하고 귀중하다. ROI만이 디스플레이되므로, 제2 비디오 프로그램의 ROI의 해상도가 증가하는데, 이는 비디오 프로그램이 그의 원래의 전체 이미지로 디스플레이되는 경우에는 그렇지 않을 것이다. 게다가, 기록된 제2 비디오 프로그램의 일부를 재생할 가능성은 또한, 특히 재생이 가장 관심 있는 정보의 변화에 대응하여 개시될 때 시청 경험을 개선한다. 따라서, 시청자는 다른 비디오 프로그램에 대한 중요한 정보의 손실 없이 주요 비디오 프로그램의 시청을 끝낼 수 있다.

Claims (13)

  1. 제1 비디오 프로그램을 디스플레이하는 동시에 제2 비디오 프로그램을 감독하기 위해 수신기에서 구현되는 방법으로서,
    제1 비디오 프로그램 및 제2 비디오 프로그램을 수신하는 단계(10);
    상기 제2 비디오 프로그램에서 관심 영역을 식별하는 단계(11);
    상기 제1 비디오 프로그램, 및 상기 제2 비디오 프로그램의 상기 관심 영역의 적어도 일부에 대응하는 정보를 디스플레이에 제공하는 단계(12);
    상기 제2 비디오 프로그램을 기록하는 단계(13);
    상기 관심 영역의 적어도 일부에 대응하는 상기 제공된 정보의 변화에 응답하여, 상기 기록된 제2 비디오 프로그램의 적어도 일부를 검색하는 단계(14); 및
    상기 제2 비디오 프로그램의 상기 검색된 일부를 디스플레이에 제공하는 단계(15)
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 비디오 프로그램, 및 상기 제2 비디오 프로그램의 상기 관심 영역의 적어도 일부에 대응하는 정보를 디스플레이에 제공하는 단계(12)는 픽처-인-픽처(picture-in-picture)에 기초하여 이루어지는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 기록된 제2 비디오 프로그램의 적어도 일부를 검색하는 단계(14) 및 디스플레이에 제공하는 단계(15)는, 상기 관심 영역의 적어도 일부에 대응하는 상기 제공된 정보의 변화에 응답하여 사용자 입력의 수신 시에 개시되는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 비디오 프로그램을 디스플레이에 제공하는 단계(12)는 실시간으로 이루어지고, 상기 제2 비디오 프로그램을 기록하는 단계(13)는 시간-시프트 기록이며, 그에 의해 상기 기록된 제2 비디오 프로그램의 적어도 일부를 검색하는 단계(14) 및 디스플레이에 제공하는 단계(15)는 지연되는 방법.
  5. 제4항에 있어서,
    상기 제공된 정보의 변화가 발생한 때 변화 시간을 기록하기 위해 상기 제2 비디오 프로그램의 상기 관심 영역의 적어도 일부에 대응하는 정보를 분석하는 단계를 더 포함하고, 상기 제2 비디오 프로그램의 상기 검색된 일부는 상기 변화 시간보다 이른 시간부터 시작되는 재생을 위해 디스플레이에 제공되는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제2 비디오 프로그램에서 관심 영역을 식별하는 단계(11)는, 상기 제2 비디오 프로그램에서 복수의 픽셀 포인트를 검출하고 상기 픽셀 포인트들의 x 및 y 좌표들을 추출하는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 제2 비디오 프로그램에서 관심 영역을 식별하는 단계(11)는 상기 픽셀 포인트들의 SIFT, OpponentSIFT 및/또는 SURF 피처들을 분석하는 단계를 포함하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제2 비디오 프로그램의 상기 검색된 일부를 디스플레이에 제공하는 단계(15)는 픽처-인-픽처에 기초하여 이루어지는 방법.
  9. 제1 비디오 프로그램을 디스플레이하는 동시에 제2 비디오 프로그램을 감독하도록 구성된 장치(2)로서,
    제1 비디오 프로그램 및 제2 비디오 프로그램을 수신하기 위한 수신 유닛(20);
    상기 제2 비디오 프로그램을 기록하기 위한 기록 유닛(21);
    상기 제2 비디오 프로그램에서 관심 영역을 식별하고, 상기 기록된 제2 비디오 프로그램의 적어도 일부를 검색하기 위한 제어 유닛(22); 및
    상기 제1 비디오 프로그램, 상기 제2 비디오 프로그램의 상기 관심 영역의 적어도 일부에 대응하는 정보, 및 상기 제2 비디오 프로그램의 상기 검색된 일부를 디스플레이(3)에 제공하기 위한 처리 유닛(23)
    을 포함하고,
    상기 제어 유닛(22)은, 상기 제2 비디오 프로그램의 상기 관심 영역의 적어도 일부에 대응하는 상기 제공된 정보의 변화에 응답하여, 상기 기록된 제2 비디오 프로그램의 적어도 일부를 검색하는 장치.
  10. 제9항에 있어서,
    사용자 입력을 수신 및 송신하기 위한 입력 유닛을 더 포함하고, 상기 제어 유닛(22)은, 상기 관심 영역의 적어도 일부에 대응하는 상기 제공된 정보의 변화에 응답하여, 사용자 입력의 수신 시에 상기 기록된 제2 비디오 프로그램의 적어도 일부를 검색하는 장치.
  11. 제9항 또는 제10항에 있어서,
    상기 기록 유닛(21)은, 상기 제2 비디오 프로그램의 기록이 시간-시프트 기록이 되도록 원형 버퍼(circular buffer)를 포함하는 장치.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 제어 유닛(22)은 상기 제공된 정보의 변화가 발생한 때 변화 시간을 기록하기 위해 상기 제2 비디오 프로그램의 상기 관심 영역의 적어도 일부에 대응하는 정보를 분석하고, 상기 처리 유닛(23)은 상기 변화 시간보다 이른 시간부터 시작되는 재생을 위해 상기 제2 비디오 프로그램의 상기 검색된 일부를 디스플레이(3)에 제공하는 장치.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 제어 유닛(22)은, 상기 제2 비디오 프로그램에서 복수의 픽셀 포인트를 검출하고 상기 픽셀 포인트들의 x 및 y 좌표들을 추출함으로써, 상기 제2 비디오 프로그램에서 관심 영역을 식별하는 장치.
KR1020167008162A 2013-09-30 2014-09-18 비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법 및 장치 KR20160071372A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306350.3A EP2854410A1 (en) 2013-09-30 2013-09-30 Method and apparatus for simultaneously displaying and supervising video programs
EP13306350.3 2013-09-30
PCT/EP2014/069926 WO2015044033A1 (en) 2013-09-30 2014-09-18 Method and apparatus for simultaneously displaying and supervising video programs

Publications (1)

Publication Number Publication Date
KR20160071372A true KR20160071372A (ko) 2016-06-21

Family

ID=49378206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167008162A KR20160071372A (ko) 2013-09-30 2014-09-18 비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20160241908A1 (ko)
EP (2) EP2854410A1 (ko)
JP (1) JP2016536834A (ko)
KR (1) KR20160071372A (ko)
CN (1) CN105532011A (ko)
WO (1) WO2015044033A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2952696A1 (en) 2013-06-15 2014-12-18 The SuperGroup Creative Omnimedia, Inc. Method and apparatus for interactive two-way visualization using simultaneously recorded and projected video streams
US9819903B2 (en) 2015-06-05 2017-11-14 The SuperGroup Creative Omnimedia, Inc. Imaging and display system and method
CN105872719A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 视频回看信息处理方法及装置
EP3940687A4 (en) * 2019-03-12 2022-05-04 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN110136253B (zh) * 2019-05-22 2022-08-23 珠海横琴圣澳云智科技有限公司 一种结节三维立体展示装置及设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073711A (ko) * 2000-01-19 2001-08-01 구자홍 Ｐｉｐ 형태의 타임 시프팅 지원 방법
US20060200842A1 (en) * 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts
US20080107396A1 (en) * 2006-11-08 2008-05-08 Tsung-Ning Chung Systems and methods for playing back data from a circular buffer by utilizing embedded timestamp information
TW200824451A (en) * 2006-11-27 2008-06-01 Cyberlink Corp Method and related system capable of notifying and buffering predetermined events in a program
US8566075B1 (en) * 2007-05-31 2013-10-22 PPR Direct Apparatuses, methods and systems for a text-to-sign language translation platform
US9848157B2 (en) * 2007-08-28 2017-12-19 Cable Television Laboratories, Inc. Method of automatically switching television channels
US8490124B2 (en) * 2008-05-29 2013-07-16 Qualcomm Incorporated Method and apparatus for improving performance and user experience of a mobile broadcast receiver
US20100239222A1 (en) * 2009-03-20 2010-09-23 International Business Machines Corporation Digital video recorder broadcast overlays
US8606090B2 (en) * 2011-03-17 2013-12-10 Sony Corporation Sport program chaptering
CA2841565C (en) * 2011-07-21 2019-10-29 Sirius Xm Radio Inc. Method and apparatus for delivery of programs and metadata to provide user alerts to tune to corresponding program channels before high interest events occur during playback of programs
KR20130037998A (ko) * 2011-10-07 2013-04-17 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US20130136411A1 (en) * 2011-11-28 2013-05-30 Microsoft Corporation Time-shifted content channels
US8629939B1 (en) * 2012-11-05 2014-01-14 Lsi Corporation Television ticker overlay
US9451202B2 (en) * 2012-12-27 2016-09-20 Echostar Technologies L.L.C. Content-based highlight recording of television programming

Also Published As

Publication number Publication date
CN105532011A (zh) 2016-04-27
EP3053345A1 (en) 2016-08-10
US20160241908A1 (en) 2016-08-18
JP2016536834A (ja) 2016-11-24
WO2015044033A1 (en) 2015-04-02
EP2854410A1 (en) 2015-04-01

Similar Documents

Publication Publication Date Title
US9900663B2 (en) Display apparatus and control method thereof
US8214368B2 (en) Device, method, and computer-readable recording medium for notifying content scene appearance
KR101419937B1 (ko) 기호 추출 장치, 기호 추출 방법 및 기호 추출 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
KR100659882B1 (ko) 디지털 방송 시스템의 방송 녹화 장치 및 방송 검색 장치
US9451202B2 (en) Content-based highlight recording of television programming
US20160261929A1 (en) Broadcast receiving apparatus and method and controller for providing summary content service
EP1827018B1 (en) Video content reproduction supporting method, video content reproduction supporting system, and information delivery program
KR100865042B1 (ko) 비디오 프로그램의 멀티미디어 설명 데이터를 생성하는 시스템 및 방법, 비디오 디스플레이 시스템, 및 컴퓨터 판독 가능 기록 매체
US20070040936A1 (en) Method of searching scenes recorded in PVR and television receiver using the same
KR101246917B1 (ko) 미디어 재생 시스템의 사용자 간에 정보를 공유하는 방법및 시스템
KR20160071372A (ko) 비디오 프로그램들을 동시에 디스플레이 및 감독하기 위한 방법 및 장치
KR100975327B1 (ko) 프레임의 특정 방법
US8839318B2 (en) Apparatus, systems and methods for quick speed presentation of media content
EP1746822A1 (en) Image processing apparatus, image processing method, and image processing program
KR100731379B1 (ko) 영상표시기기의 녹화정보 처리장치 및 방법
US20150341694A1 (en) Method And Apparatus For Using Contextual Content Augmentation To Provide Information On Recent Events In A Media Program
US20100097522A1 (en) Receiving device, display controlling method, and program
US20080131077A1 (en) Method and Apparatus for Skipping Commercials
US8934756B2 (en) Reproducing apparatus and control method thereof
KR101233167B1 (ko) 녹화물 표시 장치 및 방법
KR20150065490A (ko) 이슈워칭 멀티뷰 시스템
EP3136394A1 (en) A method for selecting a language for a playback of video, corresponding apparatus and non-transitory program storage device
JP2014207619A (ja) 録画再生装置、及び録画再生装置の制御方法
KR20080037417A (ko) 방송 수신기 및 녹화목록 관리 방법
KR20050054937A (ko) 시청각 데이터 스트림을 메모리에 저장하는 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid