KR100782835B1 - 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치 - Google Patents

캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치 Download PDF

Info

Publication number
KR100782835B1
KR100782835B1 KR1020060007259A KR20060007259A KR100782835B1 KR 100782835 B1 KR100782835 B1 KR 100782835B1 KR 1020060007259 A KR1020060007259 A KR 1020060007259A KR 20060007259 A KR20060007259 A KR 20060007259A KR 100782835 B1 KR100782835 B1 KR 100782835B1
Authority
KR
South Korea
Prior art keywords
video
caption
output
audio
caption information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020060007259A
Other languages
English (en)
Other versions
KR20060087421A (ko
Inventor
임동근
김태희
이병기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20060087421A publication Critical patent/KR20060087421A/ko
Application granted granted Critical
Publication of KR100782835B1 publication Critical patent/KR100782835B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23B—PRESERVATION OF FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES; CHEMICAL RIPENING OF FRUIT OR VEGETABLES
    • A23B9/00—Preservation of edible seeds, e.g. cereals
    • A23B9/08—Drying; Subsequent reconstitution
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F26—DRYING
    • F26B—DRYING SOLID MATERIALS OR OBJECTS BY REMOVING LIQUID THEREFROM
    • F26B25/00—Details of general application not covered by group F26B21/00 or F26B23/00
    • F26B25/005—Treatment of dryer exhaust gases
    • F26B25/007—Dust filtering; Exhaust dust filters
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F26—DRYING
    • F26B—DRYING SOLID MATERIALS OR OBJECTS BY REMOVING LIQUID THEREFROM
    • F26B3/00—Drying solid materials or objects by processes involving the application of heat
    • F26B3/02—Drying solid materials or objects by processes involving the application of heat by convection, i.e. heat being conveyed from a heat source to the materials or objects to be dried by a gas or vapour, e.g. air
    • F26B3/04—Drying solid materials or objects by processes involving the application of heat by convection, i.e. heat being conveyed from a heat source to the materials or objects to be dried by a gas or vapour, e.g. air the gas or vapour circulating over or surrounding the materials or objects to be dried
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Microbiology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Chemical & Material Sciences (AREA)
  • Food Science & Technology (AREA)
  • Polymers & Plastics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 사용자의 입력에 따라 수신된 방송용 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 임의로 조절하는 방법 및 그 장치에 관한 것이다. 본 발명에 따른 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방법은, 사용자 인터페이스를 통해 사용자로부터 캡션 정보의 출력시점을 조절할 시간 값을 입력받는 단계; 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고 각 패킷들을 디코딩하여 각 버퍼에 저장하는 단계; 입력받은 시간 값을 비디오 또는 오디오 패킷에 포함된 출력시점에 가감하여 캡션 정보의 출력시점을 재 설정하는 단계; 및 재 설정된 캡션 정보의 출력시점에 따라 버퍼에 저장된 데이터를 비디오에 블랜드하여 화면에 출력하는 단계를 포함하는 것을 특징으로 한다. 이에 따라, 캡션 정보를 비디오나 오디오에 동기화시켜 출력하거나, 출력시점을 당기거나 늦추어 출력할 수 있다.

Description

캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법 및 그 장치{A method of controlling presentation time and output priority of caption information and an apparatus thereof}
도 1은 본 발명에 따른 멀티미디어 전송 스트림을 다중화/역다중화하는 과정을 나타내는 도면,
도 2는 본 발명에 따른 캡션 정보의 출력시점을 조절하는 멀티미디어 장치(1)의 블록도,
도 3은 본 발명에 따른 멀티미디어 전송 스트림의 일 실시예,
도 4는 본 발명의 일 실시예로서, 도 3에 도시된 멀티미디어 전송 스트림을 디코딩하여 출력하는 과정을 나타내는 도면,
도 5는 본 발명에 따른 멀티미디어 전송 스트림의 다른 실시예,
도 6은 본 발명의 다른 실시예로서, 도 5에 도시된 멀티미디어 전송 스트림을 디코딩하여 출력하는 과정을 나타내는 도면,
도 7은 본 발명에 따른 캡션 정보의 출력시점을 조절하는 응용예,
도 8은 본 발명에 따른 캡션 정보의 출력시점을 조절하기 위한 사용자 인터페이스의 일 실시예,
도 9는 본 발명에 따른 캡션 정보의 출력시점을 조절하는 방법을 도시한 플 로차트.
도 10은 본 발명의 다른 실시예에 따른 캡션 정보의 출력시점을 조절하는 방법을 도시한 플로차트.
도 11은 본 발명의 또 다른 실시예에 따른 캡션 정보의 출력시점을 조절하는 방법을 도시한 플로차트.
도 12는 본 발명에 따른 캡션 정보의 출력 우선순위를 나타내는 캡션 출력 등급의 일례를 도시한 도면.
도 13은 본 발명에 따른 클라이언트별 캡션의 출력 등급, 사용자 지정 캡션 등급 및 화면에 제공되는 캡션 정보에 대한 테이블.
도 14는 본 발명에 따른 캡션 출력 우선순위 조절 장치의 구성을 나타내는 블록도.
도 15는 본 발명에 따른 캡션 출력 우선순위 조절 방법을 나타내는 플로차트.
본 발명은 방송용 멀티미디어 전송 스트림(Multimedia transport stream for broadcasting)의 재생에 관한 것으로, 보다 구체적으로는 수신된 방송용 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법 및 그 장치에 관한 것이다.
셋탑박스(STB))나 디지털 TV와 같은 방송 수신장치는 공중파 또는 위성을 통해 디지털 방송 신호를 수신한다. 디지털 방송신호는 비디오, 오디오 및 데이터를 MPEG(Moving Picture Experts Group) 표준에 따라 하나의 전송 스트림으로 다중화한 것을 말하며, 방송 수신장치에 패킷 단위로 수신된다. 특히 데이터 정보에는 비디오나 오디오와 함께 출력되는 자막, 문자방송, 광고 등의 부가 기능을 위한 캡션 정보(caption information)가 포함된다.
디지털 방송을 시청할 때, 캡션 정보는 여러 가지 부가 기능을 제공할 수 있다. 예를 들면, 외국어 방송의 경우 현재 출력되는 음성 내용이 해당 외국어 자막으로 표시될 수 있다. 이는 외국어를 공부하고자 하는 사용자를 위한 매우 편리한 기능이다. 또는 청각장애인을 위해 화면의 일부에 수화를 하는 화면을 담아서 표시하기도 하지만, 캡션 정보를 이용하여 자막으로 표시할 수도 있다.
이 때, 방송 수신장치에서 디코딩된 비디오 및 오디오는 각 비디오/오디오 패킷에 포함된 프레젠테이션 타임 스탬프(Presentation Time Stamp: 이하 PTS라 약칭함)를 이용하여 비디오 및 오디오의 출력시점을 동기화하여 출력한다. 그러나, 캡션 정보를 위한 데이터 패킷의 경우는 비디오 패킷이나 오디오 패킷에 비하여 늦게 수신되어 디코딩을 시작하므로 출력시점이 늦어져 종종 비디오 화면과 일치하지 않는 경우가 발생한다.
따라서, 비디오 및 오디오 데이터와 함께 캡션 정보를 포함하는 데이터를 정확하게 동기화하여 출력할 필요가 있다. 반면, 외국어 공부를 위해 오디오가 출력된 후 자막이 표시되도록 하거나 또는 자막이 먼저 표시된 후에 오디오가 출력되도 록 하기 위하여 사용자가 캡션 정보의 출력시점을 임의로 조절할 필요가 있는 경우도 있다.
한편, 디지털 방송 기술의 발전에 따라, 오디오와 함께 출력되는 자막, 문자방송, 광고 등의 캡션 정보가 동시에 제공될 수 있다. 동시에 여러 개의 캡션 정보가 사용자에게 제공될 때, 제공되는 방송 프로그램에 따라 캡션 정보가 겹쳐서 화면에 표시되어 캡션 정보를 원할하게 이용할 수 없는 문제점이 있다.
따라서, 전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는 비디오, 오디오 및 데이터가 모두 동기화되도록 수신된 방송용 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방법 및 그 장치를 제공하는 것이다.
또한, 본 발명의 다른 기술적 과제는 사용자의 입력에 따라 수신된 방송용 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 임의로 조절하는 방법 및 그 장치를 제공하는 것이다.
또한, 본 발명의 또 다른 기술적 과제는 사용자의 입력에 따라 수신된 방송용 멀티미디어 전송 스트림에 포함된 복수 개의 캡션 정보를 원하는 화면의 위치에 원하는 캡션 정보만을 표시할 수 있는 방법 및 그 장치를 제공하는 것이다.
본 발명에 따라 전술한 기술적 과제는, 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방법에 있어서, 사용자 인터페이스를 통해 사용자 로부터 캡션 정보의 출력시점을 조절할 시간 값을 입력받는 단계; 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고 각 패킷들을 디코딩하여 각 버퍼에 저장하는 단계; 입력받은 시간 값을 비디오 또는 오디오 패킷에 포함된 출력시점에 가감하여 캡션 정보의 출력시점을 재 설정하는 단계; 및 재 설정된 캡션 정보의 출력시점에 따라 버퍼에 저장된 데이터를 비디오에 블랜드하여 화면에 출력하는 단계를 포함하는 것을 특징으로 하는 방법에 의해 달성된다.
또한, 상기 입력하는 단계의 사용자 인터페이스는 리모콘, 방향키, 또는 조그셔틀을 포함하는 것이 바람직하다.
또한, 상기 입력받은 시간 값은 비디오 또는 오디오의 출력시점으로부터 가감되는 상대 값인 것이 바람직하다.
상기 버퍼는 데이터 버퍼를 포함하며, 비디오 버퍼 및/또는 오디오 버퍼를 더 포함하는 것이 바람직하다.
또한, 상기 출력시점은 프레젠테이션 타임스탬프(Presentation Timestamp)인 것이 바람직하다.
또한, 상기 멀티미디어 전송 스트림은 비디오, 오디오 및 데이터의 순서로 다중화된 스트림인 것이 바람직하며,
상기 멀티미디어 전송 스트림은 데이터, 비디오 및 오디오의 순서로 다중화된 스트림인 것이 바람직하다.
한편, 본 발명의 다른 분야에 따르면 전술한 기술적 과제는, 전술한 각 단계를 수행하는 컴퓨터에서 실행 가능한 프로그램을 기록한 기록매체에 의해 달성된 다.
한편, 본 발명의 다른 분야에 따르면 전술한 기술적 과제는, 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 장치에 있어서, 사용자로부터 캡션 정보의 출력시점을 조절할 시간 값을 입력받는 사용자 인터페이스; 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고 각 패킷들을 디코딩하여 각 버퍼에 저장하는 디코딩부; 입력받은 시간 값을 비디오 또는 오디오 패킷에 포함된 출력시점에 가감하여 캡션 정보의 출력시점을 재 설정하는 출력시점 조절부; 및 재 설정된 캡션 정보의 출력시점에 따라 버퍼에 저장된 데이터를 비디오에 블랜드하여 화면에 출력하는 출력부를 포함하는 것을 특징으로 하는 장치에 의해 달성된다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 멀티미디어 전송 스트림을 다중화/역다중화하는 과정을 나타내는 도면이다.
도 1을 참조하면, 방송국과 같은 디지털 방송 송신측의 방송 송신장치는 오디오 패킷(audio packet), 비디오 패킷(video packet) 및 데이터 패킷(data packet)을 MPEG 표준에 따라 다중화(multiplexing)한 멀티미디어 전송 스트림을 방송한다. 셋탑박스나 디지털 TV와 같은 방송 수신장치는 멀티미디어 전송 스트림을 수신하고 이를 역다중화(demultiplexing)하여 비디오 패킷, 오디오 패킷, 데이터 패킷으로 분리한다. 또한, 방송 수신장치는 각 패킷을 비디오 디코더, 오디오 디 코더 및 데이터 디코더를 통해 디코딩하고 디스플레이 화면 및 스피커를 통해 출력한다.
정리하면, 송신측에서는 멀티미디어 전송 스트림을 도시된 바와 같이 비디오, 오디오 및 데이터의 순서로 다중화하여 송신하고, 수신측에서는 다중화된 순서와 동일하게 비디오, 오디오 및 데이터의 순으로 멀티미디어 전송 스트림을 역다중화하고 이를 디코딩한다. 이 때, 비디오, 오디오 및 데이터가 디코딩된 결과는 방송 수신장치의 내부 메모리에 저장된다. 저장된 디코딩 결과는 해당 출력시점(Presentation Timestamp: 이하 PTS라 함)에 디스플레이 화면이나 스피커를 통해 출력된다.
한편, 수신된 방송용 멀티미디어 전송 스트림을 광 디스크와 같은 저장매체에 기록하는 멀티미디어 기록장치(예를 들면, PVR이나 DVD 기록기)나, 저장매체에 기록된 방송용 멀티미디어 전송 스트림을 디코딩하여 재생하는 멀티미디어 재생장치(예를 들면, DVD 재생기)에서도 유사한 다중화 또는 역다중화 과정을 수행한다. 이하에서는 멀티미디어 전송 스트림을 디코딩하는 방송 수신장치 및 멀티미디어 재생장치를 "멀티미디어 장치"라고 통칭한다.
한편, 멀티미디어 장치에서는 비디오와 오디오의 경우 역다중화된 비디오 또는 오디오의 디코딩이 완료된 후 비디오 및 오디오 패킷에 포함된 출력 시점(PTS)이 되면 디코딩된 결과를 출력한다. 따라서, 패킷의 구성상 비디오나 오디오에 비해 뒤쪽에 기록된 데이터는 비디오와 오디오의 디코딩이 종료되는 시점에 비로소 디코딩을 시작하여 비디오 화면에 오버레이하여 출력되기 때문에 비디오와 오디오 의 출력에 비해 캡션 정보의 출력이 지연되는 경우가 발생한다. 이는 캡션 정보를 포함한 데이터를 디코딩하여 그래픽으로 렌더링(rendering)하고, 이를 비디오 화면에 오버레이(또는 블랜드 라고도 함)하는 데 시간이 소요되기 때문이다.
이하, 이러한 문제점을 해결하기 위하여 캡션 정보의 출력시점을 조절하는 멀티미디어 장치(1)를 설명한다. 도 2는 본 발명에 따른 캡션 정보의 출력시점을 조절하는 멀티미디어 장치(1)의 블록도이다.
도 2를 참조하면, 본 발명에 따른 멀티미디어 장치(1)는 역다중화기(10), 각 패킷의 저장 버퍼(20), 각 패킷의 디코더(30), 비디오 버퍼(40), 오디오 버퍼(50), 데이터 버퍼(60)를 포함하는 디코딩부, 블랜더(90), 비디오/오디오/데이터 결합 버퍼(92), 디스플레이(94) 및 스피커(96)를 포함하는 출력부, 화면 출력시점 조절부(70) 및 사용자 인터페이스(80)를 구비한다.
먼저, 역다중화기(10)를 통해 멀티미디어 전송 스트림을 비디오 패킷, 오디오 패킷 및 데이터 패킷으로 역다중화하고, 역다중화된 패킷들을 각각 비디오 패킷 저장버퍼, 오디오 패킷 저장버퍼 및 데이터 패킷 저장버퍼(20)에 임시 저장한다. 저장된 각 패킷들은 디코딩 타임스탬프(Decoding Timestamp: 이하 DTS라 약칭함)가 되면 해당하는 비디오 디코더, 오디오 디코더 및 데이터 디코더(30)에서 MPEG 표준에 따라 디코딩된다.
한편, 종래의 멀티미디어 장치의 경우, 디코딩된 결과들은 바로 오버레이되어 비디오/오디오/데이터 결합 버퍼(Graphic Plane이라고도 함)에 저장되었다가 해당 출력시점에 출력되었다. 그러나, 본 발명의 일 실시예에 따른 멀티미디어 장치 (1)는 디코딩된 결과들을 일단 각각 비디오 버퍼(40), 오디오 버퍼(50) 및 데이터 버퍼(60)에 저장한다. 또한, 리모콘이나 방향 스위치, 또는 죠그셔틀과 같은 사용자 인터페이스(80)를 통해 사용자로부터 시간을 입력받아 화면출력시점 조절부(70)에 전달한다. 화면출력시점 조절부(70)는 비디오 또는 오디오의 출력시점(PTS)을 기준으로 데이터의 출력시점(PTS)을 사용자가 입력한 시간만큼 당기거나 지연한 후 재 설정한다. 이에 따라 사용자의 입력에 따라 캡션 정보의 출력시점을 임의로 조절할 수 있다.
이하에서는 전술한 멀티미디어 장치(1)의 구조를 기초로 하여 캡션 정보의 출력시점을 임의로 조절하는 방법을 상세히 설명한다. 먼저, 기존의 방송용 멀티미디어 전송 스트림을 그대로 이용하여 캡션 정보의 출력시점을 임의로 조절하는 방법(제1 실시예)을 도 3 및 도 4에서 설명한다. 다음으로, 방송용 멀티미디어 스트림의 패킷 순서를 변경하여 캡션 정보의 출력시점을 임의로 조절하는 방법(제2 실시예)을 도 5 및 도 6에서 설명한다.
먼저, 본 발명의 제1 실시예로서, 도 3은 기존의 방송용 멀티미디어 전송 스트림을 그대로 이용한 멀티미디어 전송 스트림을 도시한다.
도 3을 참조하면, 방송 송신장치에서 프로그램을 구성하는 비디오, 오디오 및 데이터를 받아 다중화하여 하나의 멀티미디어 전송 스트림을 구성한 예가 도시된다. 멀티미디어 전송 스트림은 비디오 정보, 오디오 정보, 데이터 정보의 순서로 다중화된다. 빗금친 부분은 프로그램 0의 비디오/오디오/데이터 정보를 나타내며, 각각 t1에서의 비디오/오디오/데이터 정보(102), t2에서의 비디오/오디오/데이 터 정보(104), t3에서의 비디오/오디오/데이터 정보(106) 및 t4에서의 비디오/오디오/데이터 정보(108)가 포함된다. 각 비디오/오디오/데이터 정보는 188 바이트 크기의 패킷들의 집합으로 구성된다. 또한, 점으로 표시된 부분은 프로그램 1의 비디오/오디오/데이터 정보를 나타낸다.
도 4는 본 발명의 일 실시예로서, 도 3에 도시된 멀티미디어 전송 스트림을 디코딩하여 출력하는 과정을 나타내는 도면이다.
도 4를 참조하면, 프로그램 0에 포함되는 t1에서의 비디오/오디오/데이터 정보(102), t2에서의 비디오/오디오/데이터 정보(104), t3에서의 비디오/오디오/데이터 정보(106) 및 t4에서의 비디오/오디오/데이터 정보(108)가 디코딩되어 출력되는 과정이 시간 축 상에 표시된다. 도면의 중간에는 t1에서의 비디오/오디오/데이터 정보(102)가 디코딩되어 출력되는 과정이 보다 구체적으로 도시되어 있다.
각 비디오/오디오/데이터 정보에는 각 패킷이 디코딩되는 시간인 DTS가 포함된다. 예를 들어 t1에서의 비디오 정보 V0(t1)에는 DTS(112)가 포함되어 있으며, 해당 DTS 시간에 비디오 정보의 디코딩을 시작한다. 또한, t1에서의 오디오 정보 A0(t1)에는 DTS(114)가 포함되며, 해당 DTS 시간에 오디오 정보의 디코딩을 시작한다. 마찬가지로 데이터 정보 D0(t1)에는 DTS(116)가 포함되며, 해당 DTS 시간에 데이터 정보의 디코딩을 시작한다. 디코딩된 결과들은 블랜더(90)에서 블랜드되기 전에 각각 전술한 비디오 버퍼(40), 오디오 버퍼(50) 및 데이터 버퍼(60)에 저장되어 출력을 기다린다. 이와 같이, 디코딩된 결과를 각각의 버퍼에 저장하였다가, 데이터의 디코딩이 시작되는 시점(116)에서부터 비디오/오디오/데이터의 출력을 가 능하도록 한다.
물론, 비디오의 디코딩이 종료되는 시점(117)이나 오디오의 디코딩이 시작되는 시점(118)부터 비디오나 오디오의 출력이 가능하다. 그러나, 캡션 정보와의 동기화 또는 캡션 정보의 출력시점을 조절하기 위해서, 전술한 화면출력시점 조절부(70)는 데이터의 디코딩이 시작되는 시점(116)이후의 출력시점 조절 가능 구간(119) 내에서 비디오/오디오/데이터를 출력하도록 그 출력시점(PTS)을 조절할 수 있다. 이는 본 발명에 따라 디코딩된 결과들이 블랜더(90)에서 블랜드되기 전에 각각 전술한 비디오 버퍼(40), 오디오 버퍼(50) 및 데이터 버퍼(60)에 저장되어 있기 때문이다.
이에 따라, 비디오/오디오/데이터의 출력시점(PTS)을 조절하여 동기화하여 출력할 수 있을 뿐만 아니라, 사용자로부터 입력받은 시간을 비디오/오디오/데이터의 출력시점(PTS)에 반영하여 캡션 정보를 비디오에 선행하여 먼저 출력하거나 또는 비디오보다 지연시켜 출력하는 등 캡션 정보의 출력시점을 임의로 조절할 수 있다. 제1 실시예의 경우 기존의 비디오/오디오/데이터 순의 전송 스트림을 변경하지 않고도 본 발명에 따라 캡션 정보의 출력시점을 조절할 수 있는 장점이 있다.
다음은 본 발명의 제2 실시예로서, 방송용 멀티미디어 스트림의 패킷 순서를 변경하여 캡션 정보의 출력시점을 임의로 조절하는 방법을 설명한다.
도 5는 본 발명에 따른 멀티미디어 전송 스트림의 다른 실시예이다.
도 5를 참조하면, 방송 송신장치에서 각 패킷의 전송 순서를 변경하여 다중화한 방송용 멀티미디어 스트림의 일 예가 도시된다. 본 발명의 다른 실시예에 따 른 멀티미디어 전송 스트림은 데이터 정보, 비디오 정보, 오디오 정보의 순서로 다중화된다. 빗금친 부분은 프로그램 0의 데이터/비디오/오디오 정보를 나타내며, 각각 t1에서의 데이터/비디오/오디오 정보(122), t2에서의 데이터/비디오/오디오 정보(124), t3에서의 데이터/비디오/오디오 정보(126) 및 t4에서의 데이터/비디오/오디오 정보(128)가 포함된다. 각 데이터/비디오/오디오 정보는 188 바이트 크기의 패킷들의 집합으로 구성된다. 또한, 점으로 표시된 부분은 프로그램 1의 데이터/비디오/오디오 정보를 나타낸다.
이와 같이 송신측에서 패킷의 순서를 데이터/비디오/오디오로 변경하여 다중화하고 이를 방송하면, 수신측의 멀티미디어 장치(1)는 데이터/비디오/오디오 순서로 다중화된 멀티미디어 전송 스트림을 수신하여 이를 처리한다.
도 6은 본 발명의 다른 실시예로서, 도 5에 도시된 멀티미디어 전송 스트림을 디코딩하여 출력하는 과정을 나타내는 도면이다.
도 6을 참조하면, 프로그램 0에 포함되는 t1에서의 데이터/비디오/오디오 정보(122), t2에서의 데이터/비디오/오디오 정보(124), t3에서의 데이터/비디오/오디오 정보(126) 및 t4에서의 데이터/비디오/오디오 정보(128)가 디코딩되어 출력되는 과정이 시간 축 상에 표시된다. 도면의 중간에는 t1에서의 데이터/비디오/오디오 정보(122)가 디코딩되어 출력되는 과정이 보다 구체적으로 도시되어 있다.
각 데이터/비디오/오디오 정보에는 각 패킷이 디코딩되는 시간인 DTS가 포함된다. 먼저, 데이터 정보 D0(t1)에는 DTS(132)가 포함되며, 해당 DTS 시간에 데이터 정보의 디코딩을 시작한다. 또한, t1에서의 비디오 정보 V0(t1)에는 DTS(134) 가 포함되어 있으며, 해당 DTS 시간에 비디오 정보의 디코딩을 시작한다. 마찬가지로, t1에서의 오디오 정보 A0(t1)에는 DTS(136)가 포함되며, 해당 DTS 시간에 오디오 정보의 디코딩을 시작한다. 디코딩된 결과들은 블랜더(90)에서 블랜드되기 전에 각각 전술한 비디오 버퍼(40), 오디오 버퍼(50) 및 데이터 버퍼(60)에 저장되어 출력을 기다린다. 이와 같이, 디코딩된 결과를 각각의 버퍼에 저장하였다가, 데이터의 디코딩이 시작되는 시점에서부터 비디오/오디오/데이터의 출력을 가능하도록 한다. 다만, 제2 실시예의 경우, 데이터가 먼저 디코딩되므로 데이터 버퍼(60)만 구비되면, 별도의 비디오 버퍼(40)나 오디오 버퍼(50)가 없는 경우에도 본 발명에 따라 캡션 정보의 출력 시점을 조절할 수 있다.
이제, 캡션 정보와의 동기화를 위해서 또는 캡션 정보의 출력시점을 조절하기 위해서, 전술한 화면출력시점 조절부(70)는 비디오의 디코딩이 종료되는 시점(142)이후의 출력시점 조절 가능 구간(146) 내에서 데이터/비디오/오디오를 출력하도록 출력시점(PTS)을 조절할 수 있다.
이에 따라, 데이터/비디오/오디오의 출력시점(PTS)을 조절하여 동기화하여 출력할 수 있을 뿐만 아니라, 사용자로부터 입력받은 조절 시간을 데이터/비디오/오디오의 출력시점(PTS)에 반영하여 캡션 정보를 비디오에 선행하여 먼저 출력하거나 또는 비디오보다 지연시켜 출력하는 등 캡션 정보의 출력시점을 임의로 조절할 수 있다. 제2 실시예의 경우, 전송 측에서 패킷의 순서를 변경하여 데이터/비디오/오디오 순서로 전송하여야 가능하다. 그러나, 제2 실시예의 경우 데이터가 먼저 전송되어 디코딩되므로, 제1 실시예에 비하여 출력시점 조절가능 구간(146)이 상대 적으로 넓어지는 장점이 있다. 또한, 제2 실시예의 경우에는, 사용자가 도 2의 사용자 인터페이스(80)를 통해 화면 출력 시점 조절부(70)에 출력 시점을 조절하기 위한 값을 입력하여 출력시점을 조절하지 않더라도, 데이터 패킷이 먼저 디코딩되므로, 출력시점이 늦어져서 비디오 화면과 캡션 정보가 일치하지 않는 문제점이 해결된다.
지금까지는, 비디오 패킷, 오디오 패킷 및 데이터 패킷을 디코딩한 후, 패킷에 저장된 출력 시점에 사용자에 의해 재설정된 출력 시점을 가감하는 방법에 대하여 설명하였다. 그러나, 사용자가 출력 시점을 조정하기 위한 조작을 수행할 때, 본 발명에 따른 출력 시점 조절 장치는 비디오, 오디오 및 데이터가 디코딩되는 시간을 나타내는 디코딩 타임스탬프를 조절하여 캡션 정보의 출력시점을 조절할 수도 있다.
도 2를 참조하면, 역다중화기(10)를 통해 멀티미디어 전송 스트림을 비디오 패킷, 오디오 패킷 및 데이터 패킷으로 역다중화하고, 역다중화된 패킷들을 각각 비디오 패킷 저장버퍼, 오디오 패킷 저장버퍼 및 데이터 패킷 저장 버퍼(20)에 임시 저장한다. 사용자 인터페이스(80)를 통해 사용자로부터 시간을 입력받으면, 화면 출력시점 조절부(70)는 비디오 패킷, 오디오 패킷 및 데이터 패킷이 디코딩되기 전에, 디코딩 타임 스탬프(DTS)를 기준으로, 데이터의 디코딩 시점(DTS)을 사용자가 입력한 시간만큼 당기거나 지연한 후 재설정할 수 있다.
도 7은 본 발명에 따른 캡션 정보의 출력시점을 조절하는 응용예이다.
도 7을 참조하면, 비디오의 출력시점(PTS) 또는 오디오의 출력시점(PTS)을 기준으로 캡션(데이터) 정보의 출력시점(PTS)을 동기화 시키거나, 사용자의 입력을 받아 비디오 또는 오디오의 출력시점(PTS)을 기준으로 캡션 정보의 출력시점(PTS)을 당기거나 또는 지연시켜 캡션 정보의 출력시점을 임의로 조정할 수 있다.
도 8은 본 발명에 따른 캡션 정보의 출력시점을 조절하기 위한 사용자 인터페이스의 일 실시예이다.
도 8을 참조하면, 리모콘이나 방향키 또는 조그셔틀 등의 사용자 인터페이스를 통해 사용자로부터 캡션 정보의 출력시점을 조절하는 시간값
Figure 112006005370319-pat00001
을 입력받고 이를 비디오 또는 오디오의 출력시점 t를 기준으로 캡션의 출력시점을
Figure 112006005370319-pat00002
또는
Figure 112006005370319-pat00003
로 재 설정하여 캡션의 출력시점을 사용자가 원하는 대로 조절할 수 있다. 도 8에서 사용자 인터페이스를 이용하여 캡션 위치 조절 및 캡션 출력 등급을 조절하는 방법에 대해서는 후술한다.
도 9는 본 발명의 일 실시예에 따른 캡션 정보의 출력시점을 조절하는 방법을 도시한 플로차트이다.
도 9를 참조하면, 캡션 정보의 출력시점을 조절하기 위하여, 먼저 사용자 인터페이스(80)를 통해 사용자로부터 캡션 정보의 출력시점을 조절하는 시간값을 입력받는다(300 단계). 멀티미디어 전송 스트림을 역다중화하여 비디오/오디오/데이터 패킷을 분리하고 이를 각각 디코딩한다. 디코딩 결과를 각각 비디오 버퍼(40), 오디오 버퍼(50), 데이터 버퍼(50)에 저장한다(310 단계). 비디오 패킷 또는 오디오 패킷에 포함된 출력시점(PTS)에 입력된 시간값을 반영하여 캡션 정보의 출력시 점을 재 설정한다(320 단계). 재 설정된 캡션 정보의 출력시점에 따라 데이터 버퍼(60)의 캡션 정보를 비디오에 블랜드하여 화면에 출력한다(330 단계).
도 10은 본 발명의 다른 실시예에 따른 캡션 정보의 출력시점을 조절하는 방법을 도시한 플로차트이다.
데이터 패킷이 비디오 패킷 및 오디오 패킷보다 우선하도록 구성된 멀티미디어 전송 스트림을 수신한다(S 1010).
멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고(S 1020) 분리된 각 패킷들을 디코딩하고 디코딩된 데이터 패킷은 버퍼에 저장한다(S 1030). 버퍼는 데이터 버퍼를 포함하며, 비디오 버퍼 및/또는 오디오 버퍼를 더 포함할 수 있다.
버퍼에 저장된 데이터를 비디오에 블랜드하여 화면에 출력한다(S 1030). 데이터 패킷이 비디오 패킷 및 오디오 패킷보다 우선하도록 구성된 멀티미디어 전송 스트림을 수신하는 경우에도, 사용자 인터페이스를 통해 사용자로부터 캡션 정보의 출력시점을 조절할 시간값을 입력받을 수 있다. 이 경우, 입력받은 시간값을 비디오 또는 오디오 패킷에 포함된 출력시점에 가감하여 캡션 정보의 출력시점을 재설정하고, 재설정된 캡션 정보의 출력시점에 따라 버퍼에 저장된 데이터를 비디오에 블랜드하여 화면에 출력할 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른 캡션 정보의 출력시점을 조절하는 방법을 도시한 플로차트이다.
사용자 인터페이스를 통해 사용자로부터 캡션 정보의 출력시점을 조절할 시 간값을 입력받는다(S 1110). 이 때, 입력받은 시간값은, 비디오 또는 오디오의 디코딩 타임스탬프로부터 가감되는 상대값이다.
멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리한다(S 1120). 분리된 비디오, 오디오 및 데이터 패킷은 패킷 버퍼에 저장될 수 있다. 입력받은 시간값을 비디오 또는 오디오 패킷에 포함된 디코딩 타임스탬프에 가감하여 디코딩 타임스탬프를 재설정한다(S 1130). 재설정된 디코딩 타임스탬프에 따라 각 패킷을 디코딩하고, 비디오에 블랜드하여 화면에 출력한다(S 1140).
도 12는 본 발명에 따른 캡션 정보의 출력 우선 순위를 나타내는 캡션 출력 등급의 일례를 도시한 도면이다.
캡션 정보는 현재 제공되는 프로그램의 오디오에 대한 캡션일 수도 있으며, 해당 프로그램과 관련된 광고일 수도 있다. 이와 같은 여러 개의 캡션 정보가 동시에 제공되는 경우 멀티미디어 전송 스트림을 전송하는 서비스 제공자는 캡션 출력 등급을 지정하여 캡션 정보를 제공할 수 있다.
캡션 출력 등급은 도 12에 도시된 바와 같이, 0 내지 4로 지정될 수 있다. 이러한 출력 등급에 따른 캡션 정보는 초당 가격이 매겨질 수 있다. 예를 들어, 캡션 출력 등급 0은 100원, 캡션 출력 등급 1은 80원 등으로 초당 가격이 매겨질 수 있다. 캡션 출력 등급 및 초당 가격에 따라 캡션 정보의 출력 우선순위도, 최우선, 우선, 보통, 하, 최하 등으로 결정될 수 있다. 따라서, 예를 들어 캡션 정보를 광고로 이용하고자 하는 클라이언트는 서비스 제공자에게 캡션 출력 등급에 따른 대가를 지불하고 광고를 캡션 정보로 제공할 수 있다. 이러한 캡션 출력 등급, 초당 가격 및 출력 우선순위는 멀티미디어 전송 스트림을 구성하여 전송하는 서비스 제공자에 따라 변경될 수 있음은 물론이다.
멀티미디어 전송 스트림을 구성하여 송신하는 서비스 제공자는, 이와 같은 캡션 정보에 따른 캡션 출력 등급, 초당 가격 및 출력 우선순위에 대한 표준을 만들어 이용할 수 있다. 따라서, 캡션 정보를 통해 외국어 자막 등을 제공하는 서비스 제공자 및 캡션 정보를 이용하여 광고 등을 제공하고자 하는 캡션 정보 제공자 즉, 클라이언트는 캡션 정보로 제공될 광고의 중요도에 따라 캡션 정보 외에, 캡션 출력 등급을 설정하여 제공할 수 있다.
도 13은 본 발명에 따른 클라이언트별 캡션 출력 등급, 사용자 지정 캡션 등급 및 화면에 제공되는 캡션 정보에 대한 테이블이다.
도 13에서 테이블(1310)은 시간에 따른 클라이언트별 캡션의 출력 등급을 나타낸 것이다. 테이블(1310)에서 t는 소정의 시간 단위로서 시간 단위는 임의로 설정될 수 있다. 예를 들어, t는 초 단위일 수 있으며, 분 단위일 수 있다. 테이블(1310)에서 클라이언트 A, 클라이언트 B, 클라이언트 C 및 클라이언트 D는 자신들의 캡션 정보에 따라 소정의 시간마다 캡션 출력 등급을 설정해두었음을 알 수 있다.
테이블(1320)은 시청자가 사용자 인터페이스를 이용하여 설정한 시청자가 지정한 캡션 등급에 대한 테이블이다. 시청자는 사용자 인터페이스를 조작하여 클라이언트들이 제공하는 복수의 캡션 정보 중 소정의 개수의 캡션 정보를 선택하거나, 소정의 시간마다 시청하고자 할 캡션 정보에 대한 등급을 설정하여, 복수의 캡션 정보 중 원하는 캡션 정보만을 시청하도록 설정할 수 있다.
테이블(1330)은 클라이언트들이 테이블(1310)과 같은 캡션 출력 등급을 설정하고, 시청자가 테이블(1320)과 같은 사용자 지정 캡션 등급을 설정한 경우, 시청자에게 제공될 수 있는 캡션 정보를 클라이언트별로 나타낸 것이다. 예를 들어, 클라이언트 A가 제공하는 캡션 A가 t0에서 t8까지 제공되는 경우에, 우선, A 클라이언트의 캡션 등급은 t0에서 t8까지 000011022로 설정되어 있으며, 사용자 지정 캡션 등급은 001111220으로 설정되어 있다. 출력되어 시청자에게 제공될 수 있는 캡션 정보는 사용자 지정 캡션 등급 이상의 출력 우선순위의 캡션 정보이기 때문에, 캡션 A는 t0에서 t7까지 출력되고, t8에서는 출력되지 않게 된다.
한편, 캡션 정보 및 캡션 출력 등급에 관한 정보는 누구든지 이용할 수 있도록 제작될 수도 있고, 또는 특정 방송을 통해 캡션 정보를 제공받도록 캡션 정보를 제공받을 수 있는 사용자를 제한하도록 제작될 수 있다. 캡션 정보를 제공받을 수 있는 사용자를 제한하기 위하여 캡션 정보 및 출력 우선순위 등급에 대한 정보가 엠펙-2 신택스에 부호화되거나 암호화될 수 있다. 예를 들어, 캡션 정보 제공자인 클라이언트는 회원 가입 등을 통해 선별된 특정한 사용자에게만 캡션 정보를 제공하기 위하여 미리 특정한 사용자에게 암호화 키를 제공하고 암호화 키를 받은 사용자만 캡션 정보를 이용하는 방식으로 캡션 정보의 제공을 제한할 수 있다.
도 14는 본 발명에 따른 캡션 출력 우선순위 조절 장치의 구성을 나타내는 블록도이다.
본 발명의 캡션의 출력 우선순위를 조절하는 장치는, 디코딩부(1410), 사용자 인터페이스(1420), 캡션 출력 조절부(1430) 및 출력부(1440)를 포함한다. 디코딩부(1410)는, 도 2의 디코딩부와 같이 역다중화기, 비디오/오디오/데이터 패킷 저장 버퍼, 비디오/오디오/데이터 디코더를 포함하여, 멀티미디어 전송 스트림을 역다중화하고 비디오, 오디오 및 데이터 패킷으로 분리하고 각 패킷들을 디코딩한다.
사용자 인터페이스부(1420)는 사용자 인터페이스를 통해 사용자로부터 사용자 지정 캡션 등급에 대한 정보를 입력받는다.
캡션 출력 조절부(1430)는 디코딩된 패킷에 포함되는 캡션 정보 중, 화면 출력 시점에 부가하여, 소정의 시간 단위마다 캡션 출력 등급이 지정되어 있는 캡션 정보 중 사용자가 지정한 사용자 지정 캡션 등급 이상의 캡션 출력 등급이 설정되어 있는 캡션 정보를 선택하여 출력부(1440)로 출력한다. 출력부(1440)는 도 2의 출력부와 같이, 블랜더, 비디오/오디오/데이터 결합 버퍼, 디스플레이 및 스피커를 포함할 수 있으며, 설정된 캡션 정보를 비디오에 블랜드하여 출력한다. 출력부(1440)는 캡션 출력 조절부(1430)에 상기의 정보 외에 캡션 위치 정보가 사용자 인터페이스(1420)를 통해 입력되면, 선택된 캡션 정보를 캡션 위치 정보에 기초하여 화면에 출력할 수 있다.
이와 같이, 본 발명에 따른 캡션 출력 시점 및 캡션 우선순위 조절 장치에 따르면, 시청자는 사용자 인터페이스를 이용하여 캡션 출력 시점 조절 외에, 캡션 출력 등급 및 캡션 위치를 조절할 수 있다. 따라서, 시청자는 사용자 인터페이스를 이용하여 테이블(1320)과 같은 시청자 캡션 등급을 지정할 수 있고, 선별되어 출력되는 캡션 정보가 캡션 위치 조절을 통해 원하는 위치에 표시되도록 조절할 수 있다.
도 15는 본 발명에 따른 캡션 출력 우선순위 조절 방법을 나타내는 플로차트이다.
멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고, 분리된 패킷을 디코딩한다(S 1510). 사용자 인터페이스를 통해 사용자로부터 캡션 정보의 사용자 지정 캡션 등급에 대한 정보를 입력받는다(S 1520).
디코딩된 패킷에 포함되는 캡션 정보 중 소정의 시간 단위마다 사용자 지정 캡션 등급 이상의 캡션 출력 등급이 설정되어 있는 캡션 정보를 선택한다(S 1530). 선택된 캡션 정보를 출력한다(S 1540). 사용자 인터페이스를 통해 사용자로부터 캡션 위치 정보를 입력받은 경우, 선택된 캡션 정보를 캡션 위치 정보에 기초하여 원하는 위치에 캡션 정보를 출력할 수 있다. 또한, 전술한 바와 같이, 캡션 정보를 출력할 수 있는 사용자를 제한하기 위하여, 캡션 정보 및 캡션 출력 등급에 관한 정보는 엠펙-2 신택스에 부호화되거나 암호화될 수 있다.
한편, 본 발명에 따른 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 캡션 정보의 출력시점을 조절하는 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기 록매체, 및 캐리어 웨이브 매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같이 본 발명에 따르면, 사용자의 입력에 따라 수신된 방송용 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 임의로 조절하는 방법 및 그 장치가 제공된다.
이에 따라, 캡션 정보를 비디오나 오디오에 동기화시켜 출력하거나, 출력시점을 당기거나 늦추어 출력할 수 있다. 이는 청각 장애인을 위하여 비디오에 동기화시켜 문자 방송을 하거나, 외국어 교육과정에서 자막을 화면과 소리보다 먼저 또는 나중에 디스플레이할 필요가 있는 경우에 응용할 수 있다. 그밖에 광고, 방송 중의 원격주문, 영화관련 부가 정보의 제공 등 다양한 분야에 적용할 수 있다.
또한, 본 발명에 따르면, 사용자의 입력에 따라 수신된 방송용 멀티미디어 전송 스트림에 포함된 복수 개의 캡션 정보를 원하는 화면의 위치에 원하는 캡션 정보만을 표시할 수 있는 방법 및 그 장치를 제공할 수 있다.

Claims (31)

  1. 삭제
  2. 방송 수신 장치에서 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방법에 있어서,
    사용자 인터페이스를 통해 사용자로부터 캡션 정보의 출력시점을 조절할 시간값을 입력받는 단계;
    상기 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고 각 패킷들을 디코딩하여 각 버퍼에 저장하는 단계;
    상기 입력받은 시간값을 상기 비디오 또는 오디오 패킷에 포함된 출력시점에 가감하여 상기 캡션 정보의 출력시점을 재설정하는 단계; 및
    상기 재설정된 캡션 정보의 출력시점에 따라 상기 버퍼에 저장된 데이터를 비디오에 블랜드하여 화면에 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 입력하는 단계의 상기 사용자 인터페이스는 리모콘, 방향키, 또는 조그셔틀을 포함하는 것을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 입력받은 시간값은 상기 비디오 또는 오디오의 출력시점으로부터 가감되는 상대 값인 것을 특징으로 하는 방법.
  5. 제2항에 있어서,
    상기 버퍼는 데이터 버퍼를 포함하며, 비디오 버퍼 및 오디오 버퍼 중 적어도 하나를 더 포함하는 것을 특징으로 하는 방법.
  6. 제2항에 있어서,
    상기 출력시점은 프레젠테이션 타임스탬프(Presentation Timestamp)인 것을 특징으로 하는 방법.
  7. 제2항에 있어서,
    상기 멀티미디어 전송 스트림은 비디오, 오디오 및 데이터의 순서로 다중화된 스트림인 것을 특징으로 하는 방법.
  8. 방송 수신 장치에서 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방법에 있어서,
    데이터 패킷이 비디오 패킷 및 오디오 패킷보다 우선하도록 구성된 상기 멀티미디어 전송 스트림을 수신하는 단계;
    상기 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하는 단계;
    상기 분리된 각 패킷들을 디코딩하고 상기 디코딩된 데이터 패킷을 버퍼에 저장하는 단계; 및
    사용자로부터 사용자 인터페이스를 통해 캡션 정보의 출력시점을 조절할 시간값을 입력받는 단계;
    상기 입력받은 시간 값을 상기 비디오 또는 오디오 패킷에 포함된 출력시점에 가감하여 상기 캡션 정보의 출력시점을 재설정하는 단계; 및
    상기 재설정된 캡션 정보의 출력시점에 따라 상기 버퍼에 저장된 데이터를 상기 비디오에 블랜드하여 화면에 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 삭제
  10. 삭제
  11. 방송 수신 장치에서 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방법에 있어서,
    사용자 인터페이스를 통해 사용자로부터 캡션 정보의 출력시점을 조절할 시간값을 입력받는 단계;
    상기 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하는 단계;
    상기 입력받은 시간값을 상기 비디오 또는 오디오 패킷에 포함된 디코딩 타임스탬프에 가감하여 상기 디코딩 타임스탬프를 재설정하는 단계; 및
    상기 재설정된 디코딩 타임스탬프에 따라 상기 각 패킷을 디코딩하고, 비디오에 블랜드하여 화면에 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 입력받은 시간값은 상기 비디오 또는 오디오의 디코딩 타임스탬프로부터 가감되는 상대 값인 것을 특징으로 하는 방법.
  13. 방송 수신 장치에서 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력 우선순위를 조절하는 방법에 있어서,
    상기 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고, 상기 분리된 패킷을 디코딩하는 단계;
    사용자 인터페이스를 통해 사용자로부터 시간에 따른 사용자 지정 캡션 등급에 대한 정보를 입력받는 단계;
    상기 디코딩된 패킷에 포함되는 캡션 정보 중 소정의 시간 단위마다 상기 사용자 지정 캡션 등급 이상의 캡션 출력 등급이 설정되어 있는 캡션 정보를 선택하는 단계; 및
    상기 선택된 캡션 정보를 출력하는 단계를 포함하고,
    상기 사용자 지정 캡션 등급은 상기 소정의 시간마다 상기 캡션 정보에 대해 사용자가 지정한 캡션 등급인 것을 특징으로 하는 방법.
  14. 제13항에 있어서,
    상기 사용자 인터페이스를 통해 사용자로부터 캡션 위치 정보를 입력받는 단계; 및
    상기 선택된 캡션 정보를 상기 캡션 위치 정보에 기초하여 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제13항에 있어서,
    상기 캡션 정보를 출력할 수 있는 사용자를 제한하기 위하여, 상기 캡션 정보 및 상기 캡션 출력 등급에 관한 정보는 엠펙-2 신택스에 부호화되거나 암호화될 수 있는 것을 특징으로 하는 방법.
  16. 삭제
  17. 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방송 수신 장치에 있어서,
    사용자로부터 캡션 정보의 출력시점을 조절할 시간값을 입력받는 사용자 인터페이스;
    상기 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고 각 패킷들을 디코딩하여 각 버퍼에 저장하는 디코딩부;
    상기 입력받은 시간값을 상기 비디오 또는 오디오 패킷에 포함된 출력시점에 가감하여 상기 캡션 정보의 출력시점을 재 설정하는 출력시점 조절부; 및
    상기 재 설정된 캡션 정보의 출력시점에 따라 상기 버퍼에 저장된 데이터를 비디오에 블랜드하여 화면에 출력하는 출력부를 포함하는 것을 특징으로 하는 방송 수신 장치.
  18. 제17항에 있어서,
    상기 사용자 인터페이스는 리모콘, 방향키, 또는 조그셔틀을 포함하는 것을 특징으로 하는 방송 수신 장치.
  19. 제17항에 있어서,
    상기 입력받은 시간값은 상기 비디오 또는 오디오의 출력시점으로부터 가감되는 상대 값인 것을 특징으로 하는 방송 수신 장치.
  20. 제17항에 있어서,
    상기 버퍼는 데이터 버퍼를 포함하며, 비디오 버퍼 및 오디오 버퍼 중 적어도 하나를 더 포함하는 것을 특징으로 하는 방송 수신 장치.
  21. 제17항에 있어서,
    상기 출력시점은 프레젠테이션 타임스탬프(Presentation Timestamp)인 것을 특징으로 하는 방송 수신 장치.
  22. 제17항에 있어서,
    상기 멀티미디어 전송 스트림은 비디오, 오디오 및 데이터의 순서로 다중화된 스트림인 것을 특징으로 하는 방송 수신 장치.
  23. 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방송 수신 장치에 있어서,
    데이터 패킷이 비디오 패킷 및 오디오 패킷보다 우선하도록 구성된 상기 멀티미디어 전송 스트림을 수신하고, 상기 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고 각 패킷들을 디코딩하여 상기 디코딩된 데이터 패킷을 버퍼에 저장하는 디코딩부;
    사용자로부터 캡션 정보의 출력시점을 조절할 시간 값을 입력받는 사용자 인터페이스;
    상기 입력받은 시간 값을 상기 비디오 또는 오디오 패킷에 포함된 출력시점에 가감하여 상기 캡션 정보의 출력시점을 재설정하는 출력 시점 조절부; 및
    상기 재설정된 캡션 정보의 출력시점에 따라 상기 버퍼에 저장된 데이터를 비디오에 블랜드하여 화면에 출력하는 출력부를 포함하는 것을 특징으로 하는 방송 수신 장치.
  24. 삭제
  25. 삭제
  26. 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력시점을 조절하는 방송 수신 장치에 있어서,
    사용자로부터 캡션 정보의 출력시점을 조절할 시간값을 입력받는 사용자 인터페이스;
    상기 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고, 재설정된 디코딩 타임스탬프에 따라 상기 각 패킷을 디코딩하는 디코딩부;
    상기 입력받은 시간값을 상기 비디오 또는 오디오 패킷에 포함된 디코딩 타임스탬프에 가감하여 상기 디코딩 타임스탬프를 재설정하는 출력시점 조절부; 및
    상기 디코딩된 데이터를 비디오에 블랜드하여 화면에 출력하는 출력부를 포함하는 것을 특징으로 하는 방송 수신 장치.
  27. 제26항에 있어서,
    상기 입력받은 시간값은 상기 비디오 또는 오디오의 디코딩 타임스탬프로부터 가감되는 상대 값인 것을 특징으로 하는 방송 수신 장치.
  28. 멀티미디어 전송 스트림에 포함된 캡션 정보의 출력 우선순위를 조절하는 방송 수신 장치에 있어서,
    상기 멀티미디어 전송 스트림을 역다중화하여 비디오, 오디오 및 데이터 패킷으로 분리하고, 상기 분리된 패킷을 디코딩하는 디코딩부;
    사용자로부터 시간에 따른 사용자 지정 캡션 등급을 입력받는 사용자 인터페이스;
    상기 디코딩부에서 디코딩된 패킷에 포함되는 캡션 정보 중 소정의 시간 단위마다 상기 사용자 지정 캡션 등급 이상의 캡션 출력 등급이 설정되어 있는 캡션 정보를 선택하는 캡션 출력 조절부; 및
    상기 선택된 캡션 정보를 출력하는 출력부를 포함하고,
    상기 사용자 지정 캡션 등급은 상기 소정의 시간마다 상기 캡션 정보에 대해 사용자가 지정한 캡션 등급인 것을 특징으로 하는 방송 수신 장치.
  29. 제28항에 있어서,
    상기 사용자 인터페이스부는 사용자 인터페이스를 통해 사용자로부터 캡션 위치 정보를 더 입력받고,
    상기 출력부는 상기 선택된 캡션 정보를 상기 캡션 위치 정보에 기초하여 출력하는 것을 특징으로 하는 방송 수신 장치.
  30. 제28항에 있어서,
    상기 캡션 정보를 출력할 수 있는 사용자를 제한하기 위하여, 상기 캡션 정보 및 상기 출력 우선순위 등급에 관한 정보는 엠펙-2 신택스에 부호화되거나 암호화될 수 있는 것을 특징으로 하는 방송 수신 장치.
  31. 제2항, 제8항, 제11항 및 제13항 중 하나의 항에 기재된 상기 각 단계를 수행하는 컴퓨터에서 실행가능한 프로그램을 기록한 기록매체.
KR1020060007259A 2005-01-29 2006-01-24 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치 Expired - Fee Related KR100782835B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050008348 2005-01-29
KR1020050008348 2005-01-29

Publications (2)

Publication Number Publication Date
KR20060087421A KR20060087421A (ko) 2006-08-02
KR100782835B1 true KR100782835B1 (ko) 2007-12-06

Family

ID=36756107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060007259A Expired - Fee Related KR100782835B1 (ko) 2005-01-29 2006-01-24 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치

Country Status (2)

Country Link
US (1) US8112783B2 (ko)
KR (1) KR100782835B1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080137725A1 (en) * 2006-12-12 2008-06-12 Yu-Chieh Chou Systems and methods for displaying local media signal and broadcast signal utilizing one decoder
FR2922401B1 (fr) * 2007-10-10 2010-04-16 Sagem Comm Dispositif de reception en continu de paquets de donnees audio et/ou video
TWI351849B (en) * 2007-12-31 2011-11-01 Ind Tech Res Inst Apparatus and method for transmitting streaming se
JP2009253414A (ja) * 2008-04-02 2009-10-29 Nec Corp コンテンツ配信システム、中継装置、端末装置、コンテンツ配信方法、プログラム、及び記録媒体
TWI462584B (zh) * 2008-07-15 2014-11-21 Mstar Semiconductor Inc 應用於電視系統上之字幕視窗輸出方法與相關裝置
JP4966285B2 (ja) * 2008-10-30 2012-07-04 株式会社東芝 情報処理装置、エフェクトプログラムおよびコンテンツ補正処理方法
US8913188B2 (en) * 2008-11-12 2014-12-16 Cisco Technology, Inc. Closed caption translation apparatus and method of translating closed captioning
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
US8234411B2 (en) * 2010-09-02 2012-07-31 Comcast Cable Communications, Llc Providing enhanced content
US8514893B2 (en) * 2011-01-12 2013-08-20 Videopropulsion Interactive, Inc. Digital video apparatus for multiplexing single program transport streams into a multiple program transport stream
JP5903924B2 (ja) * 2012-02-17 2016-04-13 ソニー株式会社 受信装置および字幕処理方法
EP2827586B1 (en) * 2012-03-14 2019-05-08 Panasonic Corporation Receiver apparatus, broadcast/communication-cooperation system, and broadcast/communication-cooperation method
US8922713B1 (en) * 2013-04-25 2014-12-30 Amazon Technologies, Inc. Audio and video synchronization
JP2015023575A (ja) * 2013-07-19 2015-02-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
WO2016132977A1 (ja) * 2015-02-20 2016-08-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN107431835B (zh) * 2015-04-13 2020-09-11 索尼公司 发送装置、发送方法、再现装置以及再现方法
KR102525186B1 (ko) * 2018-10-10 2023-04-24 한화비전 주식회사 비디오월에서 캡션 동기화 방법 및 멀티디스플레이간 캡션동기화를 제공하는 비디오월시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990033061A (ko) * 1997-10-23 1999-05-15 전주범 텔레비전의 캡션표시기간 지연처리장치
KR20000044730A (ko) * 1998-12-30 2000-07-15 전주범 에이티브이 시스템의 캡션 윈도우 표시 방법
KR20000044731A (ko) * 1998-12-30 2000-07-15 전주범 에이 티브이(atv)의 캡션 윈도우 우선 순위 처리 장치
KR20010013024A (ko) * 1998-04-03 2001-02-26 모리시타 요이찌 휴대 시청 시스템
KR20020013031A (ko) * 2000-08-10 2002-02-20 구자홍 디지털 티브이를 이용한 광고방법
KR20040058969A (ko) * 2002-12-27 2004-07-05 주식회사 아이큐브 캡션 텍스트와 영상 화면을 동기화 시키는 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434653B2 (ja) * 1996-12-05 2003-08-11 富士通株式会社 マルチメディアデータ蓄積伝送方法及び装置
JP3844877B2 (ja) * 1998-04-08 2006-11-15 パイオニア株式会社 ストリーム変換装置
KR20000066694A (ko) 1999-04-20 2000-11-15 윤종용 다중 자막 방송의 복호 제어 방법
KR20010001243A (ko) 1999-06-02 2001-01-05 전주범 텔레비젼의 캡션데이터 출력지연장치
KR100370028B1 (ko) 2000-10-02 2003-02-05 엘지전자 주식회사 티브이의 캡션정보 저장 및 디스플레이 방법
US20020089602A1 (en) * 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
US20020124253A1 (en) * 2001-03-02 2002-09-05 Eyer Mark Kenneth Personal information database with privacy for targeted advertising
KR100437873B1 (ko) * 2001-05-08 2004-06-26 연성정밀화학(주) 프로스타글란딘 유도체의 제조방법 및 그의 입체특이적출발물질
EP1517554A4 (en) * 2003-03-13 2010-06-16 Panasonic Corp DATA PROCESSING DEVICE
KR100532997B1 (ko) * 2003-05-23 2005-12-02 엘지전자 주식회사 디지털 티브이의 클로즈 캡션 운용 장치
US20070234395A1 (en) * 2004-10-15 2007-10-04 Vincent Dureau Speeding up channel change

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990033061A (ko) * 1997-10-23 1999-05-15 전주범 텔레비전의 캡션표시기간 지연처리장치
KR20010013024A (ko) * 1998-04-03 2001-02-26 모리시타 요이찌 휴대 시청 시스템
KR20000044730A (ko) * 1998-12-30 2000-07-15 전주범 에이티브이 시스템의 캡션 윈도우 표시 방법
KR20000044731A (ko) * 1998-12-30 2000-07-15 전주범 에이 티브이(atv)의 캡션 윈도우 우선 순위 처리 장치
KR20020013031A (ko) * 2000-08-10 2002-02-20 구자홍 디지털 티브이를 이용한 광고방법
KR20040058969A (ko) * 2002-12-27 2004-07-05 주식회사 아이큐브 캡션 텍스트와 영상 화면을 동기화 시키는 방법 및 장치

Also Published As

Publication number Publication date
KR20060087421A (ko) 2006-08-02
US8112783B2 (en) 2012-02-07
US20060170819A1 (en) 2006-08-03

Similar Documents

Publication Publication Date Title
JP5903924B2 (ja) 受信装置および字幕処理方法
CN100477757C (zh) 数字广播接收设备及其控制方法
US8204366B2 (en) Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data
EP2426939B1 (en) Providing enhanced content
EP1406403A1 (en) Apparatus and method for transmitting and receiving multimedia broadcasting
KR20060087421A (ko) 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치
WO2013136754A1 (ja) 表示装置、及び送信装置
JP2004297628A (ja) ストリーム切替装置およびその装置にコンテンツを提供する装置
US7266288B2 (en) Video/audio playback apparatus and video/audio playback method
JP7001639B2 (ja) システム
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
JP5924728B2 (ja) 信号処理装置及びプログラム
KR20140038482A (ko) 송신장치, 수신재생장치, 송신방법 및 수신재생방법
EP1266521A1 (en) System and method for providing multi-perspective instant replay
US8769562B2 (en) Digital broadcast method, data receiving device, and data transmitting device
AU2001266732A1 (en) System and method for providing multi-perspective instant replay
EP1999952B1 (en) Video substitution system
CN101169958B (zh) 存储和再现交互数字广播信号的方法及其装置
JP5874870B1 (ja) 受信装置、および送信装置、並びにデータ処理方法
JP2006303938A (ja) 放送番組受信装置および放送番組送信装置、並びに、放送番組受信プログラムおよび放送番組送信プログラム
EP2723067B1 (en) Information-providing system, reception device, and information management server
JP6157679B2 (ja) 信号処理装置及びプログラム
JP7625233B2 (ja) 番組受信表示装置及び番組受信表示制御方法
JP5016335B2 (ja) 再生装置、および、再生方法
KR20080054474A (ko) 사용자별 시청선호도에 따른 하이라이트 영상 구현방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

J201 Request for trial against refusal decision
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PJ0201 Trial against decision of rejection

St.27 status event code: A-3-3-V10-V11-apl-PJ0201

PB0901 Examination by re-examination before a trial

St.27 status event code: A-6-3-E10-E12-rex-PB0901

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

St.27 status event code: A-3-4-F10-F13-rex-PB0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

St.27 status event code: A-5-5-P10-P19-oth-PG1701

Patent document republication publication date: 20080421

Republication note text: Request for Correction Notice (Document Request)

Gazette number: 1007828350000

Gazette reference publication date: 20071206

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20181201

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20181201