KR100950540B1 - 사용자 선택가능한 가변 트릭 모드 속도 - Google Patents

사용자 선택가능한 가변 트릭 모드 속도 Download PDF

Info

Publication number
KR100950540B1
KR100950540B1 KR1020047005881A KR20047005881A KR100950540B1 KR 100950540 B1 KR100950540 B1 KR 100950540B1 KR 1020047005881 A KR1020047005881 A KR 1020047005881A KR 20047005881 A KR20047005881 A KR 20047005881A KR 100950540 B1 KR100950540 B1 KR 100950540B1
Authority
KR
South Korea
Prior art keywords
trick mode
segment
picture
display time
video data
Prior art date
Application number
KR1020047005881A
Other languages
English (en)
Other versions
KR20040045889A (ko
Inventor
슈 린
도날드 헨리 윌리스
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20040045889A publication Critical patent/KR20040045889A/ko
Application granted granted Critical
Publication of KR100950540B1 publication Critical patent/KR100950540B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

특정 트릭 모드를 사용자가 선택하여, 디스플레이되는 화상의 수는 이에 따라 결정된 디스플레이 시간에 기초하여 선택된 트릭 모드 속도에 대응하도록 조정될 수 있다. 이후에, 대역폭의 사용이, 재생 디바이스(100)와 원격 디코더(136) 사이의 채널 용량이 초과되지 않음을 보장하도록 결정될 수 있다. 순방향 트릭 모드에 대해, 재생 디바이스(100)와 원격 디코더(136) 사이의 대역폭이 초과되는 경우에, B-화상은 재생 세그먼트 전체에 균일하게 제거될 수 있다. B-화상이 존재하고, 제거되는 경우, 더미 B-화상으로 대체될 수 있다. 다시, 재생 디바이스(100)와 원격 디코더(136) 사이에 이용가능한 대역폭이 여전히 충분하지 않으면, P-화상은 재생 세그먼트로부터 제거될 수 있고, 더미 P-화상으로 균일하게 대체될 수 있다.

Description

사용자 선택가능한 가변 트릭 모드 속도 {USER SELECTABLE VARIABLE TRICK MODE SPEED}
본 발명은 개선된 트릭 모드 재생에 관한 것으로, 더 구체적으로 가변 속도 트릭 모드를 선택할 때 사용자 유연성을 제공하는 것에 관한 것이다.
예를 들어 MPEG 압축 프로토콜을 이용하여 디지털 압축된 오디오 및 비디오 신호로 리코딩된 디스크의 도입은 원본과 사실상 구별 불가능한 음질 및 화질을 제공할 수 있다. 그러나, 사용자는, 그러한 디지털 비디오 디스크(DVD)가 아날로그 비디오카세트 리코더(VCR)와 같은 선구 디바이스의 특징과 유사한 특징을 최소로 제공하기를 기대할 것이다. 예를 들어, DVD는 규정에 의해 1×로 표시된 정상 재생 속도가 아닌 속도로 순방향 또는 역방향으로의 재생을 제공하도록 예측될 수 있다. 그러한 비-표준 속도 재생 특징은 트릭 모드로서 알려져 있다.
MPEG 인코딩 비디오 신호에 트릭 모드 특징을 제공하는 것은, 변하는 압축도를 갖는 화상을 그룹으로 형성하는데 사용되는 압축 알고리즘의 계층적 특성으로 인해 간단하지 않은 일이다. 이러한 그룹은 화상 그룹(GOP)으로 지칭되고, 순차 디코딩을 필요로 할 수 있다. 이러한 개시 내에서, GOP는, 2개의 연속적인 인트라-코딩 화상들 사이의 구조에 이 인트라-코딩 화상들 중 하나를 더한 것을 포함하도록 확장될 수 있다. MPEG 2 표준에 대한 세부 사항은 ISO/IEC 표준 13818-2로서 공개되어 있다.
그럼에도 불구하고, MPEG 2 신호 스트림은 변하는 컨텐트 압축도를 갖는 3가지 유형의 화상을 포함할 수 있다. 인트라-코딩 화상(I-화상)은 3가지 유형의 최소 압축을 갖고, 임의의 다른 화상을 참조하지 않고도 디코딩될 수 있다. 예측 화상(P-화상)은 이전 I-화상 또는 P-화상을 참조하여 압축될 수 있고, P-화상은 I-화상보다 더 큰 압축도를 달성할 수 있다. 쌍방향 예측 화상(B-화상)이라 지칭된 제 3 유형의 MPEG 화상은 이전 및/또는 다음의 I 또는 P 화상으로부터의 예측에 기초하여 압축될 수 있다. B-화상은 가장 큰 압축도를 가질 수 있다. 3가지 유형의 MPEG 화상은 GOP를 형성하도록 배열될 수 있다.
도 1은 MPEG 디스플레이 시퀀스(50) 내의 예시적인 GOP(55)를 도시한다. 도 1을 참조하면, GOP(55)는 MPEG 디스플레이 시퀀스(50) 내에 12개의 연속적인 화상을 포함할 수 있다. 하나의 I-화상만이 임의의 다른 화상을 참조하지 않고도 디코딩가능하기 때문에, 각 GOP는 I-화상이 디코딩된 다음에만 디코딩될 수 있다. 제 1 P-화상은 저장된 이전 I-화상에 기초하여 디코딩되고 저장될 수 있다. 이전 I-화상에 기초한 P-화상 예측은 62로 표시된다. 이후의 P-화상은 이전 P-화상으로부터 예측될 수 있다. 이전 P-화상에 기초한 P-화상의 예측은 60 및 68로 표시된다. 마지막으로, B-화상은 이전 및/또는 다음의 기준 화상, 예를 들어 저장된 P-화상으로부터의 예측에 의해 디코딩될 수 있다. 이전 P-화상으로부터 B-화상의 예시적인 예측은 64 및 70이다. 이후 P-화상으로부터 B-화상의 예시적인 예측은 66 및 72이다.
MPEG 화상 그룹을 포함하는 코딩된 화상의 계층적 특성은, 각 GOP의 I-화상 및 P-화상이 순방향으로 디코딩되는 것을 필요로 한다. 순방향으로, 화상이 원하는 재생 속도를 달성하도록 스킵되거나 추가될 수 있지만, 일반적으로 재생은 순차적으로 발생한다. 중요하게, 더 이전 또는 이전 I-화상으로 효과적으로 다시 도약하고, 그 다음에 상기 I-화상에 대응하는 GOP를 통해 순방향으로 디코딩함으로써 역 모드로 특징이 제공될 수 있다. 디코딩 화상은 원하는 역 프로그램 시퀀스를 달성하도록 이후에 역방향으로 판독하기 위해 프레임 버퍼 메모리에 저장될 수 있다.
트릭 모드 동안 시각적으로 원활한 재생을 제공하기 위해, 메모리로부터 특정 화상으로의 적시의 디스크 검색 및 액세스가 필요할 수 있다. 각 디지털 디스크가 화상 액세스 지점을 제공하는 네비게이션 데이터(navigation data)로 인코딩될 수 있지만, 이러한 지점은 개수에 한정되고, 시간적으로 에일리어싱된(aliased) 이미지 움직임에 고유하게 기여할 수 있다. 순방향 및 역방향으로 변하는 속도로 시간적으로 원활한 트릭 모드 재생을 달성하기 위해, 모든 인코딩된 화상으로의 액세스, 및 상기 화상의 디코딩을 제공하는 것이 필요할 수 있다. 이것은 대량의 고속 메모리를 필요로 할 수 있고, 그러한 메모리가 이용가능하지 않은 경우, 버퍼가 초과 실행될 수 있어서, 화상의 손실 및 성능 저하를 초래한다. 따라서, 대량의 고속 메모리 및 처리 전력에만 의존하지 않고도 트릭 모드 성능을 개선시킬 필요가 있다.
재생 디바이스가 국부적으로 연관된 디코더를 가질 수 있지만, 멀리 떨어져 위치한 디코더 배열도 또한 가능하다. 예를 들어, 재생 디바이스는 통합된 디코더를 포함할 수 있다. 그러나, 재생 디바이스로부터 멀리 떨어진 위치에 위치하는 디스플레이 디바이스도 또한 자체 디코더를 가질 수 있다. 이러한 관점에서, 디스플레이 디바이스와 연관된 디코더를 원격 디코더라 부를 수 있다. 원격 디코더 배열에서, 트릭 모드를 수행하는 것은 매우 어려울 수 있다. 종종, 트릭 모드는, 고속 모션 트릭 모드 동안과 같이 비디오 신호에서 다수의 화상을 스킵하는 것을 수반한다. 원격 디코더로 송신되는 비디오 신호에서 화상을 스킵하는 것은 실제로 신호의 평균 비트율을 증가시킬 수 있다. 디지털 비디오 리코더 또는 플레이와 멀리 떨어져 위치한 디코더 사이의 대역폭이 일반적으로 한정되기 때문에, 고속 모션 트릭 모드를 수행함으로써, 신호는 송신 채널의 최대 비트율을 초과할 수 있게 된다.
본 발명은, 저장 매체 상에 저장된 압축된 비디오 표현(presentation)의 재생을 위해 선택가능한 가변 트릭 모드 재생 속도를 구현하기 위한 방법 및 시스템을 제공한다. 사용자는 선택가능한 가변 트릭 모드를 선택할 수 있다. 본 방법은, 비디오 표현의 일부분의 고속 트릭 모드 재생을 위해 원격 디코더로부터 수신된 명령에 응답하여, 선택된 가변 트릭 모드 속도로 비디오 표현의 일부분의 세그먼트를 디스플레이하는 디스플레이 시간을 결정하는 단계를 포함할 수 있다. 후속적으로, 세그먼트로부터 삭제될 화상의 선택은, 선택된 가변 트릭 모드 속도로 비디오 표현의 일부분을 재생할 동안 결정된 트릭 모드 디스플레이 시간을 달성하기 위해 이루어질 수 있다. 선택된 화상은 이후에 삭제될 수 있다. 트릭 모드 디스플레이 시간 은, 선택된 가변 트릭 모드 재생 속도로 비디오 표현의 세그먼트에서 화상을 디스플레이하는데 필요한 시간을 표시할 수 있다.
본 발명의 배열에 따라, 선택된 가변 트릭 모드 속도로 세그먼트를 위한 디스플레이 시간을 결정하는 단계는, 1X의 정상 재생 속도로 세그먼트를 디스플레이하는데 필요한 디스플레이 시간을 결정하는 단계를 더 포함할 수 있다. 선택된 가변 트릭 모드 속도로 세그먼트에서의 화상을 디스플레이하는데 필요한 디스플레이 시간을 결정한 이후에, 세그먼트에 대한 디스플레이 시간은 정수개의 필드 디스플레이 기간(field display period)인 것을 보장하도록 조정될 수 있다. 세그먼트에 대한 디스플레이 시간을 조정하여 남은 잔여 부분(residual portion)은 선택적인 가변 트릭 모드 속도로 재생할 동안 이후에 디스플레이될 비디오 표현의 세그먼트에 대한 트릭 모드 디스플레이 시간에 추가될 수 있다. 후속적인 세그먼트는 비디오 표현의 기존의 세그먼트 또는 다른 세그먼트에서의 화상의 나머지 부분일 수 있다. 비디오 표현의 부분의 고속 트릭 모드 재생을 위한 원격 디코더로부터의 명령은 순방향 트릭 모드 명령일 수 있다.
본 방법은, 세그먼트로부터 결정된 화상의 삭제로부터 야기되는 화상의 나머지 부분을 디스플레이하는 단계를 더 포함하며, 나머지 화상은 선택된 가변 트릭 모드 속도로 디스플레이된다. 비디오 표현의 세그먼트는 화상 그룹 또는 임의의 다른 적합한 화상의 그룹화 또는 카테고리화일 수 있다. 삭제될 수 있는 화상을 결정하거나 선택할 때, 가장 낮은 우선 순위의 화상이 먼저 선택될 수 있다. 가장 낮은 우선 순위의 화상이 세그먼트로부터 삭제될 수 있을 때 이용가능한 대역폭이 초과 되는 경우, 추가적으로 가장 낮은 우선 순위의 화상은 더미 화상으로 대체될 수 있다. 유리하게도, 더미 화상은 세그먼트 전체에 고르게 분포될 수 있는 것이 바람직하다.
본 발명의 추가 양상에서, 저장 매체 상에 저장된 압축된 비디오 표현의 재생을 위한 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템이 제공된다. 사용자는 선택가능한 가변 트릭 모드를 선택할 수 있다. 시스템은 선택된 가변 트릭 모드 속도로 비디오 표현의 일부분의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 수단을 포함할 수 있다. 결정 수단은 비디오 표현의 일부분의 고속 트릭 모드 재생을 위해 원격 디코더로부터의 명령에 응답하도록 구성될 수 있다. 추가적으로, 시스템은, 선택된 가변 트릭 모드 속도로 비디오 표현의 세그먼트를 재생할 동안 결정된 트릭 모드 디스플레이 시간을 달성하기 위해 세그먼트로부터 삭제될 화상을 선택하는 수단을 또한 제공할 수 있다. 시스템은 삭제를 위해 선택된 이러한 화상을 삭제하는 수단을 또한 제공할 수 있다. 선택된 가변 트릭 모드 속도로 세그먼트에 대한 디스플레이 시간을 결정하는 수단은 정상 재생 속도로 세그먼트를 디스플레이하는데 필요한 디스플레이 시간을 결정하는 수단을 더 포함할 수 있다.
본 발명의 배열에 따라, 선택된 가변 트릭 모드 속도로 세그먼트에 대한 디스플레이 시간을 결정하는 수단은, 세그먼트에 대한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하기 위한 수단을 더 포함할 수 있다. 시스템은, 선택된 가변 트릭 모드 속도로 재생된 비디오 표현의 일부분의 이후에 디스플레이된 세그먼트에 대한 트릭 모드 디스플레이 시간에, 세그먼트에 대한 조정된 디스플레이 시간으로부터 남아있는 디스플레이 시간의 잔여 부분을 추가하는 수단을 더 포함할 수 있다. 본 발명이 이러한 관점에 한정되지 않지만, 트릭 모드 재생은 순방향 재생 트릭 모드일 수 있다. 시스템은 세그먼트로부터의 화상의 삭제로부터 야기되는 화상의 나머지 부분을 디스플레이하는 수단을 더 포함할 수 있다. 특히, 세그먼트는 화상 그룹일 수 있다. 이러한 관점에서, 디스플레이 수단은 선택된 가변 고속 트릭 모드 속도로 나머지 화상을 디스플레이할 수 있다.
세그먼트로부터 삭제될 그러한 화상을 선택하는 수단은, 화상의 우선 순위에 기초하여 삭제될 화상을 결정하는 수단을 더 포함할 수 있다. 선택 수단은 세그먼트 내에서 가장 낮은 우선 순위를 갖는 화상, 또는 화상 그룹을 선택하는 수단을 더 포함할 수 있다. 시스템은, 가장 낮은 우선 순위의 화상이 세그먼트로부터 삭제될 때 채널의 이용가능한 대역폭이 초과되는 경우, 추가적으로 가장 낮은 우선 순위의 화상을 더미 화상으로 대체하는 수단을 더 포함할 수 있다. 더미 화상은 세그먼트 전체에 고르게 분포될 수 있는 것이 바람직하다.
본 발명의 추가 양상에서, 저장 매체 상에 저장된 압축된 비디오 표현의 재생을 위한 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법이 제공된다. 본 방법은, 비디오 표현의 일부분의 저속 트릭 모드 재생을 위해 원격 디코더로부터의 응답에 응답하여, 선택된 가변 트릭 모드 속도로 비디오 표현의 일부분의 세그먼트를 디스플레이하는 디스플레이 시간을 결정하는 단계를 포함할 수 있다. 선택된 가변 트릭 모드 속도로 비디오 표현의 일부분을 재생할 동안 결정된 디스플레이 시간 을 달성하기 위해 화상은 세그먼트로부터 반복되도록 선택될 수 있다. 특히, 선택된 화상은 반복될 수 있다. 원격 디코더로부터의 명령은 순방향 트릭 모드 명령일 수 있다.
선택된 가변 트릭 모드 속도로 세그먼트에 대한 디스플레이 시간을 결정하는 단계는 정상 재생 속도로 세그먼트를 디스플레이하는데 필요한 디스플레이 시간을 결정하는 단계를 더 포함할 수 있다. 선택된 가변 트릭 모드 속도로 세그먼트에 대한 디스플레이 시간을 결정하기 위해, 세그먼트에 대한 디스플레이 시간은 정수의 필드 디스플레이 기간으로 조정될 수 있다.
더욱이, 세그먼트에 대한 조정된 디스플레이 시간으로부터 남아있는 잔여 부분은 선택된 가변 트릭 모드 속도로 재생된 비디오 표현의 일부분의 이후에 디스플레이된 세그먼트에 대한 트릭 모드 디스플레이 시간에 추가될 수 있다. 본 방법은 세그먼트로부터 결정된 화상의 반복으로부터 야기된 화상의 나머지 부분을 디스플레이하는 단계를 더 포함할 수 있다. 중요하게도, 이러한 나머지 화상은 선택된 가변 트릭 모드 속도로 디스플레이될 수 있다.
비디오 표현의 세그먼트는 화상 그룹일 수 있다. 화상의 우선 순위는 반복될 세그먼트에서 그러한 화상을 결정하는데 사용될 수 있다. 이러한 관점에서, 세그먼트로부터 반복될 화상을 선택하는 단계는 세그먼트 내에서 가장 높은 우선 순위를 갖는 화상을 선택하는 단계를 더 포함할 수 있다.
본 발명은, 저장 매체 상에 저장된 압축된 비디오 표현의 재생을 위한 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템을 더 제공한다. 시스템은 선 택된 가변 트릭 모드 속도로 비디오 표현의 일부분의 세그먼트를 디스플레이하는 디스플레이 시간을 결정하는 수단을 포함할 수 있다. 디스플레이 시간을 결정하는 수단은 비디오 표현의 부분의 저속 트릭 모드 재생을 위해 원격 디코더로부터의 명령에 응답할 수 있다. 이 명령은 순방향 트릭 모드 명령일 수 있다. 선택 수단은, 선택된 가변 트릭 모드 속도의 비디오 표현의 일부분을 재생할 동안 결정된 트릭 모드 디스플레이 시간을 달성하기 위해 세그먼트로부터 반복될 화상을 선택하기 위해 제공될 수 있다. 반복 수단은 선택된 화상을 반복하기 위해 제공될 수 있다.
선택된 가변 트릭 모드 속도로 세그먼트에 대한 디스플레이 시간을 결정하는 수단은 정상 재생 속도로 세그먼트를 디스플레이하는데 필요한 디스플레이 시간을 결정하는 수단을 더 포함할 수 있다. 선택된 가변 트릭 모드 속도로 세그먼트에 대한 디스플레이 시간을 결정하는 수단은 세그먼트에 대한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하는 수단을 더 포함할 수 있다. 시스템은, 세그먼트에 대한 조정된 디스플레이 시간으로부터 남아있는 잔여 부분을, 선택된 가변 트릭 모드 속도로 재생된 비디오 표현의 일부분의 이후에 디스플레이된 세그먼트에 대한 트릭 모드 디스플레이 시간에 추가하는 수단을 더 포함할 수 있다.
디스플레이 수단은 세그먼트로부터 선택된 화상의 반복으로부터 야기된 화상의 나머지 부분을 디스플레이하기 위해 제공될 수 있다. 비디오 표현의 세그먼트는 화상 그룹일 수 있다. 디스플레이 수단은 선택된 가변 트릭 모드 속도로 나머지 화상을 디스플레이할 수 있다. 선택 수단은 화상의 우선 순위에 기초하여 반복될 화상을 결정하는 수단을 더 포함할 수 있다. 이러한 관점에서, 선택 수단은 세그먼트 내에서 가장 높은 우선 순위를 갖는 화상을 선택하는 수단을 더 포함할 수 있다.
도 1은 MPEG 디스플레이 시퀀스 내에서 예시적인 GOP 구조를 도시한 도면.
도 2는 트릭 모드 재생 중에 화상을 디코딩하고 디스플레이하는 예시적인 장치를 도시한 도면.
도 3은 본 발명의 배열에 따라 예시적인 단계를 도시한 흐름도.
도 4는 본 발명의 배열에 따라 가변 트릭 모드 재생 중에 순방향 저속 트릭 모드를 위한 예시적인 단계를 도시한 흐름도.
본 명세서에 기재된 본 발명에 따라 다양하게 개선된 동작 특징을 구현하는 디바이스(100)는 도 2의 블록도에 도시된 본 발명의 배열에 따라 파일 저장 시스템(104)을 이용할 수 있다. 도 2가 디스크 기반의 저장 디바이스(106)를 도시하지만, 본 발명이 저장 매체(106)의 상태에 상관없이 임의의 MPEG 또는 다른 압축된 비디오 재생 디바이스로 실행될 수 있음이 이해된다. 본 명세서에 사용된 바와 같이, MPEG 또는 MPEG 비디오는, MPEG-1, MPEG-2를 포함하지만 여기에 한정되지 않는 MPEG 인코딩 표준에 따른 비디오 압축으로 언급한다. 더욱이, 세그먼트라는 용어는, GOP와, 비디오 데이터 세그먼트가 비디오 데이터의 처리하기 쉬운 청크(chunk)(각 청크는 세그먼트이다)로 분리될 수 있는 임의의 세그먼트화 메커니즘을 폭넓게 포함하도록 본 명세서에 사용될 것이다. 본 발명이 이러한 관점에 한정되지 않지만, 세그먼트는 비디오의 약 1/2 -1 초일 수 있다. 디스크 매체(106)는 예시된 실시예에서 고정 디스크로서 구현된다. 많은 경우에, 인식하는 바와 같이, 파일 저장 시스템(104)은 또한 예를 들어 고체 메모리 또는 광자기 디스크(MOD)일 수 있다. MOD의 일례는 미니 디스크이다. 어쨌든, 그러한 저장 시스템은 종래 기술에 잘 알려져 있고, 그 동작은 본 발명을 이해하는데 그리 중요하지 않다.
디바이스(100)의 제어부(120)는 제어 중앙 처리 유닛(CPU)(122)을 포함할 수 있다. 제어 CPU(122)는 본 발명에 따라 재생 특징을 인에이블링하고 제어하기 위한 루틴(134)을 포함할 수 있다. 시청자가 작동 가능한 기능을 위한 재생 특징 버퍼(132)는 예시적인 기능의 동작, 즉 플레이, 정지, 되감기, 앞으로 감기, 및 일시 정지를 용이하게 할 수 있다. 플레이 및 정지 이외의 이들 기능은 트릭 모드 기능이다. 일시 정지는, 미리 리코딩된 표현의 재생의 수동 중단을 용이하게 할 수 있는 VCR에서의 일시 정지 동작과 유사할 수 있다. VCR에서의 일시 정지 동작은 또한 리코딩으로부터 광고를 제거하기 위해 시청 프로그램의 리코딩을 중단하는데 사용될 수 있다.
제어 CPU(122)는 저장 매체(106)로부터 정보를 판독하고, 및/또는 결과로서 생기는 데이터를 생성 및 저장하도록 구성될 수 있다. 메모리(130)는 제어 CPU(122)에 의해 생성된 정보 또는 데이터를 저장하는데 사용될 수 있다. 제어 CPU(122)에 의해 생성된 출력 신호는 MPEG 포맷 데이터 스트림일 수 있다. 본 발명이 이러한 관점에 한정되지 않지만, 이러한 출력 데이터는 멀리 떨어져 위치한 MPEG 디코더(136) 또는 NTSC 또는 다른 인코더에 공급될 수 있다. 본 발명의 배열에 따른 정보 파일의 사용은 멀리 떨어져 위치한 디코더를 이용하여 디지털 인코딩 신호를 디코딩할 때 중요한 한계를 유리하게 극복할 수 있다. 특히, 멀리 떨어져 위치한 디코더 배열에서 트릭 모드를 수행하는 것은 매우 어렵다.
종종, 트릭 모드의 수행(performance)은 고속 모션 트릭 모드 동안과 같이 비디오 신호에서의 다수의 화상을 스킵하는 단계를 수반할 수 있다. 원격 디코더로 송신되는 비디오 신호에서 화상을 스킵하는 것은 실제로 신호의 평균 비트율을 증가시킬 수 있다. 디지털 비디오 리코더 또는 플레이어와 멀리 떨어져 위치한 디코더 사이의 대역폭이 일반적으로 한정되기 때문에, 고속 모션 트릭 모드를 수행함으로써, 신호가 송신 채널의 최대 비트율을 초과할 수 있다. GOP에서 화상 위치에 속하는 파라미터는 정보 파일이라 불리는 파일에 저장될 수 있다. 정보 파일은 비디오 표현이 저장되는 저장 매체 상에 저장될 수 있다. 유리하게도, 정보 파일에 포함된 데이터는, 더 원활한 트릭 모드를 제공하기 위해 MPEG 비디오 스트림 전체에 더미 화상을 분산시킴으로써, 특정 이벤트의 출현을 예측하고 그러한 초과 비트율과 같은 문제를 해결하는데 사용될 수 있다.
유리하게도, 본 발명은 가변적으로 선택된 트릭 모드 속도를 용이하게 하기 위해 트릭 모드 재생을 변화시키는 일련의 단계를 제공한다. 처음에, 특정 트릭 모드를 사용자가 선택할 때, 디스플레이된 화상의 수는 이에 따라 선택된 트릭 모드 속도에 대응하도록 조정될 수 있다. 이후에, 대역폭의 사용(usage)이 재생 디바이스와 원격 디코더 사이의 채널 용량이 초과되지 않는 것을 보장하기 위해 결정될 수 있다.
순방향 트릭 모드에 대해, 재생 디바이스와 원격 디코더 사이의 대역폭이 초과되는 경우에, 만약 재생 세그먼트에서 임의의 B-화상이 존재하면, B-화상은 재생 세그먼트 전체에 균일하게 제거될 수 있다. B-화상이 존재하고 제거된 경우, B-화상은 더미 B-화상으로 대체될 수 있다. 다시, 재생 디바이스와 원격 디코더 사이에 이용가능한 대역폭이 여전히 부족한 경우, P-화상은 재생 세그먼트로부터 제거될 수 있다. 중요하게도, P-화상은 재생 세그먼트로부터 제거될 수 있고, 더미 P-화상으로 대체될 수 있다. 바람직하게, P-화상의 제거는 세그먼트의 마지막으로부터 시작하여, 세그먼트의 시작 쪽으로 진행할 수 있다. P-화상의 대체는 세그먼트 전체에 더미 P-화상을 균일하게 위치시키는 것을 포함할 수 있다.
도 3은 본 발명의 배열에 따른 예시적인 단계를 도시한 흐름도이다. 도 3을 참조하면, 단계(305)에서, 잔여 세그먼트 디스플레이 시간 파라미터(res_seg_dsp_time)는 0으로 초기화될 수 있다. 이러한 단계는 흐름도를 통해 첫 번째 경로에서 발생할 수 있다. 이 단계 동안 res_seg_dsp_time 파라미터를 초기에 설정하는 것에 대한 관련성은 이제 곧 쉽게 이해될 것이다.
단계(310)에서, 현재 세그먼트에 대한 디스플레이 시간 파라미터(seg_dsp_time)가 결정될 수 있다. seg_dsp_time 파라미터는 정상 재생 속도(1X)로 현재 세그먼트에서 모든 화상을 디스플레이하는데 필요한 총 시간을 나타낼 수 있다. 특히, seg_dsp_time 파라미터는 정상 속도로 현재 파라미터에서 모든 화상을 디스플레이하는데 필요한 총 필드 기간 디스플레이 시간의 표시자(indicator)일 수 있다. MPEG의 경우에, 세그먼트는 GOP이다.
단계(315)에서, 트릭 모드 세그먼트 디스플레이 시간 파라미터(tm_seg_dsp_time)가 결정될 수 있다. tm_seg_dsp_time 파라미터는 선택된 트릭 모드 재생 속도(TMPS)로 현재 세그먼트를 디스플레이하는데 필요한 실제 시간 길이를 나타낼 수 있다. 중요하게도, 정상 재생 동안 모든 세그먼트에 대해, 등가의 트릭 모드 세그먼트가 생성될 수 있다. 그러므로, tm_seg_dsp_time은 트릭 모드 세그먼트가 차지하는 시간 길이를 결정한다. 현재 세그먼트에 대한 트릭 모드 세그먼트 디스플레이 시간은 tm_seg_dsp_time=seg_dsp_time/TMPS로 결정될 수 있다.
단계(320)에서, 조정된 트릭 모드 세그먼트 디스플레이 시간 파라미터(adj_tm_time)가 결정될 수 있다. adj_tm_time 파라미터는, 현재 세그먼트에 대한 디스플레이 시간이 정수개의 디스플레이 필드 기간임을 보장하기 위해 트릭 모드 디스플레이 시간(tm_seg_dsp_time)에 대한 조정을 나타낼 수 있다. 예를 들어, 미국에서, 디스플레이 필드 기간은 1/60초로 양자화된다. 유사하게, 유럽에서, 디스플레이 필드 기간은 1/50초로 양자화된다. adj_tm_time은, 현재 세그먼트에서의 화상, 및 디스플레이되도록 지정되지만 디스플레이되지 않은 이전 세그먼트로부터 남아있는 임의의 화상을 디스플레이하는데 필요한 총 디스플레이 시간을 포함할 수 있다. 중요하게도, 조정된 트릭 모드 세그먼트 디스플레이 시간 파라미터는 adj_tm_time=tm_seg_dsp_time+res_seg_dsp_time으로 결정될 수 있다.
바람직하게, 조정된 필드 디스플레이 기간 파라미터는 가장 가까운 정수 값으로 사사오입된다. 그 다음의 가장 가까운 정수 값으로의 사사오입으로부터 버려진 부분은 단계(305)에서 잔여 세그먼트 디스플레이 시간 (res_seg_dsp_time)이다. 잔여 세그먼트 디스플레이 시간은 후속적인 세그먼트에 대한 조정된 트릭 모드 재생 세그먼트 디스플레이 시간을 결정하는데 사용될 수 있다.
단계(325)에서, 잔여 세그먼트 디스플레이 시간 파라미터(res_seg_dsp_time)를 위한 새로운 값은 조정된 트릭 모드 세그먼트 디스플레이 시간 파라미터(adj_tm_time)의 임의의 비-정수 부분을 나머지 필드 기간 파라미터(res_seg_dsp_time)에 할당함으로써 결정될 수 있다. 유리하게도, 세그먼트들 사이의 트릭 모드 디스플레이 시간을 조정함으로써, 선택된 평균 트릭 모드 속도는 일정하게 유지될 수 있다. 이는 트릭 모드 재생에 대해 훨씬 더 제어가 잘 이루어지게 하고, 유연성이 더 높아지게 한다. 중요하게도, 잔여 세그먼트 디스플레이 시간이 선택적으로 결정될 수 있음을 쉽게 이해해야 한다. 예를 들어, 이러한 값은 0의 값으로 설정될 수 있고, 결코 변하지 않는다. 이러한 경우에, 잔여 세그먼트 디스플레이 시간(res_seg_dsp_time)을 가질 필요가 없다. 중요하게도, 세그먼트 디스플레이 시간의 조정이 이용된 세그먼트 또는 프레임 구조에 따를 수 있음을 주의해야 한다. 예를 들어, 특정 경우에, 세그먼트 디스플레이 시간을 정수의 프레임 디스플레이 기간으로 사사오입하는 것이 적절할 수 있는 한편, 다른 경우에, 세그먼트 디스플레이 시간은 정수의 필드 디스플레이 기간으로 사사오입될 수 있다. 그럼에도 불구하고, 본 발명은 이러한 관점에 한정되지 않는다.
단계(330)에서, 선택된 재생 트릭 모드 속도에 대해 이전에 결정되고 조정된 트릭 모드 세그먼트 디스플레이 시간 파라미터(adj_tm_time)를 달성하기 위해 삭제되어야 할 화상에 대한 결정 또는 선택이 이루어질 수 있다.
삭제되어야 할 화상을 선택할 때 몇몇 인자가 고려될 수 있다. 특히, 이러한 인자는 본래 리코딩 포맷의 코딩 구조, 선택된 트릭 모드 재생 속도, 및 재생 디바 이스(100)와 원격 디코더 사이의 채널의 대역폭 또는 최대 비트율을 포함할 수 있지만, 여기에 한정되지 않는다. 처음에, 채널의 비트율은 결정될 수 있고, 삭제를 위해 선택된 화상이 표현 데이터 스트림으로부터 제거되기 때문에, 비트율은, 채널의 대역폭이 초과되지 않는 것을 보장하기 위해 계속해서 감시될 수 있다. 후속하는 세그먼트를 처리하기 위해, 단계(310) 내지 단계(330)가 반복될 수 있다. 특히, 단계(305)는, 그 값이 단계(325)에서 결정되기 때문에 반복되지 않는다.
중요하게도, 더 낮은 우선 순위의 화상이 세그먼트로부터 삭제될 때, 일반적으로 채널에 대한 비트율은 화상 비율이 동일하게 되므로 증가한다. 이는, 가장 적은 비트를 갖는 화상, 즉 B 화상이 삭제되고, 나머지 화상이 삭제 이전에 평균 화상보다 많은 비트를 가질 때 발생할 수 있다. 특히, 화상이 삭제될 때마다, 채널의 대역폭은 채널의 최대 대역폭을 포화하거나 초과하지 않기 위해 체크될 수 있다.
단계(305 내지 330)에서의 파라미터 일부 또는 전부가 하나의 정보 파일에 저장될 수 있음이 인식되어야 한다. 바람직하게, 파라미터는, 제어 CPU(122)에 의해 검색되고, 변경되고 저장될 수 있는 메모리(130)에 저장될 수 있다. 제어 CPU(122)는 도 3에 도시된 모든 예시적인 단계를 수행하도록 구성될 수 있다.
선택된 트릭 모드 속도에 대해 조정된 세그먼트 디스플레이 시간을 달성하기 위해 삭제될 화상을 결정할 때, 세그먼트 내에서 가장 낮은 우선 순위를 갖는 이러한 화상을 삭제하는 것이 바람직할 수 있다. 화상의 유형은 계층적으로 배열될 수 있는데, 즉 가장 높은 우선 순위를 갖는 I-화상이 오고, 뒤이어 P-화상이 오고, 마지막으로 가장 낮은 우선 순위를 갖는 B-화상이 오도록 배열된다. 세그먼트 내에서, 앵커(anchor) 화상 또는 기준 화상은 디스플레이될 가장 높은 우선 순위를 가질 수 있고, 다른 유형의 화상이 삭제된 후에만 삭제되는 것이 바람직할 것이다. 기준 화상은 다른 화상을 예측하는데 사용될 수 있는 화상이다. 기준 화상은 I-화상 또는 P-화상 중 어느 하나일 수 있다.
중요하게도, B-화상이 가장 낮은 디스플레이 우선 순위를 갖기 때문에, 앵커 화상의 수가 충분하지 않고 세그먼트의 기존의 비트율이 채널의 최대로 허용가능한 비트율을 초과하지 않을 때, B-화상만이 디스플레이를 위해 고려될 것이다. B-화상이 송신 또는 디스플레이되도록 선택되고, 채널의 비트율이 초과되는 경우에, 더미 B-화상은 B-화상을 대체하는데 사용될 수 있다. 바람직하게, B-화상을 더미 B-화상으로 대체하는 것은 세그먼트 전체에 더미 화상을 고르게 분포하도록 이루어질 수 있다. 유리하게도, 세그먼트 전체에 더미 화상을 고르게 분포시키는 것은 화상들 간에 훨씬 더 원활한 전이를 발생시켜, 이를 통해 흔들림(jerkiness)을 감소시킨다.
B-화상이 더미 화상으로 대체되고, 비트율이 채널의 최대 비트율을 여전히 초과하는 경우에, P-화상은 더미 P-화상으로 대체될 수 있다. P-화상을 더미 P-화상으로 대체하는 것은 세그먼트의 마지막에서 시작하여, 세그먼트의 시작으로 진행할 수 있다. 유리하게도, 더미 P-화상의 위치 결정은, 평균 트릭 모드 속도를 보장하기 위해 세그먼트 전체에 일정하게 이루어질 수 있으며, 이로 인해 흔들리는 비디오가 적어져서, 더 쾌적한 시청 경험을 제공한다.
본 발명의 다른 양상에 따라, 사용자 선택가능한 가변 트릭 모드 속도는 순 방향으로 저속 트릭 모드 재생을 더 포함할 수 있다. 저속 트릭 모드는 1X의 정상 재생 속도보다 더 느린 속도로의 재생을 포함할 수 있다. MPEG 디코더와 같은 디코더로부터의 출력은 시청자 또는 디스플레이 디바이스의 입력에 연결될 수 있는 것이 바람직하다. 저속 트릭 모드 동안, MPEG GOP 또는 비트스트림은, 디코딩 및 디스플레이되는 화상 일부 또는 전부가 반복되도록 포맷될 수 있다. 이러한 화상은 저속 트릭 모드 재생 속도와 같은 인자에 따라 1회 이상 반복될 수 있다. 화상을 반복함으로써, 디스플레이 시간이 훨씬 더 길어질 수 있어서, 선택된 저속 트릭 모드 재생 속도가 유지될 수 있는 것을 보장한다.
중요하게도, 화상은 재생을 위해 선택된 세그먼트에 존재하는 화상의 유형에 기초하여 반복될 수 있다. MPEG 포맷형 정보의 경우에, GOP는 I-화상, B-화상 및 P-화상을 포함할 수 있다. B-화상의 경우에, B-화상을 나타내는 데이터는 디스플레이 디바이스 상의 디스플레이를 위해 복제되고 재송신될 수 있다. 더욱이, 또한 GOP에서 화상의 의도된 디스플레이 순서를 나타내는 시간 기준을 변경시킬 필요가 있을 수 있다.
I-화상 및 P-화상의 경우에, 더미 화상을 송신함으로써 I-화상 및 P-화상을 반복할 수 있는 것이 바람직하다. 그러나, B-화상의 경우에, B-화상을 나타내는 데이터는 데이터를 복사 및 재송신함으로써 반복될 수 있다. 그럼에도 불구하고, 본 발명은 이러한 관점에 한정되지 않는다. 본질적으로, 더미 화상은 예측되는 화상의 정밀한 사본이다. 더욱이, 더미 화상은 예측되는 화상의 등가물이고, 이 화상을 반복할 수 있다. 이러한 관점에서, 디코딩된 더미 화상은, 더미 화상이 예측되는 화상과 구별 불가능할 수 있다. 유리하게도, 일반적으로 I-화상 및 P-화상이 B-화상보다 더 많은 비트를 포함하기 때문에, 다른 화상보다 상당히 더 적은 비트를 포함하는 더미 화상으로 I-화상 및 P-화상을 반복하는 것이 바람직하다. 특히, 이로 인해, 디코더와 재생 디바이스 사이에 채널의 비트율을 초과하는 것과 연관된 임의의 문제를 제거할 수 있게 된다.
도 4는, 본 발명의 배열에 따라 가변 트릭 모드 재생 동안 순방향 저속 트릭 모드에 대한 예시적인 단계를 도시한 흐름도이다. 도 4를 참조하여, 단계(405)에서, 디스플레이 시간 파라미터는 현재 세그먼트에 대해 결정될 수 있다. 단계(410)에서, 선택된 저속 트릭 모드 재생 속도로 현재 세그먼트를 디스플레이하는데 필요한 트릭 모드 디스플레이 시간 파라미터가 결정될 수 있다. 트릭 모드 디스플레이 시간 파라미터는 단계(405)로부터 트릭 모드 디스플레이 시간을 선택된 저속 트릭 재생 속도로 나눔으로써 결정될 수 있다. 단계(415)에서, 반복될 세그먼트에서의 화상, 및 디스플레이 시간 파라미터에 의해 식별된 결정된 디스플레이 시간 동안 화상이 반복되어야 하는 횟수에 대한 결정이 이루어질 수 있다. 단계(420)에서, B-화상은 복사에 의해 반복될 수 있고, I-화상 및 P-화상은 더미 화상을 삽입함으로써 반복될 수 있다.
본 발명의 배열에 따라, 선택된 트릭 모드 재생 속도를 달성하도록 반복적으로 디스플레이될 세그먼트에서의 화상은 세그먼트의 구조에 따를 수 있다. 예를 들어, GOP에 어떠한 B-화상도 존재하지 않는 경우, 저속 트릭 모드 재생 동안 재생을 위해 더미 화상을 추가하는 것이 바람직할 수 있다. I-화상 및 P-화상이 GOP에서 화상의 대략 1/3을 포함하는 매우 느린 트릭 모드에서, B-화상이 반복되지 않은 경우 재생은 시각적으로 만족스럽지 못할 것이다. 이 경우에, 시각적으로 만족스러운 경험을 보장하기 위해 B-화상을 복사하고, 더미 화상을 이용하여 I-화상 및 P-화상을 반복하는 것이 바람직할 수 있다.
본 발명의 이전 설명에 따라, 본 발명이 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있음이 이해되어야 한다. 본 발명에 따른 사용자 선택 가능한 가변 트릭 모드는 중앙 집중 방식, 또는 상이한 비디오 처리 요소가 수 개의 상호 연결된 시스템에 걸쳐 분포되는 분배 방식으로 실현될 수 있다. 유리하게도, 그러한 오락 시스템에서, 정보 파일은 독립적으로 멀리 떨어져 위치한 MPEG 디코더 사이에 정보를 전달하는데 사용될 수 있다. 임의의 종류의 컴퓨터 처리형(computerized) 또는 디지털 MPEG 처리 시스템, 또는 본 명세서에 기재된 방법을 수행하도록 적응된 다른 장치에 적합하다.
본 명세서에 기재된 본 발명이 도 1의 제어 CPU(122)를 구상했지만, 하드웨어와 소프트웨어의 일반적인 조합은 컴퓨터 프로그램을 갖는 일반적인 목적의 컴퓨터 시스템을 더 포함할 수 있는데, 상기 컴퓨터 프로그램은 본 명세서에 기재된 본 방법을 수행하도록, 로딩되고 수행될 때, 컴퓨터 시스템 및 도 1의 제어부(120)와 유사한 디지털 비디오 리코딩 시스템을 제어한다. 본 발명은 또한 컴퓨터 프로그램 제품 내에서 구현될 수 있는데, 상기 컴퓨터 프로그램 제품은 본 명세서에 기재된 방법의 구현을 가능하게 하는 모든 특징을 포함하고, 컴퓨터 시스템에 로딩될 때 이러한 방법을 수행할 수 있다.
본 명세서에서의 컴퓨터 프로그램은, 정보 처리 능력을 갖는 시스템으로 하여금 특정 기능을 직접 수행하게 하거나 a) 다른 언어, 코드 또는 표기(notation)로의 변환; b) 상이한 자료 형태의 재생 모두, 또는 어느 하나가 일어난 이후 수행하도록 하는 한 세트의 지령에 대한, 임의의 언어, 코드 또는 표기로 된 임의의 표현을 의미한다.
전술한 설명은 단지 예에 불과하고, 다음 청구항에 설명된 점을 제외하고 어떠한 방식으로도 본 발명을 한정하고자 하지 않는다.
상술한 바와 같이, 본 발명은, 저장 매체 상에 저장된 압축된 비디오 표현의 재생을 위해 선택가능한 가변 트릭 모드 재생 속도를 구현하기 위한 방법 및 시스템 등에 이용된다.

Claims (40)

  1. 재생 디바이스에서 저장 매체 상에 저장된 압축된 비디오 데이터(video data)를 재생하기 위해 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법으로서,
    상기 비디오 데이터를 고속 트릭 모드로 재생하기 위한 원격 디코더로부터의 명령에 응답하여, 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 단계와;
    상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터를 재생하는 동안 상기 결정된 디스플레이 시간을 달성하기 위해 상기 세그먼트로부터 삭제될 화상을 선택하는 단계와;
    상기 세그먼트로부터 삭제되도록 선택된 화상을 삭제하는 단계
    를 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  2. 제 1항에 있어서, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 단계는 정상 재생 속도로 상기 세그먼트를 디스플레이하는데 필요한 디스플레이 시간을 결정하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  3. 제 1항에 있어서, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 단계는 상기 세그먼트를 디스플레이하기 위한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  4. 제 3항에 있어서, 상기 세그먼트를 디스플레이하기 위한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하여 남은 잔여 부분을, 상기 선택된 가변 트릭 모드 속도로 재생되는 상기 비디오 데이터에서 후속적으로 디스플레이되는 세그먼트를 디스플레이하기 위한 트릭 모드 디스플레이 시간에 추가하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  5. 제 1항에 있어서, 상기 비디오 데이터를 고속 트릭 모드로 재생하기 위한 상기 원격 디코더로부터의 명령은 순방향 트릭 모드 명령인, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  6. 제 1항에 있어서, 상기 세그먼트로부터 삭제되도록 선택된 화상을 삭제하는 단계로부터 야기된 상기 세그먼트의 나머지 화상을 디스플레이하는 단계를 더 포함하며, 상기 나머지 화상은 상기 선택된 가변 트릭 모드 속도로 디스플레이되는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  7. 제 1항에 있어서, 상기 비디오 데이터의 상기 세그먼트는 화상 그룹인, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  8. 제 1항에 있어서, 상기 선택하는 단계는 I 화상이 가장 높은 우선순위를 갖고 그 다음이 P 화상이며 마지막으로 B 화상이 가장 낮은 우선순위를 가지는 화상의 우선 순위에 기초하여 삭제될 화상을 결정하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  9. 제 8항에 있어서, 상기 세그먼트로부터 삭제될 화상을 선택하는 단계는 상기 세그먼트 내에서 가장 낮은 우선 순위를 갖는 화상을 선택하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  10. 제 9항에 있어서, 상기 가장 낮은 우선 순위의 화상이 상기 세그먼트로부터 삭제될 때, 상기 재생 디바이스와 원격 디코더를 연결하는 송신 채널에서 이용가능한 대역폭이 초과되는 경우, 상기 가장 낮은 우선 순위의 화상을 더미 화상으로 대체하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  11. 제 10항에 있어서, 상기 더미 화상을 상기 세그먼트 전체에 분배하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  12. 저장 매체 상에 저장된 압축된 비디오 데이터를 재생하기 위해 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법으로서,
    상기 비디오 데이터를 저속 트릭 모드로 재생하기 위한 원격 디코더로부터의 명령에 응답하여, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 단계와;
    상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터를 재생하는 동안 상기 결정된 디스플레이 시간을 달성하기 위해 상기 세그먼트로부터 반복될 화상을 선택하는 단계와;
    상기 세그먼트로부터 반복되도록 선택된 화상을 반복하는 단계
    를 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  13. 제 12항에 있어서, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 단계는 정상 재생 속도로 상기 세그먼트를 디스플레이하는데 필요한 디스플레이 시간을 결정하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  14. 제 12항에 있어서, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 단계는 상기 세그먼트를 디스플레이하기 위한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  15. 제 14항에 있어서, 상기 세그먼트를 디스플레이하기 위한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하여 남은 잔여 부분을, 상기 선택된 가변 트릭 모드 속도로 재생되는 상기 비디오 데이터에서 후속적으로 디스플레이되는 세그먼트를 디스플레이하기 위한 트릭 모드 디스플레이 시간에 추가하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  16. 제 12항에 있어서, 상기 비디오 데이터를 트릭 모드로 재생하기 위한 상기 원격 디코더로부터의 명령은 순방향 트릭 모드 명령인, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  17. 제 12항에 있어서, 상기 세그먼트로부터 반복되도록 선택된 화상을 반복하는 단계로부터 야기된 상기 세그먼트의 나머지 화상을 디스플레이하는 단계를 더 포함하며, 상기 나머지 화상은 상기 선택된 가변 트릭 모드 속도로 디스플레이되는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  18. 제 12항에 있어서, 상기 비디오 데이터의 상기 세그먼트는 화상 그룹인, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  19. 제 12항에 있어서, 상기 선택하는 단계는 I 화상이 가장 높은 우선순위를 갖고 그 다음이 P 화상이며 마지막으로 B 화상이 가장 낮은 우선순위를 가지는 화상의 우선 순위에 기초하여 반복될 화상을 결정하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  20. 제 19항에 있어서, 상기 세그먼트로부터 반복될 화상을 선택하는 단계는 상기 세그먼트 내에서 가장 높은 우선 순위를 갖는 화상을 선택하는 단계를 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 방법.
  21. 저장 매체 상에 저장된 압축된 비디오 데이터를 재생하기 위해 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템으로서,
    상기 비디오 데이터를 고속 트릭 모드로 재생하기 위한 원격 디코더로부터의 명령에 응답하여, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 수단과;
    상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터를 재생하는 동안 상기 결정된 트릭 모드 디스플레이 시간을 달성하기 위해 상기 세그먼트로부터 삭제될 화상을 선택하는 수단과;
    상기 세그먼트로부터 삭제되도록 선택된 화상을 삭제하는 수단
    을 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  22. 제 21항에 있어서, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 수단은 정상 재생 속도로 상기 세그먼트를 디스플레이하는데 필요한 디스플레이 시간을 결정하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  23. 제 21항에 있어서, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 수단은 상기 세그먼트를 디스플레이하기 위한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  24. 제 23항에 있어서, 상기 세그먼트를 디스플레이하기 위한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하여 남은 잔여 부분을, 상기 선택된 가변 트릭 모드 속도로 재생되는 상기 비디오 데이터에서 후속적으로 디스플레이되는 세그먼트를 디스플레이하기 위한 트릭 모드 디스플레이 시간에 추가하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  25. 제 21항에 있어서, 상기 비디오 데이터를 트릭 모드로 재생하기 위한 상기 원격 디코더로부터의 명령은 순방향 트릭 모드 명령인, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  26. 제 21항에 있어서, 상기 세그먼트로부터 삭제되도록 선택된 화상을 삭제하는 단계로부터 야기된 상기 세그먼트의 나머지 화상을 디스플레이하는 수단을 더 포함하며, 상기 디스플레이 수단은 상기 선택된 가변 트릭 모드 속도로 상기 나머지 화상을 디스플레이하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  27. 제 21항에 있어서, 상기 비디오 데이터의 상기 세그먼트는 화상 그룹인, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  28. 제 21항에 있어서, 상기 선택하는 수단은 I 화상이 가장 높은 우선순위를 갖고 그 다음이 P 화상이며 마지막으로 B 화상이 가장 낮은 우선순위를 가지는 화상의 우선 순위에 기초하여 삭제될 화상을 결정하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  29. 제 28항에 있어서, 상기 선택하는 수단은 상기 세그먼트 내에서 가장 낮은 우선 순위를 갖는 화상을 선택하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  30. 제 29항에 있어서, 상기 가장 낮은 우선 순위의 화상이 상기 세그먼트로부터 삭제될 때 상기 시스템과 원격 디코더를 연결하는 송신 채널에서 이용가능한 대역폭이 초과되는 경우, 상기 가장 낮은 우선 순위의 화상을 더미 화상으로 대체하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  31. 제 30항에 있어서, 상기 더미 화상을 상기 세그먼트 전체에 분배하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  32. 저장 매체 상에 저장된 압축된 비디오 데이터를 재생하기 위해 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템으로서,
    상기 비디오 데이터를 저속 트릭 모드로 재생하기 위한 원격 디코더로부터의 명령에 응답하여, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 수단과;
    상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터를 재생하는 동안 상기 결정된 트릭 모드 디스플레이 시간을 달성하기 위해 상기 세그먼트로부터 반복될 화상을 선택하는 수단과;
    상기 세그먼트로부터 반복되도록 선택된 화상을 반복하는 수단
    을 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  33. 제 32항에 있어서, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 수단은 정상 재생 속도로 상기 세그먼트를 디스플레이를 하는데 필요한 디스플레이 시간을 결정하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  34. 제 32항에 있어서, 상기 선택된 가변 트릭 모드 속도로 상기 비디오 데이터의 세그먼트를 디스플레이하기 위한 디스플레이 시간을 결정하는 수단은 상기 세그먼트를 디스플레이하기 위한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  35. 제 34항에 있어서, 상기 세그먼트를 디스플레이하기 위한 디스플레이 시간을 정수의 필드 디스플레이 기간으로 조정하여 남은 잔여 부분을, 상기 선택된 가변 트릭 모드 속도로 재생되는 상기 비디오 데이터에서 후속적으로 디스플레이되는 세그먼트를 디스플레이하기 위한 트릭 모드 디스플레이 시간에 추가하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  36. 제 32항에 있어서, 상기 비디오 데이터를 트릭 모드로 재생하기 위한 상기 원격 디코더로부터의 명령은 순방향 트릭 모드 명령인, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  37. 제 32항에 있어서, 상기 세그먼트로부터 반복되도록 선택된 화상을 반복하는 수단으로부터 야기된 상기 세그먼트의 나머지 화상을 디스플레이하는 수단을 더 포함하며, 상기 디스플레이 수단은 상기 선택된 가변 트릭 모드 속도로 상기 나머지 화상을 디스플레이하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  38. 제 32항에 있어서, 상기 비디오 데이터의 상기 세그먼트는 화상 그룹인, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  39. 제 32항에 있어서, 상기 선택하는 수단은 I 화상이 가장 높은 우선순위를 갖고 그 다음이 P 화상이며 마지막으로 B 화상이 가장 낮은 우선순위를 가지는 화상의 우선 순위에 기초하여 반복될 화상을 결정하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
  40. 제 39항에 있어서, 상기 선택하는 수단은 상기 세그먼트 내에서 가장 높은 우선 순위를 갖는 화상을 선택하는 수단을 더 포함하는, 선택가능한 가변 트릭 모드 재생 속도를 구현하는 시스템.
KR1020047005881A 2001-10-23 2002-10-18 사용자 선택가능한 가변 트릭 모드 속도 KR100950540B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US33491401P 2001-10-23 2001-10-23
US60/334,914 2001-10-23
US10/211,803 US6577809B2 (en) 2001-10-23 2002-08-01 User selectable variable trick mode speed
US10/211,803 2002-08-01
PCT/US2002/033596 WO2003036961A1 (en) 2001-10-23 2002-10-18 User selectable variable trick mode speed

Publications (2)

Publication Number Publication Date
KR20040045889A KR20040045889A (ko) 2004-06-02
KR100950540B1 true KR100950540B1 (ko) 2010-03-30

Family

ID=26906476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047005881A KR100950540B1 (ko) 2001-10-23 2002-10-18 사용자 선택가능한 가변 트릭 모드 속도

Country Status (8)

Country Link
US (1) US6577809B2 (ko)
EP (1) EP1438847A4 (ko)
JP (1) JP4150340B2 (ko)
KR (1) KR100950540B1 (ko)
CN (1) CN1298166C (ko)
MX (1) MXPA04003582A (ko)
MY (1) MY138307A (ko)
WO (1) WO2003036961A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030077071A1 (en) * 2001-10-23 2003-04-24 Shu Lin Fast forward trick mode and reverse trick mode using an information file
US7174086B2 (en) * 2001-10-23 2007-02-06 Thomson Licensing Trick mode using dummy predictive pictures
KR100434740B1 (ko) * 2001-11-09 2004-06-10 주식회사 휴맥스 디지털 방송 프로그램에서의 저배속 재생방법
AU2003247037A1 (en) * 2002-07-30 2004-02-23 Koninklijke Philips Electronics N.V. Trick play behavior controlled by a user
JP2006050122A (ja) * 2004-08-03 2006-02-16 Hitachi Ltd 放送受信装置、並びに、そのための情報再生方法
US7954128B2 (en) * 2005-02-11 2011-05-31 Time Warner Cable Inc. Methods and apparatus for variable delay compensation in networks
US20060218602A1 (en) * 2005-02-23 2006-09-28 Sherer W P Replacement of trick mode content in a video on demand system
US20070058926A1 (en) * 2005-09-09 2007-03-15 Microsoft Corporation Optimizing trick modes for streaming media content
US8208067B1 (en) 2007-07-11 2012-06-26 Adobe Systems Incorporated Avoiding jitter in motion estimated video
US8179976B2 (en) * 2008-01-11 2012-05-15 Apple Inc. Control of video decoder for reverse playback operation
CN102098512A (zh) * 2010-12-15 2011-06-15 中兴通讯股份有限公司 一种移动终端及其视频播放的实现方法
US8855466B2 (en) * 2012-05-01 2014-10-07 Eldon Technology Limited Separate video file for I-frame and non-I-frame data to improve disk performance in trick play
US10687115B2 (en) 2016-06-01 2020-06-16 Time Warner Cable Enterprises Llc Cloud-based digital content recorder apparatus and methods
TWI659647B (zh) * 2017-11-21 2019-05-11 晶睿通訊股份有限公司 影像播放設備及其影像播放方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5282049A (en) * 1991-02-08 1994-01-25 Olympus Optical Co., Ltd. Moving-picture data digital recording and reproducing apparatuses
JP3326670B2 (ja) * 1995-08-02 2002-09-24 ソニー株式会社 データ符号化/復号化方法および装置、および符号化データ記録媒体
JP3996204B2 (ja) * 1997-04-24 2007-10-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ画像を記録し及び再生する方法及び装置
BR9906523A (pt) * 1998-06-11 2000-07-25 Koninkl Philips Electonics N V Aparelho e processo para gravar um sinal de informação de vìdeo digital em um portador de gravação, e, portador de gravação

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement

Also Published As

Publication number Publication date
MY138307A (en) 2009-05-29
JP4150340B2 (ja) 2008-09-17
CN1575597A (zh) 2005-02-02
EP1438847A1 (en) 2004-07-21
WO2003036961A1 (en) 2003-05-01
EP1438847A4 (en) 2010-05-05
US20030077073A1 (en) 2003-04-24
MXPA04003582A (es) 2004-07-30
JP2005513828A (ja) 2005-05-12
KR20040045889A (ko) 2004-06-02
CN1298166C (zh) 2007-01-31
US6577809B2 (en) 2003-06-10

Similar Documents

Publication Publication Date Title
KR100958325B1 (ko) 저장 매체상에 레코딩된 mpeg 비디오 표시의 트릭 모드 재생 방법 및 장치
US6848117B1 (en) Video-on-demand system capable of performing a high-speed playback at a correct speed
JP5189640B2 (ja) ビデオデータの再生システム
JP3996204B2 (ja) ビデオ画像を記録し及び再生する方法及び装置
KR100950540B1 (ko) 사용자 선택가능한 가변 트릭 모드 속도
KR20050083900A (ko) 남아있는 배터리 용량을 기초로 한 스캐일 가능한 비디오압축
EP1449361A1 (en) Fast motion trick mode using non-progressive dummy bidirectional predictive pictures
KR101044397B1 (ko) 특수 화상 그룹을 이용하는 순차 비디오 상의 역방향 트릭 모드
EP1408687A1 (en) Data recording method, data editing method, data decoding method, and apparatus thereof
CN1556993B (zh) 更改以场结构格式录制的视频表示的重放速度
JP3604186B2 (ja) 記録媒体の記録方法及び再生方法
JP4171414B2 (ja) シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム
KR101015413B1 (ko) 특수 화상 그룹을 이용하는 순차 비디오 상의 순방향 트릭 모드
GB2293516A (en) Digital video signal recording arrangement with enhanced skip search playback
US20040223735A1 (en) Forward trick modes on non-progressive video using special groups of pictures
JPH06339113A (ja) 動画像記録再生装置
KR100511013B1 (ko) 비디오화상을기록및재생하는방법및장치
JP2004289876A (ja) 記録装置
JP2004282794A (ja) 記録媒体の記録方法及び再生方法
JP2000354260A (ja) 映像再生方法、及び映像編集再生装置
JP2011029844A (ja) 情報処理装置、情報処理方法、並びにプログラム
KR20080065133A (ko) 비디오 프레임의 배속 제어를 위한 재생 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 9