KR101022471B1 - 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치 - Google Patents

멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치 Download PDF

Info

Publication number
KR101022471B1
KR101022471B1 KR1020040003571A KR20040003571A KR101022471B1 KR 101022471 B1 KR101022471 B1 KR 101022471B1 KR 1020040003571 A KR1020040003571 A KR 1020040003571A KR 20040003571 A KR20040003571 A KR 20040003571A KR 101022471 B1 KR101022471 B1 KR 101022471B1
Authority
KR
South Korea
Prior art keywords
data
download
information
streaming
stream
Prior art date
Application number
KR1020040003571A
Other languages
English (en)
Other versions
KR20050075633A (ko
Inventor
김해광
Original Assignee
삼성전자주식회사
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 세종대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020040003571A priority Critical patent/KR101022471B1/ko
Priority to US11/029,568 priority patent/US20050160177A1/en
Priority to EP05721810A priority patent/EP1704564A4/en
Priority to CN2005800000922A priority patent/CN1764974B/zh
Priority to JP2006549142A priority patent/JP5288710B2/ja
Priority to PCT/KR2005/000155 priority patent/WO2005069296A1/en
Publication of KR20050075633A publication Critical patent/KR20050075633A/ko
Application granted granted Critical
Publication of KR101022471B1 publication Critical patent/KR101022471B1/ko

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C09—DYES; PAINTS; POLISHES; NATURAL RESINS; ADHESIVES; COMPOSITIONS NOT OTHERWISE PROVIDED FOR; APPLICATIONS OF MATERIALS NOT OTHERWISE PROVIDED FOR
    • C09J—ADHESIVES; NON-MECHANICAL ASPECTS OF ADHESIVE PROCESSES IN GENERAL; ADHESIVE PROCESSES NOT PROVIDED FOR ELSEWHERE; USE OF MATERIALS AS ADHESIVES
    • C09J7/00—Adhesives in the form of films or foils
    • C09J7/40—Adhesives in the form of films or foils characterised by release liners
    • C09J7/403—Adhesives in the form of films or foils characterised by release liners characterised by the structure of the release feature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • C—CHEMISTRY; METALLURGY
    • C09—DYES; PAINTS; POLISHES; NATURAL RESINS; ADHESIVES; COMPOSITIONS NOT OTHERWISE PROVIDED FOR; APPLICATIONS OF MATERIALS NOT OTHERWISE PROVIDED FOR
    • C09J—ADHESIVES; NON-MECHANICAL ASPECTS OF ADHESIVE PROCESSES IN GENERAL; ADHESIVE PROCESSES NOT PROVIDED FOR ELSEWHERE; USE OF MATERIALS AS ADHESIVES
    • C09J7/00—Adhesives in the form of films or foils
    • C09J7/20—Adhesives in the form of films or foils characterised by their carriers
    • C09J7/22—Plastics; Metallised plastics
    • C—CHEMISTRY; METALLURGY
    • C09—DYES; PAINTS; POLISHES; NATURAL RESINS; ADHESIVES; COMPOSITIONS NOT OTHERWISE PROVIDED FOR; APPLICATIONS OF MATERIALS NOT OTHERWISE PROVIDED FOR
    • C09J—ADHESIVES; NON-MECHANICAL ASPECTS OF ADHESIVE PROCESSES IN GENERAL; ADHESIVE PROCESSES NOT PROVIDED FOR ELSEWHERE; USE OF MATERIALS AS ADHESIVES
    • C09J7/00—Adhesives in the form of films or foils
    • C09J7/30—Adhesives in the form of films or foils characterised by the adhesive composition
    • C—CHEMISTRY; METALLURGY
    • C09—DYES; PAINTS; POLISHES; NATURAL RESINS; ADHESIVES; COMPOSITIONS NOT OTHERWISE PROVIDED FOR; APPLICATIONS OF MATERIALS NOT OTHERWISE PROVIDED FOR
    • C09J—ADHESIVES; NON-MECHANICAL ASPECTS OF ADHESIVE PROCESSES IN GENERAL; ADHESIVE PROCESSES NOT PROVIDED FOR ELSEWHERE; USE OF MATERIALS AS ADHESIVES
    • C09J7/00—Adhesives in the form of films or foils
    • C09J7/30—Adhesives in the form of films or foils characterised by the adhesive composition
    • C09J7/35—Heat-activated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • C—CHEMISTRY; METALLURGY
    • C09—DYES; PAINTS; POLISHES; NATURAL RESINS; ADHESIVES; COMPOSITIONS NOT OTHERWISE PROVIDED FOR; APPLICATIONS OF MATERIALS NOT OTHERWISE PROVIDED FOR
    • C09J—ADHESIVES; NON-MECHANICAL ASPECTS OF ADHESIVE PROCESSES IN GENERAL; ADHESIVE PROCESSES NOT PROVIDED FOR ELSEWHERE; USE OF MATERIALS AS ADHESIVES
    • C09J2203/00—Applications of adhesives in processes or use of adhesives in the form of films or foils
    • C—CHEMISTRY; METALLURGY
    • C09—DYES; PAINTS; POLISHES; NATURAL RESINS; ADHESIVES; COMPOSITIONS NOT OTHERWISE PROVIDED FOR; APPLICATIONS OF MATERIALS NOT OTHERWISE PROVIDED FOR
    • C09J—ADHESIVES; NON-MECHANICAL ASPECTS OF ADHESIVE PROCESSES IN GENERAL; ADHESIVE PROCESSES NOT PROVIDED FOR ELSEWHERE; USE OF MATERIALS AS ADHESIVES
    • C09J2301/00—Additional features of adhesives in the form of films or foils
    • C09J2301/10—Additional features of adhesives in the form of films or foils characterized by the structural features of the adhesive tape or sheet
    • C09J2301/12—Additional features of adhesives in the form of films or foils characterized by the structural features of the adhesive tape or sheet by the arrangement of layers
    • C09J2301/122—Additional features of adhesives in the form of films or foils characterized by the structural features of the adhesive tape or sheet by the arrangement of layers the adhesive layer being present only on one side of the carrier, e.g. single-sided adhesive tape
    • C—CHEMISTRY; METALLURGY
    • C09—DYES; PAINTS; POLISHES; NATURAL RESINS; ADHESIVES; COMPOSITIONS NOT OTHERWISE PROVIDED FOR; APPLICATIONS OF MATERIALS NOT OTHERWISE PROVIDED FOR
    • C09J—ADHESIVES; NON-MECHANICAL ASPECTS OF ADHESIVE PROCESSES IN GENERAL; ADHESIVE PROCESSES NOT PROVIDED FOR ELSEWHERE; USE OF MATERIALS AS ADHESIVES
    • C09J2301/00—Additional features of adhesives in the form of films or foils
    • C09J2301/30—Additional features of adhesives in the form of films or foils characterized by the chemical, physicochemical or physical properties of the adhesive or the carrier
    • C09J2301/304—Additional features of adhesives in the form of films or foils characterized by the chemical, physicochemical or physical properties of the adhesive or the carrier the adhesive being heat-activatable, i.e. not tacky at temperatures inferior to 30°C

Abstract

멀티미디어 컨텐츠를 스트리밍 서비스하기 위한 멀티미디어 데이터의 구성과, 그 데이터의 재생방법 및 장치가 개시된다. 본 발명에 따른 정보저장매체는, 멀티미디어 데이터를 기록한 정보저장매체에 있어서, 상기 멀티미디어 데이터는 적어도 하나의 미디어 스트림; 및 부가정보를 포함하며, 상기 미디어 스트림은 네트워크를 통해 스트리밍되는 데이터와 네트워크를 통해 다운로드되는 데이터를 나누어 기록하고 있고, 상기 부가정보는 상기 스트리밍 데이터와 다운로드 데이터의 결합방법을 표현하는 정보인 것을 특징으로 한다. 이에 의해, 다양한 방법으로 다운로드 방식 및 스트리밍 방식을 결합한 멀티미디어 서비스를 제공할 수 있다.

Description

멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법 및 재생장치 {Information storage medium containing multimedia data, reproducing method and apparatus thereof}
도 1은 본 발명의 멀티미디어 데이터의 구성을 도시한 도면이다.
도 2는 다운로드 세그먼트와 스트리밍 세그먼트로 구성된 미디어 스트림을 도시한 도면이다.
도 3은 도 2에 도시한 미디어 스트림을 다운로드 서브 스트림과 스트리밍 서브 스트림으로 만드는 것을 도시한 도면이다.
도 4는 도 3의 부가정보의 내용을 도시한 도면이다.
도 5는 재생장치가 서버로부터 스트리밍 서비스를 제공받는 것을 설명하기 위한 도면이다.
도 6은 본 발명의 재생장치의 구성도이다.
도 7은 본 발명에서 기술한 부가정보를 MPEG-4 표준에 적용한 실시예를 도시한 도면이다.
본 발명은 멀티미디어 컨텐츠의 부호화에 관한 것으로, 보다 상세하게는 멀티미디어 컨텐츠를 스트리밍 서비스하기 위한 멀티미디어 데이터의 구성과, 그 데이터의 재생방법 및 장치에 관한 것이다.
비디오 데이터, 오디오 데이터, 컴퓨터 애니메이션 데이터 또는 이 들을 모두 포함하는 멀티미디어 데이터들은 각각의 데이터 자체 내에서 또는 각각의 데이터들 사이에서 재생시간이 서로 동기되어 있다. 즉, 오디오 데이터와 비디오 데이터가 서로 동기되어 재생될 수 있도록 하는 시간 정보가 각 데이터에 기록되어 있고, 데이터 자체내에서도 그 데이터가 언제 출력되는지에 대한 정보가 기록되어 있다. 이러한 멀티미디어 데이터를 인터넷을 포함한 유무선 네트워크를 통해 스트리밍함으로써 교육, 오락, 영화 등의 서비스를 제공할 수 있다.
스트리밍 서비스는 네트워크의 지터(jitter), 대역폭 (bandwidth), 지연 (delay), 패킷 손실율 (packet loss ratio), 비트에러율 (bit error ratio) 등의 제한조건과 단말기의 데이터 처리 성능, 메모리 용량 등의 특성에 의해 제한된다. 따라서, 종래의 다운로드 방식과 스트리밍 방식을 결합한 스트리밍 서비스 기술(한국특허공개공보 2002-95001)에서는 멀티미디어 스트림 파일을 다운로드 파일과 스트리밍 파일로 분리하여, 사용자가 원하는 스트림을 요청하면, 이에 해당하는 다운로드 파일이 단말에 존재하는지를 메시지 송수신을 통하여 확인하여, 없는 경우에는 스트리밍 파일과 다운로드 파일을 함께 전송하고, 다운로드 파일이 존재하는 경우에는 스트리밍 파일만을 스트리밍하고 있다. 이러한 스트리밍 파일과 해당하는 다운로드 파일을 단순하게 연결하는 방법은 스트리밍 파일과 다운로드 파일의 특정 결합 구성을 단말과 서버가 미리 알고 있는 경우만 동작하며, 다양한 스트리밍 파일과 다운로드 파일의 결합구조를 제공하지 못한다. 또한 이 방법에서는 다운로드 파일이 없는 경우, 다운로드를 강제적으로 실시함으로써, 단말의 저장용량이 부족한 경우에는 동작하지 않는다는 문제점이 있다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 다양한 스트리밍 방식과 다운로드 방식이 결합된 멀티미디어 컨텐츠 서비스를 컨텐츠 부가정보를 활용하여 제공할 수 있는 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법 및 장치를 제공하는 것이다.
상기 기술적 과제는 본 발명에 따라, 멀티미디어 데이터를 기록한 정보저장매체에 있어서, 상기 멀티미디어 데이터는 적어도 하나의 미디어 스트림; 및 부가정보를 포함하며, 상기 미디어 스트림은 네트워크를 통해 스트리밍되는 데이터와 네트워크를 통해 다운로드되는 데이터를 나누어 기록하고 있고, 상기 부가정보는 상기 스트리밍 데이터와 다운로드 데이터의 결합방법을 표현하는 정보인 것을 특징으로 하는 정보저장매체에 의해 달성된다.
상기 미디어 스트림은, 상기 스트리밍 데이터들을 모아서 만들어진 제1서브 스트림과 상기 다운로드 데이터들을 모아서 만들어진 제2서브 스트림을 조합하여, 상기 미디어 스트림을 만드는데 사용되는 정보인 컨텐츠 부가정보를 더 포함하는 것이 바람직하다.
또한, 상기 기술적 과제는 (a) 멀티미디어 데이터를 구성하는 적어도 하나의 미디어 스트림에 관한 구성정보인 컨텐츠 부가정보를 수신하는 단계; (b) 상기 컨텐츠 부가정보에 따라 다운로드 데이터 전송요구명령을 전송하고, 다운로드 데이터를 수신하여 저장하는 단계; (c) 상기 컨텐츠 부가정보에 따라 스트리밍 데이터 전송요구명령을 전송하고, 스트리밍 데이터를 수신하는 단계; 및 (d) 상기 저장된 다운로드 데이터와 스트리밍 데이터를 상기 컨텐츠 부가정보에 따라 원래 미디어 스트림으로 만들어 재생하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 데이터 재생방법에 의해서도 달성된다.
상기 컨텐츠 부가정보는, 상기 멀티미디어 데이터를 구성하는 미디어 스트림의 개수 정보; 및 상기 미디어 스트림의 속성에 관한 정보인 스트림 부가정보를 포함하는 것이 바람직하다.
한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 다운로드 서브 스트림을 수신하는 다운로드 서브 스트림 버퍼; 스트리밍 서브 스트림을 수신하는 스트리밍 서브 스트림 버퍼; 상기 다운로드 서브 스트림 및 스트리밍 서브 스트림을 조합하여 미디어 스트림을 만들어 복호화하는 미디어 복호기; 및 상기 복호화한 데이터가 복수개인 경우에 그 각각의 시간동기를 맞추어 재생하는 렌더러를 포함하는 것을 특징으로 하는 멀티미디어 데이터 재생장치에 의해서도 달성된다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 멀티미디어 데이터의 구성을 도시한 도면이다.
멀티미디어 컨텐츠는 비디오, 오디오 및 텍스트 등 여러 가지 데이터로 구성될 수 있다. 이들 각각의 데이터를 미디어 스트림이라고 한다. 도 1을 참조하면, 3개의 미디어 스트림으로 구성된 멀티미디어 컨텐츠의 일예를 들고 있다. 즉, 미디어 스트림 A(110), 미디어 스트림 B(120), 미디어 스트림 C(130)는 하나의 멀티미디어 콘텐츠를 구성하는 미디어 스트림들로서, 각각의 미디어 스트림은 미디어 스트림 자체의 내부 시간 동기 정보와 미디어 스트림들간의 시간동기를 맞추기 위한 미디어간 시간 동기 정보가 삽입되어 있다. 이들 정보는 미디어 스트림을 만들 때 사용되는 참조 시스템 클럭을 이용하여 만들어진다.
시간 동기에 관한 정보를 보다 상세히 설명하면 MPEG-4 시스템의 경우, 각각의 미디어 스트림의 재생시작시간은 BIFS(Binary Format or Scene Description)의 노드 정보의 startTime에 기록된다. 이외에도 BIFS에는 미디어 스트림의 위치정보 등이 기록된다. 그리고, 하나의 스트림을 복호의 기본단위인 액세스 유닛(Access Unit)으로 나누고, SL Packet(Synchronization Layer Packet)에 담아 전송하는데, 이때 SL Packet의 헤더에 기록된 CTS(Composition Time Stamp)와 DTS (Decoder Time Stamp) 정보와 OCR (Object Clock Reference) 정보를 사용하여 스트림 내 시간동기와 스트림과 스트림간의 시간 동기를 달성한다.
도 2는 다운로드 세그먼트와 스트리밍 세그먼트로 구성된 미디어 스트림을 도시한 도면이다.
도 2를 참조하면, 각각의 미디어 스트림은 음영으로 표시된 다운로드 세그먼트들과 하얀색으로 표시된 스트리밍 세그먼트로 구성됨을 알 수 있다. 다운로드 세 그먼트들은 스트리밍 개시 이전에 단말로 다운로드되고, 스트리밍 세그먼트들은 스트리밍시 실시간으로 단말로 전송된다. 스트리밍 세그먼트 및 다운로드 세그먼트를 어떻게 분할할 것인가는 통신망의 전송속도와 단말기의 입력 버퍼의 크기를 고려하여 수행될 수 있는데, 일예로 단말기 입력 버퍼의 오버플로우와 언더플로우가 발생하지 않도록 일부를 먼저 스트리밍 세그먼트들로 할당하고, 나머지는 다운로드 세그먼트로 할당할 수 있다. MPEG-4 시스템에서 사용되는 경우에는 이들 다운로드 세그먼트와 스트리밍 세그먼트들은 액세스 유닛들로 구성된다.
도 3은 도 2에 도시한 미디어 스트림을 다운로드 서브 스트림과 스트리밍 서브 스트림으로 만드는 것을 도시한 도면이다.
스트림 A는 다운로드 세그먼트(A2, A4, A6)와 스트리밍 세그먼트(A1, A3, A5, A7)로 구성되어 있다. 따라서 다운로드 서브 스트림 A-1(310)은 다운로드 세그먼트인 A2, A4, A6 세그먼트들을 모아서 만들고, 스트리밍 서브 스트림 A-2(320)은 스트리밍 세그먼트인 A1, A3, A4, A7 세그먼트들을 모아서 만든다. 마찬가지로 스트림 B에서도 B2, B4, B6 세그먼트들을 모아서 다운로드 서브 스트림 B-1(330)을 만들고, B1, B3, B5 세그먼트들을 모아서 스트리밍 서브 스트림 B-2(340)을 만든다. 스트림 C에서도 C2, C4 세그먼트들을 모아서 다운로드 서브 스트림 C-1(350)을 만들고, C1, C3, C5를 모아서 스트리밍 서브 스트림 C-2(360)을 만든다. 부가정보(370)는 다운로드 서브 스트림과 스트리밍 서브 스트림을 가지고 원래 스트림을 다시 만들 때 필요한 정보이다.
도 4는 도 3의 부가정보의 내용을 도시한 도면이다.
종래의 콘텐츠 부호화 기술에서 사용되고 있는, 저작권 정보, 메타데이터 정보, 키워드 정보 등을 표현하는데 사용되는 기술은 도 4의 부가정보에 포함될 수 있다. 따라서, 도 4에서는 본 발명의 스트리밍 서비스를 제공하기 위한 부가정보에 대하여 주로 설명한다. 도 4를 참조하면, 스트리밍_콘텐츠_부가정보(440)는 스트리밍 서비스에 제공되는 멀티미디어 컨텐츠에 관한 정보로서, 콘텐츠를 구성하는 스트림의 개수(스트림_수, 442)와 각각의 스트림에 대한 부가정보(스트림_부가정보, 444)로 구성된다.
그리고, 각각의 스트림에 대한 부가정보인 스트림_부가정보(444)는 이 스트림에 대한 식별자(스트림_식별자, 432)와 다운로드 서브 스트림과 스트리밍 서브 스트림에 관한 정보(434 내지 438)를 포함한다. 하나의 스트림은 전체가 다운로드 서브 스트림 또는 스트리밍 서브 스트림이 될 수 있으며, Boolean 데이터인 다운로드 정보(434)와 스트리밍 정보(436)의 값에 따라 다운로드 서브 스트림에 대한 부가정보 또는 스트리밍 서브 스트림에 대한 부가정보를 포함한다.
다운로드 서브 스트림 또는 스트리밍 서브 스트림에 대한 부가정보는 서브 스트림_부가정보(420)에 기록되어 있다. 서브 스트림_부가정보(420)는 서브 스트림을 구성하는 세그먼트의 수(세그먼트_수, 422), 서브 스트림의 크기(서브 스트림_크기, 424), 그리고 세그먼트 리스트(426)로 구성되어 있다. 세그먼트 리스트(426)는 서브 스트림을 구성하는 세그먼트들의 바이트 단위의 시작위치(세그먼트_시작, 412)와 세그먼트의 크기(세그먼트_크기, 414)로 구성된다.
도 5는 재생장치가 서버로부터 스트리밍 서비스를 제공받는 것을 설명하기 위한 도면이다.
스트리밍 서비스를 위한 인증, 세션 관리 등에 사용되는 프로토콜은 종래의 방법이 그대로 사용될 수 있으며, 따라서, 본 발명에 의해 추가되는 프로토콜을 위주로 설명한다. 먼저 스트리밍 콘텐츠를 단말이 서버에 요구하면(S510), 서버는 도 4에 도시한 바와 같은 부가정보를 단말에 전송한다(S520). 단말은 이 부가정보를 읽어 다운로드한 데이터를 저장하는데 사용되는 데이터 저장부의 용량이 충분한가를 분석하고, 충분한 경우에는 서버에 다운로드 서브 스트림들의 다운로드를 요구한다(S530). 서버는 단말에 다운로드 서브 스트림을 전송하고, 단말은 수신한 다운로드 서브 스트림을 데이터 저장부에 저장한다(S540). 단말은 다운로드가 완료되면 서버에 스트리밍 서비스를 요청하고(S550), 단말은 데이터 저장부에 저장된 다운로드 서브 스트림과 서버에서 전송되는 스트리밍 서브 스트림을 합쳐, 도 4에 도시한 부가정보에 따라서 원래의 스트림을 만들어 재생한다(S560a, S560b).
도 6은 본 발명의 재생장치의 구성도이다.
다운로드 서브 스트림 저장부(610)에 저장된 다운로드된 서브 스트림들은 미리 서버로부터 읽혀져 저장된 것이다. 네트워크(604)를 통해 서버(602)에서 스트리밍되는 스트리밍 서브 스트림들은, 디멀티플렉서(606)를 거쳐 여러개의 스트림으로 나누어지고, 각각 스트림들의 복호시간부호 (MPEG-4의 경우 DTS)와 스트림 식별자 정보를 참조하여 해당하는 스트리밍 서브 스트림 버퍼1 내지 3(630a 내지 630c)에 복호 시간 전에 입력된다. 그리고, 다운로드 서브 스트림 버퍼 1 내지 3(620a 내지 620c)에는 다운로드 서브 스트림 저장부(610)에 저장된 다운로드 서브 스트림이 저 장된다. 복호전 버퍼(640a 내지 640c)는 스트림의 종류에 따라 별개로 마련되어 있다. 하나의 스트림에 대한 복호전 버퍼(640a)에는 다운로드 서브 스트림 버퍼(620a)와 스트리밍 서브 스트림 버퍼(630a)로부터, 복호시간부호를 읽어 그 값에 따라, 순서대로 액세스 유닛별로 입력된다.
따라서, 미디어 스트림 복호기(650a, 650b)와 렌더러(670)는 종래의 그것을 그대로 이용할 수 있다. 도 6을 참조하면, 하나의 미디어 스트림은 두개의 복호전 버퍼(640a, 640b)를 갖고 있는데, 이것은 신축 부호(Scalable Coding) 압축방식에 의한 기본층 스트림(Base layer stream)과 향상층 스트림(elementary layer stream)을 위한 예를 도시한 것이다.
도 7은 본 발명에서 기술한 부가정보를 MPEG-4 표준에 적용한 실시예를 도시한 도면이다.
MPEG-4는 콘텐츠의 구성정보를 BIFS와 오브젝트 기술자(Object Descriptor)를 사용해서 표현한다. IOD(Initial Object Descriptor)는 BIFS와 OD를 가리키고 있다. 도 7의 실시예는 도 4를 참조하여 설명한 부가정보를 종래의 MPEG-4와 호환하여 적용하기 위해서, MPEG-4의 스트림에 대한 부가정보를 기술하는 기본 스트림 기술자(Elementary Stream Descriptor)가 포함하는 확장 기술자를 사용한 예이다. downloadSubstream과 streamingSubstream은 이 스트림이 다운로드 서브 스트림이나 스트리밍 서브 스트림을 갖고 있는지에 대한 정보이다. 각각은 다운로드 서브 스트림과 스트리밍 서브 스트림에 대해 분할된 세그먼트의 수(numberOfSegment), 바이트 단위의 서브 스트림의 크기(subStreamSize), 그리고 서브 스트림을 구성하는 세 그먼트들의 바이트 단위의 시작위치(SegmentStartPosition)와 세그먼트의 크기 (SegmentSize)로 구성된다. URL_flag와 URLlength, URLstring은 이 서브 스트림의 저장위치를 URL로 표시할 때 사용하며, 단말은 이 위치에서 다운로드 서브 스트림을 다운로드하고, 스트리밍 서브 스트림을 스트리밍한다.
기존의 MPEG-4 스트림과의 호환성을 고려하지 않는다면, MPEG-4 시스템에 존재하는 기본 스트림 기술자외에 도 7에 도시한 정보를 나타내는 새로운 기술자를 포함할 수 있다.
단말이 구비하여야 하는 다운로드 스트림 저장부의 크기는 각 다운로드 스트림의 크기를 모두 합하여 미리 계산해서 정할 수도 있으나, 필요한 저장부의 크기정보를 컨텐츠 부가정보에 기록할 수도 있다. MPEG-4 시스템의 경우, 크기정보는 IOD에 기록된다. 단말은 이 다운로드 스트림 저장부의 크기 정보를 활용하여, 저장부의 현재 사용가능 저장용량과 비교하여, 서버에 다운로드 스트림 요청 여부를 결정할 수 있다.
한편, 전술한 멀티미디어 데이터 재생방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 멀티미디어 데이터 재생방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같이 본 발명에 따르면, 다양한 방법으로 다운로드 방식 및 스트리밍 방식을 결합한 멀티미디어 서비스를 제공할 수 있으며, 단말의 저장용량이 부족한 경우에는 불필요한 다운로드를 하지 않아 효율적이다.

Claims (11)

  1. 멀티미디어 데이터를 구성하는 적어도 하나의 미디어 스트림이 기록된 정보저장매체에 있어서,
    상기 적어도 하나의 미디어 스트림을 구성하는 다운로드 데이터; 및
    네트워크를 통하여 스트리밍 방식으로 수신되며 상기 적어도 하나의 미디어 스트림을 구성하는 스트리밍 데이터와 상기 다운로드 데이터를 상기 적어도 하나의 미디어 스트림으로 복원하기 위한 결합방법을 표현하는 정보인, 부가 정보가 기록된 정보저장매체.
  2. 제1항에 있어서,상기 부가정보는,
    상기 스트리밍 데이터 및 상기 다운로드 데이터 중 적어도 하나의 파일이름정보, 상기 스트리밍 데이터 및 상기 다운로드 데이터 중 적어도 하나의 네트워크상의 위치정보, 상기 다운로드 데이터의 크기정보 및 메타정보인 것을 특징으로 하는 정보저장매체.
  3. 제2항에 있어서, 상기 부가 정보는,
    상기 스트리밍 데이터들을 모아서 만들어진 제1서브 스트림과 상기 다운로드 데이터들을 모아서 만들어진 제2서브 스트림을 조합하여, 상기 미디어 스트림을 만드는데 사용되는 정보인 컨텐츠 부가정보를 더 포함하는 것을 특징으로 하는 정보저장매체.
  4. 제3항에 있어서, 상기 컨텐츠 부가정보는
    상기 멀티미디어 데이터를 구성하는 상기 적어도 하나의 미디어 스트림의 개수 정보; 및
    상기 적어도 하나의 미디어 스트림의 속성에 관한 정보인 스트림 부가정보를 포함하는 것을 특징으로 하는 정보저장매체.
  5. 제4항에 있어서, 상기 스트림 부가정보는
    상기 적어도 하나의 미디어 스트림을 구성하는 제1서브 스트림 및 제2서브 스트림에 대한 식별자 정보;
    수신한 제1서브 스트림 또는 제2서브 스트림이 다운로드 데이터인지 스트리밍 데이터인지를 나타내는 정보; 및
    상기 다운로드 데이터와 스트리밍 데이터의 구성정보를 포함하는 것을 특징으로 하는 정보저장매체.
  6. (a) 멀티미디어 데이터를 구성하는 적어도 하나의 미디어 스트림에 관한 구성정보인 컨텐츠 부가정보를 수신하는 단계;
    (b) 상기 컨텐츠 부가정보에 따라 다운로드 데이터 전송요구명령을 전송하고, 다운로드 데이터를 수신하여 저장하는 단계;
    (c) 상기 다운로드가 완료된 후에, 상기 컨텐츠 부가정보에 따라 스트리밍 데이터 전송요구명령을 전송하고, 스트리밍 데이터를 수신하는 단계; 및
    (d) 상기 저장된 다운로드 데이터와 스트리밍 데이터를 상기 컨텐츠 부가정보에 따라 상기 적어도 하나의 미디어 스트림으로 복원하여 재생하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 데이터 재생방법.
  7. 제6항에 있어서, 상기 컨텐츠 부가정보는
    상기 멀티미디어 데이터를 구성하는 상기 적어도 하나의 미디어 스트림의 개수 정보; 및
    상기 적어도 하나의 미디어 스트림의 속성에 관한 정보인 스트림 부가정보를 포함하는 것을 특징으로 하는 멀티미디어 데이터 재생방법.
  8. 제7항에 있어서, 상기 스트림 부가정보는
    상기 적어도 하나의 미디어 스트림을 구성하는 제1서브 스트림 및 제2서브 스트림에 대한 식별자 정보;
    수신한 제1서브 스트림 또는 제2서브 스트림이 다운로드 데이터인지 스트리밍 데이터인지를 나타내는 정보; 및
    상기 다운로드 데이터와 스트리밍 데이터의 구성정보를 포함하는 것을 특징으로 하는 멀티미디어 데이터 재생방법.
  9. 다운로드 서브 스트림과 스트리밍 서브 스트림으로 구성되는 미디어 스트림을 재생하는 장치에 있어서,
    제 1 네트워크를 통하여 상기 다운로드 서브 스트림을 수신하여 저장하는 다운로드 서브 스트림 저장부;
    상기 다운로드 서브 스트림 저장부로부터 상기 저장된 다운로드 서브 스트림을 수신하는 다운로드 서브 스트림 버퍼;
    제 2 네트워크를 통하여 상기 스트리밍 서브 스트림을 수신하는 스트리밍 서브 스트림 버퍼;
    상기 다운로드 서브 스트림 및 상기 스트리밍 서브 스트림을 상기 미디어 스트림으로 복원하기 위한 결합 방법을 표현하는 부가 정보에 기초하여, 상기 다운로드 서브 스트림 및 스트리밍 서브 스트림을 조합하여 미디어 스트림을 만들어 복호화하는 미디어 복호기; 및
    상기 복호화한 데이터가 복수개인 경우에 그 각각의 시간동기를 맞추어 재생하는 렌더러를 포함하는 것을 특징으로 하는 멀티미디어 데이터 재생장치.
  10. 제9항에 있어서,상기 다운로드 서브 스트림 저장부는,
    스트리밍 서버로부터 다운로드 데이터를 모아 만들어진 복수개의 다운로드 서브 스트림을 수신하여 저장하는 것을 특징으로 하는 멀티미디어 데이터 재생장치.
  11. 제9항에 있어서,
    스트리밍 서버로부터 스트리밍 데이터를 수신하여 복수개의 스트리밍 서브 스트림을 만드는 디멀티플렉서를 더 포함하는 것을 특징으로 하는 멀티미디어 재생장치.
KR1020040003571A 2004-01-17 2004-01-17 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치 KR101022471B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020040003571A KR101022471B1 (ko) 2004-01-17 2004-01-17 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
US11/029,568 US20050160177A1 (en) 2004-01-17 2005-01-06 Storage medium storing multimedia data, and method and apparatus for reproducing multimedia data
EP05721810A EP1704564A4 (en) 2004-01-17 2005-01-17 MULTIMEDIA DATA RECORDING MEDIUM AND METHOD AND APPARATUS FOR REPRODUCING MULTIMEDIA DATA
CN2005800000922A CN1764974B (zh) 2004-01-17 2005-01-17 存储多媒体数据的存储介质和再现多媒体数据的方法和设备
JP2006549142A JP5288710B2 (ja) 2004-01-17 2005-01-17 マルチメディアデータを記録した情報保存媒体、その再生方法及び再生装置
PCT/KR2005/000155 WO2005069296A1 (en) 2004-01-17 2005-01-17 Storage medium storing multimedia data, and method and apparatus for reproducing multimedia data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040003571A KR101022471B1 (ko) 2004-01-17 2004-01-17 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치

Publications (2)

Publication Number Publication Date
KR20050075633A KR20050075633A (ko) 2005-07-21
KR101022471B1 true KR101022471B1 (ko) 2011-03-16

Family

ID=36748335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040003571A KR101022471B1 (ko) 2004-01-17 2004-01-17 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치

Country Status (6)

Country Link
US (1) US20050160177A1 (ko)
EP (1) EP1704564A4 (ko)
JP (1) JP5288710B2 (ko)
KR (1) KR101022471B1 (ko)
CN (1) CN1764974B (ko)
WO (1) WO2005069296A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145261B1 (ko) 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
JP5301425B2 (ja) 2006-03-17 2013-09-25 ソニー株式会社 グループコンテンツプレゼンテーション、およびグループコンテンツプレゼンテーション中のグループ通信を編成するためのシステムおよび方法
EP1936988A1 (fr) * 2006-12-21 2008-06-25 Nagravision S.A. Procédé d'envoi de produits multimédia à au moins une unité multimédia et procédé de traitement de ces produits multimédia
KR101517959B1 (ko) * 2007-05-11 2015-05-18 주식회사 비즈모델라인 적응형 스트리밍 방법
JP2008311795A (ja) * 2007-06-12 2008-12-25 Sony Corp コンテンツ配信システム、配信サーバ、受信端末及びコンピュータプログラム
US8316146B2 (en) * 2007-07-13 2012-11-20 Spotify Ab Peer-to-peer streaming of media content
US20100153578A1 (en) * 2008-07-16 2010-06-17 Nokia Corporation Method and Apparatus for Peer to Peer Streaming
EP2194687A1 (en) * 2008-12-04 2010-06-09 T-Mobile International AG Combined rendering of digital media objects
EP2214371A1 (en) 2009-01-30 2010-08-04 T-Mobile International AG Undelayed rendering of streamed media object
US8176193B2 (en) 2009-06-17 2012-05-08 Microsoft Corporation Dynamic media asset delivery
KR101750049B1 (ko) * 2009-11-13 2017-06-22 삼성전자주식회사 적응적인 스트리밍 방법 및 장치
KR101786050B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
KR101786051B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR101737084B1 (ko) 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
KR101777348B1 (ko) 2010-02-23 2017-09-11 삼성전자주식회사 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
JP5497919B2 (ja) 2010-03-05 2014-05-21 サムスン エレクトロニクス カンパニー リミテッド ファイルフォーマットベースの適応的ストリーム生成、再生方法及び装置とその記録媒体
KR20110105710A (ko) 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
KR101837687B1 (ko) 2010-06-04 2018-03-12 삼성전자주식회사 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9794312B2 (en) 2010-09-01 2017-10-17 Electronics And Telecommunications Research Institute Method and device for providing streaming content
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
CN103081504B (zh) 2010-09-06 2017-02-08 韩国电子通信研究院 提供串流内容的方法及装置
EP2924989A1 (en) * 2011-03-16 2015-09-30 Electronics and Telecommunications Research Institute Apparatus and method for providing streaming content using representations
US8837578B2 (en) * 2011-03-16 2014-09-16 Verizon Patent And Licensing Inc. MPEG-W decoder
FR2988255A1 (fr) * 2012-03-14 2013-09-20 Logiways France Procede de teletransmission d'un ensemble de donnees depuis un dispositif emetteur a destination d'au moins un dispositif destinataire, dispositifs emetteur et destinataire associes.
WO2013135976A1 (fr) * 2012-03-14 2013-09-19 Logiways France Procédé de télétransmission d'un ensemble de données depuis un dispositif émetteur à destination d'au moins un dispositif destinataire, dispositifs émetteur et destinataire associés
CN103577663A (zh) * 2012-07-18 2014-02-12 人人游戏网络科技发展（上海）有限公司 信息发送和显示方法及其设备
JP2017017753A (ja) * 2016-09-27 2017-01-19 ヴォドラー グループ アーベー プッシュ−プルベースのコンテンツ配信システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010042249A1 (en) * 2000-03-15 2001-11-15 Dan Knepper System and method of joining encoded video streams for continuous play
KR20020095001A (ko) * 2001-06-12 2002-12-20 박준상 다운로드와 스트리밍의 혼합 방식을 이용한 파일 전송 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4006840B2 (ja) * 1998-08-10 2007-11-14 ソニー株式会社 システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置
US5995091A (en) * 1996-05-10 1999-11-30 Learn2.Com, Inc. System and method for streaming multimedia data
WO1997046027A1 (en) * 1996-05-29 1997-12-04 Sarnoff Corporation Preserving synchronization of audio and video presentation
KR100270354B1 (ko) * 1996-11-20 2000-11-01 정선종 이기종망간의 중계 서버 및 실시간 중계 방법
JP3887856B2 (ja) * 1996-12-13 2007-02-28 株式会社日立製作所 端末装置
EP0948168A1 (en) * 1998-03-31 1999-10-06 TELEFONAKTIEBOLAGET L M ERICSSON (publ) Method and device for data flow control
US7031348B1 (en) * 1998-04-04 2006-04-18 Optibase, Ltd. Apparatus and method of splicing digital video streams
JP4064060B2 (ja) * 1998-05-15 2008-03-19 ユニキャスト・コミュニケーションズ・コーポレイション 参照ウェブページに埋め込まれた広告タグをもちいて、ブラウザにより開始される、ユーザには見えないネットワーク分散隙間ウェブ公告を実施するための技術
DE29814544U1 (de) * 1998-08-13 1998-12-10 Media Art Reinhold Geiling Age Zustellung abgeforderter Videosequenzen über Satelliten
US6715126B1 (en) * 1998-09-16 2004-03-30 International Business Machines Corporation Efficient streaming of synchronized web content from multiple sources
US6904089B1 (en) * 1998-12-28 2005-06-07 Matsushita Electric Industrial Co., Ltd. Encoding device and decoding device
US6728776B1 (en) * 1999-08-27 2004-04-27 Gateway, Inc. System and method for communication of streaming data
WO2001025948A1 (en) * 1999-10-05 2001-04-12 Zapmedia, Inc. System and method for distributing media assets to user devices and managing user rights of the media assets
US20030007507A1 (en) * 2000-08-01 2003-01-09 Doron Rajwan Data streaming
GB0011251D0 (en) * 2000-05-11 2000-06-28 Lucas Industries Ltd Fault monitoring system
WO2001098920A1 (en) * 2000-06-21 2001-12-27 Idt Corporation Method and apparatus for distributing video programs using partial caching
EP1182875A3 (en) * 2000-07-06 2003-11-26 Matsushita Electric Industrial Co., Ltd. Streaming method and corresponding system
JP2002073049A (ja) * 2000-08-31 2002-03-12 Casio Comput Co Ltd 音楽配信サーバ、音楽再生端末、及びサーバ処理プログラムを記憶した記憶媒体、端末処理プログラムを記憶した記憶媒体
JP2002091863A (ja) * 2000-09-12 2002-03-29 Sony Corp 情報提供方法
US7490344B2 (en) * 2000-09-29 2009-02-10 Visible World, Inc. System and method for seamless switching
EP1217841A2 (en) * 2000-11-27 2002-06-26 Media Glue Corporation Bitstream separating and merging system, apparatus, method and computer program product
JP2002251494A (ja) * 2000-12-20 2002-09-06 Victor Co Of Japan Ltd デジタルコンテンツデータ配信システム
US7512986B2 (en) * 2001-03-28 2009-03-31 Nds Limited Digital rights management system and method
KR100436759B1 (ko) * 2001-10-16 2004-06-23 삼성전자주식회사 수신된 멀티미디어 데이터를 저장하는 버퍼의 용량을가변할 수 있는 멀티미디어 데이터 복원장치
JP2003153229A (ja) * 2001-11-15 2003-05-23 Mitsubishi Electric Corp データ通信装置及びデータ通信方法
JP2003250118A (ja) * 2002-02-25 2003-09-05 Sony Corp コンテンツ送信サーバシステム、コンテンツ送信方法、コンテンツ送信プログラム、及び記憶媒体
CN1647480A (zh) * 2002-04-09 2005-07-27 皇家飞利浦电子股份有限公司 将下载和流式传输组合的传输方法
JP2005526455A (ja) * 2002-05-22 2005-09-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 仮想的な受信バッファを使用してチャネル伝送レートの変動を吸収する伝送方法
JP4025185B2 (ja) * 2002-12-10 2007-12-19 株式会社東芝 メディアデータ視聴装置及びメタデータ共有システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010042249A1 (en) * 2000-03-15 2001-11-15 Dan Knepper System and method of joining encoded video streams for continuous play
KR20020095001A (ko) * 2001-06-12 2002-12-20 박준상 다운로드와 스트리밍의 혼합 방식을 이용한 파일 전송 방법

Also Published As

Publication number Publication date
JP2007523524A (ja) 2007-08-16
CN1764974B (zh) 2010-12-15
EP1704564A4 (en) 2007-10-10
JP5288710B2 (ja) 2013-09-11
WO2005069296A1 (en) 2005-07-28
EP1704564A1 (en) 2006-09-27
US20050160177A1 (en) 2005-07-21
CN1764974A (zh) 2006-04-26
KR20050075633A (ko) 2005-07-21

Similar Documents

Publication Publication Date Title
KR101022471B1 (ko) 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
CN1985321B (zh) 再现多媒体数据的方法和设备
US11082479B2 (en) Method and apparatus for transmitting and receiving content
KR101066366B1 (ko) 멀티미디어 컨텐츠 방송용 원격 통신 시스템, 서버, 멀티미디어 컨텐츠 방송 방법, 컴퓨터 판독가능 저장 매체 및 신호 전달 매체
EP3096526B1 (en) Communication apparatus, communication data generation method, and communication data processing method
RU2372646C2 (ru) Формат полезных данных транспортного протокола реального времени
CN105230006B (zh) 保存方法、再现方法、保存装置及再现装置
US20030061369A1 (en) Processing of multimedia data
CN110832872B (zh) 使用用于文件格式方框的通用描述符处理媒体数据
JP2007173987A (ja) マルチメディアデータ送受信システム、及び装置、又はプログラム
JP2003114845A (ja) メディア変換方法およびメディア変換装置
WO2015107786A1 (ja) 通信装置、通信データ生成方法、および通信データ処理方法
EP3096524B1 (en) Communication apparatus, communication data generation method, and communication data processing method
CN105900437B (zh) 通信设备、通信数据生成方法和通信数据处理方法
JP4756848B2 (ja) データ配信方法および情報処理装置
JP2004140552A (ja) マルチキャストシステム，ストリーミングサーバ，クライアント装置，プログラム，およびストリーミングサーバの送信方法
JP2005176094A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
KR101656102B1 (ko) 컨텐츠 파일 생성/제공 장치 및 방법
JP2005236719A (ja) 符号多重化装置及び多重化方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee