KR101358814B1 - 외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 변환 방법 - Google Patents

외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 변환 방법 Download PDF

Info

Publication number
KR101358814B1
KR101358814B1 KR1020120033369A KR20120033369A KR101358814B1 KR 101358814 B1 KR101358814 B1 KR 101358814B1 KR 1020120033369 A KR1020120033369 A KR 1020120033369A KR 20120033369 A KR20120033369 A KR 20120033369A KR 101358814 B1 KR101358814 B1 KR 101358814B1
Authority
KR
South Korea
Prior art keywords
external terminal
file
codec
selected file
information
Prior art date
Application number
KR1020120033369A
Other languages
English (en)
Other versions
KR20130110976A (ko
Inventor
이수우
Original Assignee
(주)정직한기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)정직한기술 filed Critical (주)정직한기술
Priority to KR1020120033369A priority Critical patent/KR101358814B1/ko
Publication of KR20130110976A publication Critical patent/KR20130110976A/ko
Application granted granted Critical
Publication of KR101358814B1 publication Critical patent/KR101358814B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 미디어파일 변환 시스템 및 변환 방법에 관한 것으로서, 더욱 상세하게는, 미디어서버가 외부단말이 요청한 멀티미디어 파일을 외부단말에서 직접 재생이 가능하도록 변환하여 외부단말로 전송하는 외부단말의 재생능력에 기반한 미디어 파일 변환 시스템 및 방법에 관한 것이다.
본 발명에 의하면, 외부 네트워크에서도 내부 네트워크에 존재하는 미디어파일에 직접 접근하여 재생할 수 있으며, 외부 네트워크에 위치한 외부단말에서 지원하지 않는 미디어파일도 재생할 수 있다.

Description

외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 변환 방법{System and method of converting media files based on external terminal}
본 발명은 미디어파일 변환 시스템 및 변환 방법에 관한 것으로서, 더욱 상세하게는, 미디어서버가 외부단말이 요청한 멀티미디어 파일을 외부단말에서 직접 재생이 가능하도록 변환하여 외부단말로 전송하는 외부단말의 재생능력에 기반한 미디어 파일 변환 시스템 및 방법에 관한 것이다.
기존의 DLNA(Digital Living Network Alliance)나 파일 공유 기능을 사용하면 홈 네트워크나 내부 네트워크에 존재하는 멀티미디어 파일들을 홈 네트워크나 내부 네트워크 내부에서는 직접 재생이 가능하다. 그러나 홈 네트워크나 내부 네트워크를 벗어난 외부 네트워크에서 내부 네트워크에 존재하는 파일들을 재생하기 위해서는 멀티미디어 파일들을 NAS(Network Access Storage)등에 넣은 후 외부에서 NAS에 접속하여 재생하거나, 메모리 카드에 저장하거나, 혹은 웹 하드나 클라우드 서비스등에 올려서 재생해야 하는 불편이 있다.
한편, NAS에 멀티미디어 파일을 넣거나, 메모리 카드에 멀티미디어 파일을 저장하거나, 혹은 웹 하드나 클라우드 서비스 등에 멀티미디어 파일을 넣더라도, 그 멀티미디어 파일을 재생하는 단말기에 멀티미디어 파일을 재생할 수 있는 적절한 코덱(codec)이 없는 경우 코덱을 검색하여 새롭게 설치해야 하는 문제점이 있다.
이에 각종 멀티미디어 파일을 단말기의 재생 능력에 맞추어 변환하여 전송함으로써, 멀티미디어 파일을 재생하고자 하는 단말기가 코덱을 새로이 설치할 필요없이 바로 재생가능하게 지원할 필요성이 있다.
또한, 최근 스마트폰 및 태블릿 컴퓨터의 보급으로 어디에서나 인터넷을 이용하여 멀티미디어 파일에 접근이 가능하므로, 스마트폰이나 태블릿 컴퓨터 같은 단말기의 재생 능력과 무관하게 멀티미디어 파일을 바로 재생할 수 있도록 서비스하는 기술의 필요성이 커지고 있다.
본 발명이 해결하고자 하는 과제는, 미디어서버가 외부단말의 재생능력을 고려하여 외부단말이 요청한 멀티미디어 파일을 외부단말에서 직접 재생이 가능하도록 변환해 외부단말로 전송하는, 외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 방법을 제공하는 데 있다.
상기한 과제를 해결하기 위해 본 발명은, 외부단말의 요청에 따라 외부단말로 미디어파일의 보유목록을 제공하는 보유목록 제공부; 외부단말이 보유한 코덱리스트를 포함하는 재생능력정보 및 보유목록에서 선택된 선택파일의 명칭을 외부단말로부터 수신하는 접속처리부; 선택파일의 포맷정보 및 압축규격을 외부단말의 재생능력정보와 비교하고, 외부단말의 선택파일에 대한 재생능력을 판단하는 재생능력 판단부; 및 외부단말이 선택파일의 재생을 지원하는 경우 선택파일을 외부단말로 스트리밍 전송하되, 외부단말이 선택파일의 재생을 지원하지 못하는 경우 외부단말이 지원하는 변환코덱을 이용하여 선택파일을 변환하며 스트리밍 전송하는 스트리밍 전송부를 포함하는, 외부단말의 재생능력에 기반한 미디어파일 변환 시스템을 제공하는 것을 특징으로 한다.
바람직하게는, 상기 미디어파일 변환 시스템은, 외부단말의 코덱리스트 중에서 선택파일의 압축규격을 지원하는 코덱을 변환코덱으로서 결정하는 코덱 결정부를 더 포함할 수 있다.
바람직하게는, 상기 재생능력정보는 외부단말의 지원가능한 해상도정보를 더 포함하고, 상기 변환코덱은 외부단말의 지원가능한 해상도정보에 대응하는 해상도로 선택파일을 변환할 수 있다.
바람직하게는, 상기 재생능력정보는 외부단말의 지원가능한 해상도정보를 더 포함하고, 상기 스트리밍 전송부는 외부단말의 지원가능한 해상도정보에 대응하는 해상도로 선택파일을 변환할 수 있다.
바람직하게는, 상기 보유목록 제공부는 내부 네트워크에 존재하는 내부단말이 보유하는 미디어파일의 명칭, 포맷정보, 및 압축규격에 대한 정보를 수집하여 보유목록을 생성하고, 상기 스트리밍 전송부는 내부단말과 외부단말 사이에서 선택파일 중계하여 전송할 수 있다.
또한 상기한 과제를 해결하기 위해 본 발명은, (a) 외부단말의 요청에 따라 외부단말로 미디어파일의 보유목록을 제공하는 단계; (b) 외부단말이 보유한 코덱리스트를 포함하는 재생능력정보 및 보유목록에서 선택된 선택파일의 명칭을 외부단말로부터 수신하는 단계; (c) 선택파일의 포맷정보 및 압축규격을 상기 외부단말의 재생능력정보와 비교하여 외부단말의 선택파일에 대한 재생능력을 판단하는 단계; (d) 외부단말이 선택파일의 재생을 지원하는 경우, 선택파일을 외부단말로 스트리밍 전송하는 단계; 및 (e) 외부단말이 선택파일의 재생을 지원하지 못하는 경우, 외부단말이 지원하는 변환코덱을 이용하여 선택파일을 변환하며 스트리밍 전송하는 단계를 포함하는, 외부단말의 재생능력에 기반한 미디어파일 변환 방법을 제공한다.
한편, 상기한 목적을 달성하기 위해서 본 발명은 상기 미디어파일 변환 방법 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에 의하면, 외부 네트워크에서도 내부 네트워크에 존재하는 미디어파일에 직접 접근하여 재생할 수 있으며, 외부 네트워크에 위치한 외부단말에서 지원하지 않는 미디어파일도 재생할 수 있다.
도 1은 본 발명에 따른 미디어파일 변환 시스템 및 방법을 예시한 도면.
도 2는 본 발명의 실시예에 따른 미디어파일 변환 방법을 나타낸 흐름도.
도 3은 도 2에서의 S180 단계를 좀 더 상세히 나타낸 흐름도.
도 4는 본 발명에 따른 미디어파일 변환 시스템을 나타낸 블록도.
도 5는 외부단말을 나타낸 블록도.
도 6은 내부단말을 나타낸 블록도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 방법을 예시한 도면이다.
도 1을 참조하면, 미디어파일 변환 시스템은 외부단말(130_1~130_n)들에게 미디어파일을 제공하는 미디어서버(110)를 포함하며, 추가로 미디어서버(110)와 동일 네트워크(20) 상에 위치하는 내부단말들(120_1~120_n) 및/또는 미디어서버(110)의 외부 네트워크에 위치하는 외부단말들(130_1~130_n)을 더 포함할 수 있다.
본 발명에서 미디어파일이란 영상(정지영상 및 동영상 포함) 및/또는 음성을 포함하는 멀티미디어 파일을 의미한다.
기존의 DLNA(Digital Living Network Alliance)나 파일 공유 기능을 사용하면 미디어서버(110)와 동일한 네트워크, 즉 내부 네트워크(20)에 존재하는 내부단말(120_1~120_n) 간에서는 서로 미디어파일의 공유가 가능하다. 그러나 외부 네트워크에서는 내부단말(120_1~120_n)에 특별한 설정을 하지 않는 이상 라우터(140)를 통해 내부단말(120_1~120_n)이 보유하고 있는 미디어파일에 접근할 수 없다.
본 발명에서 미디어서버(110)는 외부 네트워크에 위치하는 외부단말(130_1~130_n)이 내부 네트워크에 위치하는 내부단말(120_1~120_n)에 저장되어 있는 각종 미디어파일에 접근하여 미디어파일을 직접 재생할 수 있게 지원하는 서버이다.
이러한 미디어서버(110)는 일반적인 서버 시스템에 설치될 수 있거나, 혹은 가정에서 보유하고 있는 IPTV를 시청하기 위한 셋톱박스 내에 설치될 수도 있다.
셋톱박스에 미디어서버(110)의 기능을 넣어 놓으면, 항상 셋톱박스가 작동하므로 외부 네트워크에서도 항상 내부 네트워크에 존재하는 미디어파일을 스트리밍 방식으로 직접 재생이 가능하다. 또한 IPTV 셋톱박스에 미디어서버(110)의 기능을 넣으면, IPTV 셋톱박스는 인터넷에 연결되어 있고 항상 전원이 들어와 있으므로 손쉽게 사용하는 것이 가능하다. 기존의 IPTV가 외부에서 데이터를 가정으로 들여오는데만 사용되었지만, 내부의 데이터를 외부로 보내는게 가능해지므로 사용자에게 가정에서 외부로 미디어 데이터를 보내는 서비스를 제공할 수 있다.
내부단말(120_1~120_n)은 컴퓨터, 노트북, 서버시스템, NAS(Network Access Storage), 휴대전화, 태블릿 PC 등 미디어파일을 저장하고, 네트워크에 연결될 수 있는 단말장치이면 어느 것이든 가능하다. 또한 외부단말(130_1~130_n)은 컴퓨터, 노트북, 휴대전화, 태블릿 PC 등 네트워크를 통하여 미디어서버(110)에 접근하고, 미디어파일에 대한 재생 능력을 가진 단말장치이면 어느 것이든 가능하다.
한편 외부단말(130_1~130_n)을 미디어서버(110)의 외부 네트워크에 위치한 단말장치로서 표현하였지만, 실제로 외부단말(130_1~130_n)이 내부 네트워크에 위치하여도 무관하다. 즉, 외부단말(130_1~130_n)은 유무선통신을 통하여 미디어서버(110)에 접속하고 미디어파일을 재생할 수 있는 단말장치면 어느 것이든 가능한다.
이하에서는 설명의 편의를 위해 하나의 내부단말과 외부단말을 예로 들어 설명하도록 하겠다.
도 2는 본 발명의 실시예에 따른 미디어파일 변환 방법을 나타낸 흐름도이다.
우선 미디어서버(110)와 동일 네트워크에 존재하는 각 내부단말(120)은 미디어서버(110)로 자신이 보유하고 있는 미디어파일들에 대한 미디어목록을 제공한다(S100). 여기서, 미디어목록에는 각 미디어파일의 명칭, 포맷정보, 및 압축규격에 대한 정보가 포함된다.
포맷정보, 압축규격, 및 코덱(codec)에 대해서 간략히 설명하도록 한다.
포맷정보란 mkv, avi, asf, mp4, m4v, mov, wmv, WMA, mp3, AAC, AC3, OGG 등과 같이 영상 및/또는 음성의 포맷 정보를 의미하며, 일반적으로 영상파일이나 음성파일의 확장자와 동일하다.
압축규격이란 영상 및/또는 음성의 압축 표준을 의미한다.
한편, 코덱(codec)이란 음성 및/또는 영상의 아날로그 신호를 디지털 신호로 변환하는 코더(Coder)와 디지털 신호를 음성 또는 영상으로 변환하는 디코더(Decorder)의 합성어(Co+Dec)로 부호기(encoder)와 복호기(decoder)의 역할을 동시에 수행하는 장치를 의미한다.
미디어파일의 포맷정보가 동일하여도 그 미디어파일에 포함된 영상 및 음성의 압축규격이 상이할 수 있다. 이러한 경우 그 해당 압축규격을 지원하는 코덱이 단말기에 설치되어 있지 않은 경우, 동일한 포맷정보를 가진 파일들이라도 어떤 파일은 재생이 가능하며 어떤 파일은 재생이 불가능하다.
따라서 미디어목록은 각 미디어파일의 명칭, 포맷정보 및 압축규격에 대한 정보를 포함한다.
미디어서버(110)는 각 내부단말(120)로부터 미디어목록을 수집하고, 미디어파일에 대한 보유목록을 생성한다. 보유목록에는 각 내부단말(120)의 미디어목록이 모두 포함되어 있다. 한편 미디어서버(110)는 자신의 하드디스크와 같은 로컬 저장부에 미디어파일을 저장하고 있는 경우 자신이 보유하고 있는 미디어목록도 보유목록에 포함시킨다. 물론 미디어서버(110)에만 미디어파일들이 저장되어 있을 수도 있다.
한편, 외부단말(130)은 자신이 보유하고 있는 모든 코덱의 명칭을 포함하는 코덱리스트를 추출하고, 그 추출된 코덱리스트를 포함하는 재생능력정보를 생성한다(S120). 재생능력정보란 외부단말(130)이 미디어파일을 재생할 수 있는 능력을 의미한다. 미디어파일의 압축규격을 지원하는 코덱은 해당 미디어파일을 재생할 수 있으므로, 외부단말(130)의 코덱리스트에 포함된 코덱 명칭을 참조하면, 외부단말(130)이 어떤 미디어파일을 재생할 수 있는지 여부를 판단할 수 있다.
외부단말(130)은 미디어서버(110)로 접속하여 미디어서버(110)가 가진 보유목록을 요청한다(S130).
미디어서버(110)는 외부단말(130)로 보유목록을 제공하고(S140), 외부단말(130)은 제공된 보유목록 중에서 재생하고자 하는 파일을 선택한다. 선택파일이 입력되면 선택파일명칭은 미디어서버(110)로 전송된다(s160).
한편 외부단말(130)은 선택파일명칭과 함께 자신의 재생능력정보를 전송한다(S160). 재생능력정보는 선택파일명칭과 함께 전송될 수도 있지만, 외부단말(130)이 미디어서버(110)에 최초로 접속하거나 보유목록을 요청할 때 전송될 수도 있다.
미디어서버(110)는 선택파일의 포맷정보 및 압축규격을 외부단말(130)의 재생능력정보와 비교하고, 외부단말(130)의 선택파일에 대한 재생능력을 판단한다(S170).
그 판단 결과, 즉 외부단말(130)의 재생능력에 따라 미디어서버(110)는 선택파일의 변환 여부를 결정한다(S180).
도 3은 도 2에서의 S180 단계를 좀 더 상세히 나타낸 흐름도이다.
만일 외부단말(130)이 선택파일의 재생을 지원하는 경우, 미디어서버(110)는 선택파일을 외부단말(130)로 직접 스트리밍 전송한다(S320, S200).
그러나, 외부단말(130)이 선택파일의 재생을 지원하지 못하는 경우, 미디어서버(110)는 선택파일을 변환하는데 이용할 변환코덱을 결정하고(S330), 결정된 변환코덱으로 선택파일을 변환하여(S340) 스트리밍 전송한다(S350, S200).
여기서 변환코덱이란 특정 압축규격으로 압축되어 외부단말(130)에서 재생되지 못하는 미디어파일을 외부단말(130)에서 지원가능한 압축규격으로 변환하는데 이용되는 코덱을 의미한다.
변환코덱은 외부단말의 코덱리스트 중에서 선택파일의 압축규격을 지원하는 코덱으로 결정될 수 있다.
만일, 외부단말의 코덱리스트 중에서 선택파일의 압축규격을 지원하는 코덱이 없는 경우, 미디어서버(110)는 외부단말의 코덱리스트 중에서 어느 하나의 코덱을 변환코덱으로서 결정한다. 변환코덱을 결정하는 방식은 후술하기로 한다.
한편 외부단말(130)이 지원하는 최대 해상도보다 선택파일의 해상도가 높아서 변환하지 않고 스트리밍 전송하거나 변환하여 스트리밍 전송하여도 외부단말(130)에서 재생 불가능한 경우가 발생할 수도 있다. 이를 방지하기 위해 외부단말(130)은 외부단말(130)의 지원가능한 최대 해상도정보를 추출하고, 추출된 최대 해상도정보를 재생능력정보에 포함시킨다.
선택파일을 스트리밍 전송하기 위해, RTSP(Real Time Streaming Protocol, RFC2326), HTTP, MMS, RTP(Real-time Transfer Protocol) 등 스트리밍을 위한 다양한 프로토콜이 이용될 수 있다.
다시 도 2로 되돌아가 설명하도록 한다.
한편 선택파일이 미디어서버(110) 내에 존재하지 않고 내부단말(120)에 저장되어 있는 경우, 미디어서버(110)는 내부단말(120)로부터 선택파일을 수신하여 외부단말(130)로 제공한다. 미디어서버(110)가 내부단말(120)에 위치한 선택파일을 외부단말(130)로 중계할 때에도 역시 선택파일의 변환 여부는 외부단말(130)의 재생능력정보, 즉 외부단말(130)이 선택파일을 재생할 수 있는지 여부에 달려 있다.
외부단말(130)은 미디어서버(110)로부터 스트리밍 전송되고 있는 선택파일 또는 변환된 선택파일을 직접 재생한다(S210).
한편 도면에 도시되지는 않았지만, 외부단말(130)은 스트리밍 전송되고 있는 선택파일을 재생하는 경우 실시간 또는 주기적으로 수집된 재생상황에 대한 정보를 실시간 또는 주기적으로 미디어서버(110)로 전송할 수 있다. 재생상황에 대한 정보에는 실제재생시간, 프로세서의 바쁜 정도, 네트워크의 상황에 대한 정보들이 포함된다.
미디어서버(110)는 재생상황에 대한 정보를 외부단말(130)로부터 수신하고, 수신한 재생상황 정보를 기초로 스트리밍 전송하고 있는 파일이 외부단말(130)에서 원활하게 재생되고 있는지 여부를 판단할 수 있다.
실제재생시간이 본래 재생되어야 하는 시간보다 길어지는 것은 외부단말(130)의 프로세서 처리 능력이 낮거나 네트워크가 바쁜 상태일 가능성이 높다. 외부단말(130)에서 선택파일 또는 변환된 선택파일이 원활히 재생되지 않는 경우, 미디어서버(110)는 스트리밍 전송하고 있는 선택파일의 해상도를 감소시킨다.
이하에서는 본 발명에 따른 미디어파일 변환 시스템을 설명하도록 한다. 본 발명에 따른 미디어파일 변환 시스템은 본 발명에 따른 본 발명에 따른 미디어파일 변환 방법과 본질적으로 동일한 기능을 수행하므로, 상세한 설명 및 중복되는 설명은 생략하도록 한다.
도 4는 본 발명에 따른 미디어파일 변환 시스템을 나타낸 블록도이다.
본 발명에 따른 미디어파일 변환 시스템은 외부단말(130)에게 미디어파일을 제공하는 미디어서버(110)를 포함하며, 추가로 미디어서버(110)와 동일 네트워크(20) 상에 위치하는 내부단말(120) 및/또는 미디어서버(110)의 외부 네트워크에 위치하는 외부단말(130)을 더 포함할 수 있다.
도 4를 참조하면, 미디어서버(110)는 접속처리부(111), 보유목록 제공부(112), 재생능력 판단부(113), 코덱 결정부(114), 스트리밍 전송부(115)를 포함하며, 추가로 코덱정보 제공부(117) 및 네트워크상태 감지부(118)를 더 포함한다.
접속처리부(111)는 외부단말(130)의 요청을 처리하는 구성요소로서, 외부단말(130)이 보유한 코덱 명칭이 들어있는 코덱리스트를 포함하는 재생능력정보 및 외부단말(130)이 보유목록에서 선택한 선택파일의 명칭을 외부단말(130)로부터 수신한다.
재생능력 판단부(113)는 외부단말(130)이 선택한 선택파일의 포맷정보 및 압축규격을 외부단말(130)로부터 수신한 재생능력정보와 비교하고, 외부단말(130)이 선택파일을 재생할 수 있는지 여부를 의미하는 재생능력을 판단한다.
보유목록에는 모든 미디어파일의 명칭, 포맷정보 및 압축규격에 대한 정보가 포함되어 있으며, 선택파일이 저장되어 있는 장소도 또한 포함되어 있으므로, 미디어서버(110)는 보유목록으로부터 선택파일에 대한 각종 정보와 저장되어 있는 장소를 파악할 수 있다.
스트리밍 전송부(116)는 재생능력 판단부(113)의 판단 결과에 따라 선택파일을 그냥 전송할지 외부단말(130)이 재생할 수 있도록 변환하여 전송할지를 결정한다. 스트리밍 전송부(115)는 외부단말(130)이 선택파일의 재생을 지원하는 경우 선택파일을 외부단말(130)로 스트리밍 전송하며, 외부단말(130)이 선택파일의 재생을 지원하지 못하는 경우 외부단말(130)이 지원하는 변환코덱을 이용하여 선택파일을 변환하며 스트리밍 전송한다.
스트리밍 전송부(115)는 변환코덱을 이용하여 선택파일을 변환하는 변환부(116)를 포함한다.
외부단말(130)이 선택파일의 재생을 지원하지 못하는 경우, 코덱 결정부(114)는 선택파일을 변환하는데 이용할 변환코덱을 결정한다.
전술한 것처럼, 코덱 결정부(114)는 변환코덱은 외부단말의 코덱리스트 중에서 선택파일의 압축규격을 지원하는 코덱으로 변환코덱을 결정할 수 있다. 만일, 외부단말의 코덱리스트 중에서 선택파일의 압축규격을 지원하는 코덱이 없으면, 코덱 결정부(114)는 외부단말(130)의 코덱리스트 중에 포함되어 있는 어느 하나의 코덱을 변환코덱으로서 결정한다.
본 발명에서 변환코덱을 결정하는 방식으로서는 여러 방식이 있을 수 있다. 가장 바람직한 방식은 외부단말(130)이 보유한 코덱 중에서 하드웨어 코덱이 있는 경우, 코덱 결정부(114)가 하드웨어 코덱을 변환코덱으로서 결정하는 것이다. 외부단말(130)에 하드웨어 코덱이 복수 개가 있는 경우, 코덱 결정부(114)는 복수 개의 하드웨어 코덱 중에서 압축률이 가장 높은 코덱을 변환코덱으로서 결정한다.
한편, 외부단말(130)에 하드웨어 코덱이 없고 소프트웨어 코덱만 존재하는 경우, 코덱 결정부(114)는 그 소프트웨어 코덱 중에서 압축률이 가장 높은 코덱을 변환코덱으로서 결정한다. 압축률이 높으면 네트워크 부하가 줄지만 이를 처리하는 프로세서(CPU 또는 GPU)의 점유율이 높아지는 문제가 있다. 따라서 코덱 결정부(114)는 압축률이 높으면서 프로세서 점유율이 낮은 소프트웨어 코덱을 변환코덱으로서 결정하는 것이 바람직할 수 있다.
외부단말(130)이 지원하는 최대 해상도보다 선택파일의 해상도가 더 높기 때문에, 외부단말(130)에서 재생 불가능한 경우가 발생할 수도 있다. 이를 방지하기 스트리밍 전송부(115)는 외부단말(130)의 지원가능한 최대 해상도 이하의 해상도로 선택파일을 변환하면서 스트리밍 전송한다.
코덱정보 제공부(117)는 다양한 코덱을 코덱 결정부(114)로 제공하는 역할을 수행하여, 네트워크 상태 감지부(118)는 미디어서버(110)와 외부단말(130) 간의 네트워크 상황을 측정한다.
한편, 스트리밍 전송부(115)는 미디어서버(110)와 외부단말(130) 간의 네트워크 상황, 외부단말(130)의 프로세서 처리 능력과 바쁜 정도, 외부단말(130)로부터 수신한 재생상황정보를 기초로 선택파일에 대한 해상도 및/또는 변환코덱을 다이나믹하게 조정 또는 변경할 수 있다. 예를 들어, 외부단말(130)의 프로세서 처리 능력이 낮거나, 미디어서버(110)와 외부단말(130) 간의 네트워크가 바쁜 상황이거나, 외부단말(130)에서 선택파일(또는 변환된 선택파일)이 느리게 재생되거나 끊기는 경우, 해상도를 감소시킴으로써 스트리밍되는 패킷 사이즈를 감소시킬 수 있다.
도 5는 외부단말(130)을 나타낸 블록도이다.
외부단말(130)는 접속부(131), 재생능력정보 생성부(132), 및 재생부(135)를 포함한다.
접속부(131)는 미디어서버(110)로 각종 요청, 재생능력정보 및 선택파일명칭을 전송하고, 미디어서버(110)로부터 보유목록을 수신하며, 전송한 선택파일명칭에 대응하는 선택파일을 스트리밍 방식으로 수신한다. 물론 변환코덱에 의해 변환된 선택파일을 스트리밍 방식으로 수신할 수도 있다.
재생능력정보 생성부(132)는 자신이 보유하고 있는 모든 코덱의 명칭을 포함하는 코덱리스트(133)를 추출하여 재생능력정보를 생성한다. 여기서, 재생능력정보에는 추출된 코덱리스트가 포함되며, 추가로 외부단말(130)에서 지원가능한 최대 해상도정보 및/또는 외부단말(130)의 기기특성정보(134)가 더 포함될 수 있다. 외부단말(130)의 기기특성정보는 외부단말(130)의 프로세서 처리 능력 및 화면 크기에 대한 정보가 포함된다.
재생부(135)는 미디어파일을 재생한다.
도 6은 내부단말(120)을 나타낸 블록도이다.
도 6을 참조하면, 내부단말(120)은 미디어파일 저장소(121), 미디어목록 제공부(122), 및 선택파일 제공부(123)를 포함한다.
미디어파일 저장소(121)는 하드디스크와 같은 로컬 저장영역을 의미하며, 그 내부에 각종 미디어 파일이 저장된다.
미디어목록 제공부(122)는 자신의 미디어파일 저장소(121)에 저장되어 있는 모든 미디어파일들에 대한 미디어목록을 생성하고, 이를 미디어서버(110)로 제공한다. 미디어목록에는 각 미디어파일의 명칭, 포맷정보, 및 압축규격에 대한 정보가 포함되어 있다.
선택파일 제공부(123)는 미디어서버(110)가 선택파일을 외부단말(130)로 스트리밍 전송하고자 할 때, 그 선택파일을 미디어서버(110)로 전송하는 역할을 수행한다.
본 발명의 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서는 도면에 도시된 구체적인 실시예를 참고하여 본 발명을 설명하였으나 이는 예시적인 것에 불과하므로, 본 발명이 속하는 기술 분야에서 통상의 기술을 가진 자라면 이로부터 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 보호 범위는 후술하는 특허청구범위에 의하여 해석되어야 하고, 그와 동등 및 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 보호 범위에 포함되는 것으로 해석되어야 할 것이다.
110, 미디어서버 120, 내부단말
130, 외부단말 111, 접속처리부
112, 보유목록 생성부 113, 재생능력 판단부
114, 코덱 결정부 115, 스트리밍 전송부
117, 코덱정보 제공부 118, 네트워크 상태 감지부

Claims (13)

  1. 외부단말의 요청에 따라 외부단말로 미디어파일의 보유목록을 제공하는 보유목록 제공부;
    외부단말이 보유한 코덱리스트를 포함하는 재생능력정보 및 상기 보유목록에서 선택된 선택파일의 명칭을 상기 외부단말로부터 수신하는 접속처리부;
    상기 선택파일의 포맷정보 및 압축규격을 상기 외부단말의 재생능력정보와 비교하고, 상기 외부단말의 상기 선택파일에 대한 재생능력을 판단하는 재생능력 판단부; 및
    상기 외부단말이 상기 선택파일의 재생을 지원하는 경우 상기 선택파일을 상기 외부단말로 스트리밍 전송하되, 상기 외부단말이 상기 선택파일의 재생을 지원하지 못하는 경우 상기 외부단말이 지원하는 변환코덱을 이용하여 상기 선택파일을 변환하며 스트리밍 전송하는 스트리밍 전송부를 포함하되,
    상기 스트리밍 전송부는, 상기 외부단말과의 네트워크 상태를 계측하고, 네트워크가 바쁜 경우 상기 선택파일의 해상도를 감소시키는, 외부단말의 재생능력에 기반한 미디어파일 변환 시스템.
  2. 외부단말의 요청에 따라 외부단말로 미디어파일의 보유목록을 제공하는 보유목록 제공부;
    외부단말이 보유한 코덱리스트를 포함하는 재생능력정보 및 상기 보유목록에서 선택된 선택파일의 명칭을 상기 외부단말로부터 수신하는 접속처리부;
    상기 선택파일의 포맷정보 및 압축규격을 상기 외부단말의 재생능력정보와 비교하고, 상기 외부단말의 상기 선택파일에 대한 재생능력을 판단하는 재생능력 판단부; 및
    상기 외부단말이 상기 선택파일의 재생을 지원하는 경우 상기 선택파일을 상기 외부단말로 스트리밍 전송하되, 상기 외부단말이 상기 선택파일의 재생을 지원하지 못하는 경우 상기 외부단말이 지원하는 변환코덱을 이용하여 상기 선택파일을 변환하며 스트리밍 전송하는 스트리밍 전송부를 포함하되,
    상기 재생능력정보는 상기 외부단말의 프로세서 처리능력에 대한 정보를 더 포함하며,
    상기 스트리밍 전송부는 상기 외부단말의 프로세서 처리능력에 대응하여 상기 선택파일의 해상도를 변환하는, 외부단말의 재생능력에 기반한 미디어파일 변환 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 미디어파일 변환 시스템은,
    상기 외부단말의 코덱리스트 중에서 상기 선택파일의 압축규격을 지원하는 코덱을 상기 변환코덱으로서 결정하는 코덱 결정부를 더 포함하는, 외부단말의 재생능력에 기반한 미디어파일 변환 시스템.
  4. 제1항 또는 제2항에 있어서,
    상기 재생능력정보는 상기 외부단말의 지원가능한 해상도정보를 더 포함하고,
    상기 스트리밍 전송부는 상기 외부단말의 지원가능한 해상도정보에 대응하는 해상도로 상기 선택파일을 변환하는, 외부단말의 재생능력에 기반한 미디어파일 변환 시스템.
  5. 제1항 또는 제2항에 있어서,
    상기 보유목록 제공부는 내부 네트워크에 존재하는 내부단말이 보유하는 미디어파일의 명칭, 포맷정보, 및 압축규격에 대한 정보를 수집하여 상기 보유목록을 생성하고,
    상기 스트리밍 전송부는 상기 내부단말과 상기 외부단말 사이에서 상기 선택파일을 중계하여 전송하는, 외부단말의 재생능력에 기반한 미디어파일 변환 시스템.
  6. 삭제
  7. (a) 외부단말의 요청에 따라 외부단말로 미디어파일의 보유목록을 제공하는 단계;
    (b) 외부단말이 보유한 코덱리스트를 포함하는 재생능력정보 및 상기 보유목록에서 선택된 선택파일의 명칭을 상기 외부단말로부터 수신하는 단계;
    (c) 상기 선택파일의 포맷정보 및 압축규격을 상기 외부단말의 재생능력정보와 비교하여 상기 외부단말의 상기 선택파일에 대한 재생능력을 판단하는 단계;
    (d) 상기 외부단말이 상기 선택파일의 재생을 지원하는 경우, 상기 선택파일을 상기 외부단말로 스트리밍 전송하는 단계; 및
    (e) 상기 외부단말이 상기 선택파일의 재생을 지원하지 못하는 경우, 상기 외부단말이 지원하는 변환코덱을 이용하여 상기 선택파일을 변환하며 스트리밍 전송하는 단계를 포함하되,
    상기 (e) 단계는, 상기 외부단말과의 네트워크 상태를 계측하고, 네트워크가 바쁜 경우 상기 선택파일의 해상도를 감소시키는 단계를 더 포함하는, 외부단말의 재생능력에 기반한 미디어파일 변환 방법.
  8. (a) 외부단말의 요청에 따라 외부단말로 미디어파일의 보유목록을 제공하는 단계;
    (b) 외부단말이 보유한 코덱리스트를 포함하는 재생능력정보 및 상기 보유목록에서 선택된 선택파일의 명칭을 상기 외부단말로부터 수신하는 단계;
    (c) 상기 선택파일의 포맷정보 및 압축규격을 상기 외부단말의 재생능력정보와 비교하여 상기 외부단말의 상기 선택파일에 대한 재생능력을 판단하는 단계;
    (d) 상기 외부단말이 상기 선택파일의 재생을 지원하는 경우, 상기 선택파일을 상기 외부단말로 스트리밍 전송하는 단계; 및
    (e) 상기 외부단말이 상기 선택파일의 재생을 지원하지 못하는 경우, 상기 외부단말이 지원하는 변환코덱을 이용하여 상기 선택파일을 변환하며 스트리밍 전송하는 단계를 포함하되,
    상기 재생능력정보는 상기 외부단말의 프로세서 처리능력에 대한 정보를 더 포함하고,
    상기 (e) 단계는, 상기 외부단말의 프로세서 처리능력에 대응하여 상기 선택파일의 해상도를 변환하며 전송하는 단계를 더 포함하는, 외부단말의 재생능력에 기반한 미디어파일 변환 방법.
  9. 제7항 또는 제8항에 있어서, 상기 (e) 단계는,
    상기 외부단말의 코덱리스트 중에서 상기 선택파일의 압축규격을 지원하는 코덱을 상기 변환코덱으로서 결정하는 단계를 포함하는, 외부단말의 재생능력에 기반한 미디어파일 변환 방법.
  10. 제7항 또는 제8항에 있어서,
    상기 재생능력정보는 상기 외부단말의 지원가능한 해상도정보를 더 포함하고,
    상기 (e) 단계는, 상기 외부단말의 지원가능한 해상도정보에 대응하는 해상도로 상기 선택파일을 변환하는 단계를 더 포함하는, 외부단말의 재생능력에 기반한 미디어파일 변환 방법.
  11. 제7항 또는 제8항에 있어서, 상기 미디어파일 변환 방법은, 상기 (a) 단계 이전에
    내부 네트워크에 존재하는 내부단말이 보유하는 미디어파일의 명칭, 포맷정보, 및 압축규격에 대한 정보를 수집하여 상기 보유목록을 생성하는 단계를 더 포함하며,
    상기 (e) 단계는 상기 내부단말과 상기 외부단말 사이에서 상기 선택파일을 중계하여 전송하는 것을 특징으로 하는, 외부단말의 재생능력에 기반한 미디어파일 변환 방법.
  12. 삭제
  13. 제7항 또는 제8항에 따른 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120033369A 2012-03-30 2012-03-30 외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 변환 방법 KR101358814B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120033369A KR101358814B1 (ko) 2012-03-30 2012-03-30 외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 변환 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120033369A KR101358814B1 (ko) 2012-03-30 2012-03-30 외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 변환 방법

Publications (2)

Publication Number Publication Date
KR20130110976A KR20130110976A (ko) 2013-10-10
KR101358814B1 true KR101358814B1 (ko) 2014-02-11

Family

ID=49632709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120033369A KR101358814B1 (ko) 2012-03-30 2012-03-30 외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 변환 방법

Country Status (1)

Country Link
KR (1) KR101358814B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12159079B2 (en) 2021-09-28 2024-12-03 Samsung Electronics Co., Ltd. Electronic device for providing streaming service and method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060066385A (ko) * 2004-12-13 2006-06-16 한국전자통신연구원 홈네트워크에서의 미디어 포맷 및 전송 프로토콜 변환장치 및 그 방법
KR20110032800A (ko) * 2009-09-24 2011-03-30 삼성전자주식회사 저장장치 및 그 구동방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060066385A (ko) * 2004-12-13 2006-06-16 한국전자통신연구원 홈네트워크에서의 미디어 포맷 및 전송 프로토콜 변환장치 및 그 방법
KR20110032800A (ko) * 2009-09-24 2011-03-30 삼성전자주식회사 저장장치 및 그 구동방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12159079B2 (en) 2021-09-28 2024-12-03 Samsung Electronics Co., Ltd. Electronic device for providing streaming service and method thereof

Also Published As

Publication number Publication date
KR20130110976A (ko) 2013-10-10

Similar Documents

Publication Publication Date Title
US10880408B2 (en) Streaming policy management system and method
US10291618B2 (en) Method and apparatus for providing and receiving contents via network, method and apparatus for backing up data via network, backup data providing device, and backup system
US10484195B2 (en) Method and apparatus for sharing functions between devices via a network
CN103166941A (zh) 一种数据分享的方法及装置
US20190069006A1 (en) Seeking in live-transcoded videos
KR20140111859A (ko) 콘텐트 공유 방법 및 이를 위한 디바이스
CN102833365A (zh) 基于dlna的文件播放方法及系统、主、从dlan设备
JP6511038B2 (ja) クラウドストリーミングサービス提供方法及びそのための装置
JP2013106344A (ja) ディジタル・メディア・サーバからディジタル・メディア・レンダラにビデオ・コンテンツを出力する方法、及び関連したメディア共有システム
JP2009188690A (ja) コンテンツ配信装置
KR20160039888A (ko) 클라우드 스트리밍 서비스 시스템, 최적 gpu를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
AU2010284738B2 (en) Method and apparatus for providing contents via network, method and apparatus for receiving contents via network, and method and apparatus for backing up data via network, backup data providing device, and backup system
US20140189141A1 (en) Real-time content transcoding method, apparatus and system, and real-time content receiving method and apparatus
KR20110012220A (ko) 이어보기 정보 공유기능을 갖는 스트리밍 콘텐츠 재생 장치및 시스템
KR20130088234A (ko) 적응적 콘텐츠 제공장치 및 방법
KR101358814B1 (ko) 외부단말의 재생능력에 기반한 미디어파일 변환 시스템 및 변환 방법
KR100803609B1 (ko) 콘텐트를 공유하는 방법 및 장치
KR101819193B1 (ko) 실시간 파일 포맷 변환 스트리밍 서비스 방법
CN1984231A (zh) 一种无线媒体接收播放装置及其实现方法
CN102340519B (zh) 多媒体网络数据分享系统
CN103188519B (zh) 提供实时直播视频数据流档案的装置与其方法
KR101836220B1 (ko) 미디어 공유 장치 및 그 방법
KR20140086801A (ko) 실시간 콘텐츠 트랜스코딩 방법, 장치 및 시스템, 및 실시간 콘텐츠 수신 장치 및 방법
JP2018074348A (ja) 映像処理装置、映像処理方法および映像処理プログラム
KR100833237B1 (ko) 복수의 미디어 포맷을 포함하는 스트리밍 서비스에 관한정보를 제공하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120330

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130513

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131029

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140128

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140129

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20170131

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee