KR101065819B1 - 영상 부호화 장치, 영상 부호화 방법 - Google Patents

영상 부호화 장치, 영상 부호화 방법 Download PDF

Info

Publication number
KR101065819B1
KR101065819B1 KR20090088503A KR20090088503A KR101065819B1 KR 101065819 B1 KR101065819 B1 KR 101065819B1 KR 20090088503 A KR20090088503 A KR 20090088503A KR 20090088503 A KR20090088503 A KR 20090088503A KR 101065819 B1 KR101065819 B1 KR 101065819B1
Authority
KR
South Korea
Prior art keywords
compressed data
access point
random access
video
data
Prior art date
Application number
KR20090088503A
Other languages
English (en)
Other versions
KR20100044090A (ko
Inventor
미치코 미조구치
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20100044090A publication Critical patent/KR20100044090A/ko
Application granted granted Critical
Publication of KR101065819B1 publication Critical patent/KR101065819B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

대역이 다른 2개의 압축 데이터의 타이밍을 정확하게 대응시킬 수 있는 영상 부호화 장치, 영상 부호화 방법을 제공하는 것을 과제로 한다.
클록 생성부와, 개시 타이밍을 지시하는 지시부와, 영상을 부호화하여 제1 대역을 갖는 제1 압축 데이터를 생성하고, 개시 타이밍에서 제1 압축 데이터의 랜덤 액세스 포인트를 동기시키며, 클록에 기초하는 시각 정보를 제1 압축 데이터의 랜덤 액세스 포인트에 부여하는 제1 부호화부와, 영상을 부호화하여 제1 대역보다 좁은 제2 대역을 갖는 제2 압축 데이터를 생성하고, 개시 타이밍에서 제2 압축 데이터의 랜덤 액세스 포인트를 동기시키며, 제1 압축 데이터의 랜덤 액세스 포인트의 시각 정보를 취득하여, 그 랜덤 액세스 포인트에 동기하는 제2 압축 데이터의 랜덤 액세스 포인트에 부여하는 제2 부호화부를 갖는다.
Figure R1020090088503
영상 부호화 장치

Description

영상 부호화 장치, 영상 부호화 방법{VIDEO ENCODING APPARATUS AND VIDEO ENCODING METHOD}
본 발명은, 입력된 영상을 부호화하는 영상 부호화 장치, 영상 부호화 방법에 관한 것이다.
컴퓨터에 의한 영상(동화상) 편집에 있어서는, 통상, 프레임 단위로 추출하는 편집이 행해지기 때문에, 비압축의 데이터가 가장 취급하기 쉽다. 그러나, 영상은, 데이터량이 많기 때문에, 디스크 등의 기억 매체에 보존하는 것을 고려하면 압축해서 기록하는 것이 일반적이다. 또한, 영상을 전송하는 경우, 네트워크 대역을 고려하여, 영상을 압축해서 전송한다.
종래, 영상 편집에 있어서는, 비압축의 영상 데이터나, 프레임 단위로 추출 가능한 프레임 내 압축의 영상 데이터를, 취급하는 시스템이 많았다. 그러나, 비압축이나 프레임 내 압축의 영상 데이터가 HD(High Definition) 영상인 경우, 데이터량이나 처리량이 방대해진다.
따라서, 고압축이 가능한 MPEG(Moving Picture Experts Group) 등의 프레임 간 압축을 채용하여, 디코딩하면서 편집하는 시스템이나, 필요에 따라서 편집용의 프록시 파일(proxy file)을 별도로 작성하여, 그 파일로 편집하는 시스템이 나오고 있다.
영상 전송에 있어서는, MPEG 등의 프레임 간 압축을 사용하는 시스템이 있다. 그 중에는, 데이터 전송 후에 전술한 편집 시스템으로 가공하는 시스템이나, 데이터 전송하면서, 실시간으로 디코딩하여, 편집 시스템에 데이터를 전달하는 시스템이 있다.
또한, 종래 기술로서, 압축 동화상 스트림의 임의 지정 프레임으로부터 고속의 프로그램 서치를 제공하는 압축 동화상의 복호·표시 장치, 편집 장치가 있다(예컨대, 특허 문헌 1 참조).
[특허 문헌 1] 일본 공개 특허 평성 제9-139915호 공보
텔레비전을 비롯해서, 취급하는 영상의 HD화가 진행되어, 영상의 데이터량이 방대해지고 있다.
모든 프레임으로부터 추출 가능하고 편집이 용이한 프레임 내 압축은, 압축이 충분하지 않고, 편집 기기로 표시하는 데에도 CPU(Central Processing Unit) 부하가 높다. 또한, 압축한 영상 데이터로부터 프록시 파일을 작성하는 편집 시스템이 있다. 단, 프록시 파일 작성에는, CPU 처리 성능 및 시간을 필요로 한다.
또한, 영상 전송에 있어서는, HD 영상을 압축해도 수 Mbps의 작업 처리량이 필요하기 때문에, 일부만 추출하여 송수신할 수 있으면, 데이터 송수신에 필요한 시간도 통신 대역도 삭감할 수 있다. 그러나, 동일한 영상에 대해서도, 수신측의 용도에 따라 필요한 영상 부위는 다르기 때문에, 송신측에서 미리, 추출 대상으로 해야 할 영상 부위를 특정하는 것은 어렵다. 또한 운용상, 송신측에 설비를 둘 수 없거나, 또는 편집자가 없는 경우가 많아, 수신측에서 편집할 필요가 생긴다. 보내고 싶다고 하는 요구가 높아지는 경우, 송신측에서 편집할 필요가 있다.
또한, 송신측이 압축률(영상 품질)을 다르게 한 복수 종류의 영상 데이터를 전송하는 시스템도 있다. 이 시스템은, 통상, 고압축의 영상 데이터를 전송하고, 그 영상 데이터의 프레임을 지정하여 고품질의 영상 데이터(즉, 저압축의 영상 데이터)를 추출한다.
그러나, 프레임 간 압축을 이용하여 압축된 영상 데이터에는, 디코딩할 때 에, 앞 또는 뒤의 프레임의 데이터를 이용할 필요가 있는 프레임과, 하나의 프레임 내의 데이터만으로 디코딩할 수 있는 프레임이 있다. 영상의 추출의 개시 위치로서 지정할 수 있는 것은, 하나의 프레임 내의 데이터만으로 디코딩할 수 있는 프레임(즉 랜덤 액세스 포인트)이다. 고압축의 영상 데이터와 고품질의 영상 데이터에서의 랜덤 액세스 포인트의 출현 위치는 동기하고 있지 않기 때문에, 고압축의 영상 데이터로 지정한 프레임과 엄밀하게 동일한 타이밍의 프레임을 고품질의 영상 데이터로부터 추출할 수 없다. 예컨대, 영상 전송에서 사용되는 대부분의 실시간 영상 부호화 장치에서는, 500 ㎳를 그룹으로 하는 픽처 구조를 갖기 때문에, 복수의 압축 데이터의 추출 포인트가 수백 ㎳ 어긋날 가능성이 있다.
본 발명은 상술한 문제점을 해결하기 위해서 이루어진 것으로, 대역이 다른 2개의 압축 데이터의 타이밍을 정확하게 대응시킬 수 있는 영상 부호화 장치, 영상 부호화 방법을 제공하는 것을 목적으로 한다.
상술한 과제를 해결하기 위해서, 본 발명의 일 형태는, 입력되는 영상을 부호화하는 영상 부호화 장치로서, 클록을 생성하는 클록 생성부와, 부호화의 개시 타이밍을 지시하는 지시부와, 입력되는 영상을 부호화하여 미리 정해진 제1 대역을 갖는 제1 압축 데이터를 생성하고, 지시부에 의해 지시된 개시 타이밍에서 제1 압축 데이터의 랜덤 액세스 포인트를 동기시키며, 클록 생성부에 의해 생성된 클록에 기초하는 시각 정보를 제1 압축 데이터의 랜덤 액세스 포인트에 부여하는 제1 부호화부와, 입력되는 영상을 부호화하여 제1 대역보다 좁은 제2 대역을 갖는 제2 압축 데이터를 생성하고, 지시부에 의해 지시된 개시 타이밍에서 제2 압축 데이터의 랜덤 액세스 포인트를 동기시키며, 제1 압축 데이터의 랜덤 액세스 포인트의 시각 정보를 취득하여, 그 랜덤 액세스 포인트에 동기하는 제2 압축 데이터의 랜덤 액세스 포인트에 부여하는 제2 부호화부를 갖는다.
또한, 본 발명의 일 형태는, 입력되는 영상의 부호화를 컴퓨터에 의해 행하는 영상 부호화 방법으로서, 부호화의 개시 타이밍을 지시하고, 입력되는 영상을 부호화하여 미리 정해진 제1 대역을 갖는 제1 압축 데이터를 생성하며, 지시된 개시 타이밍에서 제1 압축 데이터의 랜덤 액세스 포인트를 동기시키고, 클록 생성부에 의해 생성된 클록에 기초하는 시각 정보를 제1 압축 데이터의 랜덤 액세스 포인트에 부여하며, 입력되는 영상을 부호화하여 제1 대역보다 좁은 제2 대역을 갖는 제2 압축 데이터를 생성하고, 지시된 개시 타이밍에서 제2 압축 데이터의 랜덤 액세스 포인트를 동기시키며, 제1 압축 데이터의 랜덤 액세스 포인트의 시각 정보를 취득하여, 그 랜덤 액세스 포인트에 동기하는 제2 압축 데이터의 랜덤 액세스 포인트에 부여한다.
또한, 본 발명의 구성 요소, 또는 구성 요소의 임의의 조합을, 방법, 장치, 시스템, 기록 매체, 데이터 구조 등에 적용한 것도 본 발명에 포함한다.
개시된 영상 부호화 장치, 영상 부호화 방법에 따르면, 대역이 다른 2개의 압축 데이터의 타이밍을 정확하게 대응시킬 수 있다.
이하, 본 발명의 실시형태에 대해서 도면을 참조하면서 설명한다.
본 발명에 따른 영상 전송 시스템의 구성에 대해서 설명한다.
도 1은 본 발명에 따른 영상 전송 시스템의 구성의 일례를 도시하는 블록도이다. 이 영상 전송 시스템은, 카메라(11), 영상 송신부(12)(영상 부호화 장치), 축적부(13), 영상 수신부(14)를 갖는다. 영상 송신부(12)와 영상 수신부(14)는 네트워크(15)를 통해 접속된다.
카메라(11)에 의해 생성되는 소스인 영상 소스 및 음성 소스는, 영상 송신부(12)에 입력된다. 영상 소스는, 카메라(11)에 의해 촬영된 데이터이고, 음성 소스는, 카메라(11)에 의해 녹음된 데이터이다.
영상 송신부(12)는, 영상 소스 및 음성 소스에 대하여 2종류의 압축을 동시에 행한다. 이에 따라 얻어지는 2종류의 압축 데이터는, 예컨대 텔레비전 방송 등의 영상 소재로서 요구되는 품질을 만족시키는 높은 비트 레이트(광대역, 고품질, 저압축)의 압축 영상 데이터를 갖는 고품질 데이터(제1 압축 데이터)와, 낮은 비트 레이트(협대역, 저품질, 고압축)의 압축 영상 데이터를 갖는 프록시 데이터(제2 압축 데이터)이다.
프록시 데이터는, 예컨대 수백 kbps 정도의 압축 영상 데이터를 가지며, 실시간으로 네트워크(15)를 통해 원격지의 영상 수신부(14)에 전송된다. 또한, 영상 송신부(12)는, 프록시 데이터와 고품질 데이터를 동시에 축적부(13)에 보존한다. 따라서, 영상 송신부(12)는, 나중에 영상 수신부(14)에 전송하는 것도 가능하다. 축적부(13)는 스토리지 장치로 실현된다.
영상 수신부(14)는, PC(Personal Computer)로 실현되며, 편집 프로그램을 실행한다. 또한, 영상 수신부(14)는, 편집 프로그램에 의해, 수신 데이터의 보존, 수신 데이터의 디코딩 및 디코딩된 영상 및 음성의 표시, 표시된 영상 중의 프레임의 지정 등을 행한다.
프록시 데이터를 수신한 영상 수신부(14)는, 수신한 프록시 데이터를 디코딩하여 표시한다. 사용자는, 영상 수신부(14)에 의해 표시된 프록시 데이터를 열람하고, 프록시 데이터 중의 프레임을 지정하여 고품질 데이터의 개시 프레임으로 한다. 개시 프레임이 지정되면, 영상 수신부(14)는, 개시 프레임 이후의 고품질 데이터의 요구(지정 정보)를, 영상 송신부(12)에 송신한다. 요구를 수신한 영상 송신부(12)는, 개시 프레임 이후의 고품질 데이터를 영상 수신부(14)에 송신한다. 고품질 데이터를 수신한 영상 수신부(14)는, 수신한 고품질 데이터를 디코딩하여 표시한다.
또한, 사용자는, 영상 수신부(14)에 표시되는 프록시 데이터 중의 2개의 프레임을 지정하여 개시 프레임과 종료 프레임으로 해도 좋다. 그 경우, 영상 수신부(14)는, 개시 프레임으로부터 종료 프레임까지의 고품질 데이터의 요구를, 영상 송신부(12)에 송신한다. 요구를 수신한 영상 송신부(12)는, 개시 프레임으로부터 종료 프레임까지의 고품질 데이터를 영상 수신부(14)에 송신한다.
또한, 사용자는, 영상 수신부(14)에 표시되는 프록시 데이터 중의 하나의 프레임을 지정하여 개시 프레임으로 하고, 또한 시간 길이를 지정해도 좋다. 그 경우, 영상 수신부(14)는, 개시 프레임으로부터 시간 길이분의 고품질 데이터의 요구 를, 영상 송신부(12)에 송신한다. 요구를 수신한 영상 송신부(12)는, 개시 프레임으로부터 시간 길이분의 고품질 데이터를 영상 수신부(14)에 송신한다.
여기서, 압축 영상 데이터는, MPEG 등의 프레임 간 부호화 방식에 의해 압축된 데이터이다. 압축 영상 데이터의 픽처 구조는, GOP(Group Of Pictures)를 단위로 하고, 각 GOP에 I(Intra-coded: 프레임 내 부호화) 프레임을 가지며, 또한, P(Predicted) 프레임, B(Bi-directional Predicted) 프레임을 포함할 수 있다.
또한, 사용자에 의해 개시 프레임 또는 종료 프레임으로서 지정되는 것이 가능한 포인트인 랜덤 액세스 포인트(RAP: Random Access Point)는, I 프레임이다. 개시 프레임만이 지정된 경우, 영상 송신부(12)는, 개시 프레임의 GOP 이후의 고품질 데이터를 영상 수신부(14)에 송신한다. 개시 프레임과 종료 프레임이 지정된 경우, 영상 송신부(12)는, 개시 프레임의 GOP로부터 종료 프레임 직전의 GOP까지의 고품질 데이터를 영상 수신부(14)에 송신한다.
고품질 데이터는, 예컨대 수 Mbps 정도이며, 지정된 프레임 이후가 영상 송신부(12)로부터 영상 수신부(14)에 다운로드된다. 이와 같이, 고품질 데이터의 필요한 부분만이 전송됨으로써, 네트워크(15)를 효율적으로 이용할 수 있다.
도 2는 본 발명에 따른 영상 송신부(12)의 구성의 일례를 도시하는 블록도이다. 영상 송신부(12)는, 인코더[21a(제2 부호화부), 21b(제1 부호화부)], CPU(23)(지시부), 프레임 메모리(24), 오디오 메모리(25), 네트워크 I/F(Interface)(26)(송신부 및 수신부), 공유 메모리(27)(기억부), 동작 클록 발생부(28)(클록 생성부)를 갖는다.
CPU(23)는, 인코더(21a, 21b)의 제어를 행한다. 프레임 메모리(24)는, 프레임을 단위로 하는 링 버퍼와 같은 구성이며, 복수의 프레임의 영상 소스를 저장한다. 오디오 메모리(25)는, 음성 소스를 저장한다. 네트워크 I/F(26)는, 축적부(13)에 축적된 압축 데이터의 송신이나, 압축 데이터의 요구의 수신을, 네트워크(15)를 통해 수행한다. 공유 메모리(27)는, 타임 스탬프에 관한 정보를 저장한다. 이 정보는, 인코더(21b)에 의해 기록되고, 인코더(21a)에 의해 판독된다.
인코더(21a, 21b)는, 각각 DSP(Digital Signal Processor)로 실현되며, 각각 CPU(23)에 따라서 독립적으로 동작하고, 소스를 압축하여 각각 다른 압축률(대역)을 갖는 압축 데이터를 생성한다.
인코더(21a)는, 비디오 부호화부(31a), 오디오 부호화부(32a), 다중화부(33a)를 갖는다. 비디오 부호화부(31a)는, 프레임 메모리(24)에 저장된 영상 소스를 압축하여 압축 영상 데이터를 생성한다. 오디오 부호화부(32a)는, 오디오 메모리(25)에 저장된 음성 소스를 압축하여 압축 음성 데이터를 생성한다. 다중화부(33a)는, 압축 영상 데이터와 압축 음성 데이터와의 다중화를 행하여 압축 데이터를 생성한다.
인코더(21b)는, 비디오 부호화부(31b), 오디오 부호화부(32b), 다중화부(33b)를 갖는다. 비디오 부호화부(31b), 오디오 부호화부(32b), 다중화부(33b)는 각각, 상술한 비디오 부호화부(31a), 오디오 부호화부(32a), 다중화부(33a)와 동일한 하드웨어이다. 단, 인코더(21a, 21b)는, CPU(23)에 의해 부여되는 설정값이 다르다.
동작 클록 발생부(28)는, 인코더(21a, 21b)의 비디오 부호화부(31), 오디오 부호화부(32), 다중화부(33)에 동작 클록을 공급한다.
영상 송신부(12)의 동작에 대해서 이하에 설명한다.
도 3은 본 발명에 따른 영상 송신부(12)에서의 각부의 동작의 일례를 도시하는 시퀀스도이다. 이 시퀀스도는, 위에서 아래로 시간의 흐름을 나타내며, 좌측으로부터 순서대로, CPU(23), 인코더(21b), 인코더(21a)의 동작을 나타낸다.
먼저, CPU(23)는 인코더(21b)에 압축 파라미터(b)를 설정하고(단계 S11), 인코더(21a)에 압축 파라미터(a)를 설정한다(단계 S12). 압축 파라미터(a)는, 프레임 레이트(Fa), GOP 프레임수(Ga)를 갖는다. 마찬가지로, 압축 파라미터(b)는, 프레임 레이트(Fb), GOP 프레임수(Gb)를 갖는다.
파라미터(b)는, 고품질 데이터를 생성하기 위한 파라미터이며, 파라미터(a)는, 프록시 데이터를 생성하기 위한 파라미터이다. 또한, 파라미터(b)의 프레임 레이트는, 파라미터(a)의 프레임 레이트의 정수배이다. 또한, 파라미터(b)의 GOP 프레임수는, 파라미터(a)의 GOP 프레임수의 정수배이다.
다음으로, CPU(23)는, 인코더(21a, 21b)에 부호화 개시를 지시하고(단계 S13), 슬립(sleep)한다(단계 S14).
부호화 개시의 지시를 받은 비디오 부호화부(31b)는, 카메라(11)로부터의 영상 소스에서의 프레임마다의 동기 신호의 타이밍과, 동작 클록 발생부(28)로부터의 동작 클록에 기초해서, 영상 소스의 부호화를 행하여 압축 영상 데이터를 생성한다(단계 S21b). 여기서, 비디오 부호화부(31b)는, 동기 신호의 타이밍에서, 프레 임 메모리(24)로부터 프레임을 받아들인다. 또한, 비디오 부호화부(31b)는, 동작 클록의 카운트값에 기초하는 PTS(Presentation Time Stamp) 또는 타임 코드를 압축 영상 데이터에 부가한다.
동시에, 오디오 부호화부(32b)는, 동작 클록 발생부(28)로부터의 동작 클록에 따라서, 음성 소스의 부호화를 행하여 압축 음성 데이터를 생성한다.
동시에, 부호화 개시의 지시를 받은 비디오 부호화부(31a)는, 카메라(11)로부터의 영상 소스에서의 프레임마다의 동기 신호의 타이밍과, 동작 클록 발생부(28)로부터의 동작 클록에 기초해서, 영상 소스의 부호화를 수행하여 압축 영상 데이터를 생성한다(단계 S21a).
동시에, 오디오 부호화부(32a)는, 동작 클록 발생부(28)로부터의 동작 클록에 따라서, 음성 소스의 부호화를 수행하여 압축 음성 데이터를 생성한다.
여기서, 비디오 부호화부(31a, 31b)는, 부호화 개시의 지시를 받으면, 반드시 I 프레임으로부터 부호화를 개시한다.
다음으로, 다중화부(33b)는, 압축 데이터에 부가된 PTS 및 I 프레임인지의 여부를 나타내는 I 프레임 플래그를 공유 메모리(27)에 기록한다(단계 S23). 다음으로, 다중화부(33b)는, 비디오 부호화부(31b)에 의해 생성된 압축 영상 데이터와 오디오 부호화부(32b)에 의해 생성된 압축 음성 데이터와의 다중화(시스템 다중)를 행하여 압축 데이터인 고품질 데이터를 생성한다(단계 S24). 다음으로, 다중화부(33b)는, 생성된 고품질 데이터를 축적부(13)에 축적한다(단계 S25).
다음으로, 다중화부(33a)는, 비디오 부호화부(31a)에 의해 생성된 압축 영상 데이터와 오디오 부호화부(32a)에 의해 생성된 압축 음성 데이터와의 다중화(시스템 다중)를 행하여 압축 데이터인 프록시 데이터를 생성한다(단계 S26). 다음으로, 다중화부(33a)는, 공유 메모리(27)에 저장된 PTS 및 I 프레임 플래그를 판독하고, 프록시 데이터의 PTS를, 공유 메모리(27)로부터 판독된 PTS로 재기록한다(단계 S27). 여기서, 다중화부(33a)는, 판독된 I 프레임 플래그와 프록시 데이터의 I 프레임 플래그에 기초해서, 판독된 프레임에 동기하는 프록시 데이터의 프레임을 특정하여, PTS를 재기록한다. 다음으로, 네트워크 I/F(26)는, 다중화부(33a)에 의해 재기록된 프록시 데이터를 영상 수신부(14)에 송신한다(단계 S28).
고품질 데이터와 프록시 데이터에 서로 다른 PTS가 부가되었다고 해도, 다중화부(33a)가 PTS를 재기록함으로써, 고품질 데이터와 프록시 데이터의 대응하는 프레임끼리의 PTS를 동일하게 할 수 있다.
다음으로, 비디오 부호화부(31b)는, 부호화 종료의 지시를 받았는지의 여부를 판정한다(단계 S31b). 부호화 종료의 지시를 받고 있지 않은 경우(단계 S31b, N), 이 흐름은 처리 S21b로 되돌아간다. 부호화 종료의 지시를 받은 경우(단계 S31b, Y), 이 흐름은 종료된다.
마찬가지로, 비디오 부호화부(31a)는, 부호화 종료의 지시를 받았는지의 여부를 판정한다(단계 S31a). 부호화 종료의 지시를 받고 있지 않은 경우(단계 S31a, N), 이 흐름은 처리 S21a로 되돌아간다. 부호화 종료의 지시를 받은 경우(단계 S31a, Y), 이 흐름은 종료된다.
또한, 비디오 부호화부(31a)가 공유 메모리(27)에 저장된 PTS 및 I 프레임 플래그를 판독하고, 공유 메모리(27)로부터 판독된 PTS를 그것에 동기하는 프록시 데이터의 PTS로서 부여해도 좋다.
픽처 구조에 대해서 이하에 설명한다.
도 4는 본 발명을 적용하지 않는 영상 전송 시스템에서의 픽처 구조의 일례를 도시하는 타임차트이다. 이 도면에 있어서, 상단은, 고품질 데이터의 PTS 및 픽처 구조를 나타내고, 하단은, 프록시 데이터의 PTS 및 픽처 구조를 나타낸다. 또한, 이 도면의 가로축은 시간을 나타낸다. 픽처 구조에 있어서, 각 프레임에 기재된 알파벳은, I 프레임 또는 P 프레임의 종별을 나타낸다. 여기서는, 고품질 데이터의 GOP 프레임수를 4프레임, 고품질 데이터의 프레임 레이트를 8 fps, 프록시 데이터의 GOP 프레임수를 1프레임, 프록시 데이터의 프레임 레이트를 2 fps로 한다. 즉, 고품질 데이터의 GOP 시간 길이와 프록시 데이터의 GOP 시간 길이는 동일하며, 500 msec이다.
본 발명을 적용하지 않는 영상 전송 시스템에 있어서, 프록시 데이터의 I 프레임과 그것에 의해 지정되는 고품질 데이터의 I 프레임이 촬영된 시각은, 다른 경우가 있다.
도 5는 본 발명의 영상 전송 시스템에서의 픽처 구조의 제1 예를 도시하는 타임차트이다. 이 도면에 있어서, 상단은, 고품질 데이터의 PTS 및 픽처 구조를 나타내고, 하단은, 프록시 데이터의 PTS 및 픽처 구조를 나타낸다. 또한, 이 도면의 가로축은 시간을 나타낸다. 픽처 구조에 있어서, 각 프레임에 기재된 알파벳은, I 프레임 또는 P 프레임의 종별을 나타낸다. 여기서는, 고품질 데이터의 GOP 프레임수를 4프레임, 고품질 데이터의 프레임 레이트를 8 fps, 프록시 데이터의 GOP 프레임수를 1프레임, 프록시 데이터의 프레임 레이트를 2 fps로 한다. 즉, 고품질 데이터의 GOP 시간 길이와 프록시 데이터의 GOP 시간 길이는 동일하며, 500 msec이다.
픽처 구조의 제1 예에 있어서, 프록시 데이터의 I 프레임과 그것에 의해 지정되는 고품질 데이터의 I 프레임이 촬영된 시각은 동일하며, 프록시 데이터와 고품질 데이터는 동기하고 있다.
도 6은 본 발명의 영상 전송 시스템에서의 픽처 구조의 제2 예를 도시하는 타임차트이다. 이 도면에 있어서, 상단은, 고품질 데이터의 PTS 및 픽처 구조를 나타내고, 하단은, 프록시 데이터의 PTS 및 픽처 구조를 나타낸다. 또한, 이 도면의 가로축은 시간을 나타낸다. 픽처 구조에 있어서, 각 프레임에 기재된 알파벳은, I 프레임 또는 P 프레임의 종별을 나타낸다. 여기서는, 고품질 데이터의 GOP 프레임수를 4프레임, 고품질 데이터의 프레임 레이트를 8 fps, 프록시 데이터의 GOP 프레임수를 2프레임, 프록시 데이터의 프레임 레이트를 4 fps로 한다. 즉, 고품질 데이터의 GOP 시간 길이와 프록시 데이터의 GOP 시간 길이는 동일하며, 500 msec이다.
픽처 구조의 제2 예에 있어서, 프록시 데이터의 I 프레임과 그것에 의해 지정되는 고품질 데이터의 I 프레임이 촬영된 시각은 동일하며, 프록시 데이터와 고품질 데이터는 동기하고 있다.
도 7은 본 발명의 영상 전송 시스템에서의 픽처 구조의 제3 예를 도시하는 타임차트이다. 이 도면에 있어서, 상단은, 고품질 데이터의 PTS 및 픽처 구조를 나타내고, 하단은, 프록시 데이터의 PTS 및 픽처 구조를 나타낸다. 또한, 이 도면의 가로축은 시간을 나타낸다. 픽처 구조에 있어서, 각 프레임에 기재된 알파벳은, I 프레임 또는 P 프레임 또는 B 프레임의 종별을 나타낸다. 여기서는, 고품질 데이터의 GOP 프레임수를 15프레임, 고품질 데이터의 프레임 레이트를 30 fps, 프록시 데이터의 GOP 프레임수를 5프레임, 프록시 데이터의 프레임 레이트를 10 fps로 한다. 즉, 고품질 데이터의 GOP 시간 길이와 프록시 데이터의 GOP 시간 길이는 동일하며, 500 msec이다.
픽처 구조의 제3 예에 있어서, 프록시 데이터의 픽처 구조는, I 프레임 외에 P 프레임을 포함한다. 인코더(21a)가 프록시 데이터에 P 프레임이나 B 프레임을 포함함으로써, 프록시 데이터는, 용량을 억제하면서, 프레임 레이트가 높아, 원활하게 표시되는 것이 된다. 이와 같이 프록시 데이터의 프레임 레이트를 높게 함으로써, 프록시 데이터를 시청용으로서도 이용할 수 있다.
픽처 구조의 제3 예에 있어서, 프록시 데이터의 I 프레임과 그것에 의해 지정되는 고품질 데이터의 I 프레임이 촬영된 시각은 동일하며, 프록시 데이터와 고품질 데이터는 동기하고 있다.
본 실시형태에 따르면, 카메라(11)(촬영 지점)나 영상 송신부(12)(송신 지점)로부터 떨어진 영상 수신부(14)(수신 지점)에 있어서, 프록시 데이터를 이용하여 고품질 데이터의 개시 프레임을 정확하게 지정할 수 있다.
본 실시형태에 따르면, 영상의 추출을 위한 프록시 데이터를 실시간으로 작 성함으로써, 고품질 데이터의 전송 또는 편집을 효율적으로 행할 수 있다. 즉, 영상 압축 시에 고품질 데이터와 프록시 데이터에서의 PTS와 랜덤 액세스 포인트(RAP)를 동기시켜 둠으로써, 거대한 고품질 데이터를 검색하는 것이나, RAP를 나타내는 참조 테이블을 작성하는 것을 필요로 하지 않고, 편집을 행하는 것이 가능해진다. 또한, 영상 전송에 있어서도 동기한 프록시 데이터를 사용함으로써, 필요한 부분만의 고품질 데이터를 정확하게 전송하는 것이 가능해진다. 그때에, 정확한 프레임을 지정할 수 있어, 원격지로부터의 영상 편집도 가능하며, 영상의 송출 시스템에도 응용하는 것이 고려된다.
본 발명은, 그 정신 또는 주요한 특징에서 벗어나지 않고서, 다른 여러 가지 형태로 실시할 수 있다. 그 때문에, 전술한 실시형태는, 모든 점에서 단순한 예시에 불과하며, 한정적으로 해석해서는 안 된다. 본 발명의 범위는, 특허청구의 범위에 의해 나타내는 것이며, 명세서 본문에는, 조금도 구속되지 않는다. 또한, 특허청구의 범위의 균등 범위에 속하는 모든 변형, 여러 가지 개량, 대체 및 개질은, 모두 본 발명의 범위 내의 것이다.
도 1은 본 발명에 따른 영상 전송 시스템의 구성의 일례를 도시하는 블록도이다.
도 2는 본 발명에 따른 영상 송신부(12)의 구성의 일례를 도시하는 블록도이다.
도 3은 본 발명에 따른 영상 송신부(12)에서의 각부의 동작의 일례를 도시하는 시퀀스도이다.
도 4는 본 발명을 적용하지 않는 영상 전송 시스템에서의 픽처 구조의 일례를 도시하는 타임차트이다.
도 5는 본 발명의 영상 전송 시스템에서의 픽처 구조의 제1 예를 도시하는 타임차트이다.
도 6은 본 발명의 영상 전송 시스템에서의 픽처 구조의 제2 예를 도시하는 타임차트이다.
도 7은 본 발명의 영상 전송 시스템에서의 픽처 구조의 제3 예를 도시하는 타임차트이다.
<부호의 설명>
11: 카메라 12: 영상 송신부
13: 축적부 14: 영상 수신부
21a, 21b: 인코더 23: CPU
24: 프레임 메모리 25: 오디오 메모리
26: 네트워크 I/F 27: 공유 메모리
28: 동작 클록 발생부

Claims (6)

  1. 입력되는 영상을 부호화하는 영상 부호화 장치로서,
    클록을 생성하는 클록 생성부와,
    상기 부호화의 개시 타이밍을 지시하는 지시부와,
    상기 입력되는 영상을 부호화하여 미리 정해진 제1 대역을 갖는 제1 압축 데이터를 생성하고, 상기 지시부에 의해 지시된 상기 개시 타이밍에서 상기 제1 압축 데이터에 포함되는 I 프레임에 랜덤 액세스 포인트를 동기시키며, 상기 클록 생성부에 의해 생성된 클록에 기초하는 시각 정보를 상기 제1 압축 데이터에 포함되는 I 프레임의 랜덤 액세스 포인트에 부여하는 제1 부호화부와,
    상기 입력되는 영상을 부호화하여 상기 제1 대역보다 좁은 제2 대역을 갖는 제2 압축 데이터를 생성하고, 상기 지시부에 의해 지시된 상기 개시 타이밍에서 상기 제2 압축 데이터에 포함되는 I 프레임에 랜덤 액세스 포인트를 동기시키며, 상기 제1 압축 데이터의 랜덤 액세스 포인트의 상기 시각 정보를 취득하여, 그 랜덤 액세스 포인트에 동기하는 상기 제2 압축 데이터에 포함되는 I 프레임의 랜덤 액세스 포인트에 부여하는 제2 부호화부를 구비하는 영상 부호화 장치.
  2. 제1항에 있어서, 상기 제1 부호화부는, 상기 제1 압축 데이터에서 미리 정해진 시간 간격의 랜덤 액세스 포인트를 생성하고,
    상기 제2 부호화부는, 상기 제2 압축 데이터에서 상기 미리 정해진 시간 간 격으로 랜덤 액세스 포인트를 생성하는 것인 영상 부호화 장치.
  3. 제2항에 있어서, 상기 제1 압축 데이터의 상기 미리 정해진 시간 간격에서의 프레임수는, 상기 제2 압축 데이터의 상기 미리 정해진 시간 간격에서의 프레임수의 복수배인 것인 영상 부호화 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 시각 정보를 기억하는 기억부를 더 구비하고,
    상기 제1 부호화부는, 상기 제1 압축 데이터를 생성하고, 상기 클록 생성부에 의해 생성된 클록에 기초하는 시각 정보를 상기 제1 압축 데이터의 랜덤 액세스 포인트에 부여하며 상기 기억부에 저장하고,
    상기 제2 부호화부는, 상기 기억부에 저장된 상기 제1 압축 데이터의 랜덤 액세스 포인트의 상기 시각 정보를 판독하여 그 랜덤 액세스 포인트에 동기하는 상기 제2 압축 데이터의 랜덤 액세스 포인트에 부여하는 것인 영상 부호화 장치.
  5. 제4항에 있어서, 상기 제2 부호화부에 의해 생성된 상기 제2 압축 데이터를 외부의 복호화 장치에 송신하는 송신부와,
    상기 제1 부호화부에 의해 생성된 상기 제1 압축 데이터를 축적하는 축적부를 더 구비하는 영상 부호화 장치.
  6. 입력되는 영상을 컴퓨터에 의해 부호화하는 영상 부호화 방법으로서,
    상기 부호화의 개시 타이밍을 지시하고,
    상기 입력되는 영상을 부호화하여 미리 정해진 제1 대역을 갖는 제1 압축 데이터를 생성하며, 지시된 상기 개시 타이밍에서 상기 제1 압축 데이터에 포함되는 I 프레임에 랜덤 액세스 포인트를 동기시키고, 클록 생성부에 의해 생성된 클록에 기초하는 시각 정보를 상기 제1 압축 데이터에 포함되는 I 프레임의 랜덤 액세스 포인트에 부여하며,
    상기 입력되는 영상을 부호화하여 상기 제1 대역보다 좁은 제2 대역을 갖는 제2 압축 데이터를 생성하고, 지시된 상기 개시 타이밍에서 상기 제2 압축 데이터에 포함되는 I 프레임에 랜덤 액세스 포인트를 동기시키며, 상기 제1 압축 데이터의 랜덤 액세스 포인트의 상기 시각 정보를 취득하여, 그 랜덤 액세스 포인트에 동기하는 상기 제2 압축 데이터에 포함되는 I 프레임의 랜덤 액세스 포인트에 부여하는 영상 부호화 방법.
KR20090088503A 2008-10-20 2009-09-18 영상 부호화 장치, 영상 부호화 방법 KR101065819B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-269359 2008-10-20
JP2008269359A JP5369599B2 (ja) 2008-10-20 2008-10-20 映像符号化装置、映像符号化方法

Publications (2)

Publication Number Publication Date
KR20100044090A KR20100044090A (ko) 2010-04-29
KR101065819B1 true KR101065819B1 (ko) 2011-09-20

Family

ID=42108654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20090088503A KR101065819B1 (ko) 2008-10-20 2009-09-18 영상 부호화 장치, 영상 부호화 방법

Country Status (3)

Country Link
US (1) US20100098161A1 (ko)
JP (1) JP5369599B2 (ko)
KR (1) KR101065819B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286533A1 (en) * 2010-02-23 2011-11-24 Fortney Douglas P Integrated recording and video on demand playback system
JP5652066B2 (ja) * 2010-09-03 2015-01-14 ヤマハ株式会社 動画圧縮制御装置、動画記録装置及び動画記録再生装置
JP5853142B2 (ja) * 2011-01-24 2016-02-09 パナソニックIpマネジメント株式会社 動画伝送システム
US11284133B2 (en) * 2012-07-10 2022-03-22 Avago Technologies International Sales Pte. Limited Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information
JP6436818B2 (ja) * 2015-03-10 2018-12-12 キヤノン株式会社 記録装置及び方法
JP6952339B2 (ja) * 2018-01-12 2021-10-20 ザインエレクトロニクス株式会社 映像信号受信装置および映像信号送受信システム
KR102072615B1 (ko) * 2018-09-19 2020-02-03 인하대학교 산학협력단 Hevc의 복호화 지연 감소 기술을 적용한 임의 접근 영상 스트리밍 방법 및 장치
CN113491122A (zh) * 2020-10-20 2021-10-08 深圳市大疆创新科技有限公司 视频处理方法、装置和设备、无人机、图传系统
CN113452961A (zh) * 2021-06-21 2021-09-28 上海鹰觉科技有限公司 基于边缘计算的水面监控告警系统和方法、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040082765A (ko) * 2003-03-20 2004-09-30 주식회사 성진씨앤씨 이중 동영상 압축 방법을 적용한 네트워크 카메라와네트워크 디지털 비디오 레코더
KR20050095909A (ko) * 2003-01-28 2005-10-04 톰슨 라이센싱 에스.에이. 강인한 모드의 스태거캐스팅 고속 채널 변경
KR20070048870A (ko) * 2005-11-07 2007-05-10 엘지전자 주식회사 멀티미디어 신호의 시간정보 전송방법
KR20080033796A (ko) * 2006-10-13 2008-04-17 주식회사 엠아이비전 듀얼코덱을 이용한 영상처리보드 및 이를 이용한 고화질의영상표시 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH087535A (ja) * 1994-06-24 1996-01-12 Max World:Kk ビデオ編集方法およびその装置
JP4174718B2 (ja) * 2003-06-13 2008-11-05 ソニー株式会社 編集装置及び編集方法
JP4689231B2 (ja) * 2004-10-25 2011-05-25 池上通信機株式会社 トランスポートストリーム切換装置
KR100643291B1 (ko) * 2005-04-14 2006-11-10 삼성전자주식회사 랜덤 엑세스의 지연을 최소화하는 비디오 복부호화 장치 및방법
JP2007049504A (ja) * 2005-08-10 2007-02-22 Mitsubishi Electric Corp 記録媒体、再生装置および再生方法
EP1929406A4 (en) * 2006-01-13 2009-08-05 Yahoo Inc METHOD AND SYSTEM FOR COMBINING EDITING INFORMATION AND MULTIMEDIA CONTENT
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
AU2007319261B2 (en) * 2006-11-14 2010-12-16 Qualcomm Incorporated Systems and methods for channel switching
US8630355B2 (en) * 2006-12-22 2014-01-14 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050095909A (ko) * 2003-01-28 2005-10-04 톰슨 라이센싱 에스.에이. 강인한 모드의 스태거캐스팅 고속 채널 변경
KR20040082765A (ko) * 2003-03-20 2004-09-30 주식회사 성진씨앤씨 이중 동영상 압축 방법을 적용한 네트워크 카메라와네트워크 디지털 비디오 레코더
KR20070048870A (ko) * 2005-11-07 2007-05-10 엘지전자 주식회사 멀티미디어 신호의 시간정보 전송방법
KR20080033796A (ko) * 2006-10-13 2008-04-17 주식회사 엠아이비전 듀얼코덱을 이용한 영상처리보드 및 이를 이용한 고화질의영상표시 방법

Also Published As

Publication number Publication date
JP5369599B2 (ja) 2013-12-18
KR20100044090A (ko) 2010-04-29
US20100098161A1 (en) 2010-04-22
JP2010098627A (ja) 2010-04-30

Similar Documents

Publication Publication Date Title
KR101065819B1 (ko) 영상 부호화 장치, 영상 부호화 방법
KR100557103B1 (ko) 데이터 처리방법 및 데이터 처리장치
JP2019088023A (ja) 情報処理装置および方法
RU2513912C2 (ru) Устройство и способ обработки изображений
JP6119260B2 (ja) 動画像多重化装置及び動画像多重化方法、ならびに多重化動画像復号装置及び多重化動画像復号方法
JPWO2018037737A1 (ja) 画像処理装置、画像処理方法、及びプログラム
KR102134049B1 (ko) 화상 처리 장치 및 방법
JP7067653B2 (ja) 復号装置
US20180295391A1 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
JP4174960B2 (ja) 信号処理装置及び方法並びにファイル生成方法
JP6641344B2 (ja) 符号化装置
JP5048944B2 (ja) 動画像処理装置
KR20180013875A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6825075B2 (ja) 復号装置
JP4102223B2 (ja) データ処理装置及びデータ処理方法
JP2008028673A (ja) デジタルテレビ放送波送出装置および放送波送出方法
JP7003308B2 (ja) 復号装置
WO2017154646A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR100530919B1 (ko) 동화상 데이터의 처리 및 송수신 방법 및 장치
JP2019149699A (ja) 処理装置、処理プログラム及び処理方法
JP2007221826A (ja) 受信端末および受信方法
US9219930B1 (en) Method and system for timing media stream modifications
JP6257448B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2022090106A (ja) 復号装置
KR20240103243A (ko) 클라우드 기반 미디어 제작 환경에서 고품질 및 저지연 미디어 처리 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150819

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180816

Year of fee payment: 8