KR102331537B1 - Apparatus and method for decoding - Google Patents

Apparatus and method for decoding Download PDF

Info

Publication number
KR102331537B1
KR102331537B1 KR1020140004054A KR20140004054A KR102331537B1 KR 102331537 B1 KR102331537 B1 KR 102331537B1 KR 1020140004054 A KR1020140004054 A KR 1020140004054A KR 20140004054 A KR20140004054 A KR 20140004054A KR 102331537 B1 KR102331537 B1 KR 102331537B1
Authority
KR
South Korea
Prior art keywords
decoder
decoding
software
software decoder
pool
Prior art date
Application number
KR1020140004054A
Other languages
Korean (ko)
Other versions
KR20150084236A (en
Inventor
이현규
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140004054A priority Critical patent/KR102331537B1/en
Publication of KR20150084236A publication Critical patent/KR20150084236A/en
Application granted granted Critical
Publication of KR102331537B1 publication Critical patent/KR102331537B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

본 발명은 디지털 비디오 영상의 고속 재생 시에 모든 프레임의 디코딩을 지원하여 끊김 없는 화면을 재생할 수 있는 디코딩 장치 및 방법에 관한 것이다. 디코딩 장치는 적어도 하나 이상의 소프트웨어 디코더를 포함하는 디코더 풀, 입력되는 디지털 비디오 압축 신호를 버퍼링하고, 디코더 풀 내에 유휴 소프트웨어 디코더가 존재하는 경우 버퍼링 신호를 유휴 소프트웨어 디코더에 할당하고, 유휴 소프트웨어 디코더가 모두 동작중인 경우 디코더 풀 내에 신규 소프트웨어 디코더를 생성하여, 신규 소프트웨어 디코더에 버퍼링 신호를 할당하는 호스트 모듈, 및 디코더 풀 내에서 디코딩이 완료된 디지털 비디오 신호를 수신하여 순서대로 정렬하는 정렬모듈을 포함한다.The present invention relates to a decoding apparatus and method capable of reproducing a seamless screen by supporting decoding of all frames during high-speed reproduction of a digital video image. The decoding device buffers a decoder pool including at least one software decoder, an input digital video compression signal, and allocates the buffering signal to the idle software decoder when there is an idle software decoder in the decoder pool, and the idle software decoder is all operated In the case of being, it includes a host module for creating a new software decoder in the decoder pool and allocating a buffering signal to the new software decoder, and an alignment module for receiving and arranging the decoded digital video signals in the decoder pool in order.

Figure R1020140004054
Figure R1020140004054

Description

디코딩 장치 및 방법{APPARATUS AND METHOD FOR DECODING}Decoding apparatus and method {APPARATUS AND METHOD FOR DECODING}

본 발명은 디지털 비디오 영상의 고배속 재생 시에 모든 프레임의 디코딩을 지원하여 끊김 없는 화면을 재생할 수 있는 디코딩 장치 및 방법에 관한 것이다.The present invention relates to a decoding apparatus and method capable of reproducing a seamless screen by supporting decoding of all frames during high-speed reproduction of a digital video image.

CCTV 영상물은 크게 두 가지 방법으로 모니터링 된다. 첫째는 실시간으로 현장 상황을 모니터링 하는 것과, 둘째는 녹화된 영상을 시청하여 사후 분석하기 위해 모니터링 하는 방법이다. 현재 네트워크 CCTV 카메라는 컴퓨터 동영상 압축 방법을 사용하여 네트워크 전송 데이터량을 줄여 녹화 데이터량을 줄이는 방법을 사용하고 있다. 디지털 동영상 압축 기법은 각 화상 한 장 한 장을 독립적으로 압축하는 공간 압축 기법과, 전/후 영상의 유사성을 활용하여 변경된 부분만 압축하는 시간 압축 기법이 동시에 사용되고 있다.CCTV footage is largely monitored in two ways. The first is to monitor the on-site situation in real time, and the second is to watch the recorded video and monitor it for post-analysis. Currently, network CCTV cameras use a computer video compression method to reduce the amount of data transmitted over the network to reduce the amount of recorded data. In the digital video compression technique, a spatial compression technique for independently compressing each image and a temporal compression technique for compressing only the changed part by utilizing the similarity of the before/after images are used at the same time.

영상은 데이터량이 크고 압축 및 압축 해제 시의 연산과정이 복잡하여 실시간으로 압축 해제를 하는 부하는 소화할 수 있으나, 녹화된 영상을 사후 확인하기 위하여 고속으로 재생하는 부하는 소화하기 힘들다. 압축해제는 부하가 크고, 시간 압축 기법에 의해 순차적으로 압축이 해제되어야 하므로 배속 재생의 속도 향상에 한계가 있다. 그러므로 현재 네트워크 CCTV 카메라 녹화 영상의 배속 재생은 통상 2 배속 재생만을 연속된 형태로 정상 지원하고, 4 배속, 8 배속 이상 재생 시에는 즉시 디코딩이 가능한 인트라 프레임 만을 재생하여 재생 화면이 매우 끊겨 보이는 문제가 발생한다. 따라서 사후 분석을 고속으로 처리할 수 없는 어려움이 있다.Since the video has a large amount of data and the computation process during compression and decompression is complicated, it can handle the load of decompressing in real time, but it is difficult to digest the load of reproducing the recorded video at high speed to check the recorded video afterwards. Decompression has a large load, and since compression must be sequentially released by the time compression technique, there is a limit to speed improvement of double speed reproduction. Therefore, the current double speed playback of the video recorded by the current network CCTV cameras normally only supports 2X playback in a continuous form, and when playing at 4 or 8 speed or higher, only intra frames that can be decoded immediately are played, so the playback screen looks very cut off. Occurs. Therefore, there is a difficulty in not being able to process the post-mortem analysis at high speed.

일본 공개특허공보 제2006-0049140호Japanese Laid-Open Patent Publication No. 2006-0049140

본 발명이 해결하고자 하는 기술적인 과제는 디지털 비디오 영상의 고배속 재생 시에 모든 프레임의 디코딩을 지원하여 끊김 없는 화면을 재생할 수 있는 디코딩 장치 및 방법을 제공하는데 있다.SUMMARY The technical problem to be solved by the present invention is to provide a decoding apparatus and method capable of reproducing a seamless screen by supporting decoding of all frames during high-speed reproduction of a digital video image.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 디코딩 장치는 적어도 하나 이상의 소프트웨어 디코더를 포함하는 디코더 풀; 입력되는 디지털 비디오 압축 신호를 버퍼링하고, 상기 디코더 풀 내에 유휴 소프트웨어 디코더가 존재하는 경우 상기 버퍼링 신호를 상기 유휴 소프트웨어 디코더에 할당하고, 상기 유휴 소프트웨어 디코더가 모두 동작중인 경우 상기 디코더 풀 내에 신규 소프트웨어 디코더를 생성하여, 상기 신규 소프트웨어 디코더에 상기 버퍼링 신호를 할당하는 호스트 모듈; 및 상기 디코더 풀 내에서 디코딩이 완료된 디지털 비디오 신호를 수신하여 순서대로 정렬하는 정렬모듈;을 포함하는 것을 특징으로 한다.A decoding apparatus for solving the technical problem to be achieved by the present invention includes: a decoder pool including at least one software decoder; Buffers the input digital video compression signal, allocates the buffering signal to the idle software decoder when there is an idle software decoder in the decoder pool, and adds a new software decoder in the decoder pool when all of the idle software decoders are in operation a host module generating and allocating the buffering signal to the new software decoder; and an alignment module for receiving the decoded digital video signals in the decoder pool and arranging them in order.

본 발명에 있어서, 상기 호스트 모듈은, 상기 입력되는 디지털 비디오 압축 신호를 GOP(group of picture) 단위로 버퍼링하는 것을 특징으로 한다.In the present invention, the host module is characterized in that the input digital video compression signal is buffered in units of a group of pictures (GOP).

본 발명에 있어서, 상기 정렬 모듈은, 상기 정렬한 디지털 비디오 신호를 렌더링 성능에 맞게 프레임 드롭하는 것을 특징으로 한다.In the present invention, the alignment module is characterized in that the frame is dropped according to the rendering performance of the aligned digital video signal.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 디코딩 방법은 적어도 하나 이상의 소프트웨어 디코더를 포함하는 디코더 풀을 포함하여 비디오 신호를 디코딩하는 방법으로써, 입력되는 디지털 비디오 압축 신호를 버퍼링하는 단계; 상기 디코더 풀 내에 유휴 소프트웨어 디코더가 존재하는 경우 상기 버퍼링 신호를 상기 유휴 소프트웨어 디코더에 할당하는 단계; 상기 유휴 소프트웨어 디코더가 모두 동작중인 경우 상기 디코더 풀 내에 신규 소프트웨어 디코더를 생성하고, 상기 신규 소프트웨어 디코더에 상기 버퍼링 신호를 할당하는 단계; 및 상기 디코더 풀 내에서 디코딩이 완료된 디지털 비디오 신호를 수신하여 순서대로 정렬하는 단계;를 포함하는 것을 특징으로 한다.A decoding method for solving the technical problem to be achieved by the present invention is a method of decoding a video signal including a decoder pool including at least one software decoder, the method comprising: buffering an input digital video compressed signal; allocating the buffering signal to the idle software decoder if there is an idle software decoder in the decoder pool; creating a new software decoder in the decoder pool when all of the idle software decoders are in operation, and allocating the buffering signal to the new software decoder; and receiving the decoded digital video signals in the decoder pool and arranging them in order.

본 발명에 있어서, 상기 버퍼링하는 단계는, 상기 입력되는 디지털 비디오 압축 신호를 GOP(group of picture) 단위로 버퍼링하는 단계;를 포함하는 것을 특징으로 한다.In the present invention, the buffering may include buffering the input digital video compressed signal in a group of picture (GOP) unit.

본 발명에 있어서, 상기 정렬하는 단계는, 상기 정렬한 디지털 비디오 신호를 렌더링 성능에 맞게 프레임 드롭하는 단계;를 더 포함하는 것을 특징으로 한다.In the present invention, the aligning may further include dropping the aligned digital video signal according to rendering performance.

상술한 바와 같이 본 발명에 따르면, 디지털 비디오 영상의 재생 시에 모든 프레임의 디코딩을 지원하여 4 배속, 8 배속 이상의 고배속 재생에서도 끊김 없는 화면을 보게 되므로 좀 더 효율적으로 사후 분석을 진행할 수 있게 된다.As described above, according to the present invention, since decoding of all frames is supported during reproduction of a digital video image, so that the screen can be viewed without interruption even in high-speed reproduction of 4x or 8x or higher, post-analysis can be performed more efficiently.

도 1은 본 발명의 일 실시 예에 따른 디코딩 장치의 구성을 보이는 블록도 이다.
도 2 내지 도 4는 본 발명의 일 실시 예에 따른 디코딩 장치에 의한 4 배속 디코딩을 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 디코딩 방법의 동작을 보이는 흐름도 이다.
1 is a block diagram showing the configuration of a decoding apparatus according to an embodiment of the present invention.
2 to 4 are diagrams for explaining 4x decoding by a decoding apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating an operation of a decoding method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Advantages and features of the present invention, and methods for achieving them will become apparent with reference to the detailed description in conjunction with the accompanying drawings. However, it should be understood that the present invention is not limited to the embodiments presented below, but may be implemented in a variety of different forms, and includes all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. . The embodiments presented below are provided to complete the disclosure of the present invention, and to fully inform those of ordinary skill in the art to the scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings, and in the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof are omitted. decide to do

도 1은 본 발명의 일 실시 예에 따른 디코딩 장치의 구성을 보이는 블록도 이다.1 is a block diagram showing the configuration of a decoding apparatus according to an embodiment of the present invention.

도 1을 참조하면, 디코딩 장치(10)는 호스트 모듈(100), 디코더 풀(200) 및 정렬 모듈(300)을 포함한다. 여기서 호스트 모듈(100)은 버퍼링부(110) 및 디코더 할당부(120)를 포함할 수 있다. 또한 디코더 풀(200)은 적어도 하나 이상의 유휴 소프트웨어 디코더(210) 및 호스트 모듈(100)에 의해 생성되는 적어도 하나 이상의 신규 소프트웨어 디코더(220)를 포함할 수 있다.Referring to FIG. 1 , the decoding apparatus 10 includes a host module 100 , a decoder pool 200 , and an alignment module 300 . Here, the host module 100 may include a buffering unit 110 and a decoder allocating unit 120 . Also, the decoder pool 200 may include at least one or more idle software decoders 210 and at least one or more new software decoders 220 generated by the host module 100 .

호스트 모듈(100)은 입력되는 디지털 비디오 압축 신호를 버퍼링하고, 디코더 풀(200) 내에 유휴 소프트웨어 디코더가 존재하는 경우, 버퍼링 신호를 유휴 소프트웨어 디코더에 할당하고, 디코더 풀(200) 내에 포함된 상기 유휴 소프트웨어 디코더가 모두 동작중인 경우 디코더 풀(200) 내에 신규 소프트웨어 디코더를 생성하여, 신규 소프트웨어 디코더에 버퍼링 신호를 할당한다.The host module 100 buffers the input digital video compression signal, and when there is an idle software decoder in the decoder pool 200 , allocates the buffering signal to the idle software decoder, and the idle software decoder included in the decoder pool 200 . When all of the software decoders are in operation, a new software decoder is created in the decoder pool 200 and a buffering signal is allocated to the new software decoder.

버퍼링부(110)는 입력되는 디지털 압축 비디오 신호를 일련의 단위로 버퍼링한다. 여기서 일련의 단위는 GOP(group of picture) 단위일 수 있다. 동영상을 압축, 해제 방식은 대표적으로 MPEG 표준 또는 변형 방식을 사용한다. 변형방식이라 하여도 시간 압축에 기반한 핵심적인 데이터 절약 방법은 크게 다르지 않다. 시간적 모델을 활용하여 압축하는 방식은 시간에 따라 변하는 영상정보를 상호 참조하여 변화된 부분의 정보만 남기고 변화가 없는 부분의 영상은 기준 영상 프레임(인트라 프레임) 또는 이전 영상 프레임의 정보를 재사용하는 방식을 나타낸다. 동영상을 이루는 인접한 두 정지 영상은 서로 상당히 비슷하여 이와 같은 시간적 모델을 활용한 압축 방식이 큰 효과가 있다. 예를 들어, 이전 영상 또는 기준 영상 대비 변화된 부분의 움직임 정보만을 검출하여 해당 부분은 영상 정보가 아닌 좌표 정보만 제공하는 방식으로 데이터를 절약할 수 있다. 또한 압축 해제 시에도 해당 좌표 정보만을 이용하여 압축 해제를 수행한다. 때문에 현재 영상을 구현하기 위해서는 반드시 이전 영상 프레임 및 기준 영상 프레임에 대한 정보가 필요하다. 기준 영상 프레임을 중심으로 새로운 기준 영상 프레임이 나오기 전까지의 일련의 프레임들을 GOP라 부른다. GOP는 기준 영상 프레임으로써 인트라(I: intra) 프레임, 예측(P: predicted) 프레임 및 양방향(B: bidirectional) 프레임들을 포함한다. 여기서 인트라(I) 프레임은 키 프레임으로써 이전프레임들을 참조하지 않고 압축되는 독립적인 프레임으로, 화질이 가장 좋고 용량도 가장 크다. 예측(P) 프레임은 이전 인트라(I) 프레임 또는 이전 예측(P) 프레임을 정보를 바탕으로 구성된 프레임으로써 화질과 용량은 중간급이다. 예측(P) 프레임은 이전 인트라(I) 프레임 또는 이전 예측(P) 프레임을 참조하여 변동된 내용만을 압축한다. 인트라(I) 프레임과 예측(P) 프레임은 다음의 다른 프레임들을 위해 기준 프레임(reference frame)으로 이용된다. 그리고 양방향(B) 프레임은 가장 낮은 화질 및 용량을 가지며, 압축을 위해 전후 참조 프레임 즉, 인트라(I) 프레임 및 예측(P) 프레임이 요구된다. 시간적 모델을 활용한 동영상 압축 방식은 랜덤 액세스를 처리하기 위해 반드시 GOP 단위로 구성된다. 통상적으로 GOP는 수초 분량을 넘지않고, 기민한 재생을 위해 0.5초 분량 단위로 GOP를 구성하는 경우도 많다. 또한 각 GOP는 별도의 독립된 영상으로 간주할 수 있는데, 이는 랜덤 액세스를 할 경우 이전 데이터를 필요로 하지 않아야 하기 때문이다.The buffering unit 110 buffers the input digital compressed video signal in a series of units. Here, the series of units may be a group of picture (GOP) unit. The MPEG standard or modified method is typically used for video compression and decompression methods. Even with the transformation method, the core data saving method based on time compression is not much different. The method of compression using a temporal model cross-referencing image information that changes over time, leaving only the information of the changed part, and reusing the reference image frame (intra frame) or the information of the previous image frame for the image of the unchanged part. indicates. Two adjacent still images constituting a moving image are very similar to each other, so a compression method using such a temporal model has a great effect. For example, it is possible to save data by detecting only motion information of a part that has changed compared to a previous image or a reference image, and providing only coordinate information for the corresponding part, not image information. Also, when decompressing, decompression is performed using only the corresponding coordinate information. Therefore, in order to implement the current image, information on the previous image frame and the reference image frame is absolutely necessary. A series of frames before a new reference image frame is generated around the reference image frame is called a GOP. The GOP includes an intra (I: intra) frame, a predicted (P: predicted) frame, and a bidirectional (B: bidirectional) frame as a reference video frame. Here, the intra (I) frame is an independent frame that is compressed without referring to previous frames as a key frame, and has the best picture quality and the largest capacity. A prediction (P) frame is a frame constructed based on information on a previous intra (I) frame or a previous prediction (P) frame, and has an intermediate image quality and capacity. The prediction (P) frame compresses only the changed contents with reference to the previous intra (I) frame or the previous prediction (P) frame. The intra (I) frame and the prediction (P) frame are used as reference frames for the following other frames. In addition, the bidirectional (B) frame has the lowest picture quality and capacity, and for compression, front and rear reference frames, that is, an intra (I) frame and a prediction (P) frame are required. A video compression method using a temporal model is necessarily configured in GOP units to handle random access. In general, the GOP does not exceed several seconds, and there are many cases in which the GOP is configured in units of 0.5 seconds for agile reproduction. In addition, each GOP can be regarded as a separate and independent image, since previous data should not be required for random access.

버퍼링부(110)에 GOP 분량의 디지털 압축 비디오 신호의 버퍼링이 완료되면, 디코더 할당부(120)는 디코더 풀(200) 내의 디코더 리스트로부터 유휴 소프트웨어 디코더(210)를 찾아내어 버퍼링된 GOP 분량의 디지털 압축 비디오 신호를 할당한다. 그러나 디코더 풀(200) 내의 모든 유휴 소프트웨어 디코더(210)가 동작 중인 경우 신규 소프트웨어 디코더(220)를 생성하고, 신규 소프트웨어 디코더(220)에 버퍼링된 GOP 분량의 디지털 압축 비디오 신호를 할당한다. 여기서 유휴 소프트웨어 디코더(210)가 해당 디코딩 동작을 완료한 경우, 디코더 할당부(120)는 우선적으로 유휴 소프트웨어 디코더(210)에 버퍼링된 다음 GOP 분량의 디지털 압축 비디오 신호를 할당한다.When the buffering of the GOP digital compressed video signal in the buffering unit 110 is completed, the decoder allocating unit 120 finds the idle software decoder 210 from the decoder list in the decoder pool 200 and finds the buffered GOP digital video signal. Allocate a compressed video signal. However, when all idle software decoders 210 in the decoder pool 200 are in operation, a new software decoder 220 is created, and a digital compressed video signal of a buffered GOP amount is allocated to the new software decoder 220 . Here, when the idle software decoder 210 completes the corresponding decoding operation, the decoder allocator 120 first allocates the digital compressed video signal buffered in the idle software decoder 210 and then the GOP amount.

디코더 풀(200) 내의 유휴 소프트웨어 디코더(210) 또는/및 신규 소프트웨어 디코더(220)는 버퍼링된 GOP 분량의 디지털 압축 비디오 신호를 디코딩한다. 여기서 각 소프트웨어 디코더(210, 220)는 디코딩되는 데이터 특성에 따라 디코딩 완료 시간이 각각 다를 수 있다.An idle software decoder 210 or/and a new software decoder 220 in the decoder pool 200 decodes the buffered GOP amount of the digitally compressed video signal. Here, each of the software decoders 210 and 220 may have different decoding completion times according to the characteristics of the data to be decoded.

정렬 모듈(300)은 유휴 소프트웨어 디코더(210) 또는/및 신규 소프트웨어 디코더(220)에서 디코딩이 완료된 GOP 분량의 디지털 비디오 신호를 수신하여 순서대로 정렬한다. 이때 정렬 모듈(300)은 렌더링 성능에 맞추어 프레임을 드롭(drop)시킨 후 디지털 비디오 신호를 렌더러(미도시)에 전달한다.The sorting module 300 receives the digital video signals of the GOP amount decoded from the idle software decoder 210 or/and the new software decoder 220 and arranges them in order. In this case, the alignment module 300 drops a frame according to rendering performance and then transfers a digital video signal to a renderer (not shown).

도 2 내지 도 4는 본 발명의 일 실시 예에 따른 디코딩 장치에 의한 4 배속 디코딩을 설명하는 도면이다.2 to 4 are diagrams for explaining 4x decoding by a decoding apparatus according to an embodiment of the present invention.

도 2를 참조하면, 호스트 모듈(100)은 0-1초 동안 4 배속 재생을 위해 초당 120 프레임이 수신되는 GOP 분량의 디지털 압축 비디오 신호를 30 프레임씩 버퍼링한다. 제0-1 버퍼링(GOP 분량의 30 프레임)이 완료되면, 디코더 풀(200)내의 유휴 소프트웨어 디코더(210)에 제0-1 버퍼링 신호를 할당하여 디코딩되도록 한다. 제0-2 버퍼링이 신호에 대해서는 현재 유휴 소프트웨어 디코더(210)가 동작 중이기 때문에 제1 신규 소프트웨어 디코더(221)를 생성하고 제0-2 버퍼링 신호를 할당한다. 제0-3 버퍼링 신호 및 제0-4 버퍼링 신호에 대해서도 모든 소프트웨어 디코더(210, 221)이 디코딩 중 이기 때문에 각각 제2 신규 소프트웨어 디코더(222) 및 제3 신규 소프트웨어 디코더(223)를 생성하고 제0-3 버퍼링 신호 및 제0-4 버퍼링 신호를 할당하여 디코딩되도록 한다.Referring to FIG. 2 , the host module 100 buffers 30 frames of a GOP digital compressed video signal received at 120 frames per second for 4x reproduction for 0-1 seconds. When the 0-1 buffering (30 frames of GOP amount) is completed, the 0-1 buffering signal is allocated to the idle software decoder 210 in the decoder pool 200 to be decoded. For the 0-2th buffering signal, since the idle software decoder 210 is currently operating, the first new software decoder 221 is generated and the 0-2th buffering signal is allocated. For the 0-3 buffering signal and the 0-4 buffering signal, since all the software decoders 210 and 221 are being decoded, a second new software decoder 222 and a third new software decoder 223 are generated, respectively, and The 0-3 buffering signal and the 0-4th buffering signal are allocated and decoded.

도 3을 참조하면, 유휴 소프트웨어 디코더(210) 및 제1 신규 소프트웨어 디코더(221)의 디코딩이 완료되어, 디코딩된 제0-1 버퍼링 신호 및 제0-2 버퍼링 신호는 정렬 모듈(300)로 전송된다. 여기서 제2 신규 소프트웨어 디코더(222) 및 제3 신규 소프트웨어 디코더(223)은 디코딩 중이다. 따라서 호스트 모듈(100)은 디코딩이 완료된 유휴 소프트웨어 디코더(210) 및 제1 신규 소프트웨어 디코더(221)에 제1-1 버퍼링신호 및 제1-2 버퍼링 신호를 할당하여 디코딩 되도록 한다. 제1-3 및 제1-4 버퍼링 신호에 대해서는, 모든 소프트웨어 디코더(210, 221, 222, 223)가 디코딩 중이므로, 제4 신규 소프트웨어 디코더(224) 및 제5신규 소프트웨어 디코더(225)를 생성하고, 제4 신규 소프트웨어 디코더(224) 및 제5신규 소프트웨어 디코더(225)에 제1-3 및 제1-4 버퍼링 신호를 할당하여 디코딩 되도록 한다.Referring to FIG. 3 , decoding of the idle software decoder 210 and the first new software decoder 221 is completed, and the decoded 0-1 buffering signal and 0-2 buffering signal are transmitted to the alignment module 300 . do. Here, the second new software decoder 222 and the third new software decoder 223 are decoding. Accordingly, the host module 100 allocates the 1-1 buffering signal and the 1-2 buffering signal to the idle software decoder 210 and the first new software decoder 221, which have been decoded, to be decoded. For the 1-3 and 1-4 buffering signals, since all the software decoders 210, 221, 222, 223 are being decoded, a fourth new software decoder 224 and a fifth new software decoder 225 are generated, , to be decoded by allocating the 1-3 and 1-4 buffering signals to the fourth new software decoder 224 and the fifth new software decoder 225 .

도 4를 참조하면, 시간 순으로 제2 신규 소프트웨어 디코더(222), 제3 신규 소프트웨어 디코더(223), 유휴 소프트웨어 디코더(210), 제1 신규 소프트웨어 디코더(221), 제4 신규 소프트웨어 디코더(224) 및 제5신규 소프트웨어 디코더(225)의 디코딩이 완료되어, 디코딩된 제0-3 버퍼링 신호, 제0-4 버퍼링 신호, 제1-1 버퍼링 신호 내지 제1-4 버퍼링 신호는 정렬 모듈(300)로 전송된다. 호스트 모듈(100)은 디코딩이 완료된 유휴 소프트웨어 디코더(210), 제1 신규 소프트웨어 디코더(221), 제2 신규 소프트웨어 디코더(222) 및 제3 신규 소프트웨어 디코더(223)에 제2-1 내지 제2-4 버퍼링 신호를 할당하여 디코딩 되도록 한다. 도 4의 경우 모든 소프트웨어 디코더(210, 221-225)가 유휴 상태이기 때문에 신규 디코더를 생성하지 않아도 초당 GOP 분량의 30 프레임의 버퍼링 신호(제2-1 내지 제2-4 버퍼링 신호)를 모두 할당할 수 있다.Referring to FIG. 4 , in chronological order, a second new software decoder 222 , a third new software decoder 223 , an idle software decoder 210 , a first new software decoder 221 , and a fourth new software decoder 224 . ) and the fifth new software decoder 225 is completed decoding, the decoded 0-3 buffering signal, 0-4 buffering signal, 1-1 buffering signal to 1-4 buffering signal are arranged in the alignment module 300 ) is sent to The host module 100 is configured to provide the decoding-completed idle software decoder 210 , the first new software decoder 221 , the second new software decoder 222 , and the third new software decoder 223 , 2-1 to second -4 Allocate a buffering signal to be decoded. In the case of FIG. 4, since all the software decoders 210 and 221-225 are in an idle state, all of the buffering signals (No. 2-1 to No. 2-4 buffering signals) of 30 frames of GOPs per second are allotted without creating a new decoder. can do.

도 2 내지 도 4에서 정렬 모듈(300)은 디코딩이 완료된 디지털 비디오 신호를 순서대로 정렬하여 렌더러에 출력하도록 한다.2 to 4 , the sorting module 300 sorts the decoded digital video signals in order and outputs them to the renderer.

도 5는 본 발명의 일 실시 예에 따른 디코딩 방법의 동작을 보이는 흐름도 이다. 본 발명에 따른 디코딩 방법은 도 1에 도시된 바와 같이 주변 구성요소들의 도움을 받아 디코딩 장치(10)에서 수행될 수 있다. 이하의 설명에서 도 1 내지 도 4에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.5 is a flowchart illustrating an operation of a decoding method according to an embodiment of the present invention. The decoding method according to the present invention may be performed in the decoding apparatus 10 with the help of peripheral components as shown in FIG. 1 . In the following description, descriptions of parts overlapping with those of FIGS. 1 to 4 will be omitted.

도 5를 참조하면, 디코딩 장치(10)는 입력되는 디지털 비디오 압축 신호를 버퍼링하는 단계(S501)를 수행한다. 여기서, 디지털 비디오 압축 신호는 GOP(group of picture) 단위로 버퍼링된다. Referring to FIG. 5 , the decoding apparatus 10 performs a step of buffering an input digital video compressed signal ( S501 ). Here, the digital video compression signal is buffered in units of a group of pictures (GOP).

이후, 디코딩 장치(10)는 버퍼링을 수행하여 GOP 단위로 버퍼링이 완료되었는지 판단하는 단계(S503)를 수행한다.Thereafter, the decoding apparatus 10 performs buffering to determine whether buffering is completed in units of GOPs ( S503 ).

GOP 단위로 버퍼링이 완료된 경우, 디코딩 장치(10)는 디코더 풀 내에 유휴 소프트웨어 디코더가 존재하는지 판단하는 단계(S505)를 수행하여, 유휴 소프트웨어 디코더가 존재하는 경우, 유휴 소프트웨어 디코더에 버퍼링이 완료된 신호를 할당하는 단계(S507)를 수행한다.When the buffering is completed in units of GOPs, the decoding device 10 determines whether an idle software decoder exists in the decoder pool ( S505 ). Allocating step (S507) is performed.

그러나, 디코더 풀 내에 모든 소프트웨어 디코더가 동작 중인 경우, 디코딩 장치(10)는 디코더 풀 내에 신규 소프트웨어 디코더를 생성하는 단계(S509)를 수행하여, 신규 소프트웨어 디코더에 버퍼링 신호를 할당한다. However, when all software decoders in the decoder pool are in operation, the decoding device 10 generates a new software decoder in the decoder pool ( S509 ) to allocate a buffering signal to the new software decoder.

디코딩 장치(10)는 이와 같은 S501 내지 S509 동작을 반복하여 입력되는 디지털 비디오 압축 신호들을 소프트웨어 디코더에 할당한다.The decoding apparatus 10 repeats the above operations S501 to S509 to allocate the input digital video compressed signals to the software decoder.

디코딩 장치(10)는 유휴 소프트웨어 디코더 또는/및 신규 소프트웨어 디코더가 디코딩을 수행하도록 제어하는 단계(S511)를 수행한다.The decoding apparatus 10 performs a control step (S511) of the idle software decoder and/or the new software decoder to perform decoding.

디코딩 장치(10)는 디코딩이 완료된 디지털 비디오 신호를 수신하는 단계(S513)를 수행하고, 디코딩이 완료된 디지털 비디오 신호를 순서대로 정렬하는 단계(S515)를 수행한다. 여기서 디코딩 장치(10)는 렌더링 성능에 맞게 임의의 프레임을 드롭시키는 단계(S517)를 수행한다.The decoding apparatus 10 receives the decoded digital video signal (S513), and sequentially arranges the decoded digital video signal (S515). Here, the decoding apparatus 10 performs a step (S517) of dropping an arbitrary frame according to the rendering performance.

이후 디코딩 장치(10)는 디코딩이 안된 GOP 단위의 디지털 비디오 압축 신호가 있는지 판단하는 단계(S519)를 수행하고, 디코딩이 안된 GOP 단위의 디지털 비디오 압축 신호가 있는 경우 S511로 복귀하여 디코딩이 수행되도록 하고, 디코딩이 안된 GOP 단위의 디지털 비디오 압축 신호가 존재하지 않는 경우 프레임 드롭된 디지털 비디오 신호를 렌더러에 전달하는 단계(S521)를 수행한다.Thereafter, the decoding device 10 performs a step (S519) of determining whether there is an undecoded GOP unit digital video compressed signal, and if there is an undecoded GOP unit digital video compressed signal, returns to S511 to perform decoding and, if there is no GOP-unit digital video compression signal that has not been decoded, a step (S521) of delivering the frame-dropped digital video signal to the renderer is performed.

종래의 경우 동영상 정보의 고배속 재생은 영상 내부의 GOP 구성 특성을 전혀 참고하지 않고 진행되어 왔다. 때문에 고배속의 향상에 제약이 있어왔고, 통상 4 배속 이상의 고배속 재생을 위해서는 결국 인트라 프레임만 재생하는 불합리한 특징을 보여왔다. 그러나, 본 실시 예에서는 사용자가 4 배속, 8 배속 이상의 고배속 재생에서도 끊김없는 화면을 보게 되므로 좀 더 효율적인 사후 분석을 진행할 수 있게 된다.In the conventional case, high-speed reproduction of moving image information has been performed without reference to the GOP configuration characteristics inside the image. Therefore, there has been a limitation in improving the high speed, and in order to reproduce at a high speed of 4X or higher, it has shown an unreasonable characteristic of only reproducing an intra frame. However, in the present embodiment, since the user sees a seamless screen even at high-speed reproduction of 4x speed or 8x speed or higher, more efficient post-analysis can be performed.

본 발명의 다양한 실시 예들은 어떠한 방법으로도 본 발명의 범위를 한정하지 않는다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것이며, 실제 장치에서는 대체 가능하거나 추가적인 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로 구현될 수 있다. 또한, "필수적인", "중요하게" 등과 같은 구체적인 언급이 없다면, 본 발명의 실시를 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The various embodiments of the present invention do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of lines between the components shown in the drawings are illustrative of functional connections and/or physical or circuit connections, and in an actual device, various functional connections and physical connections that are replaceable or additional , or circuit connections. In addition, unless there is a specific reference such as "essential", "importantly", etc., it may not be a necessary component for the practice of the present invention.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. In the specification of the present invention (especially in the claims), the use of the term "above" and similar referential terms may be used in both the singular and the plural. In addition, when a range is described in the present invention, each individual value constituting the range is described in the detailed description of the invention as including the invention to which individual values belonging to the range are applied (unless there is a description to the contrary). same as

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The steps constituting the method according to the present invention may be performed in an appropriate order, unless there is an explicit order or description to the contrary. The present invention is not necessarily limited to the order in which the steps are described. The use of all examples or exemplary terms (eg, etc.) in the present invention is merely for the purpose of describing the present invention in detail, and unless defined by the claims, the scope of the present invention is limited by the examples or exemplary terminology. it's not going to be In addition, those skilled in the art will recognize that various modifications, combinations, and changes may be made in accordance with design conditions and factors within the scope of the appended claims or their equivalents.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to

100: 호스트 모듈
110: 버퍼링부
120: 디코더 할당부
200: 디코더 풀
210: 유휴 소프트웨어 디코더
220-225: 신규 소프트웨어 디코더
300: 정렬 모듈
100: host module
110: buffering unit
120: decoder allocator
200: decoder pool
210: idle software decoder
220-225: New software decoder
300: sort module

Claims (6)

삭제delete 삭제delete 삭제delete 적어도 하나 이상의 소프트웨어 디코더를 포함하는 디코더 풀을 포함하여 비디오 신호를 고배속으로 디코딩하는 방법으로써,
초당 n배속 재생을 위해, 디지털 비디오 신호의 n개의 GOP(group of picture)들을 순서대로 버퍼링하는 단계;
상기 버퍼링되는 n개의 GOP들을 순서대로 상기 디코더 풀 내의 n개의 소프트웨어 디코더들에 각각 할당하는 단계;
상기 디코더 풀 내에서 디코딩이 완료된 n개의 GOP들을 순서대로 정렬하는 단계; 및
상기 디코딩이 완료된 n개의 GOP들을 정렬한 후, 렌더링 성능에 맞게 프레임 드롭하여 렌더러에 전달하는 단계;를 포함하고,
상기 n개의 소프트웨어 디코더들은, 유휴 소프트웨어 디코더 및 상기 유휴 소프트웨어 디코더가 모두 동작중인 경우 생성되는 신규 소프트웨어 디코더를 포함하고,
상기 n개의 GOP들을 디코더들에 할당하는 단계는,
n개의 제1GOP들을 디코딩하기 위한 유휴 소프트웨어 디코더의 개수가 n보다 작으면 신규 소프트웨어 디코더를 생성하여 상기 n개의 제1GOP들을 할당하고,
상기 n개의 제1GOP들이 할당된 n개의 소프트웨어 디코더들 중 디코딩 완료된 소프트웨어 디코더들의 개수가 n보다 작으면 신규 소프트웨어 디코더를 생성하여 n개의 제2GOP들을 할당하는 것을 특징으로 하는 디코딩 방법.
A method of decoding a video signal at high speed including a decoder pool comprising at least one software decoder, the method comprising:
sequentially buffering n groups of pictures (GOPs) of the digital video signal for reproduction at n times per second;
allocating the buffered n GOPs to n software decoders in the decoder pool in order, respectively;
arranging n GOPs that have been decoded in order in the decoder pool; and
After arranging the n GOPs on which the decoding is completed, dropping frames according to rendering performance and delivering them to the renderer;
The n software decoders include an idle software decoder and a new software decoder generated when all of the idle software decoders are running,
Allocating the n GOPs to decoders comprises:
If the number of idle software decoders for decoding the n first GOPs is less than n, create a new software decoder and allocate the n first GOPs,
Decoding method, characterized in that when the number of decoded software decoders is less than n among the n software decoders to which the n first GOPs are allocated, a new software decoder is created and n second GOPs are allocated.
삭제delete 삭제delete
KR1020140004054A 2014-01-13 2014-01-13 Apparatus and method for decoding KR102331537B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140004054A KR102331537B1 (en) 2014-01-13 2014-01-13 Apparatus and method for decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140004054A KR102331537B1 (en) 2014-01-13 2014-01-13 Apparatus and method for decoding

Publications (2)

Publication Number Publication Date
KR20150084236A KR20150084236A (en) 2015-07-22
KR102331537B1 true KR102331537B1 (en) 2021-11-26

Family

ID=53874222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140004054A KR102331537B1 (en) 2014-01-13 2014-01-13 Apparatus and method for decoding

Country Status (1)

Country Link
KR (1) KR102331537B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117255222A (en) * 2023-11-20 2023-12-19 上海科江电子信息技术有限公司 Digital television monitoring method, system and application

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135506B1 (en) * 2004-10-26 2012-04-23 소니 주식회사 Information processing apparatus and method, recording medium, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11262017A (en) * 1998-03-13 1999-09-24 Matsushita Electric Ind Co Ltd Image signal coding decoding system, image signal coder and image signal decoder used for the same
JP4281721B2 (en) * 2004-10-26 2009-06-17 ソニー株式会社 Data processing apparatus, data processing method, program, and recording medium
KR101590633B1 (en) * 2008-11-11 2016-02-02 삼성전자주식회사 / /apparatus for processing video encoding and decoding using video separation based on slice level and method therefor
US8963799B2 (en) * 2011-01-11 2015-02-24 Apple Inc. Mirroring graphics content to an external display
KR20120083801A (en) * 2011-01-18 2012-07-26 삼성전자주식회사 Apparatus and method of pre-processing multimedia data for virtual machine

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135506B1 (en) * 2004-10-26 2012-04-23 소니 주식회사 Information processing apparatus and method, recording medium, and program

Also Published As

Publication number Publication date
KR20150084236A (en) 2015-07-22

Similar Documents

Publication Publication Date Title
US11943480B2 (en) Constraints and unit types to simplify video random access
JP4664406B2 (en) Moving picture decoding apparatus, semiconductor device, video equipment, and moving picture decoding method
JP6562992B2 (en) Trick playback in digital video streaming
US20100166081A1 (en) Video stream processing apparatus and control method, program and recording medium for the same
US8130841B2 (en) Method and apparatus for compression of a video signal
US20100266049A1 (en) Image decoding device
US8238420B1 (en) Video content transcoding for mobile devices
JP2010219983A (en) Image processing apparatus and method
AU2009330648A1 (en) Video conference rate matching
JP2009033423A (en) Image compression method and image processing device
US8170375B2 (en) Image processing apparatus and method for controlling the same
EP2306730A2 (en) Method and system for 3D video decoding using a tier system framework
JP2007081756A (en) Encoder/decoder, encoding and decoding method, encoding and decoding integrated circuit, and encoding and decoding program
US10116952B2 (en) Bitstream decoding method and bitstream decoding circuit
KR102331537B1 (en) Apparatus and method for decoding
US8503803B2 (en) Method and apparatus for encoding/decoding image by partitioning image
CN103124348A (en) Predictive frame dropping method used in wireless video/audio data transmission
TWI735297B (en) Coding of video and audio with initialization fragments
JP4723486B2 (en) Group of pictures restructuring method to provide random access to group of pictures
JP7420239B2 (en) Display control device, display control system, display control method, and display control program
KR101231009B1 (en) Network video server and video control method thereof
WO2007023440A2 (en) Video processing apparatus
JP2001103426A (en) Image-decoding device and method
US20170055001A1 (en) Image encoding apparatus and image decoding apparatus
JP2007060480A (en) Reverse playback method, playback apparatus, reverse playback program and recording medium with reverse playback program recorded thereon

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101000291; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210204

Effective date: 20210630

E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant