KR101858043B1 - Defection of fast multi-track video ingest detection method and system - Google Patents
Defection of fast multi-track video ingest detection method and system Download PDFInfo
- Publication number
- KR101858043B1 KR101858043B1 KR1020160142462A KR20160142462A KR101858043B1 KR 101858043 B1 KR101858043 B1 KR 101858043B1 KR 1020160142462 A KR1020160142462 A KR 1020160142462A KR 20160142462 A KR20160142462 A KR 20160142462A KR 101858043 B1 KR101858043 B1 KR 101858043B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- compressed
- error
- mse
- compressed video
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
Abstract
본 발명은 고속의 비디오 데이터에 대해 비디오의 해상도 스케일링, 프레임율 변환, 인코딩, 메타데이터 삽입, 패키징 과정 등 인제스팅(Ingesting)을 수행할 때, 원본 비디오를 멀티트랙 비디오 인코더를 통해 화질이 서로 다른 둘 이상 N 개의 압축비디오로 생성하고, 생성된 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지 화질 검사를 수행하여, 오류가 없으면 두 개의 압축비디오와 원본 비디오 간의 MSE를 계산하여 프레임별 MSE맵을 생성하며, 나머지 압축비디오들에 대해 MSE맵과의 비교를 통해 오류를 검사할 수 있도록 된, 고속 멀티트랙 비디오 인제스팅 오류 검출 방법 및 시스템에 관한 것이다.
본 발명에 따른 고속 멀티트랙 비디오 오류 검출 장치는, 원본 비디오를 입력받아 화질이 서로 다른 둘 이상의 압축비디오를 생성하는 멀티트랙 비디오 인코더; 상기 둘 이상의 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지를 검사하는 압축비디오 화질검사부; 상기 두 압축비디오에 오류가 없는 경우, 압축비디오 1 및 압축비디오 N과 원본 비디오의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성하고, 상기 압축비디오 1 및 압축비디오 N을 제외한 나머지 압축비디오들을 상기 MSE맵과 비교하여 오류를 검출하는 오류검출 제어부; 및 상기 프레임별 MSE맵을 저장하는 저장부를 포함한다.The present invention relates to a method and apparatus for performing ingestion such as video resolution scaling, frame rate conversion, encoding, metadata insertion, and packaging processes on high-speed video data, It is determined that there is an error in "compressed video 1" having the highest image quality and "compressed video N" having the lowest image quality among the generated compressed video, and if there is no error, Speed multitrack video ingesting error detection method and system capable of calculating an MSE between a video and an original video to generate an MSE map for each frame, and checking an error through comparison with the MSE map for remaining compressed video .
A high-speed multi-track video error detection apparatus according to the present invention includes: a multitrack video encoder receiving an original video and generating two or more compressed videos having different image qualities; A compressed video quality checking unit for checking whether there is an error in "compressed video 1" having the highest image quality and "compressed video N" having the lowest image quality among the two or more compressed videos; If there is no error in the two compressed videos, the compressed video 1 and the compressed video N and the MSE (Means Square Error) of the original video are calculated to generate an MSE map for each frame, An error detection control unit for comparing the videos with the MSE map to detect an error; And a storage unit for storing the MSE map for each frame.
Description
본 발명은 고속 멀티트랙 비디오의 인제스팅 오류를 검출하는 방법 및 시스템에 관한 것으로서, 더욱 자세하게는 고속의 비디오 데이터를 사용자 단말기에 서비스 하기 위해 컨텐츠 제공자(CP)로부터 제공받은 비디오 데이터에 대해 비디오의 해상도 스케일링, 프레임율 변환, 인코딩, 메타데이터 삽입, 패키징 과정 등 인제스팅(Ingesting)을 수행할 때, 원본 비디오를 멀티트랙 비디오 인코더(Multi-track video encoder)를 통해 화질이 서로 다른 둘 이상 N 개의 압축비디오로 생성하고, 생성된 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지 화질 검사를 수행하여, 오류가 없으면 두 개의 압축비디오와 원본 비디오 간의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성하며, 나머지 압축비디오들에 대해 MSE맵과의 비교를 통해 오류를 검사할 수 있도록 된 것이다.The present invention relates to a method and system for detecting ingesting errors in high-speed multitrack video, and more particularly to a method and system for detecting ingesting errors in high-speed multi-track video, When performing ingestion such as scaling, frame rate conversion, encoding, metadata insertion, and packaging, the original video is subjected to compression with two or more N compresses having different image qualities through a multi-track video encoder Video quality is checked to see if there is an error in "
인제스팅 시스템(Ingesting System)은 컨텐츠 제공자(CP)로부터 제공받은 비디오 및 오디오를 포함하는 컨텐츠를 사용자 단말기에 서비스하기 위해 기본적인 해상도 스케일링(Resolution Scaling), 프레임율 변환(frame rate conversion), 비디오/오디오 인코딩(Vidoe/audio Encoding), 메타데이터 삽입(Metadata Insertion), 패키징(Packaging) 등의 과정을 거친다. The ingesting system includes basic resolution scaling, frame rate conversion, and video / audio conversion to service contents including video and audio received from a content provider (CP) Encoding (Vidoe / audio Encoding), metadata insertion (Metadata Insertion), and packaging (Packaging).
이때, 비디오나 오디오를 포함하는 컨텐츠를 제공하는 컨텐츠 서버에서, 전술한 인제스팅 과정을 수행할 때 오류가 발생한 비디오를 사용자 단말기에 서비스하는 경우 사용자 단말기에서 재생할 때 문제가 발생하게 된다. 이를 방지하기 위해 최종 결과물을 재생하여 사람이 직접 확인하는 과정을 마지막으로 거치게 된다. At this time, in the content server providing the contents including the video or the audio, when the user performs the service on the user terminal with the error video when performing the ingesting process described above, a problem occurs when the user terminal plays the video. In order to prevent this, the final result is reproduced and finally checked by the person.
그러나, 컨텐츠 서버에서 사용자 단말기에 제공하는 대부분의 비디오는 그 양이 많거나 방대하므로 인제스팅 하기 위해서 사용자가 일일이 확인하는 과정은 오래 걸리거나 한계가 있으므로 사람에 의한 확인 과정을 자동화하여 좀 더 빠르게 수행하는 기술이 최근에 많이 제안되고 있다.However, since most of the video provided to the user terminal from the content server is large or large, the process of checking the user individually for ingesting takes a long time or is limited. Have been proposed recently.
이와 함께 온라인 비디오 서비스는 서버에서 인터넷을 통해 단말기에 비디오를 스트리밍하면, 사용자가 단말기를 통해 비디오를 수신하여 재생할 수 있도록 하는데, 이 때 사용자의 네트워크 환경에 맞게 비디오 데이터량을 조절하면서 전송하는 적응적 비디오 스트리밍(adaptive video streaming) 기술을 통해 사용자에게 중간에 끊기거나 영상이 깨진 비디오를 시청하도록 하는 일을 방지하는 기술이 일반화되고 있다. In addition, the online video service allows a user to receive and play video through the terminal by streaming video from the server to the terminal over the Internet. In this case, the video data is adaptively BACKGROUND OF THE INVENTION [0002] Techniques for preventing a user from watching an interrupted video or a broken video through a technique of adaptive video streaming are becoming common.
현재의 adaptive video streaming 기술은 하나의 원본 비디오에 대해 다양한 데이터 크기를 가지는 압축비디오를 만들어 두고 사용자의 네트워크 환경에 맞는 압축비디오를 선택하는 기술이 주를 이루고 있는데, 이러한 방법은 서비스 시스템이 하나의 비디오에 대해 여러 개의 압축 비디오(Multi-track video)를 ingesting 해야 하므로 adaptive video streaming 기술을 활용하기 전에 비해 ingesting 시간이 더 오래 걸리는 문제점이 있다. The current adaptive video streaming technology is mainly composed of a technique of creating a compressed video having various data sizes for one original video and selecting a compressed video suited to the user's network environment, The ingesting time is longer than before adaptive video streaming technology is used because ingesting multiple compressed video is required.
전술한 문제점을 해결하기 위한 본 발명은, 고속의 비디오 데이터를 사용자 단말기에 서비스 하기 위해 컨텐츠 제공자(CP)로부터 제공받은 비디오 데이터에 대해 비디오의 해상도 스케일링, 프레임율 변환, 인코딩, 메타데이터 삽입, 패키징 과정 등 인제스팅(Ingesting)을 수행할 때, 원본 비디오를 멀티트랙 비디오 인코더를 통해 화질이 서로 다른 둘 이상 N 개의 압축비디오로 생성하고, 생성된 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지 화질 검사를 수행하여, 오류가 없으면 두 개의 압축비디오와 원본 비디오 간의 MSE를 계산하여 프레임별 MSE맵을 생성하며, 나머지 압축비디오들에 대해 MSE맵과의 비교를 통해 오류를 검사할 수 있도록 된, 고속 멀티트랙 비디오 인제스팅 오류 검출 방법 및 시스템을 제공함에 그 목적이 있다.According to an aspect of the present invention, there is provided a method for providing high-speed video data to a user terminal, the method comprising: performing resolution scaling of video, frame rate conversion, encoding, Process and the like, the original video is generated by the multi-track video encoder into two or more N compressed videos having different image qualities, and the
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 입력된 원본 비디오를 둘 이상의 압축비디오로 생성하고, 생성된 압축비디오 중 가장 화질이 높은 압축비디오와 가장 화질이 낮은 압축비디오에 오류가 있는지를 검사하고, 오류가 없는 경우 두 개의 압축비디오와 원본 비디오의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성하며, 나머지 압축비디오들을 MSE맵과 비교하여 오류를 검출하는 고속 멀티트랙 비디오 오류 검출 장치를 제공한다.According to one aspect of the present invention, there is provided a method of generating an input original video as two or more compressed videos and determining whether there is an error in the compressed video having the highest image quality and the compressed image having the lowest image quality And a fast multitrack video that detects an error by comparing the remaining compressed video with the MSE map by calculating the MSE (Means Square Error) of the two compressed video and the original video if there is no error, An error detection device is provided.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 원본 비디오를 입력받아 화질이 서로 다른 둘 이상의 압축비디오를 생성하는 멀티트랙 비디오 인코더; 상기 둘 이상의 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지를 검사하는 압축비디오 화질검사부; 상기 두 압축비디오에 오류가 없는 경우, 압축비디오 1 및 압축비디오 N과 원본 비디오의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성하고, 상기 압축비디오 1 및 압축비디오 N을 제외한 나머지 압축비디오들을 상기 MSE맵과 비교하여 오류를 검출하는 오류검출 제어부; 및 상기 프레임별 MSE맵을 저장하는 저장부를 포함하는 고속 멀티트랙 비디오 오류 검출 장치가 제공된다.According to another aspect of the present invention, there is provided a multi-track video encoder including: a multi-track video encoder for inputting original video and generating two or more compressed videos having different image qualities; A compressed video quality checking unit for checking whether there is an error in "
또한, 상기 압축비디오 화질검사부는, 상기 두 압축비디오에 오류가 있는 경우 두 압축 비디오 중 어떤 압축비디오에 오류가 있는 지를 알리고 화질 검사를 종료할 수 있다.In addition, the compressed video quality checking unit may notify which compressed video among the two compressed videos is in error, and may terminate the quality check if there is an error in the two compressed videos.
또한, 상기 압축비디오 화질검사부는, 상기 압축비디오를 디코딩(Decoding) 한 후 원본 비디오와 비교하여 PSNR(Peak Signal to Noise Ratio)을 계산하고, 계산한 값이 특정값 이상인 경우에 오류가 없는 것으로 출력할 수 있다.The compressed video quality checking unit may decode the compressed video and compare the compressed video with the original video to calculate a Peak Signal to Noise Ratio (PSNR). If the calculated value is greater than or equal to a specific value, can do.
또한, 상기 오류검출 제어부는, 상기 압축 비디오의 프레임이 중첩되지 않도록 작은 블록으로 나누고 각 블록에 대해 MSE를 구하여 프레임별 MSE맵을 생성해 저장부에 저장할 수 있다.In addition, the error detection control unit may divide the compressed video frames into small blocks so that the compressed video frames are not overlapped with each other, obtain an MSE for each block, generate an MSE map for each frame, and store the generated MSE in the storage unit.
그리고, 상기 오류검출 제어부는, 상기 압축비디오 1의 MSE 값이 가장 작고, 상기 압축비디오 N의 MSE 값이 가장 크므로, 압축비디오 K의 t 시간째 프레임의 m 번째 MSE(K,t,m) 값이 모든 프레임의 블록에 대해 을 만족하면 오류가 없는 것으로 판단할 수 있다.Since the MSE value of the
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 비디오 및 오디오를 포함하는 컨텐츠를 인제스팅 한 후 통신망을 통해 사용자 단말기에 전송하는 컨텐츠 장치의 고속 멀티트랙 비디오 인제스팅 오류 검출 방법으로서, (a) 원본 비디오를 입력받아 화질이 서로 다른 둘 이상의 압축비디오를 생성하는 단계; (b) 상기 둘 이상의 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지를 검사하는 단계; (c) 상기 두 압축비디오에 오류가 없는 경우, 압축비디오 1 및 압축비디오 N과 원본 비디오의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성하는 단계; 및 (d) 상기 압축비디오 1 및 압축비디오 N을 제외한 나머지 압축비디오들을 상기 MSE맵과 비교하여 오류를 검출하는 단계를 포함하는 컨텐츠 장치의 고속 멀티트랙 비디오 인제스팅 오류 검출 방법이 제공된다.According to another aspect of the present invention, there is provided a method of detecting a high-speed multi-track video ingestion error in a content apparatus that transmits content including video and audio to a user terminal via a communication network, (a) generating two or more compressed videos having different image qualities by receiving original video; (b) checking whether there is an error in "
또한, 상기 (b) 단계는, 상기 압축비디오를 디코딩(Decoding) 한 후 원본 비디오와 비교하여 PSNR(Peak Signal to Noise Ratio)을 계산하고, 계산한 값이 특정값 이상인 경우에 오류가 없는 것으로 출력할 수 있다.In the step (b), the compressed video is decoded and then compared with the original video to calculate a Peak Signal to Noise Ratio (PSNR). If the calculated value is greater than or equal to a specific value, can do.
또한, 상기 (c) 단계는, 상기 압축 비디오의 프레임이 중첩되지 않도록 작은 블록으로 나누고 각 블록에 대해 MSE를 구하여 프레임별 MSE맵을 생성하여 저장할 수 있다.In the step (c), an MSE map may be generated for each frame by dividing the compressed video frame into small blocks so that the frames of the compressed video are not overlapped and obtaining an MSE for each block.
그리고, 상기 (d) 단계는, 상기 압축비디오 1의 MSE 값이 가장 작고, 상기 압축비디오 N의 MSE 값이 가장 크므로, 압축비디오 K의 t 시간째 프레임의 m 번째 MSE(K,t,m) 값이 모든 프레임의 블록에 대해 을 만족하면 오류가 없는 것으로 판단할 수 있다.In step (d), since the MSE value of the
본 발명에 의하면, 멀티트랙 비디오의 인제스팅 시 오류를 검출할 수 있으며, 멀티트랙 비디오의 인제스팅 시간을 단축시켜 고속화를 가능하게 할 수 있다.According to the present invention, it is possible to detect an error in ingesting multitrack video, and it is possible to shorten the ingesting time of the multitrack video, thereby enabling speeding up.
또한, 멀티트랙 비디오의 인제스팅 오류를 검출하게 됨에 따라 수신되는 컨텐츠의 품질을 향상시킬 수 있다.In addition, since the ingesting error of the multi-track video is detected, the quality of the received content can be improved.
도 1은 본 발명의 실시예에 따른 고속 멀티트랙 비디오 인제스팅 오류 검출 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 컨텐츠 장치의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 컨텐츠 장치의 고속 멀티트랙 비디오 인제스팅 오류 검출 방법을 설명하기 위한 동작 흐름도이다.
도 4는 본 발명의 실시예에 따른 멀티트랙 비디오 인코더가 원본 비디오를 N 개의 압축비디오로 생성하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 컨텐츠 장치 내 화질 검사부의 기능 블럭을 나타낸 구성도이다.1 is a block diagram schematically illustrating the overall configuration of a high-speed multi-track video ingestion error detection system according to an embodiment of the present invention.
2 is a block diagram schematically illustrating an internal configuration of a content apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method of detecting a high-speed multi-track video ingestion error in a content apparatus according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example in which a multi-track video encoder according to an embodiment of the present invention generates original video as N compressed video.
5 is a block diagram illustrating a functional block of an image quality checking unit in a content device according to an exemplary embodiment of the present invention.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
H.261, MPEG1, 및 MPEG2 같은 멀티미디어 규격들은 블록 이동-보상된(block motion-compensated) 이산적 코사인 변환(Discrete Cosine Transform; DCT)에 의해 디지털 비디오 시퀀스의 압축을 제공한다. 이러한 비디오 부호화 기술은 2단계 프로세스를 사용하여 비디오 시퀀스 내에 존재하는 리던던시를 제거한다. 블록 매칭(BM), 이동 추정된(motion estimation) 및 보상 알고리즘은 2개의 시간적으로 인접한 프레임들 사이에 발생하는 이동을 추정된 한다. 이어서 프레임들은 추정된 이동에 대해서 보상되며 차동 이미지(difference image)를 형성하기 위해 비교된다. 시간적으로 인접한 프레임들 사이의 차분을 취함으로써, 존재하는 모든 시간적 리던던시가 제거된다. 잔류하는 유일한 정보는 이동 추정된 및 보상 알고리즘으로 보상될 수 없는 새로운 정보이다. 이러한 새로운 정보는 DCT를 이용하여 주파수 영역(frequency domain)으로 변환된다. DCT는 이러한 새로운 정보의 에너지를 몇 개의 저주파 성분으로 압축시키는 성질을 갖는다. 부호화된 고주파 정보의 양을 제한함으로써 비디오 시퀀스를 더 압축한다. 이러한 비디오 부호화에 의해 제공된 압축의 대부분은 이동 추정된 및 보상 알고리즘에 의해 획득된다. 즉, 세기(intensity) 및 컬러에 대한 정보가 아닌 비디오 시퀀스에 존재하는 이동에 관한 정보를 송신하는 것이 더 효율적이다. 이동 정보는 현재 세기 프레임(current intensity frame) 내의 특정 위치로부터 이전 세기 프레임 내에 위치한 동일한 위치까지의 벡터들을 사용하여 나타내어진다. 동일한 사이즈의 미리 결정된 논-오버래핑 블록들로 위치되어 있다. 이러한 블록들에 포함된 모든 화소들은 동일한 이동을 갖는 것으로 가정된다. 비디오 시퀀스의 현재 프레임 내의 특정 블록과 관련된 이동 벡터는 최상의 매치(best match)로서 이전의 시간적으로 인접한 프레임 내에서 미리 결정된 검색 영역 상에서 검색함으로써 발견된다. 최상의 매치는 일반적으로 2개의 블록들 간의 평균 제곱 오차(mean-squared error; MSE)를 사용하여 결정된다. Multimedia standards such as H.261, MPEG1, and MPEG2 provide compression of a digital video sequence by block motion-compensated discrete cosine transform (DCT). This video coding technique uses a two-step process to remove the redundancy present in the video sequence. The block matching (BM), motion estimation and compensation algorithms estimate motion that occurs between two temporally adjacent frames. The frames are then compensated for the estimated movement and compared to form a difference image. By taking the difference between temporally adjacent frames, all temporal redundancy present is eliminated. The only remaining information is new information that can not be compensated by the motion estimation and compensation algorithm. This new information is transformed into a frequency domain using DCT. DCT has the property of compressing the energy of this new information into several low frequency components. The video sequence is further compressed by limiting the amount of encoded high frequency information. Much of the compression provided by such video encoding is obtained by motion estimation and compensation algorithms. In other words, it is more efficient to transmit information about movement that is present in the video sequence rather than intensity and color information. The motion information is represented using vectors from a particular position in the current intensity frame to the same position located within the previous intensity frame. Overlapping non-overlapping blocks of the same size. It is assumed that all the pixels included in these blocks have the same movement. A motion vector associated with a particular block within a current frame of a video sequence is found by searching on a predetermined search area within a previous temporally adjacent frame as a best match. The best match is generally determined using a mean-squared error (MSE) between the two blocks.
도 1은 본 발명의 실시예에 따른 고속 멀티트랙 비디오 인제스팅 오류 검출 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.1 is a block diagram schematically illustrating the overall configuration of a high-speed multi-track video ingestion error detection system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명에 따른 고속 멀티트랙 비디오 인제스팅 오류 검출 시스템(100)은, 컨텐츠 장치(110), 통신망(120) 및 사용자 단말기(130) 등을 포함한다.Referring to FIG. 1, a high-speed multi-track video ingestion
컨텐츠 장치(110)는 원본 비디오를 둘 이상의 압축비디오로 생성하여 가장 화질이 높은 압축비디오와 가장 화질이 낮은 압축비디오에 오류가 있는지를 검사하고, 오류가 없는 경우 두 개의 압축비디오와 원본 비디오의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성하며, 나머지 압축비디오에 대해 MSE맵과의 비교를 통해 오류를 검출한다.The
또한, 컨텐츠 장치(110)는 비디오와 오디오를 포함하는 원본 컨텐츠를 인제스팅(Ingesting)하고, 인제스팅 된 컨텐츠를 통신망(120)을 통해 사용자 단말기(130)에 전송한다.In addition, the
여기서, 컨텐츠 장치(110)는 원본 비디오를 인제스팅하여 하나 이상의 사용자 단말기(130)에 전송해 주는 미디어 서버 등이 될 수 있으며, 원본 비디오를 입력받아 하나 이상 다수 개의 압축비디오로 나누어 인제스팅해서 통신망(120)을 통해 전송할 수 있는 전용 미디어 장치 등이 될 수 있다.Here, the
통신망(120)은 컨텐츠 장치(110)에서 사용자 단말기(130)로 비디오를 전송하는 전송 경로를 제공하고, 사용자 단말기(130)가 컨텐츠 장치(110)에 접속하기 위한 접속 경로를 제공한다. 여기서, 통신망(120)은 WCDMA, HDPA, 3G, 4G 등 이동 통신망과, 블루투스(Bluetooth)와 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망과, 인터넷이나 PSTN 등 유선 통신망 등을 포함한다.The
사용자 단말기(130)는 컨텐츠 장치(110)로부터 인제스팅 된 컨텐츠를 수신하여 디코딩해서 디스플레이한다.The
여기서, 사용자 단말기(130)는 컨텐츠 장치(110)로부터 비디오 데이터를 수신하여 디스플레이할 수 있는 IPTV, 셋탑박스(Settop Box) 등이 될 수 있으며, 사용자가 이동하면서 비디오 데이터를 재생하여 볼 수 있는 스마트 폰이나 이동통신 단말기 등이 될 수 있다.The
도 2는 본 발명의 실시예에 따른 컨텐츠 장치의 내부 구성을 개략적으로 나타낸 구성도이다.2 is a block diagram schematically illustrating an internal configuration of a content apparatus according to an embodiment of the present invention.
도 2를 참조하면, 본 발명에 따른 컨텐츠 장치(110)는, 통신 인터페이스부(210), 멀티트랙 비디오 인코더(Multi-track video encoder)(220), 화질 검사부(230), 오류검출 제어부(240) 및 저장부(250) 등을 포함한다.2, the
통신 인터페이스부(210)는 사용자 단말기(130)와 통신망(120)을 통해 통신한다.The
즉, 통신 인터페이스부(210)는 사용자 단말기(130)로부터 통신망(120)을 통해 컨텐츠 전송 요청을 수신하거나, 사용자 단말기(130)에 인제스팅(Ingesting) 된 컨텐츠를 전송한다.That is, the
멀티트랙 비디오 인코더(220)는 원본 비디오를 입력받아 도 4에 도시된 바와 같이 화질이 서로 다른 둘 이상 N 개의 압축비디오를 생성한다. 도 4는 본 발명의 실시예에 따른 멀티트랙 비디오 인코더가 원본 비디오를 N 개의 압축비디오로 생성하는 예를 나타낸 도면이다.The
화질 검사부(230)는 N 개의 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지를 검사한다.The image
또한, 화질 검사부(230)는, 두 압축비디오에 오류가 있는 경우 두 압축비디오 중 어떤 압축비디오에 오류가 있는 지를 알리고 화질 검사를 종료한다.If there is an error in the two compressed videos, the image
또한, 화질 검사부(230)는, 압축비디오를 디코딩(Decoding) 한 후 원본 비디오와 비교하여 PSNR(Peak Signal to Noise Ratio)을 계산하고, 계산된 PSNR 값이 특정값 이상인 경우에 오류가 없는 것으로 출력할 수 있다.In addition, the picture
오류검출 제어부(240)는 압축비디오 1과 압축비디오 N에 오류가 없는 경우, 압축비디오 1 및 압축비디오 N과 원본 비디오의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성해 저장부(250)에 저장하고, 압축비디오 1 및 압축비디오 N을 제외한 나머지 압축비디오들에 대해 MSE맵과의 비교를 통해 오류를 검출한다.If there is no error in the
여기서, 화질 검사부(230)는 도 5에 도시된 바와 같이 압축비디오 화질 검사부(510)와 MSE 맵(Map)(520) 및 MSE 맵 비교부(530)를 포함한 구성을 갖는다. 도 5는 본 발명의 실시예에 따른 컨텐츠 장치 내 화질 검사부의 기능 블럭을 나타낸 구성도이다.Here, the picture
따라서, 오류검출 제어부(240)는 압축비디오 화질 검사부(510)를 통해 원본 비디오와 최고 화질의 압축비디오를 비교하여 오류가 있는지에 대한 검수결과 1을 출력해 MSE 맵 비교부(530)에 입력시킨다. 또한, 오류검출 제어부(240)는 압축비디오 화질 검사부(510)를 통해 최저 화질의 압축비디오와 원본 비디오를 비교해 오류가 있는지에 대한 검수결과 N을 출력해 MSE 맵 비교부(530)에 입력시킨다. 이후, 오류검출 제어부(240)는 나머지 압축비디오 즉, 압축비디오 2부터 압축비디오 N-1까지 각각의 압축비디오를 MSE맵과 비교하여 나머지 압축비디오들에 대한 오류 검사 결과(2~(N-1))를 얻는다.Accordingly, the error
또한, 오류검출 제어부(240)는, 압축 비디오의 프레임이 중첩되지 않도록 작은 블록으로 나누고 각 블록에 대해 MSE를 구하여 프레임별 MSE맵을 생성하여 저장부(250)에 저장할 수 있다.In addition, the error
그리고, 오류검출 제어부(240)는, 가장 화질이 높은 압축비디오 1의 MSE 값이 가장 작고, 가장 화질이 낮은 압축비디오 N의 MSE 값이 가장 크므로, 압축비디오 K의 t 시간째 프레임의 m 번째 MSE(K,t,m) 값이 모든 프레임의 블록에 대해 을 만족하면 오류가 없는 것으로 판단할 수 있다.Since the MSE value of the
저장부(250)는 다수의 컨텐츠를 종류별로 저장하고 있으며, 오류 검출 과정에 생성된 프레임별 MSE맵을 저장한다.The
도 3은 본 발명의 실시예에 따른 컨텐츠 장치의 고속 멀티트랙 비디오 인제스팅 오류 검출 방법을 설명하기 위한 동작 흐름도이다.3 is a flowchart illustrating a method of detecting a high-speed multi-track video ingestion error in a content apparatus according to an exemplary embodiment of the present invention.
도 3을 참조하면, 본 발명에 따른 컨텐츠 장치(110)는, 원본 비디오를 입력받아 도 4에 도시된 바와 같이 화질이 서로 다른 둘 이상 N 개의 압축비디오를 생성한다(S310).Referring to FIG. 3, the
이어, 컨텐츠 장치(110)는 N 개의 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지를 검사한다(S320).Next, the
이때, 컨텐츠 장치(110)는 압축비디오를 디코딩(Decoding) 한 후 원본 비디오와 비교하여 PSNR(Peak Signal to Noise Ratio)을 계산하고, 계산된 PSNR 값이 특정값 이상인 경우에 오류가 없는 것으로 출력할 수 있다. 또한, 이 외에 소리없음, 원본 비디오 상의 문제점 등을 검출하는 다양한 알고리즘 등을 적용할 수 있다.At this time, the
이어, 컨텐츠 장치(110)는 두 압축비디오에 오류가 있는 경우(S330-예), 두 압축비디오 중 어떤 압축비디오에 오류가 있는 지를 알리고 화질 검사를 종료한다(S340).If there is an error in the two compressed videos (S330-Yes), the
그러나, 두 압축비디오에 오류가 없는 경우(S330-아니오), 컨텐츠 장치(110)는 압축비디오 1 및 압축비디오 N과 원본 비디오의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성한다(S350).However, if there is no error in the two compressed videos (S330 -No), the
이때, 컨텐츠 장치(110)는 압축 비디오의 프레임이 중첩되지 않도록 작은 블록으로 나누고 각 블록에 대해 MSE를 구하여 프레임별 MSE맵을 생성하여 저장할 수 있다.At this time, the
이어, 컨텐츠 장치(110)는 압축비디오 1 및 압축비디오 N을 제외한 나머지 압축비디오들에 대해 MSE맵과의 비교를 통해 오류를 검출한다(S360).Next, the
이때, 컨텐츠 장치(110)는 가장 화질이 높은 압축비디오 1의 MSE 값이 가장 작고, 가장 화질이 낮은 압축비디오 N의 MSE 값이 가장 크므로, 압축비디오 K의 t 시간째 프레임의 m 번째 MSE(K,t,m) 값이 모든 프레임의 블록에 대해 다음 수학식1을 만족하면 오류가 없는 것으로 판단한다.At this time, since the MSE value of the compressed video N having the highest image quality is the smallest and the MSE value of the compressed video N having the lowest image quality is the largest, the
따라서, 본 발명에 따른 고속 멀티트랙 비디오 인제스팅 오류 검출 방법이 적용된 컨텐츠 장치는 멀티트랙 비디오의 인제스팅 시 오류를 검출할 수 있으며, 멀티트랙 비디오의 인제스팅 시간을 단축시켜 고속화를 가능하게 할 수 있다.Therefore, the content apparatus to which the fast multitrack video ingestion error detection method according to the present invention is applied can detect an error in ingesting the multitrack video, shorten the ingesting time of the multitrack video, have.
전술한 바와 같이 본 발명에 따르면, 고속의 비디오 데이터를 사용자 단말기에 서비스 하기 위해 컨텐츠 제공자(CP)로부터 제공받은 비디오 데이터에 대해 비디오의 해상도 스케일링, 프레임율 변환, 인코딩, 메타데이터 삽입, 패키징 과정 등 인제스팅(Ingesting)을 수행할 때, 원본 비디오를 멀티트랙 비디오 인코더(Multi-track video encoder)를 통해 화질이 서로 다른 둘 이상 N 개의 압축비디오로 생성하고, 생성된 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지 화질 검사를 수행하여, 오류가 없으면 두 개의 압축비디오와 원본 비디오 간의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성하며, 나머지 압축비디오들에 대해 MSE맵과의 비교를 통해 오류를 검사할 수 있도록 된, 고속 멀티트랙 비디오 인제스팅 오류 검출 방법 및 시스템을 실현할 수 있다.As described above, according to the present invention, video scaling, frame rate conversion, encoding, metadata insertion, and packaging processes for video data provided from a content provider (CP) to service high-speed video data to a user terminal When performing ingesting, the original video is generated by a multi-track video encoder as two or more N compressed videos having different image qualities, and the highest quality image of the generated compressed video is "
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims and their equivalents. Only. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
본 발명은 컨텐츠 서버에서 사용자 단말기로 비디오 데이터를 포함하는 컨텐츠를 전송하는 서비스 및 시스템에 적용할 수 있다.The present invention can be applied to a service and a system for transmitting content including video data from a content server to a user terminal.
또한, 이동 단말기로 컨텐츠를 전송하기 위해 인제스팅 과정을 수행하는 컨텐츠 서버에 적용할 수 있다.Further, the present invention can be applied to a content server that performs an ingesting process to transmit content to a mobile terminal.
그리고, 비디오 및 오디오를 포함하는 컨텐츠를 통신망을 이용해 서비스하는 컨텐츠 서버 또는 컨텐츠를 수신하여 디스플레이하는 이동 단말기를 포함하는 컨텐츠 미디어 통신 시스템에 적용할 수 있다.In addition, the present invention can be applied to a content server for providing content including video and audio using a communication network, or a content media communication system including a mobile terminal for receiving and displaying content.
100 : 고속 멀티트랙 비디오 인제스팅 오류 검출 시스템
110 : 컨텐츠 장치 120 : 통신망
130 : 사용자 단말기 210 : 통신 인터페이스부
220 : 멀티트랙 비디오 인코더 230 : 화질 검사부
240 : 오류검출 제어부 250 : 저장부100: High-speed multitrack video ingestion error detection system
110: content device 120:
130: user terminal 210: communication interface unit
220: Multitrack video encoder 230: Picture quality checker
240: Error detection control unit 250:
Claims (5)
상기 둘 이상의 압축비디오 중 가장 화질이 높은 "압축비디오 1"과 가장 화질이 낮은 "압축비디오 N"에 오류가 있는지를 검사하는 압축비디오 화질검사부;
상기 두 압축비디오에 오류가 없는 경우, 압축비디오 1 및 압축비디오 N과 원본 비디오의 MSE(Means Square Error)를 계산하여 프레임별 MSE맵을 생성하고, 상기 압축비디오 1 및 압축비디오 N을 제외한 나머지 압축비디오들을 상기 MSE맵과 비교하여 오류를 검출하는 오류검출 제어부; 및
상기 프레임별 MSE맵을 저장하는 저장부;
를 포함하고,
상기 오류검출 제어부는, 상기 MSE 맵의 압축비디오 1에 대하여 계산된 제1 MSE 값과 상기 압축비디오 N에 대하여 계산된 제2 MSE 값 사이에 상기 나머지 압축비디오들에 대하여 계산된 제3 MSE 값이 모두 포함되는 경우, 오류가 없는 것으로 판단하고,
상기 오류검출 제어부는, 상기 화질 검사부를 통해 원본 비디오와 최고 화질의 압축비디오를 비교하여 오류가 있는지에 대한 검수결과 1을 출력하는 것을 특징으로 하는 고속 멀티트랙 비디오 오류 검출 장치.
A multitrack video encoder receiving the original video and generating two or more compressed videos having different image qualities;
A compressed video quality checking unit for checking whether there is an error in "compressed video 1" having the highest image quality and "compressed video N" having the lowest image quality among the two or more compressed videos;
If there is no error in the two compressed videos, the compressed video 1 and the compressed video N and the MSE (Means Square Error) of the original video are calculated to generate an MSE map for each frame, An error detection control unit for comparing the videos with the MSE map to detect an error; And
A storage unit for storing the MSE map for each frame;
Lt; / RTI >
Wherein the error detection control unit detects a third MSE value calculated for the remaining compressed videos between a first MSE value calculated for compressed video 1 of the MSE map and a second MSE value calculated for the compressed video N If both are included, it is determined that there is no error,
Wherein the error detection control unit compares the original video with the compressed video having the highest image quality through the image quality checking unit and outputs a verification result 1 indicating whether there is an error.
상기 압축비디오 화질검사부는, 상기 두 압축비디오에 오류가 있는 경우 두 압축 비디오 중 어떤 압축비디오에 오류가 있는 지를 알리고 화질 검사를 종료하는 것을 특징으로 하는 고속 멀티트랙 비디오 오류 검출 장치.The method according to claim 1,
Wherein the compressed video quality checking unit notifies the compressed video of the two compressed videos if there is an error in the two compressed videos and terminates the picture quality check.
상기 압축비디오 화질검사부는, 상기 압축비디오를 디코딩(Decoding) 한 후 원본 비디오와 비교하여 PSNR(Peak Signal to Noise Ratio)을 계산하고, 계산한 값이 특정값 이상인 경우에 오류가 없는 것으로 출력하는 것을 특징으로 하는 고속 멀티트랙 비디오 오류 검출 장치.The method according to claim 1,
The compressed video quality checking unit may decode the compressed video and compare the compressed video with the original video to calculate a Peak Signal to Noise Ratio (PSNR), and when the calculated value is greater than or equal to a specific value, Speed multi-track video error detection device.
상기 오류검출 제어부는, 상기 압축 비디오의 프레임이 중첩되지 않도록 작은 블록으로 나누고 각 블록에 대해 MSE를 구하여 프레임별 MSE맵을 생성해 저장부에 저장하는 것을 특징으로 하는 고속 멀티트랙 비디오 오류 검출 장치.The method according to claim 1,
Wherein the error detection control unit divides the compressed video frame into small blocks so that the frames of the compressed video are not overlapped, generates an MSE for each block, generates an MSE map for each frame, and stores the generated MSE map in a storage unit.
상기 오류검출 제어부는, 상기 압축비디오 1의 MSE 값이 가장 작고, 상기 압축비디오 N의 MSE 값이 가장 크므로, 압축비디오 K의 t 시간째 프레임의 m 번째 MSE(K,t,m) 값이 모든 프레임의 블록에 대해 을 만족하면 오류가 없는 것으로 판단하는 것을 특징으로 하는 고속 멀티트랙 비디오 오류 검출 장치.
The method according to claim 1,
Since the MSE value of the compressed video 1 is the smallest and the MSE value of the compressed video N is the largest, the error detection control unit determines that the value of the mth MSE (K, t, m) of the t- For all the blocks of the frame Is satisfied, it is determined that there is no error.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160142462A KR101858043B1 (en) | 2016-10-28 | 2016-10-28 | Defection of fast multi-track video ingest detection method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160142462A KR101858043B1 (en) | 2016-10-28 | 2016-10-28 | Defection of fast multi-track video ingest detection method and system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110023739A Division KR101800384B1 (en) | 2011-03-17 | 2011-03-17 | Defection of fast multi-track video ingest detection method and system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160128286A KR20160128286A (en) | 2016-11-07 |
KR101858043B1 true KR101858043B1 (en) | 2018-05-15 |
Family
ID=57529980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160142462A KR101858043B1 (en) | 2016-10-28 | 2016-10-28 | Defection of fast multi-track video ingest detection method and system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101858043B1 (en) |
-
2016
- 2016-10-28 KR KR1020160142462A patent/KR101858043B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20160128286A (en) | 2016-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9210420B1 (en) | Method and apparatus for encoding video by changing frame resolution | |
US7710454B2 (en) | Video bit stream test | |
RU2573257C2 (en) | Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method and programme | |
KR101912059B1 (en) | Image coding device and image decoding device | |
US9369706B1 (en) | Method and apparatus for encoding video using granular downsampling of frame resolution | |
NO342829B1 (en) | COMPUTER-READY STORAGE MEDIUM AND APPARATUS FOR CODING A MULTIPLE VIDEO IMAGE USING A SEQUENCE VALUE | |
US11064211B2 (en) | Advanced video coding method, system, apparatus, and storage medium | |
US9693078B2 (en) | Methods and systems for detecting block errors in a video | |
EP2186343B1 (en) | Motion compensated projection of prediction residuals for error concealment in video data | |
US8594189B1 (en) | Apparatus and method for coding video using consistent regions and resolution scaling | |
JP5869047B2 (en) | Method for encoding digital video data | |
US20120027091A1 (en) | Method and System for Encoding Video Frames Using a Plurality of Processors | |
US8780987B1 (en) | Method and apparatus for encoding video by determining block resolution | |
CN114080812A (en) | Inter prediction based image or video coding using SBTMVP | |
WO2018089096A1 (en) | Compressed media with still images selected from a video stream | |
US20130251033A1 (en) | Method of compressing video frame using dual object extraction and object trajectory information in video encoding and decoding process | |
JP2013523038A (en) | Method and apparatus for low-band content that preserves compression of stereoscopic 3D images | |
US11638051B2 (en) | Real-time latency measurement of video streams | |
KR101858043B1 (en) | Defection of fast multi-track video ingest detection method and system | |
JP5080304B2 (en) | Display method of image data with confidential data inserted | |
KR101800384B1 (en) | Defection of fast multi-track video ingest detection method and system | |
KR20060109448A (en) | Method of encoding video signals | |
CN114128289A (en) | SBTMVP-based picture or video coding | |
KR20190067577A (en) | Apparatus and method for encoding and decoding of data | |
WO2016193949A1 (en) | Advanced video coding method, system, apparatus and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |