KR102033078B1 - Method and Apparatus for Processing Image based on Image Quality - Google Patents

Method and Apparatus for Processing Image based on Image Quality Download PDF

Info

Publication number
KR102033078B1
KR102033078B1 KR1020170142848A KR20170142848A KR102033078B1 KR 102033078 B1 KR102033078 B1 KR 102033078B1 KR 1020170142848 A KR1020170142848 A KR 1020170142848A KR 20170142848 A KR20170142848 A KR 20170142848A KR 102033078 B1 KR102033078 B1 KR 102033078B1
Authority
KR
South Korea
Prior art keywords
image
image quality
information
quality
target image
Prior art date
Application number
KR1020170142848A
Other languages
Korean (ko)
Other versions
KR20190048196A (en
Inventor
나태영
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170142848A priority Critical patent/KR102033078B1/en
Publication of KR20190048196A publication Critical patent/KR20190048196A/en
Application granted granted Critical
Publication of KR102033078B1 publication Critical patent/KR102033078B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예는 딥러닝을 이용한 초고해상도 영상 복원 기법 수행 시 영상의 화질 수준을 측정하고, 측정결과에 따라 서로 다른 학습 모델을 적용함으로써 영상의 해상도 뿐만 아니라 품질 상태까지 고려된 결과가 도출될 수 있도록 하며, 이를 통해 사용자로 하여금 보다 자연스럽고 선명한 영상을 제공받을 수 있도록 하는 영상 처리방법 및 그 장치에 관한 것이다.In this embodiment, the image quality level of the image is measured when the deep reconstruction technique using deep learning is performed, and different learning models are applied according to the measurement results, so that the result considering not only the image resolution but also the quality state can be derived. In addition, the present invention relates to an image processing method and apparatus for allowing a user to receive a more natural and clear image.

Figure R1020170142848
Figure R1020170142848

Description

화질 측정 기반 영상 처리방법 및 그 장치{Method and Apparatus for Processing Image based on Image Quality}Image processing method based on image quality measurement and its device {Method and Apparatus for Processing Image based on Image Quality}

본 실시예는 화질 측정 기반 영상 처리방법 및 그 장치에 관한 것이다. 더욱 상세하게는, 딥러닝을 이용한 초고해상도 영상 복원 기법 수행 시 영상의 품질 수준을 고려하여 적절한 학습 모델이 적용될 수 있도록 하는 화질 측정 기반 영상 처리방법 및 그 장치에 관한 것이다.The present embodiment relates to an image processing method and an apparatus thereof. More specifically, the present invention relates to an image quality measurement based image processing method and apparatus for applying an appropriate learning model in consideration of the quality level of an image when performing an ultra high resolution image reconstruction using deep learning.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute a prior art.

최근, 디스플레이의 대화면화 및 고해상도화 추세에 따라 저해상도 영상을 고화질의 고해상도 영상으로 변환하기 위한 업 스케일링(UP-Scaling) 기법의 중요성이 점차 증가하고 있으며, 그 중 하나로 초고해상도(SR: Super-Resolution) 영상 복원 기법이 사용되고 있다.Recently, the importance of the UP-Scaling technique for converting low resolution images into high definition images has been gradually increased according to the trend of large screens and high resolution of displays. ) Image reconstruction technique is used.

전형적인 초고해상도 영상 복원 기법(이하, SR 기법으로 예시하여 설명하도록 한다.)은 여러 장의 저해상도 영상들을 정합하여 하나의 초고해상도 영상을 복원해내는 기법을 말한다. 하지만, 이런 SR 기법은 움직임 보상 기반 정합을 위해 방대한 연산량을 요구한다는 문제점이 존재한다. 혹은, 초해상화 되는 화소 위치 주변 몇 개의 화소값들을 사용하여 새로운 화소값을 생성하는 Bicubic 보간 방법을 사용하기도 하나, 이러한 기법은 주변 화소값들만을 활용하기 때문에 초해상화 후의 영상이 화질이 떨어질 수 있는 문제점이 역시 존재한다A typical ultra high resolution image reconstruction technique (hereinafter referred to as an SR technique) is a technique for reconstructing a single super resolution image by matching several low resolution images. However, there is a problem that this SR technique requires a large amount of computation for motion compensation based matching. Alternatively, a bicubic interpolation method may be used to generate a new pixel value using several pixel values around the pixel position to be super-resolution. However, this technique uses only the neighboring pixel values. There can be problems too

최근 들어, 초해상화 성능을 획기적으로 향상시킬 수 있는 학습 기반(ex: Deep Learning)의 SR 기법이 사용되고 있다. 학습 기반의 SR 기법은 입력된 저해상도 영상에 대해 학습 단계에서 구축한 학습 데이터를 이용하여 고해상도 영상을 생성함으로써 영상 복원 과정이 보다 원활하게 수행될 수 있도록 하는 효과가 있다. 하지만 이러한, 종래의 학습 기반 SR 기법을 실제 IPTV와 같은 멀티미디어 서비스에 적용하는 경우, CP(Contents Provider)들이 공급하는 영상의 화질이 크게 상이하여 학습의 효과가 떨어지게 되며 결국 최종적으로 초해상화된 영상의 화질이 떨어지는 문제가 발생할 수 있다.Recently, a deep learning (SR) technique that can dramatically improve super resolution performance has been used. The learning-based SR technique has an effect of performing an image reconstruction process more smoothly by generating a high resolution image using the learning data constructed in the learning step on the input low resolution image. However, when the conventional learning-based SR technique is applied to a multimedia service such as an IPTV, the image quality provided by content providers (CPs) is significantly different, resulting in a poor learning effect. May cause a problem of poor image quality.

이에, 학습 기반의 SR 기법을 이용한 영상 복원 절차 수행 시 영상의 해상도뿐만 아니라 품질 상태까지 고려한 학습 결과를 활용하여 보다 자연스러운 복원 영상의 획득이 가능토록 하는 새로운 기술을 필요로 한다.Therefore, when performing an image restoration procedure using a learning-based SR technique, a new technique is required to obtain a more natural reconstructed image by using a learning result considering not only the resolution but also the quality state of the image.

본 실시예는 딥러닝을 이용한 초고해상도 영상 복원 기법 수행 시 영상의 화질 수준을 측정하고, 측정결과에 따라 서로 다른 학습 모델을 적용함으로써 영상의 해상도 뿐만 아니라 품질 상태까지 고려된 결과가 도출될 수 있도록 하며, 이를 통해 사용자로 하여금 보다 자연스럽고 선명한 영상을 제공받을 수 있도록 하는 데 그 목적이 있다.In this embodiment, the image quality level of the image is measured when the deep reconstruction technique using deep learning is performed, and different learning models are applied according to the measurement results, so that the result considering not only the image resolution but also the quality state can be derived. The purpose of this is to enable the user to receive a more natural and clear image.

본 실시예는, 영상의 화질 개선을 위한 영상 처리장치에 있어서, 상기 화질 개선의 대상이 되는 대상 영상에 대한 화질을 측정하는 측정부; 화질 상태에 따라 분류된 화질 정보별로 상기 화질 개선과 관련하여 기 학습된 학습 데이터를 저장하는 학습부; 및 상기 대상 영상의 화질 측정결과 및 상기 화질 정보별 상기 학습 데이터에 기반하여 상기 대상 영상에 대한 화질 개선을 수행하는 제어부를 포함하는 것을 특징으로 하는 영상 처리장치를 제공한다.According to an embodiment, there is provided an image processing apparatus for improving an image quality of an image, comprising: a measuring unit measuring an image quality of a target image to be improved in quality; A learner configured to store training data previously learned in association with the improvement of the image quality for each of the image quality information classified according to the image quality state; And a controller configured to improve image quality of the target image based on a result of measuring the image quality of the target image and the training data for each of the image quality information.

또한, 본 실시예의 다른 측면에 의하면, 영상 처리장치의 영상 화질 개선방법에 있어서, 상기 화질 개선의 대상이 되는 대상 영상의 화질을 측정하는 과정; 화질 정보별 상기 화질 개선과 관련하여 기 학습된 학습 데이터를 저장한 학습 모델 및 상기 대상 영상의 화질 측정결과에 기반하여 상기 대상 영상에 대응되는 보간 파라미터 정보를 산출하는 과정; 및 상기 보간 파라미터 정보를 활용하여 상기 대상 영상에 대한 화질 개선을 수행하는 과정을 포함하는 것을 특징으로 하는 영상 화질 개선방법을 제공한다.In addition, according to another aspect of the present invention, the image quality improving method of the image processing apparatus, comprising: measuring the image quality of the target image to be the target of the image quality improvement; Calculating interpolation parameter information corresponding to the target image based on a learning model storing pre-trained training data related to the improvement of the image quality for each image quality information and a result of measuring the image quality of the target image; And improving image quality of the target image by using the interpolation parameter information.

본 실시예에 따르면, 딥러닝을 이용한 초고해상도 영상 복원 기법 수행 시 영상의 화질 수준을 측정하고, 측정결과에 따라 서로 다른 학습 모델을 적용함으로써 영상의 해상도 뿐만 아니라 품질 상태까지 고려된 결과가 도출될 수 있도록 하며, 이를 통해 사용자로 하여금 보다 자연스럽고 선명한 영상을 제공받을 수 있도록 하는 효과가 있다.According to the present embodiment, when performing the ultra-high resolution image reconstruction using deep learning, the image quality level of the image is measured, and different learning models are applied according to the measurement result, and the result considering the image quality as well as the resolution of the image may be derived. This allows the user to be provided with a more natural and clear image.

도 1은 본 실시예에 따른 영상 처리장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 측정부를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 대상 영상의 화질 측정을 위한 입력 신호를 설명하기 위한 예시도이다.
도 4는 본 실시예에 따른 영상 처리장치의 동작을 설명하기 위한 예시도이다.
도 5는 본 실시예에 따른 영상 처리방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 영상 처리방법의 효과를 설명하기 위한 예시도이다.1 is a block diagram schematically illustrating an image processing apparatus according to an exemplary embodiment.
2 is a block diagram schematically showing a measurement unit according to the present embodiment.
3 is an exemplary diagram for describing an input signal for measuring an image quality of a target image according to an exemplary embodiment.
4 is an exemplary diagram for describing an operation of the image processing apparatus according to the present embodiment.
5 is a flowchart illustrating an image processing method according to the present embodiment.
6 is an exemplary view for explaining the effect of the image processing method according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 영상 처리장치를 개략적으로 나타낸 블록 구성도이다.1 is a block diagram schematically illustrating an image processing apparatus according to an exemplary embodiment.

본 실시예에 따른 영상 처리장치(100)는 학습 기반의 SR 기법을 이용하여 영상 복원 절차를 수행하는 장치를 의미한다. 보다 자세하게는, 본 실시예에 따른, 영상 처리장치(100)는 영상 복원 절차 수행 시 영상의 화질 수준을 측정하고, 측정결과와 유사한 화질의 영상들로 기 학습되어 도출된 보간 파라미터 정보를 적용함으로써 영상의 해상도뿐만 아니라 품질 상태까지 고려된 결과가 도출될 수 있도록 하며, 이를 통해 사용자로 하여금 보다 자연스럽고 선명한 영상을 제공받을 수 있도록 동작한다.The image processing apparatus 100 according to the present embodiment refers to an apparatus for performing an image reconstruction procedure using a learning-based SR technique. More specifically, the image processing apparatus 100 according to the present exemplary embodiment measures the image quality level of an image when performing an image reconstruction procedure, and applies interpolation parameter information previously learned and derived from images having image quality similar to the measurement result. The result of considering not only the resolution but also the quality of the image can be derived, and thus the user can receive a more natural and clear image.

이러한, 영상 처리장치(100)는 바람직하게는 IPTV 또는 모바일 멀티미디어 서비스 분야에 적용될 수 있으며, 이 경우, FHD급으로 제작된 디지털 방송 컨텐츠를 보다 고화질 및 고해상도 예컨대, UHD급으로 제공 가능한 효과가 있다.Such an image processing apparatus 100 may be preferably applied to the field of IPTV or mobile multimedia service. In this case, the digital broadcasting content produced in the FHD level may be provided in higher definition and higher resolution, for example, in the UHD level.

이하에서는 본 실시예에 따른 영상 처리장치(100)가 IPTV 서비스 분야에서 적용된 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다.Hereinafter, the image processing apparatus 100 according to the present exemplary embodiment will be described as being applied in the IPTV service field, but is not necessarily limited thereto.

본 실시예에 따른 영상 처리장치(100)는 통신부(110), 측정부(120), 학습부(130) 및 제어부(140)를 포함한다. 이때, 본 실시예에 따른 영상 처리장치(100)에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다.The image processing apparatus 100 according to the present exemplary embodiment includes a communication unit 110, a measuring unit 120, a learning unit 130, and a controller 140. In this case, components included in the image processing apparatus 100 according to the present embodiment are not necessarily limited thereto.

통신부(110)는 영상 복원 절차를 수행하는 과정에서 필요한 정보들을 송수신하는 장치를 의미한다. 이러한, 통신부(110)는 실시예에 따른 측정부(120)의 구성요소로서 포함되는 형태로 구현될 수 있다.The communication unit 110 refers to an apparatus for transmitting and receiving information necessary in the process of performing an image restoration procedure. Such a communication unit 110 may be implemented in a form included as a component of the measurement unit 120 according to an embodiment.

본 실시예에 따른 통신부(110)는 컨텐츠 제공장치(미도시)와 통신을 수행하고, 컨텐츠 제공장치로부터 영상 관련정보를 수신한다. 한편, 컨텐츠 제공장치는 IPTV 또는 모바일 멀티미디어 서비스를 위한 영상이 저장되어 있는 서버를 의미한다.The communication unit 110 according to the present embodiment communicates with a content providing device (not shown) and receives image related information from the content providing device. Meanwhile, the content providing apparatus refers to a server in which an image for IPTV or mobile multimedia service is stored.

이하, 도 3을 참조하여, 본 실시예에 따른 통신부(110)가 컨텐츠 제공장치로부터 수신하는 영상 관련정보(=대상 영상의 화질 측정을 위한 입력 신호)에 대해 설명하도록 한다.Hereinafter, referring to FIG. 3, image related information (= input signal for measuring image quality of a target image) received by the communication unit 110 according to the present embodiment from a content providing apparatus will be described.

통신부(110)는 컨텐츠 제공장치로부터 영상 복원 즉, 화질 개선의 대상이 되는 대상 영상을 수신한다. 본 실시예에 있어서, 통신부(110)는 컨텐츠 제공장치로부터 비트스트림 형태로 전송되는 대상 영상을 수신한다.The communication unit 110 receives a target image, which is an object of image restoration, that is, image quality improvement, from the content providing apparatus. In the present embodiment, the communication unit 110 receives a target image transmitted in the form of a bitstream from the content providing device.

통신부(110)가 컨텐츠 제공장치로부터 제공받는 대상 영상의 비트스트림은 컨텐츠 제공장치의 선 스케일링 수행 동작에 따라 생성된 비트스트림일 수 있다. 예컨대, 대상 영상의 비트스트림은 컨텐츠 제공장치의 트랜스코더(Transcoder)를 통해 생성된 H.264/HEVC 포맷의 비트스트림일 수 있다.The bitstream of the target image provided by the communication unit 110 from the content providing apparatus may be a bitstream generated according to the line scaling performed by the content providing apparatus. For example, the bitstream of the target image may be a bitstream of an H.264 / HEVC format generated through a transcoder of a content providing device.

또한, 통신부(110)는 컨텐츠 제공장치로부터 대상 영상의 비트스트림에 대한 트랜스코딩 과정에서 산출된 복호화 정보를 수신한다. 이때, 대상 영상의 비트스트림에 대한 복호화 정보는 양자화 파라미터(QP), 비트레이트(Bitrate), 움직임 정도(Motion Vector) 및 인코딩 관련정보가 수집될 수 있으나 반드시 이에 한정되는 것은 아니다. 예컨대, 통신부(110)는 상기의 복호화 정보로서, 잔여 오차(Residual), 블록킹(Blocking) 정도, 비트 에러(Bit Error), 패킷 손실(Paket loss), 지연(Delay), 지터링(Jittering) 등을 추가로 수집할 수도 있다.In addition, the communication unit 110 receives the decoding information calculated in the transcoding process for the bitstream of the target image from the content providing device. In this case, the decoding information of the bitstream of the target image may include quantization parameter (QP), bitrate, motion vector, and encoding related information, but is not limited thereto. For example, the communication unit 110 may use the decoding information as the residual error, the blocking degree, the bit error, the packet loss, the delay, the jittering, or the like. You can also collect additional.

다른 실시예에서, 통신부(110)는 컨텐츠 제공장치로부터 트랜스코딩되기 이전의 비트스트림 예컨대, MPEG2 TS 포맷의 비트스트림을 수신할 수도 있다.In another embodiment, the communication unit 110 may receive a bitstream, for example, a bitstream of MPEG2 TS format before being transcoded from the content providing device.

통신부(110)는 컨텐츠 제공장치로부터 수신한 영상 관련정보를 측정부(120)로 전달한다.The communication unit 110 transmits the image related information received from the content providing device to the measurement unit 120.

측정부(120)는 대상 영상에 대한 화질(=품질)을 측정하는 장치를 의미한다.The measurement unit 120 refers to a device that measures an image quality (= quality) of a target image.

측정부(120)는 대상 영상에 대한 원본 영상의 수집 여부에 따라 전기준법(Full-Reference), 부분기준법(Reduced-Reference) 및 무기준법(No-Reference) 등과 같은 다양한 기준법을 활용하여 대상 영상에 대한 화질을 측정할 수 있다.The measurement unit 120 uses various reference methods, such as full-reference, reduced-reference, and no-reference, depending on whether the original image of the target image is collected. Image quality can be measured.

한편, 본 실시예에서는 영상 처리장치(100)가 IPTV 또는 모바일 멀티미디어 서비스 분야에 적용된 것으로 예시하여 설명하고 있으며, 이에, 측정부(120)가 무기준법을 활용하여 대상 영상에 대한 화질을 측정하는 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다. 무기준법은 원본 영상 정보가 필요 없으며, 대상 영상을 평가하기 위한 특정 기준을 설정하여 대상 영상에 대한 품질을 평가하는 방법이다.Meanwhile, in the present exemplary embodiment, the image processing apparatus 100 is described as being applied to the field of IPTV or mobile multimedia service. Thus, the measurement unit 120 measures the image quality of the target image by using the non-standard method. Illustrated by way of example, but is not necessarily limited thereto. The non-standard method does not need the original image information, and sets a specific criterion for evaluating the target image to evaluate the quality of the target image.

측정부(120)는 무기준법에 따라 대상 영상의 화질을 측정하는 데 있어서, 컨텐츠 제공장치로부터 수신한 영상 관련정보 보다 자세하게는, 대상 영상의 비트스트림을 트랜스코딩하는 과정에서 산출된 정보 중 일부 또는 전부를 활용한다.In measuring the image quality of the target image according to the non-standard method, the measurement unit 120 may further include some of the information calculated in the process of transcoding the bitstream of the target image, in more detail than the image related information received from the content providing apparatus. Take advantage of everything.

이하, 도 2를 참조하여, 본 실시예에 따른 측정부(120)가 무기준법에 따라 대상 영상의 화질을 측정하는 방법에 대해 설명하도록 한다. 한편, 도 2는 본 실시예에 따른 측정부(120)가 무기준법에 따라 대상 영상의 화질을 측정 시의 그 구현 형태를 예시한 블록도이다.Hereinafter, a method of measuring the image quality of the target image by the measurement unit 120 according to the present embodiment will be described with reference to FIG. 2. FIG. 2 is a block diagram illustrating an embodiment of the measurement unit 120 when measuring the image quality of the target image according to the non-standard method.

도 2에 도시하듯이, 본 실시예에 따른 측정부(120)는 제1 프로세서(200), 디코더(210), 제2 프로세서(220) 및 제3 프로세서(230)를 포함한다.As shown in FIG. 2, the measurement unit 120 according to the present embodiment includes a first processor 200, a decoder 210, a second processor 220, and a third processor 230.

제1 프로세서(200)는 컨텐츠 제공장치가 대상 영상의 비트스트림(ex: MPEG2 TS 비트스트림)을 트랜스코딩하는 과정에서 산출된 해당 비트스트림의 복호화 정보를 수신하고, 이를 기준 값으로 활용하여 대상 영상에 대한 품질을 평가한다.The first processor 200 receives decoding information of the corresponding bitstream calculated in the process of transcoding a bitstream (eg, MPEG2 TS bitstream) of the target video by the content providing apparatus, and utilizes this as a reference value to target video. Evaluate the quality for

디코더(210)는 컨텐츠 제공장치에 의해 트랜스코딩된 비트스트림(ex: H.264/HEVC 비트스트림)을 수신하고, 수신한 비트스트림을 복호화하여 해당 비트스트림에 대한 복호화 정보를 산출한다. 마찬가지로, 트랜스코딩된 비트스트림에 대한 복호화 정보로는 양자화 파라미터(QP), 비트레이트(Bitrate), 움직임 정도(Motion Vector) 및 인코딩 관련정보 등이 포함될 수 있다. 한편, 디코더(210)는 그 효율성 등을 이유로, 트랜스코딩된 비트스트림에 대하여 부분적 복호화를 수행하고, 이를 통해, 상기의 정보만을 산출하는 형태로 구현될 수 있다.The decoder 210 receives a bitstream (eg, an H.264 / HEVC bitstream) transcoded by the content providing apparatus, and decodes the received bitstream to calculate decoding information for the corresponding bitstream. Similarly, decoding information on the transcoded bitstream may include a quantization parameter (QP), a bitrate, a motion vector, encoding related information, and the like. Meanwhile, the decoder 210 may be implemented in a form of partially decoding the transcoded bitstream and calculating only the above information based on the efficiency.

제2 프로세서(220)는 디코터(210)로부터 산출된 복호화 정보를 수신하고, 이를 기준 값으로 활용하여 대상 영상에 대한 품질을 평가한다.The second processor 220 receives the decoded information calculated from the decoder 210 and uses this as a reference value to evaluate the quality of the target image.

한편, 제1 프로세서(200) 및 제2 프로세서(220)가 각각 수집된 복호화 정보들을 활용하여 대상 영상에 대한 품질을 평가하는 방법은 종래의 무기준법에서 기준 정보를 활용하여 대상 영상에 대한 품질을 평가하는 방법과 동일하며, 이에 자세한 설명은 생략하도록 한다. 예컨대, 제1 프로세서(200) 및 제2 프로세서(220)는 수집된 복호화 정보에 포함된 요소들과 MOS(Mean Opinion Score)간의 관계를 선형 회귀(Linear Regression) 방법을 이용하여 모델링하는 방식을 통해 대상 영상에 대한 품질을 평가할 수 있다.In the meantime, the method for evaluating the quality of the target image by using the decoded information collected by the first processor 200 and the second processor 220 may use the reference information in the conventional non-standard method to determine the quality of the target image. It is the same as the evaluation method, and detailed description thereof will be omitted. For example, the first processor 200 and the second processor 220 may model a relationship between elements included in the collected decoding information and a Mean Opinion Score (MOS) using a linear regression method. The quality of the target image may be evaluated.

제3 프로세서(230)는 제1 프로세서(200) 및 제2 프로세서(220)로부터 산출된 대상 영상에 대한 품질 결과를 수신하고, 이를 활용하여 대상 영상에 대한 품질을 평가할 수 있다. 예컨대, 제3 프로세서(230)는 제1 프로세서(200) 및 제2 프로세서(220)로부터 산출된 대상 영상에 대한 품질 값에 대한 평균을 취하거나, 둘 중 정확도가 높은 프로세서의 품질 값에 더 높은 가중치를 주는 방식 등을 통해 대상 영상의 품질을 평가할 수 있다.The third processor 230 may receive a quality result of the target image calculated from the first processor 200 and the second processor 220, and evaluate the quality of the target image by using the same. For example, the third processor 230 takes an average of the quality values for the target images calculated from the first processor 200 and the second processor 220, or the higher of the three processor 230 is higher than the quality value of the processor having the higher accuracy. The quality of the target image may be evaluated by weighting.

측정부(120)는 실시예에 따라 제1 프로세서(200), 제2 프로세서(220) 및 제3 프로세서(230) 중 어느 하나의 프로세서의 출력을 대상 영상의 품질 평가 결과로서 제어부(140)에 제공할 수 있다.According to an embodiment, the measurement unit 120 outputs the output of any one of the first processor 200, the second processor 220, and the third processor 230 to the controller 140 as a result of quality evaluation of the target image. Can provide.

다른 실시예에서, 측정부(120)는 컨텐츠 제공장치로부터 수신한 대상 영상의 비트스트림(ex: MPEG2 TS 비트스트림)을 복호화하고, 이를 통해 산출된 복호화 정보에 기반하여 대상 영상의 화질을 측정할 수도 있다. 예컨대, 측정부(120)는 산출된 복호화 정보를 제1 프로세서(200)의 입력값으로 제공하거나, 대상 영상의 비트스트림 내 사전에 책정된 대상 영상의 품질 평가정보가 포함되어 있는 경우 이를 활용하는 방식을 통해 대상 영상의 화질을 측정할 수 있다. 이를 위해, 측정부(120)는 대상 영상의 비트스트림을 수신하여 복화하는 복호화 수단 예컨대, 디코더를 구성요소로서 추가 포함할 수 있다.In another embodiment, the measurement unit 120 decodes a bitstream (eg, an MPEG2 TS bitstream) of the target image received from the content providing apparatus, and measures the image quality of the target image based on the decoded information calculated therefrom. It may be. For example, the measurement unit 120 provides the calculated decoding information as an input value of the first processor 200 or utilizes the quality evaluation information of the target image pre-determined in the bitstream of the target image. Through this method, the image quality of the target image can be measured. To this end, the measurement unit 120 may further include, as a component, decoding means for receiving and decoding the bitstream of the target image, for example, a decoder.

학습부(130)는 영상의 화질 개선과 관련한 정보들을 딥러닝 기법을 통해 선 학습하고, 이를 대상 영상의 화질 개선을 위한 기준 데이터로서 제공하는 장치를 의미한다.The learner 130 refers to a device that pre-learns information related to image quality improvement through a deep learning technique, and provides this as reference data for improving image quality of a target image.

한편, 종래의 경우 서로 유사한 해상도를 갖는 영상별로 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 학습 모델을 생성하였다. 하지만, 이 경우, CP들이 공급하는 영상의 화질이 크게 상이하여 학습의 효과가 떨어지게 되며 결국 최종적으로 초해상화된 영상의 화질이 떨어지는 문제가 발생할 수 있다.Meanwhile, in the related art, a learning model is generated by performing grouping for each image having a similar resolution and learning a result of performing a scaling procedure related to image quality improvement for each group. However, in this case, the quality of the images supplied by the CPs are greatly different, and thus the learning effect is lowered, and finally, the quality of the super-resolution image may be degraded.

이 점에 기인하여, 본 실시예에 따른 학습부(130)는 서로 유사한 해상도를 갖는 영상들을 다시 그 화질 상태에 따라 분류하여 화질 정보별 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 업 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 학습 모델을 생성한다.Due to this, the learning unit 130 according to the present embodiment classifies images having similar resolutions again according to their image quality state to perform grouping by image quality information, and upscaling procedure related to image quality improvement for each group. Create a learning model by learning the results of

즉, 본 실시예에 따른 학습부(130)는 화질 상태에 따라 분류된 화질 정보(Group)별로 화질 개선과 관련하여 기 학습된 학습 데이터를 저장하여 제공한다. 예컨대, 학습부(130)는 저화질, 중화질 및 고화질로 분류된 화질 정보별로 화질 개선 과정에서 학습된 학습 데이터를 저장할 수 있다.That is, the learner 130 according to the present embodiment stores and provides training data that has been previously learned in relation to image quality improvement for each image quality group classified according to the image quality state. For example, the learner 130 may store the learning data learned in the image quality improvement process for each image quality information classified into low quality, medium quality, and high quality.

한편, 학습부(130)가 화질 정보별로 화질 개선과 관련한 학습 데이터를 수집하는 방법은 종래의 해상도 정보별로 화질 개선과 관련한 학습 데이터를 수집하는 방법과 동일하며, 이에 자세한 설명은 생략하도록 한다. 예컨대, 학습부(130)는 화질 정보별로 최소근접(Nearestneighbor) 보간법, 양선형(Bilinear) 보간법, 큐빅 컨벌루션(Cubic-Convolution) 보간법, 큐빅 스플라인(Cubic-Spline) 보간법 중 어느 하나의 보간 기법을 수행한 결과에 따라 도출된 보간 파라미터 정보를 학습 데이터로서 수집할 수 있다. 이때, 보간 파라미터 정보는 컨볼루션 계수(Coefficient)일 수 있다.Meanwhile, the method of collecting the learning data related to the improvement of the image quality by the learning unit 130 is the same as the method of collecting the learning data related to the improvement of the image quality according to the conventional resolution information, and a detailed description thereof will be omitted. For example, the learner 130 performs interpolation of any one of the nearest neighbor interpolation method, bilinear interpolation method, cubic convolution interpolation method, cubic spline interpolation method, and the like for each image quality information. Interpolation parameter information derived according to one result may be collected as learning data. In this case, the interpolation parameter information may be a convolution coefficient.

제어부(140)는 대상 영상에 대한 영상 복원 절차를 수행하는 장치를 의미한다.The controller 140 refers to an apparatus for performing an image restoration procedure for the target image.

본 실시예에 따른 제어부(140)는 측정부(120)를 이용하여 측정된 대상 영상에 대한 화질 측정결과 및 학습부(130)에 저장된 화질 정보별 학습 데이터에 기반하여 대상 영상에 대한 화질 개선을 수행한다.The controller 140 according to the present exemplary embodiment may improve the image quality of the target image based on the image quality measurement result of the target image measured using the measurement unit 120 and the training data for each image quality information stored in the learner 130. Perform.

제어부(140)는 학습부(130) 내 기 분류된 화질 정보 중 대상 영상의 화질 측정결과에 상응하는 화질 정보를 선별하고, 선별된 화질 정보에 대하여 저장된 학습 데이터를 활용하여 대상 영상의 화질을 개선한다.The controller 140 selects image quality information corresponding to the image quality measurement result of the target image among the image quality information classified in the learner 130, and improves the image quality of the target image by using the stored learning data with respect to the selected image quality information. do.

예컨대, 제어부(140)는 대상 영상의 현재 화질 상태에 대응하여 산출된 보간 파라미터 정보를 대상 영상에 적용하고, 이를 통해, 복원 영상을 생성할 수 있다.For example, the controller 140 may apply interpolation parameter information calculated according to the current image quality state of the target image to the target image, and thereby generate a reconstructed image.

도 4는 본 실시예에 따른 영상 처리장치의 동작을 설명하기 위한 예시도이다.4 is an exemplary diagram for describing an operation of the image processing apparatus according to the present embodiment.

도 4에 도시하듯이, 본 실시예에 따른 영상 처리장치의 동작은 학습 단계 및 적용 단계로 구분될 수 있다.As shown in FIG. 4, the operation of the image processing apparatus according to the present exemplary embodiment may be divided into a learning step and an application step.

학습 단계는, 영상 처리장치(100)가 영상의 화질 개선과 관련한 정보들을 딥러닝 기법을 통해 선 학습하고, 이를, 대상 영상의 화질 개선을 위한 기준 데이터로서 제공하는 단계에 해당한다.The learning step corresponds to a step in which the image processing apparatus 100 pre-learns information related to image quality improvement through a deep learning technique, and provides this as reference data for image quality improvement of a target image.

이러한, 학습 단계에 있어서, 본 실시예에 따른 영상 처리장치(100)는 서로 유사한 해상도를 갖는 영상들을 화질 상태에 따라 분류하여 화질 정보별 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 학습 모델을 생성한다.In this learning step, the image processing apparatus 100 according to the present exemplary embodiment classifies images having similar resolutions according to image quality conditions and performs grouping by image quality information, and performs a scaling procedure related to image quality improvement for each group. The learning model is created by learning the results.

적용 단계는, 영상 처리장치(100)가 대상 영상의 화질 수준을 측정하고, 측정결과에 따라 적합한 학습 모델이 적용될 수 있도록 하는 단계에 해당한다.The applying step corresponds to the step of allowing the image processing apparatus 100 to measure the image quality level of the target image and to apply a suitable learning model according to the measurement result.

이러한, 적용 단계에 있어서, 본 실시예에 따른 영상 처리장치(100)는 무기준법을 활용하여 대상 영상에 대한 화질을 측정한다.In this application step, the image processing apparatus 100 according to the present exemplary embodiment measures the image quality of the target image by using a non-standard method.

영상 처리장치(100)는 학습 단계를 통해 생성된 학습 모델 내 대상 영상의 화질 측정결과에 상응하는 화질 정보를 선별하고, 선별된 화질 정보에 대하여 저장된 학습 데이터(ex: 보간 파라미터 정보)를 활용하여 대상 영상의 화질을 개선한다.The image processing apparatus 100 selects image quality information corresponding to the image quality measurement result of the target image in the learning model generated through the learning step, and uses the stored training data (ex: interpolation parameter information) on the selected image quality information. Improve the quality of the target video.

도 5는 본 실시예에 따른 영상 처리방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating an image processing method according to the present embodiment.

영상 처리장치(100)는 화질 개선의 대상이 되는 대상 영상의 화질을 측정한다(S502). 단계 S502에서 영상 처리장치(100)는 무기준법에 따라 대상 영상의 화질을 측정할 수 있다. 예컨대, 영상 처리장치(100)는 무기준법에 따라 대상 영상의 화질을 측정 시 대상 영상의 비트스트림을 트랜스코딩하는 과정에서 산출된 정보 중 일부 또는 전부를 기준 정보로서 활용할 수 있다.The image processing apparatus 100 measures the image quality of the target image to be improved in quality (S502). In operation S502, the image processing apparatus 100 may measure the image quality of the target image according to the non-standard method. For example, the image processing apparatus 100 may use some or all of the information calculated in the process of transcoding the bitstream of the target image when the image quality of the target image is measured according to the non-standard method.

영상 처리장치(100)는 기 저장된 학습 모델 내 단계 S502의 측정결과에 상응하는 화질 정보를 선별한다(S504).The image processing apparatus 100 selects image quality information corresponding to the measurement result of step S502 in the pre-stored learning model (S504).

영상 처리장치(100)는 단계 S504에서 선별된 화질 정보에 대하여 저장된 학습 데이터를 활용하여 대상 영상에 대응하는 보간 파라미터 정보를 산출한다(S506).The image processing apparatus 100 calculates interpolation parameter information corresponding to the target image by using the stored learning data with respect to the image quality information selected in step S504 (S506).

영상 처리장치(100)는 단계 S506에서 산출된 보간 파라미터 정보를 활용하여 대상 영상에 대한 화질 개선을 수행한다(S508).The image processing apparatus 100 performs image quality improvement on the target image using the interpolation parameter information calculated in step S506 (S508).

여기서, 단계 S502 내지 S508은 앞서 설명된 영상 처리장치(100)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.Here, steps S502 to S508 correspond to the operations of the respective elements of the image processing apparatus 100 described above, and thus, further detailed description thereof will be omitted.

도 5에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 5, each process is described as being sequentially executed, but is not necessarily limited thereto. In other words, since the process described in FIG. 5 may be applied by changing or executing one or more processes in parallel, FIG. 3 is not limited to the time series order.

전술한 바와 같이 도 5에 기재된 영상 처리방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.As described above, the image processing method described in FIG. 5 is a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.) implemented as a program and readable using software of a computer. Can be recorded.

도 6은 본 실시예에 따른 영상 처리방법의 효과를 설명하기 위한 예시도이다. 한편, 도 6의 (a)는 종래의 영상 처리방법에서 활용되는 학습 모델의 생성 과정을 예시하였으며, 도 6의 (b)는 본 실시예에 따른 영상 처리방법에서 활용되는 학습 모델의 생성 과정을 예시하였다.6 is an exemplary view for explaining the effect of the image processing method according to the present embodiment. 6A illustrates a process of generating a learning model used in a conventional image processing method, and FIG. 6B illustrates a process of generating a learning model used in an image processing method according to the present embodiment. Illustrated.

도 6의 (a)를 참조하면, 종래의 영상 처리방법에서 활용되는 학습 모델의 경우 서로 유사한 해상도를 갖는 영상별로 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 생성되는 것을 확인할 수 있다. Referring to (a) of FIG. 6, in the case of a learning model utilized in a conventional image processing method, grouping is performed for each image having similar resolutions, and a result of performing a scaling procedure related to image quality improvement for each group is learned. You can see that it is generated by the method.

반면, 도 6의 (b)를 참조하면, 본 실시예에 따른 영상 처리방법에서 활용되는 학습 모델의 경우 서로 유사한 해상도를 갖는 영상들을 다시 그 화질 상태에 따라 분류하여 화질 정보별 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 생성되는 것을 확인할 수 있다. 즉, 본 실시예에 따른 학습 모델을 활용하여 영상 복원 절차를 수행 시 영상의 해상도뿐만 아니라 품질 상태까지 고려한 결과가 도출될 수 있으며, 이를 통해, 보다 자연스러운 복원 영상의 획득이 가능토록 하는 효과가 있다.On the other hand, referring to Figure 6 (b), in the case of the learning model used in the image processing method according to the present embodiment to classify the image having a similar resolution to each other according to the image quality state to perform grouping by image quality information, It can be seen that the result of learning the result of performing the scaling procedure related to the image quality improvement for each group. That is, when performing the image restoration procedure using the learning model according to the present embodiment, the result of considering not only the resolution but also the quality state of the image may be derived, and thus, a more natural restoration image may be obtained. .

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those skilled in the art to which the present embodiment belongs may make various modifications and changes without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical idea of the present embodiment but to describe the present invention, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.

100: 영상 처리장치 110: 통신부
120: 측정부 130: 학습부
140: 제어부 200: 제1 프로세서
210: 디코더 220: 제2 프로세서
230: 제3 프로세서100: image processing apparatus 110: communication unit
120: measuring unit 130: learning unit
140: control unit 200: first processor
210: decoder 220: second processor
230: third processor

Claims (11)

영상의 화질 개선을 위한 영상 처리장치에 있어서,
상기 화질 개선의 대상이 되는 대상 영상에 대한 화질을 측정하는 측정부;
서로 유사한 해상도를 갖는 영상들을 화질 상태에 따라 저화질, 중화질 및 고화질로 분류한 화질 정보별 그룹 각각에 대하여 상기 화질 개선과 관련하여 기 학습된 학습 데이터를 저장하는 학습부;
상기 학습부 내 기 분류된 화질 정보 그룹 중 상기 대상 영상의 화질 측정결과에 상응하는 화질 정보 그룹을 선별하고, 선별된 화질 정보 그룹에 대하여 저장된 학습 데이터를 활용하여 상기 대상 영상의 화질을 개선하는 제어부
를 포함하는 것을 특징으로 하는 영상 처리장치.In the image processing apparatus for improving the image quality of the image,
A measuring unit measuring an image quality of the target image to be improved in quality;
A learner configured to store learning data previously learned in relation to the image quality improvement, for each group of image quality information classified into low, medium, and high quality images having similar resolutions according to image quality;
The controller selects an image quality information group corresponding to the image quality measurement result of the target image among the image quality information groups classified in the learning unit, and improves the image quality of the target image by using the stored learning data for the selected image quality information group.
Image processing apparatus comprising a. 제 1항에 있어서,
상기 측정부는,
상기 대상 영상의 비트스트림을 트랜스코딩하는 과정에서 산출되는 정보들을 활용하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 처리장치.The method of claim 1,
The measuring unit,
And an image quality of the target image is measured using information calculated in the process of transcoding the bitstream of the target image. 제 2항에 있어서,
상기 측정부는,
상기 트랜스코딩 과정 중 산출된 상기 비트스트림에 대한 복호화 정보 및 상기 트랜스코딩 과정을 거쳐 트랜스코딩된 비트스트림에 대하여 산출한 복호화 정보 중 일부 또는 전부에 기반하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 처리장치.The method of claim 2,
The measuring unit,
The image quality of the target image is measured based on some or all of the decoded information of the bitstream calculated during the transcoding process and the decoded information calculated for the transcoded bitstream through the transcoding process. Image processing apparatus. 제 3항에 있어서,
상기 측정부는,
상기 트랜스코딩된 비트스트림을 수신하고, 수신된 비트스트림에 대한 복호화를 수행하는 복호화 수단을 포함하는 것을 특징으로 하는 영상 처리장치.The method of claim 3,
The measuring unit,
And decoding means for receiving the transcoded bitstream and decoding the received bitstream. 제 1항에 있어서,
상기 측정부는,
상기 대상 영상의 비트스트림을 수신하여 복호화하는 복호화 수단을 포함하고, 상기 복호화 수단을 통해 산출된 상기 비트스트림의 복호화 정보에 기반하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 처리장치.The method of claim 1,
The measuring unit,
And decoding means for receiving and decoding a bitstream of the target image, and measuring image quality of the target image based on decoding information of the bitstream calculated by the decoding means. 제 1항에 있어서,
상기 학습부는,
상기 화질 정보별 그룹 각각에 대하여 화질 개선 과정에서 도출된 보간 파라미터 정보를 학습하여 저장하는 것을 특징으로 하는 영상 처리장치.The method of claim 1,
The learning unit,
And interpolation parameter information derived in the image quality improvement process is stored for each group of the image quality information. 삭제delete 영상 처리장치의 영상 화질 개선방법에 있어서,
상기 화질 개선의 대상이 되는 대상 영상의 화질을 측정하는 과정;
서로 유사한 해상도를 갖는 영상들을 화질 상태에 따라 저화질, 중화질 및 고화질로 분류한 화질 정보별 그룹 각각에 대하여 상기 화질 개선과 관련하여 기 학습된 학습 데이터를 저장한 학습 모델 및 상기 대상 영상의 화질 측정결과에 기반하여 상기 학습 모델 내 기 분류된 화질 정보 그룹 중 상기 대상 영상의 화질 측정결과에 상응하는 화질 정보 그룹을 선별하고, 선별된 화질 정보 그룹에 대하여 저장된 학습 데이터를 활용하여 상기 대상 영상에 대응되는 보간 파라미터 정보를 산출하는 과정; 및
상기 보간 파라미터 정보를 활용하여 상기 대상 영상에 대한 화질 개선을 수행하는 과정
을 포함하는 것을 특징으로 하는 영상 화질 개선방법.In the image quality improving method of the image processing apparatus,
Measuring an image quality of a target image to be improved in quality;
The image quality of the target image and the learning model storing the training data previously learned in connection with the improvement of the image quality for each group of image quality information classified into low, medium, and high quality images having similar resolutions according to the image quality. Based on the result, the image quality information group corresponding to the image quality measurement result of the target image is selected from among the image quality information groups classified in the learning model, and corresponding to the target image by using the stored training data for the selected image quality information group. Calculating interpolated parameter information; And
A process of performing image quality improvement on the target image by using the interpolation parameter information.
Image quality improvement method comprising the. 제 8항에 있어서,
상기 측정하는 과정은,
상기 대상 영상의 비트스트림을 트랜스코딩하는 과정에서 산출되는 정보들을 활용하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 화질 개선방법.The method of claim 8,
The measuring process,
And measuring the image quality of the target image using information calculated in the process of transcoding the bitstream of the target image. 제 9항에 있어서,
상기 측정하는 과정은,
상기 트랜스코딩 과정 중 산출된 상기 비트스트림에 대한 복호화 정보 및 상기 트랜스코딩 과정을 거쳐 트랜스코딩된 비트스트림에 대하여 산출한 복호화 정보 중 일부 또는 전부에 기반하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 화질 개선방법.The method of claim 9,
The measuring process,
The image quality of the target image is measured based on some or all of the decoded information of the bitstream calculated during the transcoding process and the decoded information calculated for the transcoded bitstream through the transcoding process. How to improve image quality. 삭제delete
KR1020170142848A 2017-10-30 2017-10-30 Method and Apparatus for Processing Image based on Image Quality KR102033078B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170142848A KR102033078B1 (en) 2017-10-30 2017-10-30 Method and Apparatus for Processing Image based on Image Quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170142848A KR102033078B1 (en) 2017-10-30 2017-10-30 Method and Apparatus for Processing Image based on Image Quality

Publications (2)

Publication Number Publication Date
KR20190048196A KR20190048196A (en) 2019-05-09
KR102033078B1 true KR102033078B1 (en) 2019-10-16

Family

ID=66545490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170142848A KR102033078B1 (en) 2017-10-30 2017-10-30 Method and Apparatus for Processing Image based on Image Quality

Country Status (1)

Country Link
KR (1) KR102033078B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022197001A1 (en) * 2021-03-16 2022-09-22 +Samsung Electronics Co., Ltd. Method and electronic device for removing artifact in high resolution image

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210019835A (en) 2019-08-13 2021-02-23 한국전자통신연구원 Apparatus and method for generating super resolution inmage using orientation adaptive parallel neural networks
KR20210067699A (en) 2019-11-29 2021-06-08 삼성전자주식회사 Electronic apparatus and control method thereof
EP4184425A4 (en) * 2021-01-27 2024-02-21 Samsung Electronics Co Ltd Image processing apparatus and operating method thereof
KR20220108610A (en) * 2021-01-27 2022-08-03 삼성전자주식회사 Image processing apparatus and operating method for the same
KR20220124528A (en) * 2021-03-03 2022-09-14 삼성전자주식회사 Apparatus and method for correcting image based on image compression quality in electronic device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102186A (en) * 2003-09-05 2005-04-14 Matsushita Electric Ind Co Ltd Device and method for processing video stream
JP2015201819A (en) * 2014-04-10 2015-11-12 株式会社東芝 Image quality improvement system, image quality improvement method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102186A (en) * 2003-09-05 2005-04-14 Matsushita Electric Ind Co Ltd Device and method for processing video stream
JP2015201819A (en) * 2014-04-10 2015-11-12 株式会社東芝 Image quality improvement system, image quality improvement method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022197001A1 (en) * 2021-03-16 2022-09-22 +Samsung Electronics Co., Ltd. Method and electronic device for removing artifact in high resolution image

Also Published As

Publication number Publication date
KR20190048196A (en) 2019-05-09

Similar Documents

Publication Publication Date Title
KR102033078B1 (en) Method and Apparatus for Processing Image based on Image Quality
US11310509B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
US11252417B2 (en) Image data processing
TWI624804B (en) A method and system for providing high resolution image through super-resolution reconstrucion
TWI505694B (en) Encoder and method
KR20210050186A (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
EP3176749A2 (en) Efficient image processing on content-adaptive pq signal domain
CN113196761A (en) Method and device for evaluating subjective quality of video
JPWO2010095471A1 (en) Multi-view image encoding method, multi-view image decoding method, multi-view image encoding device, multi-view image decoding device, multi-view image encoding program, and multi-view image decoding program
CA2842438A1 (en) Signal processing and tiered signal encoding
JP2019075783A (en) Method and encoder for encoding video stream in video coding format supporting auxiliary frames
WO2022111631A1 (en) Video transmission method, server, terminal, and video transmission system
US10284857B2 (en) Method and apparatus for evaluating video quality
Meardi et al. MPEG-5 part 2: Low complexity enhancement video coding (LCEVC): Overview and performance evaluation
JP2011522496A (en) Image coding method by texture synthesis
JP3521412B2 (en) Apparatus and method for encoding orientation interpolation node
KR102287942B1 (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image using pre-processing
Göring et al. Cencro-speedup of video quality calculation using center cropping
KR20210056179A (en) AI encoding apparatus and operating method for the same, and AI decoding apparatus and operating method for the same
Huang et al. A cloud computing based deep compression framework for UHD video delivery
Ghouse et al. Neural image compression with a diffusion-based decoder
KR101703330B1 (en) Method and apparatus for re-encoding an image
CN112740687A (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
Saha et al. Perceptual video quality assessment: The journey continues!
Duanmu et al. Characterizing generalized rate-distortion performance of video coding: An eigen analysis approach

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant