KR102352077B1 - 고속 동영상 부호화 방법 및 시스템 - Google Patents

고속 동영상 부호화 방법 및 시스템 Download PDF

Info

Publication number
KR102352077B1
KR102352077B1 KR1020200109816A KR20200109816A KR102352077B1 KR 102352077 B1 KR102352077 B1 KR 102352077B1 KR 1020200109816 A KR1020200109816 A KR 1020200109816A KR 20200109816 A KR20200109816 A KR 20200109816A KR 102352077 B1 KR102352077 B1 KR 102352077B1
Authority
KR
South Korea
Prior art keywords
index
image quality
image
auxiliary
measured
Prior art date
Application number
KR1020200109816A
Other languages
English (en)
Inventor
위영철
이무재
Original Assignee
주식회사 핀그램
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀그램 filed Critical 주식회사 핀그램
Priority to KR1020200109816A priority Critical patent/KR102352077B1/ko
Application granted granted Critical
Publication of KR102352077B1 publication Critical patent/KR102352077B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

고속 동영상 부호화 방법 및 그 시스템이 개시된다.
상기 고속 동영상 부호화 방법은 고속 동영상 부호화 시스템이 동영상의 부호화를 위해 상기 동영상의 일정구간 동안은 상기 일정구간에 상응하는 구간 동영상에 포함되는 프레임 영상별로, 원본 영상과 상기 원본 영상이 부호화된 부호화 영상의 복원영상에 기초하여 측정되는 화질지표를 측정하고, 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 프로세스를 수행하는 단계, 상기 고속 동영상 부호화 시스템이 상기 일정구간의 다음 구간인 차기 구간부터는 차기구간 동영상에 포함되는 프레임 영상별로 소정의 보조지표를 측정하고 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계를 포함하며, 상기 보조지표는 화질의 측정을 위해 복원영상을 이용하되 상기 화질지표보다는 연산시간이 짧은 지표이거나, 복원영상을 미사용하면서 원본영상으로만 측정할 수 있는 지표인 것을 특징으로 한다.

Description

고속 동영상 부호화 방법 및 시스템{Method and system for high speed video encoding}
본 발명은 고속 동영상 부호화 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 목표하는 수준 정도의 화질을 유지하면서도 상대적으로 빠른 시간내에 동영상을 부호화하는 방법 및 시스템에 관한 것이다.
본 발명은 경기도 기술개발사업(D191986)의 지원에 의해 개발된 발명이다.
인터넷과 같은 네트워크를 통해 비디오 스트리밍 등의 요구가 증대됨에 따라, 동영상의 화질과 서비스 속도 모두가 중요한 요소로 취급되고 있다.
일반적으로 동영상의 화질을 보장하기 위해서는 부호화된 영상(프레임)별로 복호화를 통해 영상을 복원한 뒤에 복원영상과 원본영상을 이용하여 소정의 방식으로 화질을 측정하고, 이렇게 측정된 화질을 통해 화질이 나쁜 경우에는 화질을 좀 더 높일 수 있도록 부호화를 수행하고 화질이 충분히 좋은 경우에는 화질을 유지하거나 좀 더 낮출 수 있도록 부호화를 수행하는 것이 이상적인 방식일 수 있다.
하지만 부호화를 하기 위한 원본영상에 대해 부호화를 진행하면서 프레임별로 부호화된 영상을 다시 복호화하여 영상을 복원한 후 화질을 측정하는 경우에는, 복원영상을 획득하는데 소요되는 시간과 리소스가 상대적으로 커서 고속으로 부호화를 수행하기가 힘들다는 단점이 있다.
또한 단순히 부호화된 영상을 복원하지 않고 화질을 나타낼 수 있는 소정의 복잡도 지표(예컨대, 분산(Variance))로 간접적으로 추측하는 경우에는 실제 화질과 추측된 화질의 차이로 인해 서비스 품질에 문제가 될 수 있다.
한국공개특허 10-2020-0016879호 "영상을 부호화/복호화 하는 방법 및 그 장치"
본 발명이 이루고자 하는 기술적인 과제는 목표로 하는 화질을 일정 수준 보장할 수 있으면서도 빠른 시간 내에 동영상을 부호화할 수 있는 방법 및 이를 위한 시스템에 관한 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 고속 동영상 부호화 방법은 고속 동영상 부호화 시스템이 동영상의 부호화를 위해 상기 동영상의 일정구간 동안은 상기 일정구간에 상응하는 구간 동영상에 포함되는 프레임별로, 원본 영상과 상기 원본 영상이 부호화된 부호화 영상의 복원영상에 기초하여 측정되는 화질지표를 측정하고, 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 프로세스를 수행하는 단계, 상기 고속 동영상 부호화 시스템이 상기 일정구간의 다음 구간인 차기 구간부터는 차기구간 동영상에 포함되는 프레임별로 소정의 보조지표를 측정하고 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계를 포함하며, 상기 보조지표는 화질의 측정을 위해 복원영상을 이용하되 상기 화질지표보다는 연산시간이 짧은 지표이거나, 복원영상을 미사용하면서 원본영상으로만 측정할 수 있는 지표인 것을 특징으로 한다.
상기 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 단계는, 미리 정해진 목표 화질지표와 상기 측정 화질지표를 비교하는 단계, 비교결과에 기초해서 상기 화질 파라미터를 조정하는 단계를 포함할 수 있다.
상기 고속 동영상 부호화 방법은 상기 고속 동영상 부호화 시스템이 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 상기 보조지표를 측정하는 단계를 더 포함하며, 상기 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계는 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 측정된 상기 보조지표에 기초해 결정되는 목표 보조지표와 상기 측정 보조지표를 비교하고, 비교결과에 기초해서 상기 화질 파라미터를 조정하는 단계를 포함할 수 있다.
상기 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계는 상기 차기 구간 동영상에 포함된 이전 프레임의 측정 보조지표와 현재 프레임의 측정 보조지표를 비교하고 비교결과에 기초하여 상기 화질 파라미터를 조정하는 단계를 포함할 수 있다.
상기 고속 동영상 부호화 방법은 상기 고속 동영상 부호화 시스템이 상기 측정 보조지표의 변화량이 소정의 임계 값보다 큰지 또는 현재 프레임에서 장면전환 이벤트가 발생했는지 여부를 판단하는 단계 및 판단결과에 따라 상기 차기구간 다음의 일정구간에 대해서는 다시 상기 제1화질조정 프로세스를 재수행하는 단계를 더 포함할 수 있다.
상기 화질지표는 VMAF(Video Multimethod Assessment Fusion)이고, 상기 보조지표는 PSNR(Peak Signal-to-noise ration), SSIM(Structural Similarity Index), 복잡도 지표 중 어느 하나인 것을 특징으로 할 수 있다.
다른 실시 예에 따른 고속 동영상 부호화 방법은 고속 동영상 부호화 시스템이 동영상의 부호화를 위해 상기 동영상의 일정구간 동안은 상기 일정구간에 상응하는 구간 동영상에 포함되는 프레임별로, 원본 영상과 상기 원본 영상이 부호화된 부호화 영상의 복원영상에 기초하여 측정되는 화질지표를 측정하고, 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 프로세스를 수행하는 단계, 상기 고속 동영상 부호화 시스템이 상기 일정구간의 다음 구간인 차기 구간부터는 차기구간 동영상에 포함되는 프레임별로 소정의 제1보조지표를 측정하고 측정한 측정 제1보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계, 및 상기 고속 동영상 부호화 시스템이 상기 차기구간의 다음 구간인 차차기 구간부터는 차차기 구간 동영상에 포함되는 프레임별로 소정의 제2보조지표를 측정하고 측정한 측정 제2보조지표에 기초하여 상기 화질 파라미터를 조정하는 제3화질조정 프로세스를 수행하는 단계를 포함하며, 상기 제1보조지표는 화질의 측정을 위해 복원영상을 이용하되 상기 화질지표보다는 연산시간이 짧은 지표이고, 상기 제2보조지표는 복원영상을 미사용하면서 원본영상으로만 측정할 수 있는 지표일 수 있다.
상기 고속 동영상 부호화 방법은 상기 고속 동영상 부호화 시스템이 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 상기 제1보조지표를 측정하는 단계를 더 포함하며, 상기 측정한 측정 제1보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계는 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 측정된 상기 제1보조지표에 기초해 결정되는 목표 제1보조지표와 상기 측정 제1보조지표를 비교하고, 비교결과에 기초해서 상기 화질 파라미터를 조정하는 단계를 포함할 수 있다.
상기 측정한 측정 제2보조지표에 기초하여 상기 화질 파라미터를 조정하는 제3화질조정 프로세스를 수행하는 단계는 상기 차차기 구간 동영상에 포함된 이전 프레임의 측정 보조지표와 현재 프레임의 측정 보조지표를 비교하고 비교결과에 기초하여 상기 화질 파라미터를 조정하는 단계를 포함할 수 있다.
상기의 고속 동영상 부호화 방법은 판독가능한 기록매체에 저장된 컴퓨터 프로그램에 의해 구현될 수 있다.
다른 일 측면에 따르면, 본 발명의 기술적 사상에 따른 고속 동영상 부호화 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며, 상기 프로세서는 상기 프로그램을 구동하여 동영상의 부호화를 위해 상기 동영상의 일정구간 동안은 상기 일정구간에 상응하는 구간 동영상에 포함되는 프레임별로, 원본 영상과 상기 원본 영상이 부호화된 부호화 영상의 복원영상에 기초하여 측정되는 화질지표를 측정하고, 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 프로세스를 수행하고, 상기 일정구간의 다음 구간인 차기 구간부터는 차기구간 동영상에 포함되는 프레임별로 소정의 보조지표를 측정하고 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하며, 상기 보조지표는 화질의 측정을 위해 복원영상을 이용하되 상기 화질지표보다는 연산시간이 짧은 지표이거나, 복원영상을 미사용하면서 원본영상으로만 측정할 수 있는 지표인 것을 특징으로 한다.
상기 프로세서는 상기 프로그램을 구동하여 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해상기 보조지표를 더 측정하고, 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 측정된 상기 보조지표에 기초해 결정되는 목표 보조지표와 상기 측정 보조지표를 비교하고, 비교결과에 기초해서 상기 화질 파라미터를 조정할 수 있다.
상기 프로세서는 상기 프로그램을 구동하여 상기 차기 구간 동영상에 포함된 이전 프레임의 측정 보조지표와 현재 프레임의 측정 보조지표를 비교하고 비교결과에 기초하여 상기 화질 파라미터를 조정할 수 있다.
상기 프로세서는 상기 프로그램을 구동하여, 상기 측정 보조지표의 변화량이 소정의 임계 값보다 큰지 또는 현재 프레임에서 장면전환 이벤트가 발생했는지 여부를 판단하고, 판단결과에 따라 상기 차기구간 다음의 일정구간에 대해서는 다시 상기 제1화질조정 프로세스를 다시 수행할 수 있다.
본 발명의 기술적 수준에 의하면 부호화된 영상을 복원하여 상대적으로 정교하게 화질을 측정함으로써 화질수준을 컨트롤 하면서도, 이러한 시간이 오래 소요되는 구간은 비교적 단축하고 나머지 구간에서는 보조지표를 이용하여 화질수준을 컨트롤 할 수 있도록 함으로써 화질 수준의 보장과 함께 상대적으로 고속의 동영상 부호화를 수행할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 고속 동영상 부호화 방법을 구현하기 위한 개략적인 시스템 구성을 나타낸다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 고속 동영상 부호화 시스템의 개략적인 구성을 나타낸다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 고속 동영상 부호화 방법의 개념을 설명하기 위한 도면들이다.
도 6은 본 발명의 기술적 사상에 따른 고속 동영상 부호화 방법에서의 화질지표, 보조지표, 및 화질 파라미터의 실시 예를 설명하기 위한 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시 예에 따른 고속 동영상 부호화 방법을 구현하기 위한 개략적인 시스템 구성을 나타낸다.
우선 도 1을 참조하면, 본 발명의 실시 예에 따른 고속 동영상 부호화 방법을 구현하기 위해서 고속 동영상 부호화 시스템(100)이 구비될 수 있다. 상기 고속 동영상 부호화 시스템(100)은 동영상을 빠른 시간 내에 부호화하면서도 일정 수준 이상의 화질을 보장할 수 있도록 구현되는 시스템일 수 있다.
실시 예에 따라 상기 고속 동영상 부호화 시스템(100)은 부호화된 동영상을 영상 수신 시스템(200)으로 전송하는 서비스를 수행할 수도 있지만, 이에 국한되는 것은 아니다.
상기 고속 동영상 부호화 시스템(100)은 본 발명의 기술적 사상에 따라 프레임별로 화질을 조절할 수 있다.
화질의 조절은 예컨대, 부호화시에 이용되는 화질 파라미터를 조절함으로써 수행될 수 있으며, 예컨대, 양자화 파라미터(Quantization parameter)가 화질 파라미터의 일 예일 수 있다.
상기 고속 동영상 부호화 시스템(100)은 상대적으로 정확한 화질지표를 프레임별로 측정하고, 측정결과에 따라 화질을 조절할 수 있다.
상대적으로 정확한 화질지표는 부호화된 영상을 다시 복호화하여 획득하는 복원영상이 요구될 수 있다.
또한 상기 고속 동영상 부호화 시스템(100)은 복원영상을 통해 측정할 수 있는 화질지표 중에서도 상대적으로 연산량이 높지만 화질을 잘 나타낼 수 있는 인지 화질지표를 이용하여 프레임별 화질을 측정할 수 있다.
이러한 인지화질지표는 실제 사람이 주관적으로 인지(인식)하는 화질 수준을 정량화한 지표일 수 있으며, 이러한 인지 화질지표의 일 예는 VMAF(Video Multimethod Assesment Fusion)일 수 있다.
예컨대, VMAF(Video Multimethod Assesment Fusion)는 주관적 화질을 측정하기 위한 도구(tool)로서, 시각 정보 무결성(Visual Information Fidelity; VIF), 상세 손실 메트릭(Detail Loss Metric; DLM) 및 움직임 예측(Motion Estimation)과 같은 다양한 요소를 이용하여 주관적으로 사람이 인지하는 화질을 정량화한 지표일 수 있다.
이러한 인지 화질지표의 경우는 화질을 판단할 수 있는 상대적으로 정확하고 좋은 지표로 이용할 수 있지만, 이러한 인지 화질지표를 측정하기 위해서는 복원영상이 필요할 뿐만 아니라 다양한 요소들의 연산으로 인한 연산시간이 상대적으로 많이 소요되는 문제점이 있다.
따라서 본 발명의 기술적 사상에 의하면 이러한 상대적으로 높은 정확도를 가지지만 그 특성상 연산시간이 많이 소요될 수밖에 없는 화질지표(예컨대, VMAF 등)를 이용하여 화질의 측정을 상대적으로 정확히 측정하여 서비스 품질을 높이면서도, 고속의 동영상 부호화를 수행할 수 있는 기술적 사상을 제공한다.
이러한 기술적 사상을 제공하기 위해, 상기 고속 동영상 부호화 시스템(100)은 상대적으로 높은 수준(상대적으로 높은 정확도)의 화질지표뿐만 아니라 보조지표를 이용하여, 일정 구간 동안에는 상기 화질지표를 이용하여 화질을 조절하다가 그 이후에는 상대적으로 연산시간이 낮은 보조지표를 이용하여 화질을 조절할 수 있다.
이는 동영상의 특성상 매 프레임별로 동일한 수준의 부호화(양자화)를 수행하더라도 화질이 급격하게 변화하는 경우는 빈번하지 않은 것이 일반적이고, 이에 따라 매 프레임별로 연산시간이 높은 화질을 측정하여 화질을 조절할 필요는 없기 때문이다.
따라서 일정 구간의 동영상에서는 상대적으로 높은 수준의 화질지표를 이용하여 화질을 측정하고 그에 따라 화질을 조절하다가 그 이후에는 상대적으로 낮은 수준의 보조지표를 이용하여 화질을 조절하여도, 어느 정도 목표수준의 화질을 유지하면서 부호화를 수행함과 동시에 상대적으로 고속의 동영상 부호화가 가능할 수 있다.
즉, 일정 구간 동안은 상대적으로 높은 수준의 화질지표를 이용하여 화질을 조절해가면서 원하는 목표수준의 화질이 될 수 있도록 유지하다가 그 이후에는 상대적으로 낮은 수준의 보조지표만을 이용하여 화질을 조절 하여도 영상의 급격한 변화(예컨대, 장면 전환 등)가 없는 이상 상기 화질지표 역시 크게 변화하지 않을 수 있고, 이러한 특성을 이용하여 화질지표와 보조지표를 혼용하여 사용하면서 고속의 동영상 부호화를 가능토록 할 수 있다.
물론 보조지표를 이용하여 화질을 조절하다가 영상의 급격한 변화가 있는 경우에는 다시 높은 수준의 화질지표를 이용하여 화질을 측정하면서 화질을 조절하는 프로세스를 재수행할 수 있다.
결국 본 발명의 기술적 사상에 의하면 화질을 직접 또는 간접적으로 측정할 수 있는 복수의 지표를 이용하여 화질의 측정 및 조절을 수행하되, 상대적으로 높은 수준의 화질지표를 측정하고 이에 기초하여 화질을 조절하는 구간과 상대적으로 낮은 수준의 화질지표 즉 보조지표를 측정하고 이에 기초하여 화질을 조절하는 구간을 같이 사용함으로써 서비스 품질을 상대적으로 높이면서도 고속의 동영상 부호화를 가능토록 할 수 있다.
상기 보조지표는 예컨대, 복원영상이 필요하긴 하지만 상대적으로 상기 화질지표(예컨대, VMAF)보다는 연산이 빨리 수행될 수 있는 지표(예컨대, PSNR(Peak Signal-to-noise ratio), SSIM(Structural Similarity Index) 등)일 수도 있다.
또한 상기 보조지표는 아예 복원영상이 필요 없이 원본 영상만으로 화질을 간접적으로 추측할 수 있는 지표(예컨대, 분산 등의 복잡도 지표)일 수도 있다.
상기 고속 동영상 부호화 시스템(100)은 영상소스(300)로부터 부호화할 원본 영상을 수신할 수 있다. 상기 영상소스(300)는 원본 영상을 상시적으로 또는 임시로 저장하는 장치일 수 있으며, 구현 예에 따라 영상을 대량으로 저장하고 있는 서버나 데이터베이스뿐만 아니라 카메라 등과 같이 실시간으로 영상을 생성하여 임시로 저장한 후 전송하는 장치일 수도 있다. 또한 영상소스(300)는 네트워크를 통해 상기 고속 동영상 부호화 시스템(100)으로 원본 영상을 전송하는 장치일 수 도 있다.
그러면 상기 고속 동영상 부호화 시스템(100)은 본 발명의 기술적 사상에 따라 동영상을 부호화할 수 있다. 그리고 필요에 따라 부호화된 동영상을 영상 수신 시스템(200)으로 전송할 수도 있다.
이러한 기술적 사상을 구현하기 위한 고속 동영상 부호화 시스템(100)의 구체적인 구성은 도 2 및 도 3을 참조하여 설명하도록 한다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 고속 동영상 부호화 시스템의 개략적인 구성을 나타낸다.
우선 도 2를 참조하면, 상기 고속 동영상 부호화 시스템(100)은 소정의 데이터 처리장치로 구현될 수 있다.
상기 고속 동영상 부호화 시스템(100)은 도 2에 도시된 바와 같이 본 명세서에서 정의되는 기능을 구현하기 위한 프로세서(110) 및 저장매체(120)를 포함한다. 상기 프로세서(110)는 소정의 프로그램(소프트웨어 코드)을 실행할 수 있는 연산장치를 의미할 수 있으며 상기 데이터 처리장치의 구현 예 또는 벤더(Vendor) 모바일 프로세서, 마이크로 프로세서, CPU, 싱글 프로세서, 멀티 프로세서, GPU 등 다양한 명칭으로 명명될 수 있으며 하나 이상의 프로세서로 구현될 수 있다.
상기 프로세서(110)는 상기 프로그램을 구동하여 본 발명의 기술적 사상에 필요한 데이터 처리를 수행할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 저장매체(120)는 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장/설치되는 장치를 의미할 수 있다. 구현 예에 따라 상기 저장매체(120)는 복수의 서로 다른 물리적 장치로 분할되어 있을 수 있으며, 구현 예에 따라 상기 저장매체(120)의 일부는 상기 프로세서(110)의 내부에 존재할 수도 있다. 상기 저장매체(120)는 구현 예에 따라 하드 디스크, GPU, SSD(Solid State Disk), 광 디스크, RAM(Random Access Memory), 및/또는 기타 다양한 종류의 기억매체로 구현될 수 있으며, 필요에 따라서는 상기 고속 동영상 부호화 시스템(100)에 착탈식으로 구현될 수도 있다.
상기 고속 동영상 부호화 시스템(100)은 동영상의 부호화를 위한 서버로 구현될 수 있지만, 이에 국한되지는 않으며 상기 프로그램을 실행할 데이터 처리능력이 있는 어떠한 데이터 처리장치(예컨대, 컴퓨터, 모바일 단말 등)로도 구현될 수 있다.
또한, 상기 고속 동영상 부호화 시스템(100)은 상기 프로세서(110), 상기 저장매체(120), 및 상기 고속 동영상 부호화 시스템(100)에 구비되는 다양한 주변장치들(예컨대, 입출력장치, 디스플레이 장치, 오디오 장치 등, 140, 141)과 이러한 장치들을 연결하기 위한 통신 인터페이스(예컨대, 통신 버스, 130 등)가 구비될 수도 있음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 본 발명의 기술적 사상은 상기 저장매체(120)에 저장된 상기 프로그램과 상기 프로세서(110)가 유기적으로 결합되어 구현될 수 있으며, 이러한 상기 고속 동영상 부호화 시스템(100)이 실행하는 기능적인 구성단위는 도 3에 도시된 바와 같을 수 있다.
즉, 상기 고속 동영상 부호화 시스템(100))은 제어모듈(110-1), 지표 측정모듈(120-1), 인코더(130-1), 및 디코더(140-1)를 포함할 수 있다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어(예컨대, 상기 프로세서(110) 및/또는 저장매체(120)) 및 상기 하드웨어를 구동하기 위한 소프트웨어(예컨대, 본 발명의 기술적 사상을 구현하기 위한 상기 프로그램)의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각각의 구성들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류나 특정 개수의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다. 따라서 상기 각각의 구성들은 본 명세서에서 정의되는 기능을 수행하는 하드웨어 및 소프트웨어의 결합을 의미하며 특정 물리적 구성을 의미하는 것은 아니다.
상기 제어모듈(210)은 상기 고속 동영상 부호화 시스템(100)에 포함되는 다른 구성(예컨대, 상기 지표 측정모듈(120-1), 인코더(130-1), 및/또는 디코더(140-1) 등)의 기능 및/또는 리소스(resource)를 제어할 수 있다.
상기 지표 측정모듈(120-1)은 프레임별로 본 발명의 기술적 사상에 이용되는 지표들을 측정할 수 있다. 상기 프레임은 이전 프레임과의 차영상일 수도 있음은 물론이다.
상기 지표 측정모듈(120-1)이 측정하는 지표는 화질지표(예컨대, VMAF 등)를 포함하며, 하나 이상의 보조지표(예컨대, PSNR, SSIM, 복잡도 지표 등)가 포함될 수 있다. 각각의 지표를 측정하는 방식은 이미 공지되어 있으므로 본 명세서에서는 지표의 측정 방식에 대해서는 상세한 설명은 생략하도록 한다. 또한, 본 명세서에서 제시되는 보조지표 이외에도 다양한 보조지표가 본 발명의 기술적 사상을 구현하는데 이용될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 인코더(130-1)는 프레임별로 인코딩 즉 부호화를 수행할 수 있다. 그리고 이때 상기 제어모듈(110-1)의 제어에 따라 화질 파라미터를 가변하면서 화질을 조절하여 부호화를 수행할 수 있다.
상기 제어모듈(110-1)은 현재 프레임이 상기 인코더(130-1)에 의해 부호화되면, 부호화된 영상을 복호화하여 복원영상을 획득한 후 화질을 소정의 지표(화질지표 또는 보조지표)를 측정할 수 있다. 그러면 상기 제어모듈(110-1)은 측정결과에 따라 화질 파라미터(예컨대,QP)를 조절하여 상기 현재 프레임을 다시 부호화하도록 상기 인코더(130-1)를 제어할 수도 있고, 조절된 화질 파라미터를 다음 프레임에 적용할 수도 있다. 즉 상기 현재 프레임의 화질 측정 결과에 따라 결정되는 화질 파라미터를 이용하여 상기 현재 프레임을 재부호화할 수도 있고 상기 화질 파라미터를 이용하여 다음 프레임을 부호화할 수도 있다. 속도면에서는 후자가 더 유리할 수 있음은 물론이다.
상기 디코더(140-1)는 부호화된 영상을 복호화하여 복원영상을 획득할 수 있다.
이러한 구성을 가지는 상기 고속 동영상 부호화 시스템(100)이 수행하는 고속 동영상 부호화 방법은 도 4 내지 도 5를 참조하여 설명하도록 한다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 고속 동영상 부호화 방법의 개념을 설명하기 위한 도면들이다.
우선 도 4를 참조하면, 상기 제어모듈(110-1)은 원본 동영상의 미리 정해진 N개(예컨대, 첫 번째 프레임부터 미리 정해진 N(자연수) 번째 프레임)의 프레임이 포함되는 제1구간(화질지표 측정구간)과 N+1 번째 프레임부터 소정의 M(N보다 큰 자연수)번째 프레임인 제2구간(보조지표 측정구간)에서 각각 서로 다른 지표를 이용하여 화질을 조절할 수 있다.
상기 제1구간(화질지표 측정구간)에 상응하는 제1구간 동영상에 대해서는 프레임 영상별로 상대적으로 높은 수준의 화질을 측정할 수 있는 화질지표(예컨대, VMAF)를 이용하여 화질을 조절하는 구간일 수 있다.
이를 위해 상기 지표 측정모듈(120-1)은 상기 제1구간 동영상에 포함되는 프레임 영상별로 원본 영상(원본 프레임 영상)과 상기 원본 영상이 부호화된 부호화 영상의 복원영상에 기초하여 측정되는 화질지표를 측정할 수 있다.
그러면 상기 제어모듈(110-1)은 상기 제1구간(화질지표 측정구간) 동안에는 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 프로세스를 수행할 수 있다.
이러한 화질지표(예컨대, VMAF)는 본 발명의 기술적 사상에 따라 동영상에 대해 유지하고자 하는 목표일 수 있다. 이를 위해 상기 고속 동영상 부호화 시스템(100)에는 미리 상기 화질지표(예컨대, VMAF)에 대해 목표하는 목표지표가 설정되어 있을 수 있다.
상기 제어모듈(110-1)은 제1구간(화질지표 측정구간) 동안에는 프레임 영상별로, 측정된 측정 화질지표가 목표 화질지표보다 낮으면(높으면) 화질이 더 높아(낮아)질 수 있도록 화질 파라미터(예컨대,QP)를 조절할 수 있다.
즉 상기 목표지표는 동영상이 갖추어야 할 목표화질을 의미할 수 있고, 상기 고속 동영상 부호화 시스템(100)은 이러한 목표지표를 반드시 정확히 맞출 필요는 없지만 가급적 상기 목표지표와 가까워질 수 있도록 상기 화질 파라미터(예컨대,QP)를 조절하면서 동영상의 화질을 원하는 수준으로 보장할 수 있다.
이처럼 미리 정해진 소정의 기간 동안 화질지표(예컨대, VMAF)가 원하는 목표지표가 되거나 이와 유사하게 조절되면, 이후에는 영상의 큰 변화(예컨대, 장면전환 또는 화면의 떨림 등 화면의 픽셀 값의 변화가 큰 경우)가 없는 한 상대적으로 연산량이 많은 상기 화질지표(예컨대, VMAF)를 이용하여 화질을 조절하지 않고 보조지표를 이용하여 화질을 조절하더라도 상기 화질지표(예컨대, VMAF)의 변화가 크지 않을 수 있다.
따라서 이처럼 보조지표를 이용하여 화질을 조절하는 구간이 제2구간(보조지표 측정구간)일 수 있다.
상기 고속 동영상 부호화 시스템(100)에 포함된 지표 측정모듈(120-1)은 상기 제1구간(화질지표 측정구간)의 다음 구간인 차기 구간 즉, 제2구간(보조지표 측정구간)부터는 상기 제2구간 동영상에 포함되는 프레임 영상별로 소정의 보조지표를 측정할 수 있다.
그러면 상기 제어모듈(110-1)은 상기 제2구간(보조지표 측정구간)동안은 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행할 수 있다.
상기 제2구간(보조지표 측정구간)은 미리 정해진 프레임 개수만큼의 길이로 설정되고 설정된 제2구간(보조지표 측정구간)에 대해 제2화질조정 프로세스의 수행이 완료되면, 상기 제어모듈(110-1)은 자동으로 그 다음부터는 다시 제1구간(화질지표 측정구간)으로 설정하여 제1화질조정 프로세스를 수행할 수도 있다.
또는 상기 제2구간(보조지표 측정구간)은 전술한 바와 같이 미리 정해진 소정의 기준(예컨대, 장면전환 또는 영상이 미리 정해진 기준 이상으로 변화하는 경우(예컨대, 프레임의 분산이 이전 프레임에 비해 임계 값 이상 변화하는 경우 등))을 만족할 때까지 유지되다가, 이러한 기준에 부합하는 프레임이 나타나면 상기 제어모듈(110-1)은 자동으로 그 다음부터는 다시 제1구간(화질지표 측정구간)으로 설정하여 제1화질조정 프로세스를 수행할 수도 있다.
상기 보조지표는 화질의 측정을 위해 복원영상을 이용하여 측정되는 화질과 관련된 지표일 수는 있지만, 상기 화질지표(예컨대, VMAF)보다는 상대적으로 연산시간이 짧은 지표일 수 있다. 예컨대, PSNR, SSIM 등이 이러한 보조지표일 수 있다.
다른 실시 예에 의하면, 상기 보조지표는 원본 영상(프레임)으로만 측정할 수 있는 지표일 수 있다. 예컨대, 영상의 복잡도 지표가 이러한 지표일 수 있다. 또한 영상의 복잡도 지표는 대표적으로 분산이 이용될 수 있지만 이에 국한되지는 않으면 다양하게 복잡도를 나타내는 지표가 이용될 수 있다.
분산은 단순히 픽셀 값의 분산일 수도 있고, 픽셀 값에 기초하여 연산되는 값(예컨대, 명암, 색차 등)의 분산일 수도 있으며 다양한 실시 예가 가능함을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 상기 제2구간(보조지표 측정구간) 동안 상기 제어모듈(110-1)은 상기와 같은 보조지표 중 어느 하나 또는 복수 개를 이용하여 화질을 조절할 수 있다. 이때 상기 제어모듈(110-1)은 단순히 상기 제2구간(보조지표 측정구간)의 첫 번째 프레임의 보조지표를 이용하여 상기 첫 번째 프레임의 보조지표와 큰 차이가 없도록 화질을 조절할 수도 있다. 즉, 제2구간(보조지표 측정구간)의 첫 번째 프레임의 보조지표가 목표지표일 수도 있다.
하지만 도 4의 하단에 표시된 바와 같이 실시 예에 따라서는, 상기 고속 동영상 부호화 시스템(100)은 상기 제1구간(화질지표 측정구간)에서 프레임별로 화질지표(예컨대, VMAF)뿐만 아니라 보조지표도 측정할 수 있다. 그리고 상기 제1구간(화질지표 측정구간) 동안 측정된 보조지표에 기초하여 상기 제2구간(보조지표 측정구간)의 목표 보조지표가 설정될 수도 있다.
이는 제1구간(화질지표 측정구간) 동안 화질지표가 일정 수준 이상 유지될 수 있을 정도로 화질이 컨트롤되는 경우의 보조지표의 값과 화질지표의 상관관계를 이용하여, 제2구간(보조지표 측정구간)에서도 보조지표를 제1구간(화질지표 측정구간)과 유사한 수준으로 유지하면 제2구간(보조지표 측정구간)에서도 제1구간(화질지표 측정구간)과 화질지표(예컨대, VMAF) 역시 큰 차이가 없을 수 있기 때문이다.
상기 목표 보조지표는 단순히 제1구간(화질지표 측정구간)의 마지막 프레임의 보조지표로 설정될 수도 있다. 또는 상기 목표 보조지표는 제1구간(화질지표 측정구간) 전체 프레임 각각의 보조지표 값들에 기초하여 결정될 수도 있다. 예컨대, 전체 프레임 각각의 보조지표 값들에 로 패스 필터를 적용하여 목표 보조지표가 결정될 수도 있다.
그러면 상기 제어모듈(110-1)은 제2구간(보조지표 측정구간) 동안은 프레임별로 보조지표를 측정하고 측정 보조지표가 목표 보조지표에 가까워지도록 화질 파라미터(예컨대,QP)를 조절할 수 있다.
다른 실시 예에 의하면, 상기 제어모듈(110-1)은 제2구간(보조지표 측정구간)에서 사용되는 보조지표의 종류에 따라 화질 파라미터(예컨대, QP)를 조절하는 방식을 달리할 수 있다.
예컨대, 보조지표가 PSNR, SSIM 등과 같이 복원영상을 필요로 하는 지표일 경우는 제1구간에서 측정된 목표 보조지표에 가까워지도록(수렴하도록) 프레임별로 화질 파라미터(예컨대,QP)를 조절할 수 있다.
반면 보조지표가 영상의 복잡도 지표(예컨대, 분산 등)일 경우에는 화질 파라미터(예컨대,QP)를 조절해도 원본 영상의 복잡도가 변경되는 것은 아니므로, 이러한 경우는 이전 복잡도 지표(예컨대, 분산)보다 현재 프레임의 복잡도 지표(예컨대, 분산)가 커졌는지 여부에 따라 활질 파라미터(예컨대,QP)를 조절할 수도 있다.
예컨대, 이전 복잡도 지표(예컨대, 분산)보다 현재 프레임의 복잡도 지표(예컨대, 분산)가 큰 경우에는, 복잡한 영상은 상대적으로 손실에 둔감하므로, 화질 파라미터(예컨대,QP)를 증가(즉 화질을 감소)시킬 수 있다. 예컨대, 이전 복잡도 지표(예컨대, 분산)보다 현재 프레임의 복잡도 지표(예컨대, 분산)가 작은 경우에는 단순한 영상은 상대적으로 손실에 민감하므로 화질 파라미터(예컨대,QP)를 감소(즉 화질 증가)시킬 수 있다.
이처럼 제1구간과 제2구간을 결합하여 제1블록으로 지칭할 수 있고, 제2구간이 종료되면 제2블록이 시작될 수 있다. 즉 다시 미리 정해진 프레임 개수 만큼 제1구간(화질지표 측정구간)이 설정되고 제1구간에 대해 제1화질조정 프로세스가 수행된 후 제2구간(보조지표 측정구간)에 대한 제2화질조정 프로세스가 수행될 수 있다.
한편 도 4에서는 각각의 블록이 화질지표(예컨대, VMAF)와 어느 하나의 보조지표를 이용하여 제1구간과 제2구간으로 구분되는 경우를 예시하였지만, 서로 다른 복수의 보조지표가 이용되어 3개의 구간으로 각각의 블록이 설정될 수도 있다.
이러한 일 예는 도 5에 도시된다.
도 5는 각각의 블록이 제1구간(화질지표 측정구간), 제2구간(제1보조지표 측정구간), 및 제3구간(제2보조지표 측정구간)으로 구분되는 경우를 예시적으로 도시하고 있다.
이때 제1보조지표 측정구간에서 이용되는 제1보조지표는 복원영상이 필요하되 화질지표(예컨대, VMAF)보다는 연산량이 작은 PSNR, SSIM 등일 수 있다. 그리고 제2보조지표 측정구간에서 이용되는 제2보조지표는 분산 등과 같이 복원영상이 필요하지 않고 원본 영상만으로 측정하여 상대적으로 제1보조지표보다 더 빠른 시간내에 연산할 수 있는 지표일 수 있다.
도 5에 도시된 바와 같은 경우에도, 상기 고속 동영상 부호화 시스템(100)은 제1구간(화질지표 측정구간)에서는 프레임별로 목표 화질지표와 측정 화질지표에 기초하여 화질 파라미터(예컨대,QP)를 조절할 수 있다.
그러다가 제2구간(제1보조지표 측정구간)에서는 프레임별로 목표 제1보조지표와 측정 제1보조지표에 기초하여 화질 파라미터(예컨대,QP)를 조절할 수 있다.
이때 목표 제1보조지표는 제1구간(화질지표 측정구간) 동안에서 측정된 적어도 하나의 제1보조지표에 기초하여 결정될 수 있다.
그러다가 제3구간(제2보조지표 측정구간)에서는 프레임별로 목표 제2보조지표와 측정 제2보조지표에 기초하여 화질지표(예컨대, VMAF)를 조절할 수 있다.
제3구간은 전술한 바와 같이 미리 설정된 프레임 개수만큼 길이가 미리 결정되어 있을 수도 있고, 장면전환이나 제2보조지표(예컨대, PSNR, SSIM, 분산)의 변화량이 이전 프레임에 비해 임계 값보다 큰 경우 즉, 상대적으로 이미지 변화가 큰 경우가 발생할 때까지 유지될 수도 있다.
그리고 목표 제2보조지표 역시 제2구간(제1보조지표 측정구간) 동안에서 측정된 적어도 하나의 제2보조지표에 기초하여 결정될 수 있다.
이처럼 제1보조지표(예컨대, PSNR)와 제2보조지표(예컨대, 분산)가 같이 사용되어 화질 파라미터(예컨대,QP)를 조절하는 구체적인 예는 도 6에 도시된다.
도 6은 본 발명의 기술적 사상에 따른 고속 동영상 부호화 방법에서의 화질지표, 보조지표, 및 화질 파라미터의 실시 예를 설명하기 위한 도면이다.
도 6에서는 목표 화질지표(예컨대, VMAF)가 96으로 설정되고, 제1구간, 제2구간, 및 제3구간이 단순히 각각 5개의 프레임으로 설정된 경우를 예시하고 있다.
제1구간(1번째 프레임부터 5번째 프레임)은 화질지표(예컨대, VMAF)와 목표 화질지표(예컨대, VMAF)에 기초하여 화질 파라미터(예컨대,QP)를 조절하는 구간일 수 있다. 예컨대 제1프레임에서 적용된 화질 파라미터(예컨대,QP)가 34.51이었고, 이때 측정 화질지표(예컨대, VMAF)는 85.261일 수 있다. 그러면 목표 화질지표 96보다 측정 화질지표 값이 낮으므로 화질지표 값이 올라갈 수 있도록 상기 고속 동영상 부호화 시스템(100)은 화질 파라미터(예컨대,QP)를 조절할 수 있다. 예컨대 조절된 화질 파라미터(예컨대,QP) 값은 33.51일 수 있고, 조절된 화질 파라미터(예컨대, 33.51)가 적용되어 부호화된 제2프레임을 다시 복호화하여 획득한 복원영상의 측정 화질지표 값은 89.236일 수 있다.
측정 화질지표(89.236)가 목표 화질지표(96)보다 낮으므로 화질지표 값이 올라갈 수 있도록 상기 고속 동영상 부호화 시스템(100)은 화질 파라미터(예컨대,QP)를 조절할 수 있다. 조절된 화질 파라미터(예컨대,QP) 값은 32.51일 수 있고, 조절된 화질 파라미터(예컨대, 32.51)가 적용되어 부호화된 제3프레임을 다시 복호화하여 획득한 복원영상의 측정 화질지표 값은 91.113일 수 있다.
측정 화질지표(91.113)가 목표 화질지표(96)보다 낮으므로 화질지표 값이 올라갈 수 있도록 상기 고속 동영상 부호화 시스템(100)은 화질 파라미터(예컨대,QP)를 다시 조절할 수 있다. 조절된 화질 파라미터(예컨대,QP) 값은 31.51일 수 있고, 조절된 화질 파라미터(예컨대, 31.51)가 적용되어 부호화된 제4프레임을 다시 복호화하여 획득한 복원영상의 측정 화질지표 값은 93.414일 수 있다.
측정 화질지표(93.414)가 목표 화질지표(96)보다 낮으므로 화질지표 값이 올라갈 수 있도록 다시 상기 고속 동영상 부호화 시스템(100)은 화질 파라미터(예컨대,QP)를 다시 조절할 수 있다. 조절된 화질 파라미터(예컨대,QP) 값은 31.41일 수 있다. 이때 이전의 화질 파라미터의 조절 값은 1이었던 반면, 목표 화질지표(96)와 측정 화질지표(93.414)의 차이가 적으므로 조절 값을 이전에 비해 줄여서 0.1만 조절할 수 있다. 조절된 화질 파라미터(예컨대, 31.41)가 적용되어 부호화된 제5프레임을 다시 복호화하여 획득한 복원영상의 측정 화질지표 값은 95.862일 수 있다.
이처럼 상기 고속 동영상 부호화 시스템(100)은 제1구간(1번째 프레임부터 5번째 프레임) 동안은 화질지표(예컨대, VMAF)에 기초하여 목표 화질지표(96)와 가까워지도록 화질 파라미터(예컨대,QP)를 조절하는 프로세스를 수행할 수 있다.
그리고 제2구간(6번째 프레임부터 10번째 프레임)에 대해서는 제1보조지표(예컨대, PSNR)에 기초하여 화질 파라미터(예컨대,QP)를 조절하는 프로세스를 수행할 수 있다.
제2구간에서 사용되는 목표 제1보조지표는 단순히 제2구간의 첫 번째 측정 제1보조지표를 이용할 수도 있다. 하지만 전술한 바와 같이 제1구간에서 화질지표를 목표 화질지표와 근접할 수 있도록 화질을 조절하였던 경우의 제1보조지표를 목표지표 즉, 목표 제1보조지표로 하여 상기 목표 제1보조지표로 사용하는 경우에는 비록 제2구간 동안에는 제1보조지표로만 화질을 조절함에도 불구하고 화질지표 역시 크게 변화가 없을 가능성이 높다.
목표 제1보조지표는 단순히 제1구간의 마지막 프레임(제5프레임)의 제1보조지표(예컨대, 42.249)를 이용할 수도 있지만, 보다 높은 화질지표-제1보조지표의 상관관계가 제2구간에서도 적용될 수 있도록 상기 고속 동영상 부호화 시스템(100)은 제1구간에서 측정된 제1보조지표 값들에 로패스 필터를 적용하여 목표 제1보조지표(41.797)를 결정할 수도 있다.
예컨대, 목표 제1보조지표는 다음과 같은 수학식에 의해 결정될 수 있다.
[수학식 1]
Figure 112020091365527-pat00001
그러면 제1구간의 마지막 화질 파라미터(31.41)이 적용되어 부호화된 제2구간의 첫 번째 프레임 즉, 제6프레임을 다시 복호화하여 획득한 복원영상의 측정 제1보조지표는 41.870일 수 있다.
제6프레임에 대해서는, 목표 제1보조지표(41.797)보다 측정 제1보조지표(41.870)이 높으므로 제1보조지표 값이 낮아질 수 있도록 상기 고속 동영상 부호화 시스템(100)은 화질 파라미터(예컨대,QP)를 조절할 수 있다. 조절된 화질 파라미터(예컨대,QP) 값은 31.66일 수 있고, 조절된 화질 파라미터(예컨대, 31.66)가 적용되어 부호화된 제7프레임을 다시 복호화하여 획득한 복원영상의 측정 제1보조지표 값은 42.047일 수 있다.
제7프레임에 대해서는, 목표 제1보조지표(41.797)보다 측정 제1보조지표(42.047)이 높으므로 제1보조지표 값이 낮아질 수 있도록 상기 고속 동영상 부호화 시스템(100)은 화질 파라미터(예컨대,QP)를 조절할 수 있다. 조절된 화질 파라미터(예컨대,QP) 값은 31.91일 수 있고, 조절된 화질 파라미터(예컨대, 31.91)가 적용되어 부호화된 제8프레임을 다시 복호화하여 획득한 복원영상의 측정 제1보조지표 값은 42.071일 수 있다.
제8프레임에 대해서는, 목표 제1보조지표(41.797)보다 측정 제1보조지표(42.071)이 높으므로 제1보조지표 값이 낮아질 수 있도록 상기 고속 동영상 부호화 시스템(100)은 화질 파라미터(예컨대,QP)를 조절할 수 있다. 조절된 화질 파라미터(예컨대,QP) 값은 32.16일 수 있고, 조절된 화질 파라미터(예컨대, 32.16)가 적용되어 부호화된 제9프레임을 다시 복호화하여 획득한 복원영상의 측정 제1보조지표 값은 41.443일 수 있다.
제9프레임에 대해서는, 목표 제1보조지표(41.797)보다 측정 제1보조지표(41.443)이 낮으므로 제1보조지표 값이 높아질 수 있도록 상기 고속 동영상 부호화 시스템(100)은 화질 파라미터(예컨대,QP)를 조절할 수 있다. 조절된 화질 파라미터(예컨대,QP) 값은 31.91일 수 있고, 조절된 화질 파라미터(예컨대, 31.91)가 적용되어 부호화된 제10프레임을 다시 복호화하여 획득한 복원영상의 측정 제1보조지표 값은 42.187일 수 있다.
이처럼 본 발명의 기술적 사상에 의하면 화질지표(예컨대, VMAF)를 일정수준 유지하는 구간(제1구간) 동안의 제1보조지표와 큰 차이가 없도록 제2구간 동안 제1보조지표를 유지함으로써, 제2구간에서는 화질지표를 직접적으로 연산하지 않고 보조지표를 이용하여 화질을 조절하더라도 제1구간에서의 화질지표와 큰 차이가 없을 수 있도록 할 수 있다.
한편 제3구간(제11프레임부터 제15프레임)은 상기 고속 동영상 부호화 시스템(100)이 제2보조지표(예컨대, 분산)을 이용하여 화질 조정 프로세스를 수행하는 구간일 수 있다.
제3구간에서 분산과 같은 복잡도 지표가 보조지표로 사용되는 경우에는, 화질 조정프로세스는 이전 프레임과 현재 프레임의 복잡도 지표(예컨대, 분산)가 커지는지 작아지는지 여부에 의해 결정될 수 있다.
또한 이를 위해 상기 제2구간에서도 상기 고속 동영상 부호화 시스템(100)은 적어도 하나의 프레임에 대해 제2보조지표를 측정하고, 이를 이용하여 제3구간의 첫 프레임을 위한 레퍼런스 제2보조지표를 결정할 수도 있다.
예컨대, 제3구간의 첫 번째 프레임의 비교대상은 제2구간에서 측정된 적어도 하나의 프레임들 각각의 제2보조지표(예컨대, 분산)들의 평균값 또는 상기 제2보조지표들에 상기의 수학식에서 설명한 바와 같은 로우 패스 필터가 적용된 값 일 수 있다.
예컨대, 제3구간의 레퍼런스 제2보조지표가 제2구간의 프레임들 각각의 제2보조지표들에 로우패스필터가 적용된 값일 경우, 레퍼런스 제2보조지표는 약 1401로 결정될 수 있다.
그러면 상기 고속 동영상 부호화 시스템(100)은 제11프레임의 측정 제2보조지표(1254)를 확인하고, 레퍼런스 제2보조지표(약1401) 보다 상기 제11프레임의 값이 작으므로(복잡도가 낮은 단순한 영상)이므로 화질 파라미터(예컨대,QP)를 30.97 감소시켜서 화질을 증가시킬 수 있다.
이후, 상기 고속 동영상 부호화 시스템(100)은 제12프레임의 측정 제2보조지표(1225)를 확인하고, 이전 프레임(제11프레임)의 제2보조지표(1254) 보다 상기 제12프레임의 제2보조지표의 값이 작으므로 화질 파라미터(예컨대,QP)를 30.83으로 감소시켜서 화질을 증가시킬 수 있다.
그리고 상기 고속 동영상 부호화 시스템(100)은 제13프레임의 측정 제2보조지표(1370)를 확인하고, 이전 프레임(제12프레임)의 제2보조지표(1225) 보다 상기 제13프레임의 제2보조지표의 값이 크므로 화질 파라미터(예컨대,QP)를 30.95로 증가시켜서 화질을 감소시킬 수 있다.
그리고 상기 고속 동영상 부호화 시스템(100)은 제14프레임의 측정 제2보조지표(1098)를 확인하고, 이전 프레임(제13프레임)의 제2보조지표(1370) 보다 상기 제14프레임의 제2보조지표의 값이 작으므로 화질 파라미터(예컨대,QP)를 30.64로 감소시켜서 화질을 증가시킬 수 있다.
그리고 상기 고속 동영상 부호화 시스템(100)은 제15프레임의 측정 제2보조지표(1197)를 확인하고, 이전 프레임(제14프레임)의 제2보조지표(1098) 보다 상기 제15프레임의 제2보조지표의 값이 크므로 화질 파라미터(예컨대,QP)를 30.75로 증가시켜서 화질을 감소시킬 수 있다.
상술한 바와 같이 본 발명의 기술적 사상에 따른 고속 동영상 부호화 방법은 목표하는 화질지표를 일정수준 보장하면서도 화질지표보다는 빨리 판단할 수 있는 보조지표를 보조적으로 이용하여 고속의 부호화가 이루어질 수 있도록 하는 효과가 있다.
본 발명의 실시 예에 따른 고속 동영상 부호화 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (14)

  1. 고속 동영상 부호화 시스템이 동영상의 부호화를 위해 상기 동영상의 일정구간 동안은 상기 일정구간에 상응하는 구간 동영상에 포함되는 프레임별로, 원본 영상과 상기 원본 영상이 부호화된 부호화 영상의 복원영상에 기초하여 측정되는 화질지표를 측정하고, 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 프로세스를 수행하는 단계;
    상기 고속 동영상 부호화 시스템이 상기 일정구간의 다음 구간인 차기 구간부터는 차기구간 동영상에 포함되는 프레임별로 소정의 보조지표를 측정하고 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계를 포함하며,
    상기 보조지표는,
    화질의 측정을 위해 복원영상을 이용하되 상기 화질지표보다는 연산시간이 짧은 지표이거나,
    복원영상을 미사용하면서 원본영상으로만 측정할 수 있는 지표인 것을 특징으로 하는 고속 동영상 부호화 방법.
  2. 제1항에 있어서, 상기 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 단계는,
    미리 정해진 목표 화질지표와 상기 측정 화질지표를 비교하는 단계;
    비교결과에 기초해서 상기 화질 파라미터를 조정하는 단계를 포함하는 고속 동영상 부호화 방법.
  3. 제1항에 있어서, 상기 고속 동영상 부호화 방법은,
    상기 고속 동영상 부호화 시스템이 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 상기 보조지표를 측정하는 단계를 더 포함하며,
    상기 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계는,
    상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 측정된 상기 보조지표에 기초해 결정되는 목표 보조지표와 상기 측정 보조지표를 비교하고, 비교결과에 기초해서 상기 화질 파라미터를 조정하는 단계를 포함하는 고속 동영상 부호화 방법.
  4. 제1항에 있어서, 상기 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계는,
    상기 차기 구간 동영상에 포함된 이전 프레임의 측정 보조지표와 현재 프레임의 측정 보조지표를 비교하고 비교결과에 기초하여 상기 화질 파라미터를 조정하는 단계를 포함하는 고속 동영상 부호화 방법.
  5. 제1항에 있어서, 상기 고속 동영상 부호화 방법은,
    상기 고속 동영상 부호화 시스템이 상기 측정 보조지표의 변화량이 소정의 임계 값보다 큰지 또는 현재 프레임에서 장면전환 이벤트가 발생했는지 여부를 판단하는 단계; 및
    판단결과에 따라 상기 차기구간 다음의 일정구간에 대해서는 다시 상기 제1화질조정 프로세스를 재수행하는 단계를 더 포함하는 고속 동영상 부호화 방법.
  6. 제1항에 있어서, 상기 화질지표는 VMAF(Video Multimethod Assessment Fusion)이고,
    상기 보조지표는 PSNR(Peak Signal-to-noise ration), SSIM(Structural Similarity Index), 복잡도 지표 중 어느 하나인 것을 특징으로 하는 고속 동영상 부호화 방법.
  7. 고속 동영상 부호화 시스템이 동영상의 부호화를 위해 상기 동영상의 일정구간 동안은 상기 일정구간에 상응하는 구간 동영상에 포함되는 프레임별로, 원본 영상과 상기 원본 영상이 부호화된 부호화 영상의 복원영상에 기초하여 측정되는 화질지표를 측정하고, 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 프로세스를 수행하는 단계;
    상기 고속 동영상 부호화 시스템이 상기 일정구간의 다음 구간인 차기 구간부터는 차기구간 동영상에 포함되는 프레임별로 소정의 제1보조지표를 측정하고 측정한 측정 제1보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계; 및
    상기 고속 동영상 부호화 시스템이 상기 차기구간의 다음 구간인 차차기 구간부터는 차차기 구간 동영상에 포함되는 프레임별로 소정의 제2보조지표를 측정하고 측정한 측정 제2보조지표에 기초하여 상기 화질 파라미터를 조정하는 제3화질조정 프로세스를 수행하는 단계를 포함하며,
    상기 제1보조지표는,
    화질의 측정을 위해 복원영상을 이용하되 상기 화질지표보다는 연산시간이 짧은 지표이고,
    상기 제2보조지표는,
    복원영상을 미사용하면서 원본영상으로만 측정할 수 있는 지표인 것을 특징으로 하는 고속 동영상 부호화 방법.
  8. 제7항에 있어서, 상기 고속 동영상 부호화 방법은,
    상기 고속 동영상 부호화 시스템이 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 상기 제1보조지표를 측정하는 단계를 더 포함하며,
    상기 측정한 측정 제1보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하는 단계는,
    상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 측정된 상기 제1보조지표에 기초해 결정되는 목표 제1보조지표와 상기 측정 제1보조지표를 비교하고, 비교결과에 기초해서 상기 화질 파라미터를 조정하는 단계를 포함하는 고속 동영상 부호화 방법.
  9. 제7항에 있어서, 상기 측정한 측정 제2보조지표에 기초하여 상기 화질 파라미터를 조정하는 제3화질조정 프로세스를 수행하는 단계는,
    상기 차차기 구간 동영상에 포함된 이전 프레임의 측정 보조지표와 현재 프레임의 측정 보조지표를 비교하고 비교결과에 기초하여 상기 화질 파라미터를 조정하는 단계를 포함하는 고속 동영상 부호화 방법.
  10. 데이터 처리장치에 설치되며 제1항 내지 제9항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
  11. 프로세서; 및
    상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며,
    상기 프로세서는 상기 프로그램을 구동하여,
    동영상의 부호화를 위해 상기 동영상의 일정구간 동안은 상기 일정구간에 상응하는 구간 동영상에 포함되는 프레임별로, 원본 영상과 상기 원본 영상이 부호화된 부호화 영상의 복원영상에 기초하여 측정되는 화질지표를 측정하고, 측정한 측정 화질지표에 기초하여 화질 파라미터를 조정하는 제1화질조정 프로세스를 수행하고,
    상기 일정구간의 다음 구간인 차기 구간부터는 차기구간 동영상에 포함되는 프레임별로 소정의 보조지표를 측정하고 측정한 측정 보조지표에 기초하여 상기 화질 파라미터를 조정하는 제2화질조정 프로세스를 수행하며,
    상기 보조지표는,
    화질의 측정을 위해 복원영상을 이용하되 상기 화질지표보다는 연산시간이 짧은 지표이거나, 복원영상을 미사용하면서 원본영상으로만 측정할 수 있는 지표인 것을 특징으로 하는 고속 동영상 부호화 시스템.
  12. 제11항에 있어서, 상기 프로세서는 상기 프로그램을 구동하여,
    상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 상기 보조지표를 더 측정하고, 상기 일정구간 동안에 포함된 프레임들 중 적어도 하나의 프레임에 대해 측정된 상기 보조지표에 기초해 결정되는 목표 보조지표와 상기 측정 보조지표를 비교하고, 비교결과에 기초해서 상기 화질 파라미터를 조정하는 고속 동영상 부호화 시스템.
  13. 제11항에 있어서, 상기 프로세서는 상기 프로그램을 구동하여,
    상기 차기 구간 동영상에 포함된 이전 프레임의 측정 보조지표와 현재 프레임의 측정 보조지표를 비교하고 비교결과에 기초하여 상기 화질 파라미터를 조정하는 고속 동영상 부호화 시스템.
  14. 제11항에 있어서, 상기 프로세서는 상기 프로그램을 구동하여,
    상기 측정 보조지표의 변화량이 소정의 임계 값보다 큰지 또는 현재 프레임에서 장면전환 이벤트가 발생했는지 여부를 판단하고, 판단결과에 따라 상기 차기구간 다음의 일정구간에 대해서는 다시 상기 제1화질조정 프로세스를 다시 수행하는 고속 동영상 부호화 시스템.




KR1020200109816A 2020-08-31 2020-08-31 고속 동영상 부호화 방법 및 시스템 KR102352077B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200109816A KR102352077B1 (ko) 2020-08-31 2020-08-31 고속 동영상 부호화 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109816A KR102352077B1 (ko) 2020-08-31 2020-08-31 고속 동영상 부호화 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102352077B1 true KR102352077B1 (ko) 2022-01-18

Family

ID=80051928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109816A KR102352077B1 (ko) 2020-08-31 2020-08-31 고속 동영상 부호화 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102352077B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336641A (ja) * 1997-06-02 1998-12-18 Sony Corp 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法
KR20060013373A (ko) * 2003-04-23 2006-02-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 매체 프레임의 출력 품질을 설정하는 방법 및 시스템
KR20090110323A (ko) * 2007-01-04 2009-10-21 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비디오 신호를 인코딩하는 방법 및 시스템
KR20130107687A (ko) * 2012-03-23 2013-10-02 포항공과대학교 산학협력단 비디오 품질 측정 장치 및 그 방법
KR20200016879A (ko) 2017-07-06 2020-02-17 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336641A (ja) * 1997-06-02 1998-12-18 Sony Corp 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法
KR20060013373A (ko) * 2003-04-23 2006-02-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 매체 프레임의 출력 품질을 설정하는 방법 및 시스템
KR20090110323A (ko) * 2007-01-04 2009-10-21 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비디오 신호를 인코딩하는 방법 및 시스템
KR20130107687A (ko) * 2012-03-23 2013-10-02 포항공과대학교 산학협력단 비디오 품질 측정 장치 및 그 방법
KR20200016879A (ko) 2017-07-06 2020-02-17 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US7474766B2 (en) Motion image processor, motion image processing method and recording medium
CN101401434B (zh) 用于改变视频图像序列的时间频率的方法和装置
US20100295922A1 (en) Coding Mode Selection For Block-Based Encoding
US10085015B1 (en) Method and system for measuring visual quality of a video sequence
US20140169473A1 (en) Texture sensitive temporal filter based on motion estimation
US10911785B2 (en) Intelligent compression of grainy video content
US11197021B2 (en) Coding resolution control method and terminal
US20210044807A1 (en) Systems and methods for deferred post-processes in video encoding
US11321390B2 (en) Video data generation apparatus, video data generation method, and program
KR20230028250A (ko) 강화 학습 기반 속도 제어
CN111050169B (zh) 图像编码中量化参数的生成方法、装置及终端
KR102352077B1 (ko) 고속 동영상 부호화 방법 및 시스템
CN110913221A (zh) 一种视频码率预测方法及装置
CN112437301B (zh) 一种面向视觉分析的码率控制方法、装置、存储介质及终端
WO2022021422A1 (zh) 视频编码方法、编码器、系统以及计算机存储介质
EP2754292B1 (en) Method and device for calculating distortion of a video being affected by compression artifacts and channel artifacts
US20220277548A1 (en) Image processing system, image processing method, and storage medium
KR102071580B1 (ko) 이미지 재부호화 방법 및 그 장치
CN102948147A (zh) 基于变换系数直方图的视频速率控制
CN111405293A (zh) 一种视频传输方法及装置
CN115002520B (zh) 一种视频流数据处理方法、装置、设备及存储介质
WO2022036678A1 (en) Multi-level region-of-interest quality controllable video coding techniques
CN117768647A (zh) 图像处理方法、装置、设备及可读存储介质
KR20070056229A (ko) 영상 부호기 및 이의 관심 영역 검출방법
CN114202495A (zh) 应用于视频的图像质量损失确定方法、装置、设备及介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant