KR20210044746A - 비디오 코딩 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 - Google Patents
비디오 코딩 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 Download PDFInfo
- Publication number
- KR20210044746A KR20210044746A KR1020210044114A KR20210044114A KR20210044746A KR 20210044746 A KR20210044746 A KR 20210044746A KR 1020210044114 A KR1020210044114 A KR 1020210044114A KR 20210044114 A KR20210044114 A KR 20210044114A KR 20210044746 A KR20210044746 A KR 20210044746A
- Authority
- KR
- South Korea
- Prior art keywords
- coding
- frame
- coded
- quantization parameter
- determining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 238000013139 quantization Methods 0.000 claims abstract description 316
- 238000005070 sampling Methods 0.000 claims abstract description 99
- 230000005540 biological transmission Effects 0.000 claims abstract description 90
- 230000006870 function Effects 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 23
- 230000002457 bidirectional effect Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 15
- 238000013500 data storage Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 클라우드 컴퓨팅 기술분야, 비디오 처리 기술분야, 비디오 코딩 기술분야 및 통신 전송 기술분야에 관한 비디오 코딩 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체를 개시한다. 그 구체적인 구현 형태는, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하고; 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하며; 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하고; 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정함으로써, 보다 합리적인 방식으로 비트율 할당을 수행하여 비디오 코딩 품질을 향상시킨다.
Description
본 발명은 클라우드 컴퓨팅 기술분야에 관한 것으로, 구체적으로 비디오 처리 기술분야, 비디오 코딩 기술분야 및 통신 전송 기술분야에 관한 것이며, 특히 비디오 코딩 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
비디오는 연속적인 프레임으로 구성된 연속적인 이미지 시퀀스이고, 하나의 프레임은 하나의 이미지에 해당된다. 사람 눈의 잔상 효과로 인해 프레임 시퀀스가 일정한 속도로 재생될 때, 우리는 동작이 연속된 비디오를 보게 된다.
종래 기술에서, 연속적인 프레임 간에 유사성이 존재하므로, 저장 및 전송이 용이하도록, 공간 및 시간 차원에서 중복성을 제거하기 위해 원본 비디오를 코딩 및 압축할 필요가 있다.
본 발명은 비디오 코딩 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
제1 양태에 따르면, 본 발명의 실시예는 비디오 코딩 방법을 제공한다. 상기 방법은, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하는 단계; 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하는 단계; 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하는 단계; 및 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계를 포함한다.
제2 양태에 따르면, 본 발명의 실시예는 비디오 코딩 장치를 제공한다. 상기 장치는, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하도록 구성된 프리 코딩 유닛; 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하도록 구성된 프레임 타입 해석 유닛; 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하도록 구성된 코딩 오버헤드 예측 유닛; 및 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하도록 구성된 전략 결정 유닛을 포함한다.
제3 양태에 따르면, 본 발명의 실시예는 전자 기기를 제공한다. 상기 전자 기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 가능하게 연결된 메모리를 포함하되; 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서가 제1 양태의 임의의 구현 방식에 기재된 비디오 코딩 방법을 수행할 수 있도록 한다.
제4 양태에 따르면, 본 발명의 실시예는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능한 저장 매체를 제공한다. 상기 컴퓨터 명령은, 상기 컴퓨터가 제1 양태의 임의의 구현 방식에 기재된 비디오 코딩 방법을 수행하도록 한다.
해당 부분에 설명된 내용은 본 발명의 실시예의 핵심 또는 중요한 특징을 식별하기 위한 것이 아니며, 본 발명의 범위를 제한하려는 것도 아님을 이해해야 한다. 본 발명의 다른 특징은 아래 설명을 통해 쉽게 이해될 것이다.
본 발명은, 프리 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하고, 후속적으로 소스 비디오 중 코딩할 프레임의 상이한 프레임 타입 및 적용될 코딩 방식에 대응되는 양자화 파라미터에 대한 코딩 오버헤드를 예측하며, 예측된 코딩 오버헤드와 전송 비트율 제한 정보를 비교하여 코딩 전략을 결정함으로써, 보다 합리적인 방식으로 비트율 할당을 수행하여 비디오 코딩 품질을 향상시킨다.
도면은 본 해결수단을 더 잘 이해하기 위한 것일 뿐 본 발명을 한정하지 않는다.
도 1은 본 발명이 적용될 수 있는 예시적인 시스템 아키텍처이다.
도 2는 본 발명에 따른 비디오 코딩 방법의 일 실시예의 흐름도이다.
도 3은 본 발명에 따른 비디오 코딩 방법의 다른 실시예의 흐름도이다.
도 4는 본 발명에 따른 비디오 코딩 방법의 전송 비트율 제한 정보 결정 방법의 흐름도이다.
도 5는 본 발명에 따른 비디오 코딩 방법의 다른 실시예의 흐름도이다.
도 6은 본 발명에 따른 비디오 코딩 장치의 일 실시예의 구조 모식도이다.
도 7은 본 발명의 실시예의 비디오 코딩 구현에 적합한 전자 기기의 블록도이다.
도 1은 본 발명이 적용될 수 있는 예시적인 시스템 아키텍처이다.
도 2는 본 발명에 따른 비디오 코딩 방법의 일 실시예의 흐름도이다.
도 3은 본 발명에 따른 비디오 코딩 방법의 다른 실시예의 흐름도이다.
도 4는 본 발명에 따른 비디오 코딩 방법의 전송 비트율 제한 정보 결정 방법의 흐름도이다.
도 5는 본 발명에 따른 비디오 코딩 방법의 다른 실시예의 흐름도이다.
도 6은 본 발명에 따른 비디오 코딩 장치의 일 실시예의 구조 모식도이다.
도 7은 본 발명의 실시예의 비디오 코딩 구현에 적합한 전자 기기의 블록도이다.
아래 도면과 결부시켜 본 발명의 예시적 실시예를 설명하되, 여기에 이해를 돕기 위한 본 발명의 실시예의 다양한 세부사항들이 포함되지만, 이들은 단지 예시적인 것으로 이해해야 한다. 따라서, 본 기술분야의 통상의 기술자는 본 발명의 범위 및 정신을 벗어나지 않는 전제 하에 여기서 설명된 실시예에 대해 다양한 변형 및 수정을 진행할 수 있음을 이해해야 한다. 마찬가지로, 명확 및 간략을 위해, 아래의 설명에서 공지 기능 및 구조에 대한 설명을 생략한다.
모순되지 않는 한 본 발명의 실시예 및 실시예의 특징은 서로 조합될 수 있음을 유의해야 한다. 아래 첨부 도면을 참조하고 실시예를 참조하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명을 응용할 수 있는 비디오 코딩 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 실시예의 예시적인 시스템 아키텍처(100)를 도시한다.
도 1에 도시된 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103)와 서버(105) 사이에서 통신 링크의 매체를 제공한다. 네트워크(104)는 다양한 연결 타입을 포함할 수 있는 바, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등이다.
사용자는 비디오 재생 요청을 수신하고 비디오를 송신하는 등 작업을 수행하기 위해 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션할 수 있다. 단말 기기(101, 102, 103)에는 비디오 인터랙션에 사용 가능한 다양한 애플리케이션이 장착될 수 있는 바, 예를 들어, 주문형 네트워크 비디오 애플리케이션, 비디오 업로드 애플리케이션, 소셜 애플리케이션 등이다.
단말 기기(101, 102, 103)는 하드웨어일 수 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우 디스플레이 스크린을 구비하고 정보 입력을 지원하는 다양한 전자 기기일 수 있으며, 스마트폰, 태블릿PC, 휴대형 랩톱 및 데스크톱 등을 포함하나 이에 한정되는 것은 아니다. 단말 기기(101, 102, 103)가 소프트웨인 경우 상기 열거된 전자 기기에 설치될 수 있다. 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 비디오 코딩 서비스를 구현함)로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.
서버(105)는 다양한 서비스를 제공하는 서버일 수 있는 바, 예를 들어 네트워크(104)를 통해 본 발명에서 코딩된 소스 비디오를 수신하는 단말 기기(101, 102, 103)로부터 비디오 재생 요청을 수신하고, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하며; 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하고; 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하며; 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정한다.
설명해야 할 것은, 본 발명의 실시예에 의해 제공되는 비디오 코딩 방법은 서버(105)에 의해 수행될 수 있으며, 대응되게, 비디오 코딩 장치는 서버(105)에 설치될 수 있다.
설명해야 할 것은, 서버는 하드웨어 또는 소프트웨어일 수 있다. 서버가 하드웨어인 경우 복수의 서버로 구성된 분산형 서버 클러스터로 구현될 수 있고, 하나의 서버로 구현될 수도 있다. 서버가 소프트웨어인 경우 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산형 서비스를 제공함)로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.
이해해야 할 것은, 도 1의 단말 기기, 네트워크 및 서버의 개수는 예시적인 것일 뿐이며, 실제 필요에 따라 임의의 개수의 단말 기기, 네트워크 및 서버를 구비할 수 있다.
또한 유의해야 할 것은, 단말 기기(101, 102, 103)에는 비디오 코딩 애플리케이션이 장착될 수도 있으며, 단말 기기(101, 102, 103)는, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하고; 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하며; 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하고; 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정할 수도 있다. 이때, 비디오 코딩 방법은 단말 기기(101, 102, 103)에 의해 수행될 수도 있으며, 대응되게, 비디오 코딩 장치는 단말 기기(101, 102, 103)에 설치될 수도 있다. 이때, 예시적인 시스템 아키텍처(100)는 서버(105) 및 네트워크(104)를 포함하지 않을 수도 있다.
이때, 비디오 코딩 방법은 단말 기기(101, 102, 103)에 의해 수행될 수도 있으며, 대응되게, 비디오 코딩 장치는 단말 기기(101, 102, 103)에 설치될 수도 있다. 이때, 예시적인 시스템 아키텍처(100)는 서버(105) 및 네트워크(104)를 포함하지 않을 수도 있다.
이해해야 할 것은, 도 1의 단말 기기, 네트워크 및 서버의 개수는 예시적인 것일 뿐이며, 실제 필요에 따라 임의의 개수의 단말 기기, 네트워크 및 서버를 구비할 수 있다.
계속해서 도 2를 참조하면, 도 2는 본 발명에 따른 비디오 코딩 방법의 일 실시예의 프로세스(200)를 도시한다. 상기 비디오 코딩 방법은 하기와 같은 단계를 포함한다.
단계(201)에서, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득한다.
본 실시예에서, 비디오 코딩 방법의 실행주체(예를 들어 도 1에 도시된 서버(105) 또는 단말 기기(101, 102, 103))는 로컬 또는 비 로컬 저장 기기(예를 들어, 도 1에 도시된 단말 기기(101, 102, 103))로부터 소스 비디오를 획득할 수 있다.
로컬 저장 기기는 상기 실행주체 내의 하나의 데이터 저장 모듈에 저장될 수 있는데, 이 경우, 소스 비디오는 로컬로만으로 판독될 수 있으며; 비 로컬 저장 기기는 또한 소스 비디오를 저장하는 다른 전용 데이터 저장 서버일 수 있고, 이 경우, 상기 실행주체는 상기 데이터 저장 서버에 소스 비디오를 송신하여 명령을 획득함으로써 데이터 저장 서버에서 반환한 소스 비디오를 획득한다.
구체적으로, 미리 결정된 코딩 방식을 적용하여 상기 획득된 소스 비디오를 코딩하되, 기설정된 코딩 방식으로는 예를 들어 일반적인 동화상 전문가 그룹 코딩 방식(Motion Picture Experts Group, 약칭 MPEG), 오디오 비디오 인터리브드 코딩 방식(Audio Video Interleaved, 약칭 AVI) 및 스트리밍 미디어 코딩 방식(Flash Video, 약칭 FLV)과 같은 일반적인 비디오 코딩 방식으로 기설정된 코딩 방식을 사용하여 상기 소스 비디오를 프리 코딩한 후, 기설정된 코딩 방식에 대응되는 양자화 파라미터, 및 코딩 결과 중 프레임 내 코딩에 소비되는 비트수, 프레임 간 코딩에 소비되는 비트수 및 프레임 간 코딩 중 프레임 내 블록의 비율과 같은 정보를 샘플링 코딩 오버헤드로 사용한다.
이를 기반으로, 소스 비디오 중 코딩될 부분이 결정된 후, 소스 비디오를 샘플링하여 상기 소스 비디오의 비디오 프레임 시퀀스를 획득하고, 상기 비디오 프레임 시퀀스를 코딩할 수 있다.
단계(202)에서, 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여, 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득한다.
구체적으로, 상기 소스 비디오 중 코딩할 프레임의 프레임 타입에 대한 해석은, 일반적으로 코딩할 프레임에 필요한 정보와 상이한, 코딩할 프레임에 대해 프레임 타입 분할을 수행하는 바, 예를 들어 코딩시 다른 프레임의 데이터를 참조할 필요성이 있는지 여부에 따라, 해석 결과를 인트라 코딩 프레임, 순방향 예측 코딩 프레임 및 양방향 차등 코딩 프레임으로 분할한다.
여기서, 인트라 코딩 프레임은 스스로 모든 정보를 구비한 독립적인 프레임으로서, 다른 이미지를 참조할 필요 없이 독립적으로 디코딩을 수행할 수 있으며 이는 단순히 정적 화면으로 이해할 수 있고; 순방향 코딩 프레임은 이전 인트라 코딩 프레임 또는 순방향 코딩 프레임을 참조로 해야만 프레임 코딩을 수행할 수 있는 바, 이는 현재 프레임 화면과 이전 프레임(이전 프레임은 인트라 코딩 프레임 또는 순방향 코딩 프레임일 수 있음)의 차이를 나타내고, 디코딩시 이전에 버퍼링된 화면에 해당 프레임에 정의된 차이를 중첩시켜 최종 화면을 생성해야 하며; 양방향 차등 코딩 프레임은 해당 프레임과 전후 프레임의 간의 차이, 즉 대응되는 디코딩 양방향 차등 코딩 프레임을 기록하므로, 이전 버퍼링 화면뿐만 아니라 디코딩된 화면도 획득하여 전후 화면과 해당 프레임 데이터를 중첩시켜 최종 화면을 획득한다.
이해해야 할 것은, 기설정된 코딩 방식을 적용하여 상기 소스 비디오 중 샘플링 비디오 프레임 시퀀스를 코딩한 후, 상기 코딩된 샘플링 비디오 프레임 시퀀스 중 코딩할 프레임의 타입에 따라 코딩할 프레임의 프레임 타입 시퀀스를 획득할 수 있다.
단계(203)에서, 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정한다.
구체적으로, 상기 단계(202)에서 획득된 프레임 시퀀스의 타입에 따라, 상기 실행주체는 기설정된 코딩 방식을 적용하여 소스 비디오 중 샘플링 비디오 프레임 시퀀스를 코딩할 경우, 상기 타입입 코딩할 프레임에 대응되는 샘플링 코딩 오버헤드를 획득한 후, 코딩할 프레임의 상이한 타입 및 대응되는 상기 타입에서 선택될 코딩 방식에 따라, 적용될 코딩 방식의 해당 타입의 코딩할 프레임을 적용하여 코딩시 필요한 코딩 오버헤드를 예측한다.
예시적으로, 코딩할 프레임의 해석 결과가 인트라 코딩 프레임인 경우, 인트라 코딩 프레임 타입은 코딩할 프레임의 현재 프레임의 샘플링 코딩 오버헤드만 참조하므로, 샘플링 코딩 중 기설정된 코딩 방식에 대응되는 양자화 파라미터를 획득한 후, 기설정된 코딩 방식에 대응되는 양자화 파라미터와 적용될 코딩 방식에 대응되는 양자화 파라미터에 따라 변환율 관계를 결정하고, 상기 변환율 관계 및 코딩될 방식에 소비되는 코딩 오버헤드에 따라적용될 코딩 방식에 대응되는 예측 코딩 오버헤드를 예측한다.
단계(204)에서, 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정한다.
구체적으로, 적용될 코딩 방식에 대응되는 예측 코딩 오버헤드를 획득한 후, 상기 예측비트율 오버헤드가 전송 비트율 제한 정보의 요구 사항을 충족시키는 지 여부를 판단하여, 충족시키면,적용될 상기 코딩 방식을 사용하여 소스 비디오를 코딩하고, 충족시키지 않으면, 적용될 다른 코딩 방식을 교체하거나 또는 적용될 코딩 방식 중 양자화 파라미터를 조정하여 예측 비트율 오버헤드가 비트율 제한 정보의 요구 사항을 충족시키도록 한다.
본 발명의 실시예에 의해 제공되는 비디오 코딩 방법은, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하고; 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하며; 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하고; 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정한다. 본 발명에 의해 제공되는 비디오 코딩 방법을 통해 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하고, 보다 합리적인 방식으로 비트율 할당을 수행하여 비디오 코딩 품질을 향상시킬 수 있다.
계속해서 도 3을 참조하면, 도 3은 본 발명에 따른 비디오 코딩 방법의 다른 실시예의 프로세스(300)를 도시하며, 타입이 인트라 코딩 프레임인 코딩할 프레임의 예측 코딩 오버헤드의 프로세스는 하기와 같은 단계를 포함한다.
단계(301)에서, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득한다.
단계(302)에서, 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여, 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득한다.
단계(303)에서, 상기 코딩할 프레임의 프레임 타입이 인트라 코딩 프레임인 것으로 결정됨에 응답하여, 상기 샘플링 코딩 오버헤드에 따라 예측 코딩 양자화 파라미터 변환 계수를 결정한다.
구체적으로, 상기 코딩할 프레임의 프레임 타입이 인트라 코딩 프레임인 것으로 결정된 후, 상기 코딩할 프레임의 샘플링 코딩 오버헤드 중 프레임 내 코딩에 소비되는 비트수를 이력 데이터 통계에 기반하여 결정된 양자화 파라미터 변환 계수 선형 관계에 하기와 같이 대입한다.
여기서, f1, f2, f3은 예측 코딩 양자화 파라미터 변환 계수이고, bitsI는 프레임 내 코딩에 소비되는 비트수이며, a0, a1, a2, b0, b1, b2, c0, c1, c2는 이력 데이터에 기반하여 결정된 양자화 파라미터의 현재 변환 계수 선형 관계 중 상수 변수이다. 상기 양자화 파라미터 변환 계수 선형 관계는 제1, 제2, 제3 예측 코딩 양자화 파라미터 변환 계수를 결정하는데 사용된다.
단계(304)에서, 적용될 제1 코딩 방식에 대응되는 제1 양자화 파라미터를 획득하고, 상기 예측 코딩 양자화 파라미터 변환 계수 및 상기 제1 양자화 파라미터에 따라 상기 제1 양자화 계수를 결정한다.
구체적으로, 이력 데이터에 기반하여 결정된 하기와 같은 제1 양자화 파라미터-계수 선형 관계를 사용한다.
여기서, f5는 제1 양자화 계수이고, f1, f2, f3은 상기 단계 303에서 획득된 제1, 제2 , 제3 예측 코딩 양자화 파라미터 변환 계수이며, qb는 제1 코딩 방식에 대응되는 제1 양자화 파라미터이다. 상기 제1 양자화 파라미터-계수 선형 관계는 제1 양자화 계수를 각각 결정하는데 사용된다.
단계(305)에서, 양자화 파라미터-양자화 스칼라 변환 공식을 적용하여 상기 기설정된 코딩 방식에 대응되는 기설정된 양자화 파라미터 및 상기 제1 양자화 파라미터에 대응되는 양자화 스칼라에 따라, 기설정된 상기 양자화 파라미터에 대응되는 양자화 스칼라 및 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라를 각각 계산한다.
구체적으로, 상기 코딩할 프레임의 프레임 타입이 인트라 코딩 프레임인 것으로 결정된 후, 코딩 방식이 적용될 양자화 파라미터에 대응되는 제1 양자화 파라미터를 획득하되, 하기와 같은 양자화 파라미터-양자화 스칼라 변환 공식에 따른다.
여기서 qp는 양자화 파라미터이고, qscale는 양자화 스케일이다. 상기 양자화 파라미터-양자화 스칼라 변환 공식은 기설정된 양자화 파라미터 및 제1 양자화 파라미터, 대응되는 기설정된 양자화 스칼라 및 제1 양자화 스칼라를 각각 결정하는데 사용된다.
단계(306)에서, 인트라 코딩 프레임의 코딩 곡선 함수 및 제1 예측 코딩 파라미터에 따라, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드를 결정하되, 상기 제1 예측 코딩 파라미터는, 상기 샘플링 코딩 오버헤드, 상기 기설정된 양자화 파라미터에 대응되는 기설정된 양자화 스칼라, 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라 및 제1 양자화 계수이고, 상기 인트라 코딩 프레임의 코딩 곡선 함수는 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 획득된다.
구체적으로, 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 하기와 같은 인트라 코딩 프레임의 코딩 곡선 함수를 획득한다.
여기서, estBitsI는 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드이고, f5는 상기 단계(304)에서 결정된 제1 양자화 계수이며, bitsI는 샘플링 코딩 오버헤드 중 인트라 코딩 프레임의 코딩 오버헤드이고, qscale는 상기 단계(305)에서 획득된 기설정된 양자화 스칼라이며, estQ는 상기 단계에서 획득된 제1 양자화 스칼라이다. 상기 인트라 코딩 프레임의 코딩 곡선 함수는 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드를 결정하는데 사용된다.
본 실시예에서, 도 2에 도시된 실시예를 기반으로 인트라 코딩 프레임 타입의 코딩될 예측 코딩 오버헤드 결정 프로세스를 제공하되, 여기서 도 2에 도시된 실시예와 동일한 부분은 더 이상 설명하지 않는다. 상기 프로세스를 통해 인트라 코딩 프레임 타입의 코딩할 프레임의 예측 코딩 오버헤드를 정확하게 결정할 수 있으므로, 후속적으로 상기 예측 코딩 오버헤드와 전송 비트율 제한 정보의 비교에 있어서 데이터 지원을 제공하고, 비디오 코딩 양자화 파라미터의 선택 정확도를 향상시킨다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 예측 코딩 양자화 파라미터 변환 계수 및 상기 제1 양자화 파라미터에 따라 상기 제1 양자화 계수를 결정하는 단계는, 미리 결정된 임계값 조건을 적용하여, 획득된 상기 제1 양자화 계수를 리미팅하는 단계를 포함한다.
구체적으로, 사용 요구 및 소스 비디오 특성 등 정보에 따라 적합한 임계값 조건을 선택하고, 제1 양자화 계수를 결정된 후, 상기 제1 양자화 계수가 상기 임계값 조건 내에 있는지 여부를 판단할 수 있다. 예를 들어,
여기서, f5는 상기 단계에서 결정된 제1 양자화 계수이고, th1, th2는 각각 미리 결정된 임계값 조건이다. 상기 대응 관계는 상기 제1 양자화 계수를 사용한 후속 작업에서 획득한 데어터가 조건 요구 사항을 충족시키도록, 임계값 조건을 설정하는 방식으로 제1 양자화 계수를 한정하여 상기 양자화 정보가 기설정된 범위 내에 있도록 보장할 수 있다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드가 상기 전송 비트율 제한 정보의 요구 사항을 충족시키는 것으로 결정됨에 응답하여, 상기 제1 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 인트라 코딩 프레임을 코딩하는 단계를 포함한다.
구체적으로, 전송 비트율 제한 정보를 획득한 후, 획득된 전송 비트율 제한 정보와 결정된 예측 코딩 오버헤드를 비교하는데, 일반적으로 예측 코딩 오버헤드에 대응되는 비트값과 전송 비트율 제한 정보 중 허용 가능한 비트값을 비교한다. 예를 들어 상기 예측 코딩 오버헤드에 대응되는 비트값이 상기 허용 가능한 비트값보다 작거나 같은 경우, 상기 전송 비트율 제한 정보의 요구 사항을 충족시키는 것으로 간주하여, 제1 양자화 파라미터를 사용하여 소스 비디오를 코딩하고, 코딩 과정의 신뢰성을 보장하도록, 상기 예측 코딩 오버헤드에 대응되는 제1 양자화 파라미터를 사용하여 코딩할 프레임 중 인트라 코딩 프레임을 코딩할 수 있다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드가 상기 전송 비트율 제한 정보의 요구 사항을 충족시키지 않는 것으로 결정됨에 응답하여, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드 및 상기 전송 비트율 제한 정보에 따라 상기 제1 양자화 파라미터를 재결정하는 단계를 포함한다.
구체적으로, 전송 비트율 제한 정보를 획득한 후, 획득된 전송 비트율 제한 정보와 결정된 예측 코딩 오버헤드를 비교하는데, 일반적으로 예측 코딩 오버헤드에 대응되는 비트값과 전송 비트율 제한 정보 중 허용 가능한 비트값을 비교한다. 예를 들어, 상기 예측 코딩 오버헤드에 대응되는 비트값이 상기 허용 가능한 비트값보다 큰 경우, 상기 전송 비트율 제한 정보의 요구 사항을 충족시키지 않는 것으로 간주한다. 이는 상기 예측 코딩 오버헤드에 대응되는 제1 양자화 파라미터를 사용하여 코딩할 프레임 중 인트라 코딩 프레임을 코딩할 수 없음을 의미하므로, 제1 양자화 파라미터를 사용하여 소스 비디오를 코딩하고, 코딩 과정의 신뢰성을 보장하도록, 새로운 제1 양자화 파라미터를 다시 결정해야 한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 전송 비트율 제한 정보는 아래 단계에 기반하여 결정된다.
구체적으로, 도 4에 도시된 바와 같이, 프로세스(400)의 단계(401)에서, 상기 샘플링 코딩 오버헤드에 따라 소스 비디오의 코딩될 비례 계수를 결정한다.
구체적으로, 소스 비디오의 샘플링 코딩 오버헤드 중 현재 프레임의 프레임 내 코딩에 소비되는 비트수 및 후속적으로 프레임의 프레임 간 코딩에 소비되는 비트수를 획득하여, 이력 데이터에 기반하여 결정된 코딩될 비례 계수 선형 관계에 하기와 같이 대입한다.
여기서, f4는 코딩될 비례 계수이고, bitsI는 현재 프레임의 프레임 내 코딩에 소비되는 비트수이며, bitsPB는 후속적으로 프레임의 프레임 간 코딩에 소비되는 비트수이고, d0 및 d1은 이력 데이터에 따라 결정된 코딩될 비례 계수의 상수이다. 상기 코딩될 비례 계수 선형 관계는 코딩될 비례 계수를 결정하는데 사용된다.
단계(402)에서, 상기 샘플링 코딩 오버헤드, 상기 코딩될 비례 계수 및 상기 제1 양자화 파라미터에 따라 비트율 제한 보정 계수를 결정한다.
구체적으로, 상기 단계에서 획득된 코딩될 비례 계수 및 프리 코딩 방식에 대응되는 기설정된 양자화 파라미터에 따라, 이력 데이터에 기반하여 결정된 하기와 같은 코딩-제한 비례 계수 변환 관계를 적용한다.
여기서, qp는 프리 코딩 방식에 대응되는 기설정된 양자화 파라미터이고, f4는 코딩될 비례 계수이며, t1, t2, t3은 이력 데이터에 따라 결정된 코딩 비례 계수와 제한 비례 계수 변환 관계에 대응되는 양자화 파라미터 임계값 범위의 경계값이고, e0, e1은 이력 데이터에 따라 결정된 코딩비례 계수와 제한 비례 계수의 변환 관계 상수이다. 상기 코딩-제한 비례 계수 변환 관계는 비트율 보정 계수를 결정하는데 사용된다.
단계(403)에서, 초기 전송 비트율 제한 정보를 획득한다.
단계(404)에서, 상기 비트율 제한 보정 계수 및 상기 초기 전송 비트율 정보에 따라 상기 전송 비트율 제한 정보를 결정한다.
보정된 허용 가능한 비트값을 결정하고, 상기 보정된 허용 가능한 비트값을 비트율 전송 제한 정보로 사용하기 위해, 상기 단계(402)에서 결정된 비트율 보정 계수와 상기 단계(403)에서 획득된 초기 전송 비트율 제한 정보 중 허용 가능한 비트값을 곱셈한다.
비 코딩 비디오 프레임을 조정함으로써 비트율 전송 제한 정보가 보다 정확해져 비트율 전송 제한 정보에 대한 코딩된 프레임의 영향을 감소시키고, 전송 채널의 이용률을 향상시켜 전송 속도를 향상시키기 위해, 상기 프로세스(400)의 단계에서 비트율 전송 제한 정보를 보정한다.
계속해서 도 5를 참조하면, 도 5는 본 발명에 따른 비디오 코딩 방법의 다른 실시예의 프로세스(500)를 도시하고, 타입이 순방향 예측 코딩 프레임의 코딩할 프레임의 예측 코딩 오버헤드의 프로세스를 도시하며, 이는 하기와 같은 단계를 포함한다.
단계(501)에서, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득한다.
단계(502)에서, 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여, 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득한다.
단계(503)에서, 상기 코딩할 프레임의 프레임 타입이 순방향 예측 코딩 프레임인 것으로 결정됨에 응답하여, 상기 전송 비트율 제한 정보, 상기 기설정된 코딩 방식에 대응되는 기설정된 코딩 양자화 스칼라를 각각 획득하고; 순방향 예측 코딩 프레임의 코딩 곡선 함수 및 제2 예측 코딩 파라미터에 따라 상기 소스 비디오의 순방향 예측 코딩 프레임의 예측 코딩 오버헤드를 결정하되, 상기 제2 예측 코딩 파라미터는 상기 전송 비트율 제한 정보, 상기 샘플링 코딩 오버헤드 및 상기 기설정된 양자화 스칼라이며, 여기서, 상기 순방향 예측 코딩 프레임의 코딩 곡선 함수는 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 획득된다.
구체적으로, 예측 코딩 프레임의 코딩 곡선 함수는 일반적으로 다음과 같다. 원래 코딩-프리 코딩 변환 계수는 샘플링 코딩 오버헤드 중 코딩된 각 프레임에 소비된 비트수와 선택한 코딩 방식에 대응되는 양자화 스칼라의 곱셈을 누적하여 계산한 평균값을 샘플링 코딩 오버헤드 중 기설정된 코딩 방식으로 코딩된 각 프레임을 코딩하는데 소비된 비트수의 평균값으로 나눈 값과 동일하다. 상기 함수 관계에 따르면, 원래 코딩-프리 코딩 변환 계수이다.
전송 비트율 제한 정보 중 허용 가능한 비트값을 획득하고, 상기 샘플링 코딩 오버헤드 중 프리 코딩에 소비된 비트수 정보와 상기 원래 코딩-프리 코딩 변환 계수의 곱셈 결과를 허용 가능한 비트값으로 나눠 적용될 코딩 방식에 대응되는 제2 예측 코딩 오버헤드를 결정한다.
단계(504)에서, 상기 기설정된 코딩 방식에 대응되는 기설정된 양자화 스칼라 및 상기 순방향 예측 코딩 프레임의 예측 코딩 오버헤드에 따라 결정된 제2 양자화 파라미터에 따라, 가중 계산을 수행하여 업데이트된 제2 양자화 파라미터를 결정하되, 상기 특성 비율 파라미터는 특성 파라미터 곡선 함수 및 상기 샘플링 코딩 오버헤드에 따라 결정된다.
구체적으로, 상기 단계(503)에서 획득된 제2 예측 코딩 오버헤드에 따라 대응되는 제2 양자화 파라미터를 결정된 후, 하기와 같은 특성 파라미터 곡선에 따라 하기와 같은 가중 비례 계수를 결정할 수 있다.
여기서, weight는 가중 비례 계수를 나타내고, bitsI는 프레임 내 코딩에 소비되는 비트수이며, bitsPB는 프레임 간프리 코딩에 소비되는 비트수이고, intraRatio는 프레임 내 블록의 비율이며, f8, f9, f10은 이력 데이터에 따라 결정된 특성 상수이고; 마지막으로, 결정된 가중 비례 계수에 따라 상기 단계에서 결정된 제2 양자화 파라미터를 업데이트한다.
단계(505)에서, 상기 업데이트된 제2 양자화 파라미터에 따라, 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩한다.
본 실시예에서, 도 2에 도시된 실시예를 기반으로 순방향 예측 코딩 프레임 타입의 코딩될 예측 코딩 오버헤드 결정 프로세스를 제공하되, 그 중 도 2에 도시된 실시예와 동일한 부분은 더 이상 설명하지 않는다. 상기 프로세스를 통해 순방향 예측 코딩 프레임 타입의 코딩할 프레임의 예측 코딩 오버헤드를 정확하게 결정할 수 있으므로, 후속적으로 상기 예측 코딩 오버헤드와 전송 비트율 제한 정보에 따라 제2 양자화 파라미터를 결정하는데 있어서 데이터 지원을 제공하고, 상기 데이터에 따라 제2 양자화 파라미터를 조정함으로써 비디오 코딩 양자화 파라미터의 선택 정확도를 향상시킨다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계는, 상기 샘플링 비디오 시퀀스 중 코딩된 프레임 및 코딩할 프레임의 개수에 따라 코딩된 비례 계수를 결정하고, 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는지 여부를 판단하는 단계; 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키지 않는 것으로 결정됨에 응답하여, 상기 제1 양자화 파라미터에 따라 상기 제2 양자화 파라미터를 조정하는 단계; 및 조정된 제2 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함한다.
구체적으로, 상기 샘플링 비디오 시퀀스에 따라 소스 비디오 중 코딩된 프레임 및 코딩할 프레임의 개수를 획득하여 코딩된 비례 계수를 결정하고, 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키지 않는 것으로 판단되면, 참조에 사용되는 코딩된 프레임이 임계값 조건을 충족시키지 않을 때 비디오를 코딩에 사용 가능한 양자화 파라미터가 존재하지 않아 발생되는 콜드 스타트 문제를 방지하기 위해, 상기 단계에서 결정된 제1 양자화 파라미터를 사용하여 제2 양자화 파라미터를 조정하고, 상기 제2 양자화 파라미터가 코딩된 프레임을 사용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계는, 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는 것으로 결정됨에 응답하여, 상기 제2 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함한다.
구체적으로, 상기 샘플링 비디오 시퀀스에 따라 소스 비디오 중 코딩된 프레임 및 코딩할 프레임의 개수를 획득하여 코딩된 비례 계수를 결정하고, 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는 것으로 판단되면, 상기 단계에서 결정된 제2 양자화 파라미터를 사용하여 순방향 예측 코딩 프레임을 코딩하며, 참조에 사용되는 코딩된 프레임이 임계값 조건 요구 사항을 충족시키면, 보다 정확한 양자화 파라미터를 사용하여 비디오를 코딩하여 비디오 코딩 효과를 향상시킨다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 코딩할 프레임의 프레임 타입이 양방향 차등 코딩 프레임인 것으로 결정됨에 응답하여, 인접된 프레임의 양자화 파라미터에 따라 제3 양자화 파라미터를 결정하되, 상기 인접된 프레임의 양자화 파라미터는 상기 인트라 코딩 프레임에 대응되는 제1 양자화 파라미터 및/또는 상기 순방향 예측 코딩 프레임에 대응되는 제2 양자화 파라미터를 포함하고; 상기 제3 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 양방향 차등 코딩 프레임을 코딩한다.
구체적으로, 코딩할 프레임의 프레임 타입이 양방향 차등 코딩 프레임인 것으로 결정되면, 인접된 프레임의 양자화 파라미터에 따라 제3 양자화 파라미터를 결정한다. 예를 들어, 인접된 프레임이 모두 인트라 코딩 프레임인 경우, 상기 실시예 중 인트라 코딩 프레임의 코딩 곡선 함수 및 제1 예측 코딩 파라미터에 따라 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드를 결정하되, 상기 제1 예측 코딩 파라미터는 상기 샘플링 코딩 오버헤드, 상기 기설정된 양자화 파라미터에 대응되는 기설정된 양자화 스칼라, 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라 및 제1 양자화 계수이며, 대응되는 제1 양자화 파라미터를 제3 양자화 파라미터로 사용하고, 상기 제3 양자화 파라미터를 적용하여 코딩할 프레임 중 양방향 차등 코딩 프레임을 코딩한다. 마찬가지로, 상기 양방향 차등 코딩 프레임의 특성에 기반하여 인접된 프레임을 인트라 코딩 프레임 및 순방향 예측 코딩 프레임으로 분할한 경우(이전 프레임은 인트라 코딩 프레임이고, 후속 프레임은 순방향 예측 코딩 프레임이거나 또는 이전 프레임은 순방향 예측 코딩 프레임이고, 후속 프레임은 인트라 코딩 프레임임), 인트라 코딩 프레임에 사용되는 제1 양자화 파라미터를 제3 양자화 파라미터로 참조할 수 있으며, 순방향 예측 코딩 프레임에 대응되는 제2 양자화 파라미터를 제3 양자화 파라미터로 참조할 수도 있다. 이러한 방식을 통해 코딩할 프레임의 타입이 양방향 차등 코딩 프레임인 경우, 인접된 프레임의 양자화 파라미터를 직접 참조하여 코딩할 수 있으므로 코딩 효율을 향상시킨다.
이해를 심화시키기 위해 본 발명은 또한 구체적인 애플리케이션 시나리오를 결부시켜 구체적인 구현 형태를 제공한다. 상기 애플리케이션 시나리오에서, 비디오 코딩 방법의 실행주체는 소스 비디오를 획득한 후, 기설정된 코딩 방식을 적용하여 상기 소스 비디오 중 샘플링을 코딩하고, 기설정된 코딩 방식에 대응되는 기설정된 양자화 파라미터 및 기설정된 양자화 계수, 코딩 결과 중 프레임 내 코딩에 소비되는 비트수, 프레임 간 코딩에 소비되는 비트수 및 프레임 간 코딩 중 프레임 내 블록의 비율과 같은 정보를 샘플링 코딩 오버헤드로 결정한다.
상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하되, 상기 프레임 타입 시퀀스에는 각각 인트라 코딩 프레임, 순방향 코딩 프레임 및 양방향 차등 코딩 프레임이 구비되어 우선 인트라 코딩 프레임의 코딩에 사용되는 제1 양자화 파라미터를 결정하고; 상기 코딩할 프레임의 프레임 타입이 인트라 코딩 프레임을 결정된 후, 이력 데이터 통계에 따라 결정된 양자화 파라미터 변환 계수 선형 관계에서, a0, a1, a2, b0, b1, b2, c0, c1, c2는 각각 1, 2, 200, 2, 1, 30, 3, 5, 600이고, 상기 코딩할 프레임의 샘플링 코딩 오버헤드 중 프레임 내 코딩에 소비되는 비트수 500bit를 이력 데이터 통계에 기반하여 결정된 양자화 파라미터 변환 계수 선형 관계에 하기와 같이 대입한다.
결정된 제1, 제2 , 제3 예측 코딩 양자화 파라미터 변환 계수는, 각각 251200, 501030 및 753100이다.
이력 데이터에 기반하여 결정된 하기와 같은 제1 양자화 파라미터-계수 선형 관계를 사용한다.
여기서, qb는 제1 코딩 방식에 대응되는 제1 양자화 파라미터 1이고, 결정된 제1 양자화 계수는 1505330이다.
상기 코딩할 프레임의 프레임 타입이 인트라 코딩 프레임을 결정된 후, 코딩 방식이 적용될 양자화 파라미터에 대응되는 제1 양자화 파라미터를 획득하고, 하기와 같은 양자화 파라미터-양자화 스칼라 변환 공식에 따른다.
기설정된 양자화 파라미터 2 및 제1 양자화 파라미터 1, 대응되는 기설정된 양자화 스칼라 0.27 및 제1 양자화 스칼라 0.24를 각각 결정한다.
실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해하기와 같은 인트라 코딩 프레임의 코딩 곡선 함수를 획득한다.
상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드 8.29×1018을 결정한다.
미리 결정된 임계값 조건을 적용하여, 획득된 상기 제1 양자화 계수를 리미팅한다.
사용 요구 및 소스 비디오 특성 등 정보에 따라 적합한 임계값 조건 1.3×106, 1.6×106을 선택하고, 제1 양자화 계수를 결정된 후, 상기 단계에서 결정된 제1 양자화 계수가 th1, th2 사이에 있는지를 판단하고, 상기 단계에서 결정된 제1 양자화 계수를 제1 양자화 계수 1505330으로 사용한다.
소스 비디오의 샘플링 코딩 오버헤드 중 이력 데이터에 따라 결정된 코딩될 비례 계수 선형 관계에서 d0, d1은 각각 1, 2이고, 현재 프레임의 프레임 내 코딩에 소비되는 비트수 및 후속적으로 프레임의 프레임 간 코딩에 소비되는 비트수를 이력 데이터에 기반하여 결정된 코딩될 비례 계수 선형 관계에 하기와 같이 대입한다.
bitsI는 현재 프레임의 프레임 내 코딩에 소비되는 비트수500이고, bitsPB는 후속 프레임의 프레임 간 코딩에 소비되는 비트수 700000이며, 결정된 코딩 비례 계수는 0.0007이다.
상기 단계에서 획득된 코딩될 비례 계수 및 프리 코딩 방식에 대응되는 기설정된 양자화 파라미터, 이력 데이터에 따라 결정된 코딩 비례 계수와 제한 비례 계수의 변환 관계에 대응되는 양자화 파라미터 임계값 범위의 경계값 t1은 0.3이고, t2는 0.5이며, t3은 1이고, e0은 1200이며, e1은 2이고, 이력 데이터에 기반하여 결정된 코딩-제한 비례 계수 변환 관계를 적용한다.
결정된 비트율 보정 계수는 0.84이다.
초기 전송 비트율 제한 정보를 획득하고, 상기 비트율 제한 보정 계수 및 상기 초기 전송 비트율 정보1×1021에 따라 전송 비트율 제한 정보 8.4×1020을 결정한다.
전송 비트율 제한 정보를 획득한 후, 예측 코딩 오버헤드에 대응되는 비트값과 전송 비트율 제한 정보 중 허용 가능한 비트값을 비교하여 상기 예측 코딩 오버헤드에 대응되는 비트값이 상기 허용 가능한 비트값보다 작은 것으로 결정하고, 상기 예측 코딩 오버헤드에 대응되는 제1 양자화 파라미터를 사용하여 코딩할 프레임 중 인트라 코딩 프레임을 코딩한다.
다음, 순방향 코딩 프레임의 코딩에 사용되는 제2 양자화 파라미터를 결정한다.
상기 샘플링 비디오 시퀀스에 따라 소스 비디오 중 코딩된 프레임 및 코딩할 프레임의 개수를 획득하여 코딩된 비례 계수 0.4를 결정하되, 상기 코딩된 비례 계수는 기설정된 임계값 조건 0.5를 충족시킨다.
샘플링 코딩 오버헤드 중 코딩된 각 프레임에 소비된 비트수와 선택한 코딩 방식에 대응되는 양자화 스칼라의 곱셈을 누적하여 계산한 평균값 6×1020을 샘플링 코딩 오버헤드 중 기설정된 코딩 방식으로 코딩된 각 프레임을 코딩하는데 소비된 비트수의 평균값 8×1020으로 나눠 원래 코딩-프리 코딩 변환 계수가 0.75임을 결정한다.
상기 전송 비트율 제한 정보 중 허용 가능한 비트값 1×1021을 획득하고, 상기 샘플링 코딩 오버헤드 중 프리 코딩에 소비된 비트수 정보 9×1020과 상기 원래 코딩-프리 코딩 변환 계수의 곱셈 0.75의 결과 6.75×1020을 허용 가능한 비트값 1×1021로 나눠 적용될 코딩 방식이 결정된 제2 예측 코딩 오버헤드에 대응되는 제2 양자화 파라미터 0.675를 획득한다.
상기 단계에서 획득된 제2 예측 코딩 오버헤드에 따라 대응되는 제2 양자화 파라미터를 결정하되, 하기와 같은 특성 파라미터 곡선에 따른다.
여기서, weight는 가중 비례 계수를 나타내고, bitsI는 프레임 내 코딩에 소비되는 비트수 5×108이며, bitsPB는 프레임 간 프리 코딩에 소비되는 비트수 1×109이고, intraRatio는 프레임 내 블록의 비율 0.3이며, 이력 데이터에 따라 결정된 특성 상수 f8, f9, f10은 각각 0.2, 0.1, 0.2이고, 가중 비례 계수는 0.33으로 결정되며, 결정된 가중 비례 계수에 따라 제2 양자화 파라미터 0.538(0.67*0.67+0.33*0.27)를 결정하고
상기 단계에서 결정된 제2 양자화 파라미터를 업데이트한다.
상기 업데이트된 제2 양자화 파라미터에 따라 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩한다.
마지막으로, 양방향 차등 코딩 프레임의 코딩에 사용되는 제3 양자화 파라미터를 결정하여 인접된 프레임이 모두 인트라 코딩 프레임인지 여부를 결정하며, 제1 양자화 파라미터 0.24를 제3 양자화 파라미터로 사용하고, 상기 제3 양자화 파라미터 0.24를 적용하여 코딩할 프레임 중 양방향 차등 코딩 프레임을 코딩한다.
해당 애플리케이션 시나리오로부터 본 발명의 비디오 코딩 방법은 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하고; 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하며; 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하고; 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정함을 보아낼 수 있다. 따라서 보다 합리적인 방식으로 비트율 할당을 수행하여 비디오 코딩 품질을 향상시킨다.
도 6에 도시된 바와 같이, 본 실시예의 비디오 코딩 장치(600)는, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하도록 구성된 프리 코딩 유닛(601); 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하도록 구성된 프레임 타입 해석 유닛(602); 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하도록 구성된 코딩 오버헤드 예측 유닛(603); 및 상기 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하도록 구성된 전략 결정 유닛(604)을 포함할 수 있다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 코딩 오버헤드 예측 유닛(603)에서 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하는 단계는, 상기 코딩할 프레임의 프레임 타입이 인트라 코딩 프레임인 것으로 결정됨에 응답하여, 적용될 인트라 코딩 프레임 타입에 해당하는 코딩 방식에 대응되는 제1 양자화 파라미터를 획득하고, 양자화 파라미터-양자화 스칼라 변환 공식을 적용하여 상기 기설정된 코딩 방식에 대응되는 기설정된 양자화 파라미터 및 상기 제1 양자화 파라미터에 대응되는 양자화 스칼라에 따라, 상기 기설정된 양자화 파라미터에 대응되는 기설정된 양자화 스칼라 및 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라를 각각 계산하는 단계; 및 인트라 코딩 프레임의 코딩 곡선 함수 및 제1 예측 코딩 파라미터에 따라 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드를 결정하는 단계를 포함하되, 상기 제1 예측 코딩 파라미터는 상기 샘플링 코딩 오버헤드, 상기 기설정된 양자화 파라미터에 대응되는 기설정된 양자화 스칼라, 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라 및 제1 양자화 계수이고, 상기 인트라 코딩 프레임의 코딩 곡선 함수는 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 획득된다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 코딩 오버헤드 예측 유닛(603)에서 상기 제1 양자화 계수를 결정하는 단계는, 상기 샘플링 코딩 오버헤드와 이력 데이터 통계에 기반하여 결정된 양자화 파라미터 변환 계수 간의 선형 관계에 따라 예측 코딩 양자화 파라미터 변환 계수를 결정하는 단계; 및 적용될 제1 코딩 방식에 대응되는 제1 양자화 파라미터를 획득하고, 예측 코딩 양자화 파라미터 변환 계수 및 상기 제1 양자화 파라미터에 따라, 이력 데이터에 기반하여 결정된 제1 양자화 파라미터-계수 선형 관계를 적용하여 상기 제1 양자화 계수를 결정하는 단계를 포함한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 예측 코딩 양자화 파라미터 변환 계수 및 상기 제1 양자화 파라미터에 따라 상기 제1 양자화 계수를 결정하는 단계는, 미리 결정된 임계값 조건을 적용하여, 획득된 상기 제1 양자화 계수를 리미팅하는 단계를 포함한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 전략 결정 유닛(604)에서 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드가 상기 전송 비트율 제한 정보의 요구 사항을 충족시킴에 응답하여, 상기 제1 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 인트라 코딩 프레임을 코딩하는 단계를 포함한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 전략 결정 유닛(604)에서 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드가 상기 전송 비트율 제한 정보의 요구 사항을 충족시키지 않는 것으로 결정됨에 응답하여, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드 및 상기 전송 비트율 제한 정보에 따라 상기 제1 양자화 파라미터를 재결정하는 단계를 포함한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 전략 결정 유닛(604) 중 상기 전송 비트율 제한 정보는, 상기 샘플링 코딩 오버헤드에 따라 소스 비디오의 코딩될 비례 계수를 결정하는 단계; 상기 샘플링 코딩 오버헤드, 상기 코딩될 비례 계수 및 상기 제1 양자화 파라미터에 따라 비트율 제한 보정 계수를 결정하는 단계; 초기 전송 비트율 제한 정보를 획득하는 단계; 및 상기 비트율 제한 보정 계수 및 상기 초기 전송 비트율 정보에 따라 상기 전송 비트율 제한 정보를 결정하는 단계에 기반하여 결정된다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 코딩 오버헤드 예측 유닛(603)에서 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하는 단계는, 상기 코딩할 프레임의 프레임 타입이 순방향 예측 코딩 프레임인 것으로 결정됨에 응답하여, 상기 전송 비트율 제한 정보, 상기 기설정된 코딩 방식에 대응되는 기설정된 코딩 양자화 스칼라를 각각 획득하는 단계; 및 순방향 예측 코딩 프레임의 코딩 곡선 함수 및 제2 예측 코딩 파라미터에 따라 상기 소스 비디오의 순방향 예측 코딩 프레임의 예측 코딩 오버헤드를 결정하는 단계 를 포함하되, 상기 제2 예측 코딩 파라미터는 상기 전송 비트율 제한 정보, 상기 샘플링 코딩 오버헤드 및 상기 기설정된 양자화 스칼라이고, 상기 순방향 예측 코딩 프레임의 코딩 곡선 함수는 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 획득되고; 상기 전략 결정 유닛에서 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는, 상기 소스 비디오의 특성 비율 파라미터 및 하기 파라미터에 따라 가중 계산을 수행하여 업데이트된 제2 양자화 파라미터를 결정하는 단계 - 상기 파라미터는 상기 기설정된 코딩 방식에 대응되는 기설정된 양자화 스칼라 및 상기 순방향 예측 코딩 프레임의 예측 코딩 오버헤드에 따라 결정된 제2 양자화 파라미터임 - ; 및 상기 업데이트된 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함하되, 상기 특성 비율 파라미터는 특성 파라미터 곡선 함수 및 상기 샘플링 코딩 오버헤드에 따라 결정된다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 전략 결정 유닛(604)에서 상기 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계는, 상기 샘플링 비디오 시퀀스 중 코딩된 프레임 및 코딩할 프레임의 개수에 따라 코딩된 비례 계수를 결정하고, 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는지 여부를 판단하는 단계; 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키지 않는 것으로 결정됨에 응답하여, 상기 제1 양자화 파라미터에 따라 상기 제2 양자화 파라미터를 조정하는 단계; 및 조정된 제2 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 전략 결정 유닛(604)에서 상기 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계는, 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는 것으로 결정됨에 응답하여, 상기 제2 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함한다.
본 실시예의 일부 선택 가능한 구현 방식에서, 상기 전략 결정 유닛(604)은 또한 상기 코딩할 프레임의 프레임 타입이 양방향 차등 코딩 프레임인 것으로 결정됨에 응답하여, 인접된 프레임의 양자화 파라미터에 따라 제3 양자화 파라미터를 결정하되, 상기 인접된 프레임의 양자화 파라미터는 상기 인트라 코딩 프레임에 대응되는 제1 양자화 파라미터 및/또는 상기 순방향 예측 코딩 프레임에 대응되는 제2 양자화 파라미터를 포함하고; 상기 제3 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 양방향 차등 코딩 프레임을 코딩하도록 구성된다.
본 발명의 실시예에 따르면, 본 발명은 또한 전자 기기 및 판독 가능한 저장 매체를 제공한다.
도 7에 도시된 바와 같이, 본 발명의 실시예에 따른 비디오 코딩 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 운영 플랫폼, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 처리, 셀룰러폰, 스마트폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 이동 장치를 의미할 수도 있다. 본문에서 나타낸 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것으로, 본문에서 설명 및/또는 요구된 본 발명의 구현을 한정하지 않는다.
도 7에 도시된 바와 같이, 상기 전자 기기는 하나 또는 다수의 프로세서(701), 메모리(702), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부재를 연결하기 위한 인터페이스를 포함한다. 각 부재는 상이한 버스를 이용하여 서로 연결되고, 공통 메인보드에 장착될 수 있거나 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는, 메모리에 저장되거나 메모리에서 외부 입력/출력 장치(예를 들어, 인터페이스에 커플링된 표시 기기)에 GUI의 그래픽 정보를 표시하는 명령을 포함하는 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시형태에서, 필요에 따라 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있고, 각 기기는 일부 필요한 동작(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중프로세서 시스템)을 제공한다. 도 7에서 하나의 프로세서(701)를 예로 든다.
메모리(702)는 본 발명에 의해 제공되는 비일시적 컴퓨터 판독 가능한 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 상기 적어도 하나의 프로세서가 본 발명에 의해 제공되는 비디오 코딩 방법을 수행하도록 한다. 본 발명의 비일시적 컴퓨터 판독 가능한 저장 매체에는 컴퓨터가 본 발명에 의해 제공되는 비디오 코딩 방법을 수행하도록 하는 컴퓨터 명령이 저장된다.
메모리(702)는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능한 프로그램, 및 본 발명의 실시예의 비디오 코딩 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 6에 도시된 프리 코딩 유닛(601), 프레임 타입 해석 유닛(602), 코딩 오버헤드 예측 유닛(603) 및 전략 결정 유닛(604))과 같은 모듈을 저장할 수 있다. 프로세서(701)는 메모리(702)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하는데, 즉 상기 방법 실시예의 비디오 코딩 방법을 구현한다.
메모리(702)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있고, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있으며; 데이터 저장 영역은 비디오 검색 전자 기기의 사용에 따라 구축된 데이터 등을 저장할 수 있다. 이 밖에, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리, 플래시 메모리, 또는 다른 비일시적 고체 상태 메모리와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 비디오 코딩 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예로 인터넷, 인트라넷, 블록체인 네트워크, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
비디오 코딩 방법의 전자 기기는 입력 장치(703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703) 및 출력 장치(704)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 7에서 버스를 통해 연결되는 것을 예로 든다.
입력 장치(703)는 입력된 디지털 또는 문자 정보를 수신할 수 있고, 비디오 검색 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 발생할 수 있으며, 상기 입력 장치는 예를 들어 터치스크린, 키패드, 마우스, 트랙 패널, 터치 패널, 지시 바, 하나 또는 다수의 마우스 버튼, 트랙 볼, 조이스틱 등 입력 장치이다. 출력 장치(704)는 표시 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 표시 기기는 액정 표시 장치(LCD), 발광 다이오드(LED) 표시 장치 및 플라스마 표시 장치를 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 표시 기기는 터치스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신할 수 있으며, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 하이레벨 프로세스 및/또는 객체에 대한 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 본문에서 사용된 바와 같이, 용어 “기계 판독 가능한 매체” 및 “컴퓨터 판독 가능한 매체”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 로직 장치(PLD))를 의미하고, 기계 판독 가능한 신호인 기계 명령을 수신하는 기계 판독 가능한 매체를 포함한다. 용어 “기계 판독 가능한 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기서 설명된 시스템 및 기술을 실시할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 지향 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 지향 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감지 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.
여기서 설명된 시스템 및 기술을 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터이고, 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백그라운드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다.
본 발명의 실시예의 기술적 해결수단에 따르면, 기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하고; 상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하며; 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하고; 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하며, 보다 합리적인 방식으로 비트율 할당을 수행하여 비디오 코딩 품질을 향상시킨다.
위에서 설명한 다양한 형태의 프로세스, 재배열, 추가 또는 삭제 단계를 사용할 수 있음을 이해해야 한다. 예를 들어, 본 발명에 기재된 각 단계는 동시에 수행될 수 있거나 순차적으로 수행될 수 있거나 상이한 순서로 수행될 수 있고, 본 발명에서 공개된 기술적 해결수단이 이루고자 하는 결과를 구현할 수만 있으면, 본문은 여기서 한정하지 않는다.
상기 구체적인 실시형태는 본 발명의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진해할 수 있음을 이해해야 한다. 본 발명의 정신 및 원칙 내에서 진행한 임의의 수정, 등가적 대체 및 개선 등은 모두 본 발명의 보호 범위 내에 속해야 한다.
Claims (27)
- 비디오 코딩 방법으로서,
기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하는 단계;
상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여, 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하는 단계;
상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하는 단계; 및
상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계를 포함하는 비디오 코딩 방법. - 제1 항에 있어서,
상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하는 단계는,
상기 코딩할 프레임의 프레임 타입이 인트라 코딩 프레임인 것으로 결정됨에 응답하여, 적용될 인트라 코딩 프레임 타입에 해당하는 코딩 방식에 대응되는 제1 양자화 파라미터를 획득하고, 양자화 파라미터-양자화 스칼라 변환 공식을 적용하여 상기 기설정된 코딩 방식에 대응되는 기설정된 양자화 파라미터 및 상기 제1 양자화 파라미터에 대응되는 양자화 스칼라에 따라, 상기 기설정된 양자화 파라미터에 대응되는 기설정된 양자화 스칼라 및 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라를 각각 계산하는 단계; 및
인트라 코딩 프레임의 코딩 곡선 함수 및 제1 예측 코딩 파라미터에 따라 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드를 결정하는 단계 - 상기 제1 예측 코딩 파라미터는 상기 샘플링 코딩 오버헤드, 상기 기설정된 양자화 파라미터에 대응되는 기설정된 양자화 스칼라, 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라 및 제1 양자화 계수이고, 상기 인트라 코딩 프레임의 코딩 곡선 함수는 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 획득됨 - 를 포함하는 비디오 코딩 방법. - 제2 항에 있어서,
상기 제1 양자화 계수를 결정하는 단계는,
상기 샘플링 코딩 오버헤드와 양자화 파라미터 변환 계수 간의 선형 관계에 따라 예측 코딩 양자화 파라미터 변환 계수를 결정하는 단계 - 상기 양자화 파라미터 변환 계수 간의 선형 관계는 이력 데이터 통계에 기반하여 결정됨 - ; 및
적용될 제1 코딩 방식에 대응되는 제1 양자화 파라미터를 획득하고, 예측 코딩 양자화 파라미터 변환 계수 및 상기 제1 양자화 파라미터에 따라, 이력 데이터에 기반하여 결정된 제1 양자화 파라미터-계수 선형 관계를 적용하여 상기 제1 양자화 계수를 결정하는 단계를 포함하는 비디오 코딩 방법. - 제3 항에 있어서,
상기 예측 코딩 양자화 파라미터 변환 계수 및 상기 제1 양자화 파라미터에 따라 상기 제1 양자화 계수를 결정하는 단계는,
미리 결정된 임계값 조건을 적용하여, 획득된 상기 제1 양자화 계수를 리미팅하는 단계를 포함하는 비디오 코딩 방법. - 제2 항에 있어서,
상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는,
상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드가 상기 전송 비트율 제한 정보의 요구 사항을 충족시킴에 응답하여, 상기 제1 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 인트라 코딩 프레임을 코딩하는 단계를 포함하는 비디오 코딩 방법. - 제2 항에 있어서,
상기 제1 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는,
상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드가 상기 전송 비트율 제한 정보의 요구 사항을 충족시키지 않는 것으로 결정됨에 응답하여, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드 및 상기 전송 비트율 제한 정보에 따라 상기 제1 양자화 파라미터를 재결정하는 단계를 포함하는 비디오 코딩 방법. - 제1 항에 있어서,
상기 전송 비트율 제한 정보는,
상기 샘플링 코딩 오버헤드에 따라 소스 비디오의 코딩될 비례 계수를 결정하는 단계;
상기 샘플링 코딩 오버헤드, 상기 코딩될 비례 계수 및 상기 제1 양자화 파라미터에 따라 비트율 제한 보정 계수를 결정하는 단계;
초기 전송 비트율 제한 정보를 획득하는 단계; 및
상기 비트율 제한 보정 계수 및 상기 초기 전송 비트율 정보에 따라 상기 전송 비트율 제한 정보를 결정하는 단계에 기반하여 결정되는 비디오 코딩 방법. - 제1 항에 있어서,
상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하는 단계는,
상기 코딩할 프레임의 프레임 타입이 순방향 예측 코딩 프레임인 것으로 결정됨에 응답하여, 상기 전송 비트율 제한 정보, 상기 기설정된 코딩 방식에 대응되는 기설정된 코딩 양자화 스칼라를 각각 획득하는 단계; 및
순방향 예측 코딩 프레임의 코딩 곡선 함수 및 제2 예측 코딩 파라미터에 따라 상기 소스 비디오의 순방향 예측 코딩 프레임의 예측 코딩 오버헤드를 결정하는 단계 - 상기 제2 예측 코딩 파라미터는 상기 전송 비트율 제한 정보, 상기 샘플링 코딩 오버헤드 및 상기 기설정된 양자화 스칼라이고, 상기 순방향 예측 코딩 프레임의 코딩 곡선 함수는 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 획득됨 - 를 포함하는 비디오 코딩 방법. - 제8 항에 있어서,
상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는,
상기 소스 비디오의 특성 비율 파라미터 및 하기 파라미터에 따라 가중 계산을 수행하여 업데이트된 제2 양자화 파라미터를 결정하는 단계 - 상기 파라미터는 상기 기설정된 코딩 방식에 대응되는 기설정된 양자화 스칼라 및 상기 순방향 예측 코딩 프레임의 예측 코딩 오버헤드에 따라 결정된 제2 양자화 파라미터이고, 상기 특성 비율 파라미터는 특성 파라미터 곡선 함수 및 상기 샘플링 코딩 오버헤드에 따라 결정되됨 - ; 및
상기 업데이트된 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함하는 비디오 코딩 방법. - 제9 항에 있어서,
상기 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계는,
상기 샘플링 비디오 시퀀스 중 코딩된 프레임 및 코딩할 프레임의 개수에 따라 코딩된 비례 계수를 결정하고, 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는지 여부를 판단하는 단계;
상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키지 않는 것으로 결정됨에 응답하여, 상기 제1 양자화 파라미터에 따라 상기 제2 양자화 파라미터를 조정하는 단계; 및
조정된 제2 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함하는 비디오 코딩 방법. - 제9 항에 있어서,
상기 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계는,
상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는 것으로 결정됨에 응답하여, 상기 제2 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함하는 비디오 코딩 방법. - 제1 항 내지 제11 항 중 어느 한 항에 있어서,
상기 코딩할 프레임의 프레임 타입이 양방향 차등 코딩 프레임인 것으로 결정됨에 응답하여, 인접된 프레임의 양자화 파라미터에 따라 제3 양자화 파라미터를 결정하는 단계 - 상기 인접된 프레임의 양자화 파라미터는, 상기 인트라 코딩 프레임에 대응되는 제1 양자화 파라미터 및/또는 상기 순방향 예측 코딩 프레임에 대응되는 제2 양자화 파라미터를 포함함 - ; 및
상기 제3 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 양방향 차등 코딩 프레임을 코딩하는 단계를 더 포함하는 비디오 코딩 방법. - 비디오 코딩 장치로서,
기설정된 코딩 방식을 적용하여 소스 비디오의 샘플링 비디오 프레임 시퀀스를 코딩하여 샘플링 코딩 오버헤드를 획득하도록 구성된 프리 코딩 유닛;
상기 소스 비디오 중 코딩할 프레임의 프레임 타입을 해석하여, 상기 코딩할 프레임의 프레임 타입 시퀀스를 획득하도록 구성된 프레임 타입 해석 유닛;
상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하도록 구성된 코딩 오버헤드 예측 유닛; 및
상기 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하도록 구성된 전략 결정 유닛을 포함하는 비디오 코딩 장치. - 제13 항에 있어서,
상기 코딩 오버헤드 예측 유닛에서 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하는 단계는,
상기 코딩할 프레임의 프레임 타입이 인트라 코딩 프레임인 것으로 결정됨에 응답하여, 적용될 인트라 코딩 프레임 타입에 해당하는 코딩 방식에 대응되는 제1 양자화 파라미터를 획득하고, 양자화 파라미터-양자화 스칼라 변환 공식을 적용하여 상기 기설정된 코딩 방식에 대응되는 기설정된 양자화 파라미터 및 상기 제1 양자화 파라미터에 대응되는 양자화 스칼라에 따라, 상기 기설정된 양자화 파라미터에 대응되는 기설정된 양자화 스칼라 및 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라를 각각 계산하는 단계; 및
인트라 코딩 프레임의 코딩 곡선 함수 및 제1 예측 코딩 파라미터에 따라 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드를 결정하는 단계 - 상기 제1 예측 코딩 파라미터는 상기 샘플링 코딩 오버헤드, 상기 기설정된 양자화 파라미터에 대응되는 기설정된 양자화 스칼라, 상기 제1 양자화 파라미터에 대응되는 제1 양자화 스칼라 및 제1 양자화 계수이고, 상기 인트라 코딩 프레임의 코딩 곡선 함수는 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 획득됨 - 를 포함하는 비디오 코딩 장치. - 제14 항에 있어서,
상기 코딩 오버헤드 예측 유닛에서 상기 제1 양자화 계수를 결정하는 단계는,
상기 샘플링 코딩 오버헤드와 양자화 파라미터 변환 계수 간의 선형 관계에 따라 예측 코딩 양자화 파라미터 변환 계수를 결정하는 단계 - 상기 양자화 파라미터 변환 계수 간의 선형 관계는 이력 데이터 통계에 기반하여 결정됨 - ; 및
적용될 제1 코딩 방식에 대응되는 제1 양자화 파라미터를 획득하고, 예측 코딩 양자화 파라미터 변환 계수 및 상기 제1 양자화 파라미터에 따라, 이력 데이터에 기반하여 결정된 제1 양자화 파라미터-계수 선형 관계를 적용하여 상기 제1 양자화 계수를 결정하는 단계를 포함하는 비디오 코딩 장치. - 제15 항에 있어서,
상기 예측 코딩 양자화 파라미터 변환 계수 및 상기 제1 양자화 파라미터에 따라 상기 제1 양자화 계수를 결정하는 단계는,
미리 결정된 임계값 조건을 적용하여, 획득된 상기 제1 양자화 계수를 리미팅하는 단계를 포함하는 비디오 코딩 장치. - 제14 항에 있어서,
상기 전략 결정 유닛에서 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는,
상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드가 상기 전송 비트율 제한 정보의 요구 사항을 충족시킴에 응답하여, 상기 제1 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 인트라 코딩 프레임을 코딩하는 단계를 포함하는 비디오 코딩 장치. - 제14 항에 있어서,
상기 전략 결정 유닛에서 상기 제1 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는,
상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드가 상기 전송 비트율 제한 정보의 요구 사항을 충족시키지 않는 것으로 결정됨에 응답하여, 상기 소스 비디오의 인트라 코딩 프레임의 예측 코딩 오버헤드 및 상기 전송 비트율 제한 정보에 따라 상기 제1 양자화 파라미터를 재결정하는 단계를 포함하는 비디오 코딩 장치. - 제13 항에 있어서,
상기 전략 결정 유닛 중 상기 전송 비트율 제한 정보는,
상기 샘플링 코딩 오버헤드에 따라 소스 비디오의 코딩될 비례 계수를 결정하는 단계;
상기 샘플링 코딩 오버헤드, 상기 코딩될 비례 계수 및 상기 제1 양자화 파라미터에 따라 비트율 제한 보정 계수를 결정하는 단계;
초기 전송 비트율 제한 정보를 획득하는 단계; 및
상기 비트율 제한 보정 계수 및 상기 초기 전송 비트율 정보에 따라 상기 전송 비트율 제한 정보를 결정하는 단계에 기반하여 결정되는 비디오 코딩 장치. - 제13 항에 있어서,
상기 코딩 오버헤드 예측 유닛에서 상기 소스 비디오의 샘플링 코딩 오버헤드, 상기 코딩할 프레임의 프레임 타입 시퀀스 및 적용될 상이한 프레임 타입에 해당하는 코딩 방식의 양자화 파라미터에 따라, 상기 소스 비디오의 예측 코딩 오버헤드를 결정하는 단계는,
상기 코딩할 프레임의 프레임 타입이 순방향 예측 코딩 프레임인 것으로 결정됨에 응답하여, 상기 전송 비트율 제한 정보, 상기 기설정된 코딩 방식에 대응되는 기설정된 코딩 양자화 스칼라를 각각 획득하는 단계; 및
순방향 예측 코딩 프레임의 코딩 곡선 함수 및 제2 예측 코딩 파라미터에 따라 상기 소스 비디오의 순방향 예측 코딩 프레임의 예측 코딩 오버헤드를 결정하는 단계 - 상기 제2 예측 코딩 파라미터는 상기 전송 비트율 제한 정보, 상기 샘플링 코딩 오버헤드 및 상기 기설정된 양자화 스칼라이고, 상기 순방향 예측 코딩 프레임의 코딩 곡선 함수는 실제 코딩 파라미터의 이력 데이터에 기반하여 피팅을 통해 획득됨 - 를 포함함는 비디오 코딩 장치. - 제20 항에 있어서,
상기 전략 결정 유닛에서 상기 소스 비디오의 예측 코딩 오버헤드 및 전송 비트율 제한 정보의 요구 사항에 기반하여 코딩 전략을 결정하는 단계는,
상기 소스 비디오의 특성 비율 파라미터 및 하기 파라미터에 따라 가중 계산을 수행하여 업데이트된 제2 양자화 파라미터를 결정하는 단계 - 상기 파라미터는 상기 기설정된 코딩 방식에 대응되는 기설정된 양자화 스칼라 및 상기 순방향 예측 코딩 프레임의 예측 코딩 오버헤드에 따라 결정된 제2 양자화 파라미터이고, 상기 특성 비율 파라미터는 특성 파라미터 곡선 함수 및 상기 샘플링 코딩 오버헤드에 따라 결정됨 - ; 및
상기 업데이트된 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함하는 비디오 코딩 장치. - 제21 항에 있어서,
상기 전략 결정 유닛에서 상기 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계는,
상기 샘플링 비디오 시퀀스 중 코딩된 프레임 및 코딩할 프레임의 개수에 따라 코딩된 비례 계수를 결정하고, 상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는지 여부를 판단하는 단계;
상기 코딩된 비례 계수가 상기 기설정된 임계값 조건을 충족시키지 않는 것으로 결정됨에 응답하여, 상기 제1 양자화 파라미터에 따라 상기 제2 양자화 파라미터를 조정하는 단계; 및
조정된 제2 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함하는 비디오 코딩 장치. - 제21 항에 있어서,
상기 전략 결정 유닛에서 상기 제2 양자화 파라미터에 기반하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계는,
상기 코딩된 비례 계수가 기설정된 임계값 조건을 충족시키는 것으로 결정됨에 응답하여, 상기 제2 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 상기 순방향 예측 코딩 프레임을 코딩하는 단계를 포함하는 비디오 코딩 장치. - 제13 항 내지 제23 항 중 어느 한 항에 있어서,
상기 전략 결정 유닛은 또한,
상기 코딩할 프레임의 프레임 타입이 양방향 차등 코딩 프레임인 것으로 결정됨에 응답하여, 인접된 프레임의 양자화 파라미터에 따라 제3 양자화 파라미터를 결정하되, 상기 인접된 프레임의 양자화 파라미터는 상기 인트라 코딩 프레임에 대응되는 제1 양자화 파라미터 및/또는 상기 순방향 예측 코딩 프레임에 대응되는 제2 양자화 파라미터를 포함하고;
상기 제3 양자화 파라미터를 적용하여 상기 코딩할 프레임 중 양방향 차등 코딩 프레임을 코딩하도록 구성된 비디오 코딩 장치. - 전자 기기로서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하되,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서가 제1 항 내지 제12 항 중 어느 한 항에 따른 비디오 코딩 방법을 수행할 수 있도록 하는 전자 기기. - 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 명령은, 상기 컴퓨터가 제1 항 내지 제12 항 중어느 한 항에 따른 비디오 코딩 방법을 수행하도록 하는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능한 저장 매체. - 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제12 항 중 어느 한 항에 따른 방법을 구현하도록 하는 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010773759.9 | 2020-08-04 | ||
| CN202010773759.9A CN111787322B (zh) | 2020-08-04 | 2020-08-04 | 视频编码的方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210044746A true KR20210044746A (ko) | 2021-04-23 |
| KR102611628B1 KR102611628B1 (ko) | 2023-12-07 |
Family
ID=72765847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210044114A KR102611628B1 (ko) | 2020-08-04 | 2021-04-05 | 비디오 코딩 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11463697B2 (ko) |
| EP (1) | EP3913916A1 (ko) |
| JP (1) | JP2022006158A (ko) |
| KR (1) | KR102611628B1 (ko) |
| CN (1) | CN111787322B (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115776601A (zh) * | 2022-11-15 | 2023-03-10 | 深圳艾灵网络有限公司 | 视频流传输信息评估方法、装置、设备及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113965751B (zh) * | 2021-10-09 | 2023-03-24 | 腾讯科技（深圳）有限公司 | 屏幕内容编码方法、装置、设备及存储介质 |
| CN114257815A (zh) * | 2021-12-20 | 2022-03-29 | 北京字节跳动网络技术有限公司 | 一种视频转码方法、装置、服务器和介质 |
| CN114245178A (zh) * | 2021-12-20 | 2022-03-25 | 未来电视有限公司 | 一种传输视频的方法、装置、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100081920A (ko) | 2009-01-06 | 2010-07-15 | 한국전자통신연구원 | 적응적 비디오 전송을 위한 코딩 레이트 조정 및 차등 오류 보호 적용 방법과, 그를 이용한 비디오 전송/수신 장치 |
| KR20190103297A (ko) * | 2017-03-21 | 2019-09-04 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 비디오 코딩 방법, 비디오 디코딩 방법, 컴퓨터 기기와 기록매체 |
| KR20190122830A (ko) * | 2017-08-17 | 2019-10-30 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 비디오 프레임 코딩 방법, 단말기 및 저장 매체 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100357689B1 (ko) * | 2000-11-13 | 2002-10-19 | 삼성전자 주식회사 | 일관된 화질을 가지는 실시간 가변 비트율 엠펙 비디오전송 시스템 |
| US20030185299A1 (en) * | 2001-11-30 | 2003-10-02 | Taro Takita | Program, recording medium, and image encoding apparatus and method |
| KR100987765B1 (ko) | 2003-09-30 | 2010-10-13 | 삼성전자주식회사 | 동영상 부호화기에서의 예측 수행 방법 및 장치 |
| US20070025441A1 (en) * | 2005-07-28 | 2007-02-01 | Nokia Corporation | Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding |
| JP2011029954A (ja) * | 2009-07-27 | 2011-02-10 | Sony Corp | 画像符号化装置と画像符号化方法 |
| US20120213275A1 (en) * | 2011-02-22 | 2012-08-23 | Kwon Nyeong-Kyu | Scalable video coding and devices performing the scalable video coding |
| US20140010278A1 (en) * | 2012-07-09 | 2014-01-09 | Motorola Mobility Llc | Method and apparatus for coding adaptive-loop filter coefficients |
| CN104954792B (zh) * | 2014-03-24 | 2018-02-27 | 兴唐通信科技有限公司 | 一种对p帧序列进行主观视频质量优化编码的方法及装置 |
| JP6373033B2 (ja) * | 2014-03-28 | 2018-08-15 | キヤノン株式会社 | 符号化装置及び符号化方法 |
| CN104618734B (zh) * | 2015-01-29 | 2019-02-01 | 华为技术有限公司 | 相同协议类型下视频码流的转码方法和装置 |
| KR20160139233A (ko) * | 2015-05-27 | 2016-12-07 | 주식회사 씬멀티미디어 | 비트율 제어를 이용한 영상 부호화 장치 |
| US10356416B2 (en) * | 2015-06-09 | 2019-07-16 | Qualcomm Incorporated | Systems and methods of determining illumination compensation status for video coding |
| EP3361726A1 (en) * | 2015-11-24 | 2018-08-15 | Samsung Electronics Co., Ltd. | Method and device for video decoding and method and device for video encoding |
| US10368073B2 (en) * | 2015-12-07 | 2019-07-30 | Qualcomm Incorporated | Multi-region search range for block prediction mode for display stream compression (DSC) |
| WO2017214510A1 (en) * | 2016-06-10 | 2017-12-14 | Affirmed Networks, Inc. | Transcoding using time stamps |
| US10638127B2 (en) * | 2017-05-15 | 2020-04-28 | Qualcomm Incorporated | Adaptive anchor frame and quantization parameter decision in video coding |
| US10885921B2 (en) * | 2017-07-07 | 2021-01-05 | Qualcomm Incorporated | Multi-stream audio coding |
| JP7125594B2 (ja) * | 2018-04-27 | 2022-08-25 | 富士通株式会社 | 符号化装置、符号化方法、及び符号化プログラム |
| CN108391127B (zh) * | 2018-04-27 | 2021-08-10 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、存储介质及设备 |
| CN108833918B (zh) | 2018-06-20 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 视频编码方法、解码方法、装置、计算机设备及存储介质 |
| US10750182B2 (en) * | 2018-11-20 | 2020-08-18 | Sony Corporation | Embedded codec circuitry for visual quality based allocation of refinement bits |
| US11234004B2 (en) * | 2018-12-03 | 2022-01-25 | Ati Technologies Ulc | Block type prediction leveraging block-based pixel activities |
| US11843772B2 (en) * | 2019-12-06 | 2023-12-12 | Ati Technologies Ulc | Video encode pre-analysis bit budgeting based on context and features |
-
2020
- 2020-08-04 CN CN202010773759.9A patent/CN111787322B/zh active Active
-
2021
- 2021-03-26 JP JP2021053747A patent/JP2022006158A/ja active Pending
- 2021-04-05 KR KR1020210044114A patent/KR102611628B1/ko active IP Right Grant
- 2021-04-23 US US17/239,181 patent/US11463697B2/en active Active
- 2021-04-23 EP EP21170231.1A patent/EP3913916A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100081920A (ko) | 2009-01-06 | 2010-07-15 | 한국전자통신연구원 | 적응적 비디오 전송을 위한 코딩 레이트 조정 및 차등 오류 보호 적용 방법과, 그를 이용한 비디오 전송/수신 장치 |
| KR20190103297A (ko) * | 2017-03-21 | 2019-09-04 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 비디오 코딩 방법, 비디오 디코딩 방법, 컴퓨터 기기와 기록매체 |
| KR20190122830A (ko) * | 2017-08-17 | 2019-10-30 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 비디오 프레임 코딩 방법, 단말기 및 저장 매체 |
Non-Patent Citations (1)
| Title |
|---|
| Hyomin Choi, et al. Rate control based on unified RO model for HEVC, JCT-VC of ITU-T and ISO/IEC. JCTVC-H0213, 2012-02-03, pp. 1-14* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115776601A (zh) * | 2022-11-15 | 2023-03-10 | 深圳艾灵网络有限公司 | 视频流传输信息评估方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111787322B (zh) | 2022-05-13 |
| EP3913916A1 (en) | 2021-11-24 |
| JP2022006158A (ja) | 2022-01-12 |
| CN111787322A (zh) | 2020-10-16 |
| US20210258580A1 (en) | 2021-08-19 |
| US11463697B2 (en) | 2022-10-04 |
| KR102611628B1 (ko) | 2023-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102611628B1 (ko) | 비디오 코딩 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 | |
| KR100809354B1 (ko) | 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법 | |
| US11700373B2 (en) | Method for coding video and related device | |
| CN106961603B (zh) | 帧内编码帧码率分配方法和装置 | |
| KR102059066B1 (ko) | 모션 벡터 필드 코딩 방법 및 디코딩 방법, 및 코딩 및 디코딩 장치들 | |
| JP2022516251A (ja) | ビデオ・コーディングのための方法、装置、及びコンピュータ・プログラム | |
| WO2023045420A1 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US11582449B2 (en) | Method for image encoding, electronic device and storage medium | |
| US11197021B2 (en) | Coding resolution control method and terminal | |
| KR20230028250A (ko) | 강화 학습 기반 속도 제어 | |
| US20220191477A1 (en) | Coding mode selection method and apparatus, and electronic device and computer-readable medium | |
| CN112291559B (zh) | 视频编码方法、装置、设备和介质 | |
| CN102948147A (zh) | 基于变换系数直方图的视频速率控制 | |
| CN111669586B (zh) | 编码方法、装置、设备和计算机存储介质 | |
| CN114189684A (zh) | 一种基于jnd算法的视频编码方法、装置、介质及计算设备 | |
| CN113132757A (zh) | 数据处理方法和装置 | |
| CN112291560B (zh) | 视频编码方法、装置、设备和介质 | |
| CN104052999A (zh) | 平行编码系统中执行速率控制的方法及平行编码系统 | |
| CN115243042A (zh) | 一种量化参数确定方法及相关装置 | |
| CN114040204A (zh) | 编码单元的处理方法、装置、设备及存储介质 | |
| CN118042139A (zh) | 数据传输方法、数据处理方法、装置及设备 | |
| CN116708810A (zh) | 视频编码方法、装置、设备及存储介质 | |
| CN116600123A (zh) | 视频编码方法及装置、视频解码方法及装置、电子设备 | |
| CN116582680A (zh) | 编解码方法、装置、电子设备及存储介质 | |
| CN117834796A (zh) | 帧率控制方法、发送卡、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |