KR101421261B1 - 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법 - Google Patents
프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법 Download PDFInfo
- Publication number
- KR101421261B1 KR101421261B1 KR1020130021809A KR20130021809A KR101421261B1 KR 101421261 B1 KR101421261 B1 KR 101421261B1 KR 1020130021809 A KR1020130021809 A KR 1020130021809A KR 20130021809 A KR20130021809 A KR 20130021809A KR 101421261 B1 KR101421261 B1 KR 101421261B1
- Authority
- KR
- South Korea
- Prior art keywords
- coding
- unit
- coding unit
- moving picture
- coding parameter
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명에 의한 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치는 동영상 데이터를 입력 받으면, 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하는 참조횟수 측정부; 측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터를 조절하는 비트 할당부; 및 상기 코딩 단위별로 상기 코딩 파라미터를 이용하여 상기 동영상 데이터를 코딩하는 영상 코딩부를 포함한다.
본 발명에 따른 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치는 동영상 데이터를 입력 받으면, 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하는 참조횟수 측정부; 측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터를 조절하는 비트 할당부; 및 상기 코딩 단위별로 상기 코딩 파라미터를 이용하여 상기 동영상 데이터를 코딩하는 영상 코딩부를 포함한다.
Description
본 발명은 동영상 부호화/복호화 방법에 관한 것으로, 특히, I 또는 P 프레임의 부호화 과정에서 프레임 내 각 코딩 단위별로 B프레임 또는 P 프레임에서 참조되는 횟수를 측정하고 그 측정된 참조 횟수에 따라 각 코딩 단위별로 비트율을 결정하는 코딩 파라미터 QP 값을 조절하여 부호화하도록 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법에 관한 것이다.
디지털 영상 데이터는 영상 자체의 특성과 아날로그 신호를 디지털화하는 과정에서 데이터량이 크기 늘어나기 때문에 그대로 사용되기보다는 효율적인 압축 방법에 의해 압축된다.
디지털 영상 데이터의 압축은 크게 3가지 방식으로 구분할 수 있는데, 예컨대, 1)시간적인 중복성을 줄이는 방식, 2)공간적인 중복성을 줄이는 방식, 3)발생 부호의 통계적 특성을 이용하여 줄이는 방식이 주로 사용되고 있다.
이들 중에서 시간적인 중복성을 줄이는 대표적인 방법이 바로 움직임 추정 및 보상 방법으로서 MPEG, H.264 등 대부분의 동영상 압축 표준안에서 사용되고 있다.
그러나 I 또는 P 프레임 부호화 시 각 코딩 유닛의 효율만을 고려하여 부호화하기 때문에 일부 블록은 많은 비트가 할당됨에도 불구하고 이후 거의 참조되지 않는 문제점이 있다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 다른 목적은 I 또는 P 프레임의 부호화 과정에서 프레임 내 각 코딩 단위별로 B프레임 또는 P 프레임에서 참조되는 횟수를 측정하고 그 측정된 참조 횟수에 따라 각 코딩 단위별로 비트율을 결정하는 코딩 파라미터를 조절하여 부호화하도록 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치는 동영상 데이터를 입력 받으면, 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하는 참조횟수 측정부; 측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터을 조절하는 비트 할당부; 및 할당된 상기 코딩 단위별로 기 설정된 비트를 이용하여 상기 동영상 데이터를 코딩하는 영상 코딩부를 포함할 수 있다.
바람직하게, 상기 참조횟수 측정부는 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 I 또는 P 프레임 내 각 코딩 단위별로 B 프레임들이나 P 프레임들에 의해 참조되는 상기 참조 횟수를 측정하는 것을 특징으로 한다.
바람직하게, 상기 참조횟수 측정부는 입력 받은 상기 동영상 데이터를 GOP 단위로 코딩하기 위해 다수 개의 프레임들로 구성되는 GOP 단위로 분류하고, 분류된 상기 각 GOP를 구성하고 있는 다수개의 프레임들 중 I 또는 P 프레임 내 코딩 단위별로 B 프레임들이나 P 프레임들에 의해 참조되는 참조 횟수를 측정하는 것을 특징으로 한다.
바람직하게, 상기 비트 할당부는 상기 참조 횟수를 기반으로 하나의 GOP를 구성하고 있는 다른 프레임들에서 참조되는 횟수가 적을수록 상기 할당되는 비트의 개수가 줄어들고, 다른 프레임들에서 참조되는 횟수가 많을수록 상기 할당되는 비트의 개수가 늘어나도록 비트율을 결정하는 코딩 파라미터을 조절하는 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치는 동영상 데이터를 입력 받으면, 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하는 참조횟수 측정부; 측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터인 QP 값 조절하는 비트 할당부; 및 할당된 상기 코딩 단위별로 기 설정된 QP값을 이용하여 상기 동영상 데이터를 코딩하는 영상 코딩부를 포함할 수 있다.
바람직하게, 상기 비트 할당부는 상기 참조 횟수를 기반으로 하나의 GOP를 구성하고 있는 다른 프레임들에서 참조되는 횟수가 적을수록 상기 코딩 단위별로 할당되는 QP 값을 증가 시키고, 다른 프레임들에서 참조되는 횟수가 많을수록 상기 코딩 단위별로 할당되는 QP 값을 감소시키는 것을 특징으로 한다. 즉 일반적인 코덱에서는 비트율을 결정하는 코딩 파라미터인 QP 값을 조절하여 비트율을 조절하게 된다
본 발명의 또 다른 한 관점에 따른 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 방법은 동영상 데이터를 입력 받으면, 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하는 참조횟수 측정단계; 측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 기 설정된 비트를 할당하는 비트 할당단계; 및 할당된 상기 코딩 단위별로 기 설정된 비트를 이용하여 상기 동영상 데이터를 코딩하는 영상 코딩단계를 포함할 수 있다.
바람직하게, 상기 참조횟수 측정단계는 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 I 또는 P 프레임 내 각 코딩 단위별로 B 프레임들이나 P 프레임들에 의해 참조되는 상기 참조 횟수를 측정하는 것을 특징으로 한다.
바람직하게, 상기 참조횟수 측정단계는 입력 받은 상기 동영상 데이터를 GOP 단위로 코딩하기 위해 다수 개의 프레임들로 구성되는 GOP 단위로 분류하고, 분류된 상기 각 GOP를 구성하고 있는 다수개의 프레임들 중 I 또는 P 프레임 내 코딩 단위별로 B 프레임들이나 P 프레임들에 의해 참조되는 참조 횟수를 측정하는 것을 특징으로 한다.
바람직하게, 상기 비트 할당단계는 상기 참조 횟수를 기반으로 하나의 GOP를 구성하고 있는 다른 프레임들에서 참조되는 횟수가 적을수록 상기 할당되는 비트의 개수가 줄어들고, 다른 프레임들에서 참조되는 횟수가 많을수록 상기 할당되는 비트의 개수가 늘어나는 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 방법은 동영상 데이터를 입력 받으면, 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하는 참조횟수 측정단계; 측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터를 조절하는 비트 할당단계; 및 할당된 상기 코딩 단위별로 조절된 코딩 파라미터 값을 이용하여 상기 동영상 데이터를 코딩하는 영상 코딩단계를 포함할 수 있다.
바람직하게, 상기 비트 할당단계는 상기 참조 횟수를 기반으로 하나의 GOP를 구성하고 있는 다른 프레임들에서 참조되는 횟수가 적을수록 상기 코딩 단위별로 할당되는 QP 값을 증가시키고, 다른 프레임들에서 참조되는 횟수가 많을수록 상기 코딩 단위별로 할당되는 QP 값을 감소시키는 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 프레임 간 참조 횟수를 고려하여 동영상을 복호화하기 위한 장치는 부호화된 동영상을 수신하는 영상 입력부; 수신된 상기 부호화된 동영상에 대한 코딩 단위별 비트율을 결정하는 코딩 파라미터 정보를 수신하는 코딩 파라미터 수신부; 및 수신된 상기 부호화된 동영상을 상기 코딩 파라미터 정보를 이용하여 복호화하는 복호화부를 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 부호화된 동영상을 수신하는 영상 수신단계; 수신된 상기 부호화된 동영상에 대한 코딩 단위별 비트율을 결정하는 코딩 파라미터 정보를 수신하는 코딩 파라미터 수신단계; 및 수신된 상기 부호화된 동영상을 상기 코딩 파라미터 정보를 이용하여 복호화하는 복호화 단계를 포함할 수 있다.
이를 통해, 본 발명은 I 또는 P 프레임의 부호화 과정에서 프레임 내 각 코딩 단위별로 B프레임 또는 P 프레임에서 참조되는 횟수를 측정하고 그 측정된 참조 횟수에 따라 각 코딩 단위별로 비트율을 결정하는 코딩 파라미터를 조절하여 부호하도록 함으로써, 코딩 유닛별 효율적으로 비트를 할당할 수 있는 효과가 있다.
또한, 본 발명은 각 코딩 단위별로 참조되는 횟수에 따라 기 설정된 비트 수 또는 QP 값을 동적으로 할당하도록 하는 방식을 적용하기 때문에 기존 알고리즘에 적용할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 동영상을 부호화하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 픽셀별 참조 횟수를 보여주기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 코딩 단위별 참조 횟수를 보여주기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 코딩 단위별 비트 할당을 보여주기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 비트/참조 횟수 비율을 보여주는 도면이다.
도 6은 발명의 일 실시예에 따른 동영상을 부호화하기 위한 방법을 나타내는 도면이다.
도 7은 발명의 일 실시예에 따른 동영상을 복호화하기 위한 장치를 나타내는 도면이다.
도 8은 연속하는 프레임에서 동일한 코딩단위를 참조하는 예를 보여주는 도면이다.
도 9는 연속하지 않는 프레임에서 동일한 코딩단위를 참조하는 예를 보여주는 도면이다.
도 10은 같은 위치에서 동일한 코딩단위를 참조하는 예를 보여주는 도면이다.
도 11은 다른 위치에서 동일한 코딩단위를 참조하는 예를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 픽셀별 참조 횟수를 보여주기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 코딩 단위별 참조 횟수를 보여주기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 코딩 단위별 비트 할당을 보여주기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 비트/참조 횟수 비율을 보여주는 도면이다.
도 6은 발명의 일 실시예에 따른 동영상을 부호화하기 위한 방법을 나타내는 도면이다.
도 7은 발명의 일 실시예에 따른 동영상을 복호화하기 위한 장치를 나타내는 도면이다.
도 8은 연속하는 프레임에서 동일한 코딩단위를 참조하는 예를 보여주는 도면이다.
도 9는 연속하지 않는 프레임에서 동일한 코딩단위를 참조하는 예를 보여주는 도면이다.
도 10은 같은 위치에서 동일한 코딩단위를 참조하는 예를 보여주는 도면이다.
도 11은 다른 위치에서 동일한 코딩단위를 참조하는 예를 보여주는 도면이다.
이하에서는, 본 발명의 실시예에 따른 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법을 첨부한 도 1 내지 도 11을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 I 또는 P 프레임의 부호화 과정에서 프레임 내 각 코딩 단위별로 B프레임 또는 P 프레임에서 참조되는 횟수를 측정하고 그 측정된 참조 횟수에 따라 각 코딩 단위별로 기 설정된 비트 수 또는 QP 값을 할당하도록 하는 새로운 방안을 제안한다.
동영상 부호화에 있어 대부분의 MPEG2, H.264, HEVC 등과 같은 대부분의 동영상 코덱 표준에서는 코딩 단위(Coding Unit; CU)로 부호화가 이루어 지며, 일반적으로 코딩 단위는 다양한 크기의 사각형 모양으로 정의된다.
도 1은 본 발명의 일 실시예에 따른 동영상을 부호화하기 위한 장치를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 동영상을 부호화하기 위한 장치는 영상 입력부(110), 참조횟수 측정부(120), 비트 할당부(130), 영상 코딩부(140) 등을 포함하여 구성될 수 있다.
영상 입력부(110)는 유선 또는 무선 통신으로 동영상 데이터를 입력 받을 수 있다.
참조횟수 측정부(120)는 입력 받은 동영상 데이터를 GOP(Group Of Picture) 단위로 코딩하기 위해 각 GOP를 구성하고 있는 다수의 프레임들 즉, I 프레임(Infra Frame), B 프레임(Bidirectional Frame), P 프레임(Predicted Frame) 중 I 또는 P 프레임 내 코딩 단위별로 B 프레임이나 P 프레임으로부터의 참조 횟수를 측정할 수 있다.
즉, 참조횟수 측정부(120)는 입력 받은 동영상 데이터를 GOP 단위로 코딩하기 위해 다수 개의 프레임들로 구성되는 GOP 단위로 분류하고 분류된 각 GOP를 구성하고 있는 다수개의 프레임들 중 I 또는 P 프레임 내 코딩 단위별로 참조 횟수를 측정하게 된다. 참조 횟수를 측정하는 방법은 입력 동영상에 대하여 1차 부호화 과정을 진행한 후, I 및 P 프레임의 각 코딩 단위에 대한 참조 횟수를 측정함으로 수행할 수 있다.
이러한 하나의 GOP는 다수의 프레임들로 구성될 수 있는데, 예컨대, 12 개의 프레임들로 구성되는 경우 I, B, B, P, B, B, P, B, B, P, B, B 순으로 구성될 수 있다.
여기서, I 프레임은 다른 이미지들의 참조 없이 스스로 압축과 복원이 이루어지는 데이터를 나타낸다. 그리고 P 프레임은 I 프레임 정보와 P 프레임의 정보를 이용하여 압축과 복원이 이루어지며, B 프레임은 I 프레임과 P 프레임 모두를 사용하여 압축과 복원이 이루어지는 데이터를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 픽셀별 참조 횟수를 보여주기 위한 도면이다.
도 2에 도시한 바와 같이, 동영상 데이터의 각 픽셀마다 참조 횟수를 측정할 수 있다. 예컨대, 코덱에서는 참조 영상과 모션 벡터를 이용하여 동영상 데이터를 복원하게 되는데, 특정 픽셀이 참조될 때마다 참조 횟수를 카운트하게 된다.
이처럼 픽셀마다 측정된 참조 횟수는 서로 다른데, (a)는 원래의 동영상 데이터이고 (b)는 참조 횟수를 표시한 참조 맵(reference map)을 보여주고 있다. 즉, 코딩 단위마다 B 프레임나 P 프레임으로부터의 참조 횟수가 다를 수 있다.
도 3은 본 발명의 일 실시예에 따른 코딩 단위별 참조 횟수를 보여주기 위한 도면이다.
도 3에 도시한 바와 같이, 픽셀 단위의 맵을 하나의 코딩 단위로 평균할 수 있다. (a)는 코딩 단위 맵이고 (b)는 코딩 단위로 평균한 참조 맵을 보여주고 있다. 일반적으로 코딩 단위로 참조되는 것이 아니라, 코딩단위의 일부 픽셀만 참조된다. 따라서 코딩단위의 참조 횟수을 계산할 때, 실제 참조되는 영역에 가중치를 두어 계산할 수 있다. 예로 8 x 8 코딩 단위에서 16픽셀만 실제 참조에 사용되면, 해당 코딩단위를 0, 25번 참조된 것으로 간주할 수 있다.
비트 할당부(130)는 측정된 참조 횟수를 기반으로 코딩 단위별로 비트율을 결정하는 코딩 파라미터를 조절할 수 있다. 즉, 비트 할당부(130)는 측정된 참조 횟수에 따라 I 또는 P 프레임 내 코딩 단위별로 코딩 파라미터를 조절하여 할당되는 비트를 조절할 수 있다.
예컨대, 비트 할당부(130)는 참조 횟수가 많을수록 코딩 단위별로 할당되는 비트 수를 증가시키고 참조 횟수가 적을수록 코딩 단위별로 할당되는 비트 수를 감소시키도록 코딩 파라미터를 조절한다. 이룰 구현하는 방법으로 앞서 기술한 바와 같이 입력 동영상에 대하여 1차 부호화 과정을 진행한 후 각 코딩 단위에 대한 참조 회수를 계산하고 1차 부화화 과정에서 출력된 코딩단위에 대하여 참조 회수가 적은 코딩단위를 배정되는 비트가 감소하도록 코딩 파라미터를 조절한 후 해당 코딩단위를 다시 부호화함으로 체감화질을 유지하며 비트율을 감소시킬 수 있다. 예로, 참조 회수가 적은 코딩단위를 증가된 QP를 사용하여 다시 부호화하여 전체 압축 효율를 개선할 수 있다.
이때, 본 발명은 참조 횟수에 따라 코딩 단위별로 상이한 코딩 파라미터를 사용할 수 있다. 물론, 참조 횟수의 범위와 그 범위에 따라 할당되는 비트는 다양하게 설정하여 코딩 파라미터를 조절할 수 있다.
도 4는 본 발명의 일 실시예에 따른 코딩 단위별 할당된 비트를 보여주기 위한 도면이다. 도 4에 도시한 바와 같이, 프레임의 코딩 단위별로 할당되는 비트는 많은 차이를 보이고 있다.
일반적으로 동영상 부호화시 영상의 코딩 단위별로 가변적으로 비트가 할당되게 되는데, (a)는 코딩 단위 맵이고 (b)는 코딩 단위별 할당된 비트 할당 맵(bit allocation map)을 보여주고 있다. 즉, 각 코딩 단위별로 복잡도 및 잔여 오차가 다르기 때문에 할당되는 비트도 달라지게 된다.
도 5는 일반적인 동영상 부호화기가 출력하는 비트/참조 횟수 비율을 보여주는 도면이다.
도 5에 도시한 바와 같이, 코딩 단위로 측정된 참조 횟수와 참조 횟수에 따라 코딩 단위별로 할당된 비트의 비율을 보여주고 있다. 즉, 참조 횟수당 비트 할당율이다. 여기서 일부 코딩 단위를 참조는 거의 되지 않는데 많은 비트가 할당됨을 볼 수 있다. 이와 같은 코딩단위는 좀더 큰 값의 QP 값을 사용하여 다시 부호화 하여도 체감화질은 큰 차이를 보이지 않게 된다.
즉 비트 할당부(130)는 측정된 참조 횟수를 기반으로 코딩 단위별로 기 설정된 양자화 파라미터(Quantization Parameter; QP) 값을 조절하여 다시 부호화함으로 체감 화질에는 변화없이 추가로 비트 크기를 감소 시킬 수 있다. 즉, 비트 할당부(130)는 참조 횟수가 많을수록 코딩 단위별로 할당되는 QP 값을 유지 또는 감소시키고 참조 횟수가 적을수록 코딩 단위별로 할당되는 QP 값을 증가시겨 해당 코딩 단위를 다시 부호화하여 코딩 효율을 향상 시킨다. 기존 비디오 코딩 방법은 비트율과 MSE (mean squared error) 또는 SAD (sum of absolute difference)를 고려하여 비트 할당을 수행한다. 그러나 본 발명에서는 코딩단위에 참조되는 회수를 고려하여 QP 값을 추가로 조절하여 해당 코딩 단위를 다시 부호화함으로 체감 화질을 유지하며 코딩 효율을 제고한다.
예로, 도1의 영상 코딩부(140)는 1차 부호화 등을 통하여 구한 코딩 단위의 참조 회수를 측정한 후 코딩 단위별 참조 회수를 고려하여 QP 값을 조절하여 다시 부호화하여 체감화질의 저하 없이 코딩 효율을 향상 시킨다. 즉, 영상 코딩부(140)는 GOP를 구성하는 프레임 중 I 또는 P 프레임의 코딩 단위별 참조 회수를 고려하여 QP 값을 조절하여 다시 부호화한다.
또한, 본 발명에 따른 동영상을 부호화하기 위한 장치는 코딩 단위별로 조절된 코딩 파라미터 값에 대한 정보를 저장하는 코딩 파라미터 정보 저장부를 더 포함할 수 있다.
도 6은 발명의 일 실시예에 따른 동영상을 부호화하기 위한 방법을 나타내는 제1 도면이다.
도 6에 도시한 바와 같이, 본 발명에 따른 동영상을 부호화하기 위한 장치(이하, 부호화 장치라고 한다)는 유선 또는 무선 통신으로 동영상 데이터를 입력 받을 수 있다(S610). 이때, 입력된 동영상에 일반적인 코딩 표준 방법을 사용하여 1차 부호화를 수행하면, 각 프레임의 코딩단위 맵을 구할 수 있다.
다음으로, 부호화 장치는 부호화된 동영상 데이터의 각 GOP를 구성하고 있는 다수개의 프레임들 즉, I 프레임, B 프레임, P 프레임 중 I 또는 P 프레임 내 코딩 단위별로 B 프레임이나 P 프레임으로부터의 참조 횟수를 측정할 수 있다(S620).
즉, 부호화 장치는 입력 받은 동영상 데이터를 GOP 단위로 코딩하기 위해 다수 개의 프레임들로 구성되는 GOP 단위로 분류하고 분류된 각 GOP를 구성하고 있는 다수개의 프레임들 중 I 또는 P 프레임 내 코딩 단위별로 참조 횟수를 측정하게 된다.
다음으로, 부호화 장치는 측정된 참조 횟수를 기반으로 코딩 단위별로 비트율을 결정하는 코딩 파라미터 값을 조절한다(S630). 예로, 부호화 장치는 측정된 참조 횟수에 따라 I 또는 P 프레임 내 코딩 단위별로 QP 값을 가변적으로 조절할 수 있다.
다음으로, 부호화 장치는 참조 횟수를 기반으로 조절된 코딩 파라미터 값을 사용하여 다시 해당 코딩 단위를 코딩할 수 있다(S640). 즉, 부호화 장치는 GOP를 구성하는 프레임 중 I 및 P 프레임을 코딩하는 경우, GOP에 대하여 1차 부호화를 수행한 후 각 코딩단위 별 참조 회수를 측정하여 QP를 조절한 후 해당 코딩 단위를 조절된 QP를 사용하여 다시 부호화 한다. 이 때 참조 회수가 적은 코딩 단위에 대해서만 조절된 QP를 사용하여 다시 부호화 할 수 있음은 물론이다.
코딩 파라미터 조절에 있어, 참조 회수뿐만 아니라, 연속적으로 참조된 회수, 참조되는 위치 등을 추가로 고려하여 코딩 파라미터를 조절할 수 있다. 예로 QP 값을 증가시켜 참조되는 코딩단위를 부호화할 때, 도 8과 같이 특정 코딩 단위를 연속되는 프레임에서 참조되는 경우 도9와 같이 비연속적으로 참조되는 경우에 비하여 체감 화질에 더 많이 저하될 수 있다. 이를 고려하여 동일한 참조회수를 갖더라도 연속적으로 참조된 회수를 추가로 고려하여 코딩 파라미터를 조절할 수 있다.
또한, QP 값을 증가시켜 참조되는 코딩단위를 부호화할 때 도10과 같이 특정 코딩 단위를 동일한 위치에서 계속 참조하는 경우 도 11과 같이 다른 위치에서 참조하는 경우에 비하여 체감 화질에 더 많이 저하될 수 있다. 이를 고려하여 동일한 참조회수에도 동일한 위치에서 계속 참조하는 회수를 추가로 고려하여 QP를 조절할 수 있다.
도 7은 발명의 일 실시예에 따른 동영상을 복호화하기 위한 장치를 나타내는 도면이다.
도 7에 도시한 바와 같이, 본 발명에 따른 동영상을 복호화하기 위한 장치는 영상 입력부(710), 코딩 파라미터 수신부(720), 및 복호화부(730) 등을 포함하여 구성될 수 있다.
영상 입력부(710)는 유선 또는 무선 통신으로 부호화된 동영상을 수신할 수 있다.
코딩 파라미터 수신부(720)는 수신된 부호화된 동영상에 대한 코딩 단위별 비트율을 결정하는 코딩 파라미터 정보를 수신할 수 있다.
복호화부(730)는 영상 입력부(710)로부터 수신된 부호화된 동영상을 코딩 파라미터 수신부(720)로부터 수신된 코딩 파라미터 정보를 이용하여 복호화할 수 있다.
이와 같이 본 발명의 일 실시예에서는 코딩단위별로 참조되는 횟수를 고려하여 비트율을 결정하는 코딩 파라미터인 QP 값을 조절하여 해당 코딩 단위를 다시 부호화함으로 코딩 효율을 제고한다. 만일 코덱이 동일 프레임내에 가변 QP 값을 지원하지 않으면 각 코딩 단위의 조절된 QP 값을 복호화기로 전송하고 복호화기는 이 정보 즉, 조절된 QP 값을 사용하여 복호화를 수행할 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 입력부
120: 참조횟수 측정부
130: 비트 할당부
140: 영상 코딩부
710: 영상 입력부
720: 코딩 파라미터 수신부
730: 복호화부
120: 참조횟수 측정부
130: 비트 할당부
140: 영상 코딩부
710: 영상 입력부
720: 코딩 파라미터 수신부
730: 복호화부
Claims (14)
- 동영상 데이터를 입력 받으면, 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하는 참조횟수 측정부;
측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터를 조절하는 비트 할당부; 및
상기 비트 할당부가 출력한 조절된 코딩 파라미터를 이용하여 상기 코딩 단위별로 코딩하는 영상 코딩부;
를 포함하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치. - 제1 항에 있어서,
상기 참조횟수 측정부는,
입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 I 또는 P 프레임 내 각 코딩 단위별로 다른 B 프레임들이나 P 프레임들에 의해 참조되는 상기 참조 횟수를 측정하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치. - 제1 항에 있어서,
상기 비트 할당부는,
연속 프레임에 의해 참조되는 회수를 측정하고 측정된 상기 연속 참조 횟수를 기반으로 상기 코딩 단위별로 코딩 파라미터를 조절하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치. - 제1 항에 있어서,
상기 비트 할당부는,
동일위치에서 참조되는 회수를 측정하고 측정된 상기 동일위치 참조 횟수를 기반으로 상기 코딩 단위별로 상기 코딩 파라미터를 조절하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치. - 제1 항에 있어서,
코딩 단위별로 조절된 코딩 파라미터 값에 대한 정보를 저장하는 코딩 파라미터 정보 저장부를 더 포함하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치. - 제1 항에 있어서,
상기 비트 할당부는,
상기 참조 횟수를 기반으로 하나의 GOP를 구성하고 있는 다른 프레임들에서 참조되는 횟수가 적을수록 할당되는 비트의 개수가줄어들도록 상기 코딩 파라미터를 조절하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 장치. - 동영상 데이터를 입력 받으면, 입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하는 참조횟수 측정단계;
측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터를 조절하는 비트 할당단계; 및
상기 비트 할당부가 출력한 조절된 코딩 파라미터를 이용하여 상기 코딩 단위별로 코딩하는 영상 코딩단계;
를 포함하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 방법. - 제7 항에 있어서,
상기 참조횟수 측정단계는,
입력 받은 상기 동영상 데이터의 각 GOP를 구성하는 I 또는 P 프레임 내 각 코딩 단위별로 B 프레임들이나 P 프레임들에 의해 참조되는 상기 참조 횟수를 측정하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 방법. - 제7 항에 있어서,
상기 비트 할당단계는,
연속 프레임에 의해 참조되는 회수를 측정하고 측정된 상기 연속 참조 횟수를 기반으로 상기 코딩 단위별로 코딩 파라미터를 조절하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 방법. - 제7 항에 있어서,
상기 비트 할당단계는,
동일위치에서 참조되는 회수를 측정하고 측정된 상기 동일위치 참조 횟수를 기반으로 상기 코딩 단위별로 상기 코딩 파라미터를 조절하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 방법. - 제7 항에 있어서,
코딩 단위별로 조절된 코딩 파라미터 값에 대한 정보를 저장하는 코딩 파라미터 정보 저장 단계;
를 더 포함하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 방법. - 제7 항에 있어서,
상기 비트 할당단계는,
상기 참조 횟수를 기반으로 하나의 GOP를 구성하고 있는 다른 프레임들에서 참조되는 횟수가 적을수록 할당되는 비트의 개수가 줄어들도록 상기 코딩 파라미터를 조절하는 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 부호화하기 위한 방법. - 부호화된 동영상을 수신하는 영상 입력부;
수신된 상기 부호화된 동영상에 대한 코딩 단위별 비트율을 결정하는 코딩 파라미터 정보를 수신하는 코딩 파라미터 수신부; 및
수신된 상기 부호화된 동영상을 상기 코딩 파라미터 정보를 이용하여 복호화하는 복호화부;
를 포함하되, 상기 코딩 파라미터 정보는 동영상 부호화 장치가 입력 받은 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하여 측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터 값을 조절하여 그 조절한 결과로 생성된 코딩 단위별로 조절된 코딩 파라미터 값에 대한 정보인 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 복호화하기 위한 장치. - 부호화된 동영상을 수신하는 영상 수신단계;
수신된 상기 부호화된 동영상에 대한 코딩 단위별 비트율을 결정하는 코딩 파라미터 정보를 수신하는 코딩 파라미터 수신단계; 및
수신된 상기 부호화된 동영상을 상기 코딩 파라미터 정보를 이용하여 복호화하는 복호화 단계;
를 포함하되, 상기 코딩 파라미터 정보는 동영상 부호화 장치가 입력 받은 동영상 데이터의 각 GOP를 구성하는 다수의 프레임 내 각 코딩 단위별로 다른 프레임들에 의해 참조되는 참조 횟수를 측정하여 측정된 상기 참조 횟수를 기반으로 상기 코딩 단위별로 비트율을 결정하는 코딩 파라미터 값을 조절하여 그 조절한 결과로 생성된 코딩 단위별로 조절된 코딩 파라미터 값에 대한 정보인 것을 특징으로 하는 프레임 간 참조 횟수를 고려하여 동영상을 복호화하기 위한 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130021809A KR101421261B1 (ko) | 2013-02-28 | 2013-02-28 | 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130021809A KR101421261B1 (ko) | 2013-02-28 | 2013-02-28 | 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101421261B1 true KR101421261B1 (ko) | 2014-07-21 |
Family
ID=51742606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130021809A KR101421261B1 (ko) | 2013-02-28 | 2013-02-28 | 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101421261B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016048035A1 (ko) * | 2014-09-23 | 2016-03-31 | 삼성전자 주식회사 | 참조 빈도에 따라 참조 영상 데이터를 제어하는 비디오 부복호화 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100004009A (ko) * | 2008-07-02 | 2010-01-12 | 재단법인서울대학교산학협력재단 | 실시간 ｈ.264를 위한 적응적 프레임 비트율 제어 방법 |
| KR20100113338A (ko) * | 2009-04-13 | 2010-10-21 | 삼성전자주식회사 | 우선 순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법 |
| KR20130002296A (ko) * | 2011-06-28 | 2013-01-07 | 삼성전자주식회사 | 적응적인 양자화 파라미터 차분값을 이용한 영상의 부호화 및 복호화 방법과 장치 |
-
2013
- 2013-02-28 KR KR1020130021809A patent/KR101421261B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100004009A (ko) * | 2008-07-02 | 2010-01-12 | 재단법인서울대학교산학협력재단 | 실시간 ｈ.264를 위한 적응적 프레임 비트율 제어 방법 |
| KR20100113338A (ko) * | 2009-04-13 | 2010-10-21 | 삼성전자주식회사 | 우선 순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법 |
| KR20130002296A (ko) * | 2011-06-28 | 2013-01-07 | 삼성전자주식회사 | 적응적인 양자화 파라미터 차분값을 이용한 영상의 부호화 및 복호화 방법과 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016048035A1 (ko) * | 2014-09-23 | 2016-03-31 | 삼성전자 주식회사 | 참조 빈도에 따라 참조 영상 데이터를 제어하는 비디오 부복호화 방법 및 장치 |
| US11032554B2 (en) | 2014-09-23 | 2021-06-08 | Samsung Electronics Co., Ltd. | Video encoding/decoding method and device for controlling reference image data according to reference frequency |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8588296B2 (en) | Bitrate control algorithm for video transcoding systems | |
| KR100468726B1 (ko) | 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법 | |
| EP2940998B1 (en) | Bounded rate near-lossless and lossless image compression | |
| US10574988B2 (en) | System and methods for reducing slice boundary visual artifacts in display stream compression (DSC) | |
| US9805442B2 (en) | Fine-grained bit-rate control | |
| US20110206118A1 (en) | Data Compression for Video | |
| US20120044990A1 (en) | Data Compression For Video | |
| US20110206132A1 (en) | Data Compression for Video | |
| JP6449329B2 (ja) | ディスプレイストリーム圧縮（ｄｓｃ）において量子化パラメータ（ｑｐ）を選択するためのシステムおよび方法 | |
| CN108702513B (zh) | 用于在显示流压缩中量化参数的适应性计算的设备及方法 | |
| KR20170137090A (ko) | 디스플레이 스트림 압축을 위한 레이트 제약형 폴백 모드 | |
| CN101677398A (zh) | 场景切换码率控制方法 | |
| JP2005094458A (ja) | 動画像符号化装置及び方法 | |
| KR20180019215A (ko) | 참조 영상 인코딩 방법, 참조 영상 디코딩 방법, 참조 영상 인코딩 디바이스 및 참조 영상 디코딩 디바이스 | |
| JP2018113671A (ja) | ビデオエンコーディングのための方法及びエンコーダ | |
| US10171807B2 (en) | Picture-level QP rate control for HEVC encoding | |
| CN110099274A (zh) | 估计体验的视频质量 | |
| JP2008153907A (ja) | 画像符号化装置及びそれらを含む情報端末ならびに画像符号化方法 | |
| KR101421261B1 (ko) | 프레임 간 참조 횟수를 고려하여 동영상을 부호화/복호화하기 위한 장치 및 그 방법 | |
| KR20180134895A (ko) | 디스플레이 스트림 압축에 대한 지각적 양자화 파라미터 (qp) 가중을 위한 장치 및 방법들 | |
| CN110650337B (zh) | 一种图像编码方法、解码方法、编码器、解码器及存储介质 | |
| US10742979B2 (en) | Nonlinear local activity for adaptive quantization | |
| CN102123276A (zh) | 控制场景切换码率方法 | |
| JP4517453B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| US20070031050A1 (en) | Method and apparatus for bit rate control for image encoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170712 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180702 Year of fee payment: 5 |