KR20060081475A

KR20060081475A - A roubust h.264 pre-processing of packet delay

Info

Publication number: KR20060081475A
Application number: KR1020050001805A
Authority: KR
Inventors: 김성환; 성현승
Original assignee: 김성환; 성현승
Priority date: 2005-01-07
Filing date: 2005-01-07
Publication date: 2006-07-13

Abstract

본 발명은 MPEG-4 Part 10 AVC (Advanced Visual Coding: H.264) 비디오 압축 표준을 포함하는 일반적인 비디오 압축 표준을 적용한 인코더 (encoder) 의 효율을 증가시키기 위해, 움직임 벡터 (motion vector) 정보를 이용하여, 인지시각적으로 화질을 감소하지 않으면서 압축율을 향상하고, 패킷 지연을 최소화 할 수 있는 서비스 장치 및 방법에 대한 것으로,
The present invention utilizes motion vector information to increase the efficiency of an encoder applying a general video compression standard including the MPEG-4 Part 10 Advanced Visual Coding (H.264) video compression standard. The present invention relates to a service apparatus and a method capable of improving a compression ratio and minimizing packet delay without reducing image quality visually.

본 발명의 장치는, (1) 비디오 프레임 내의 블록들의 움직임을 추정하는 움직임 추정부, (2) 움직임의 중요성을 파악하는 움직임 정보량 측정부, (3) 움직임 정보량 측정부에 의해 해당 영상 블록의 잔여오차 조작부 를 포함하는데 특징이 있다.
The apparatus of the present invention comprises: (1) a motion estimator for estimating the motion of blocks in a video frame, (2) a motion information amount measuring unit for grasping the importance of the motion, and (3) a motion information amount measuring unit for the remaining of the video block. It is characterized by including the error control unit.

또한 본 발명의 방법은, (1) 비디오 컨텐츠를 구성하는 각각의 프레임 내의 블록들의 움직임을 추정하는 제 1과정; (2) 비디오 1개 프레임 내에서의 움직임 정도를 파악하는 제 2과정; (3) 제 2과정에서 얻은 움직임 정도에 따라, 해당 블록의 움직임 기여도를 측정하고, 이를 반영하여, 블록의 잔여오차를 조절하는 제 3과정을 포함하는데 특징이 있다.
In addition, the method of the present invention comprises: (1) a first step of estimating the motion of blocks in each frame constituting video content; (2) a second process of determining the degree of movement in one frame of video; (3) According to the movement degree obtained in the second process, it is characterized in that it comprises a third process of measuring the motion contribution of the corresponding block, and reflecting this, to adjust the residual error of the block.

이와 같이, 본 발명은 비디오 컨텐츠에서 움직임이 빠른 부분이 느린 부분에 비해 상대적으로 인지시각적인 정보를 많이 담고 있다는 점을 이용하여, 비디오 컨텐츠의 1개 프레임마다, 정보량을 계산하고, 이를 반영하여, 정보량이 적은, 즉 움직임이 적은 영상 블록의 움직임 잔여오차 (motion predicted residual) 값을 아예 0 또는 최소화함으로써, 압축 효율을 높이고, 전송 지연도 최소화 할 있는 이점이 있다. 또한 이러한 과정이 전처리 과정에서 이루어짐으로써, 영상 압축 표준에 무관하게 동작할 수 있다는 이점이 있다.
As described above, the present invention calculates the amount of information for each frame of the video content using the fact that the fast moving part of the video content contains relatively cognitive visual information as compared to the slow part, and reflects the information amount. By zeroing or minimizing the motion predicted residual value of an image block having a small amount of information, that is, a small amount of motion, there is an advantage of increasing compression efficiency and minimizing transmission delay. In addition, this process is performed in the pre-processing process, there is an advantage that can operate regardless of the image compression standard.

인지시각, 전처리, 움직임 정보Cognitive visual, preprocessing, motion information

Description

Robust H.264 pre-processing of packet delay

도 1은 본 발명에 따른 패킷 지연에 강인한 H.264 전처리 과정 서비스 장치의 구성도.
1 is a block diagram of a H.264 preprocessing service apparatus robust to packet delay according to the present invention.

< 도면의 주요 부분에 대한 부호의 설명><Description of the reference numerals for the main parts of the drawings>

100: 움직임 추정부100: motion estimation unit

200: 움직임 정보량 측정부 200: motion information amount measuring unit

300: 영상 블록의 잔여오차 조작부
300: residual error control unit of the image block

도 2는 본 발명에 따른 패킷 지연에 강인한 H.264 전처리 과정 서비스 방법의 흐름도.
2 is a flowchart of an H.264 preprocessing service method robust to packet delays according to the present invention;

본 발명은 비디오 컨텐츠에서 움직임이 빠른 부분이 느린 부분에 비해 상대적으로 인지시각적인 정보를 많이 담고 있다는 점을 이용하여, 비디오 컨텐츠의 1개 프레임마다, 정보량을 계산하고, 이를 반영하여, 정보량이 적은, 즉 움직임이 적은 영상 블록의 움직임 잔여오차 (motion predicted residual) 값을 아예 0 또는 최소화함으로써, 압축 효율을 높이고, 전송 지연도 최소화 할 있는 이점이 있다. 또한 이러한 과정이 전처리 과정에서 이루어짐으로써, 영상 압축 표준에 무관하게 동작할 수 있다는 이점이 있다.
The present invention calculates the amount of information for each frame of the video content by using the fact that the fast-moving part of the video content contains relatively cognitive visual information, compared to the slow part, and reflects the information amount. That is, by minimizing or zeroing the motion predicted residual value of the image block with little motion, there is an advantage of increasing compression efficiency and minimizing transmission delay. In addition, this process is performed in the pre-processing process, there is an advantage that can operate regardless of the image compression standard.

종래의 전처리과정은, 영상 압축이 용이하도록 영상을 평활화 (blurring) 등을 하거나, sub-sampling 등을 수행하였으며, 이는 실제 영상이 decoding 되는 경우, 정보의 손실로 인해, 주관적인 화질 저하가 나타나게 된다.
In the conventional preprocessing, the image is smoothed or sub-sampling is performed to easily compress the image. When the actual image is decoded, the subjective image quality is deteriorated due to loss of information.

본 발명은, 비디오 압축 표준을 그대로 수행함으로써, 비디오 디코더의 변형을 가하지 않으면서, 압축율을 보다 향상하기 위한 것이며, 이는 사람의 인지시각이 빠른 움직임에 민감하고, 상대적으로 느린 움직임에 덜 민감하다는 점에 착안하고 있다.
The present invention is intended to further improve the compression rate by applying the video compression standard as it is, without modifying the video decoder, which is that human perception is sensitive to fast movement and less sensitive to relatively slow movement. I'm thinking about.

이와 같은 목적을 달성하기 위한 본 발명의 특징은, (1) 비디오 프레임 내의 블록들의 움직임을 추정하는 움직임 추정부, (2) 움직임의 중요성을 파악하는 움직임 정보량 측정부, (3) 움직임 정보량 측정부에 의해 해당 영상 블록의 잔여오차 조작부 를 포함하는데 특징이 있다.
A feature of the present invention for achieving the above object is (1) a motion estimator for estimating the motion of blocks in a video frame, (2) a motion information amount measuring unit for grasping the importance of the motion, (3) a motion information amount measuring unit It is characterized by including the residual error control unit of the video block.

바람직하게, 움직임 추정부 수단은, 전처리 과정 이후에 사용되는 비디오 encoder의 움직임 추정부 (motion estimation)을 이용할 수 있다. Preferably, the motion estimation unit means may use a motion estimation unit of the video encoder used after the preprocessing.

바람직하게, 움직임 정보량 측정부 수단의 동작은 제 2과정의 상세기능을 이용할 수 있다.Preferably, the operation of the motion information amount measuring unit means may use the detailed function of the second process.

바람직하게, 잔여오차 조작부 수단의 동작은 제 3과정의 상세기능을 이용할 수 있다.
Preferably, the operation of the residual error operation unit means may use the detailed function of the third process.

본 발명의 다른 특징은, (1) 비디오 컨텐츠를 구성하는 각각의 프레임 내의 블록들의 움직임을 추정하는 제 1과정; (2) 비디오 1개 프레임 내에서의 움직임 정도를 파악하는 제 2과정; (3) 제 2과정에서 얻은 움직임 정도에 따라, 해당 블록의 움직임 기여도를 측정하고, 이를 반영하여, 블록의 잔여오차를 조절하는 제 3과정을 포함하는데 특징이 있다.
Another aspect of the present invention provides a method for estimating the motion of blocks in each frame constituting video content; (2) a second process of determining the degree of movement in one frame of video; (3) According to the movement degree obtained in the second process, it is characterized in that it comprises a third process of measuring the motion contribution of the corresponding block, and reflecting this, to adjust the residual error of the block.

이하, 본 발명의 바람직한 실시 예에 대하여 첨부도면을 참조하여 상세히 설명한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1에 있어서, 본 발명은 움직임 추정 수단 (100), 움직임 정보량 측정부 수단 (200), 잔여오차 조작부 수단 (300) 으로 구성된다.
In FIG. 1, the present invention is composed of a motion estimation means 100, a motion information amount measuring means means 200, and a residual error operation means means 300. As shown in FIG.

움직임 추정 수단 (100)은, 전처리 이후에 사용될 비디오 코덱의 움직임 추정 (motion estimation) 부분을 미리 실행하여, 실제 구성될 움직임 벡터 (motion vector)를 구하게 된다. 비디오 컨텐츠를 구성하는 각각의 프레임마다 적용된다. 각각의 프레임은 4x4 혹은 8x8 단위의 블록으로 나누어지고, 각각의 블록에 대해 움직임 추정을 수행한다. 실제 움직임 추정의 수행속도가 부담이 되는 경우, 낮은 복잡도의 다른 움직임 추정기법을 이용해도 무관하다.
The motion estimating means 100 performs a motion estimation portion of the video codec to be used after the preprocessing in advance to obtain a motion vector to be actually constructed. Applied for each frame constituting the video content. Each frame is divided into 4x4 or 8x8 blocks, and motion estimation is performed for each block. If the execution speed of the actual motion estimation is a burden, other motion estimation techniques of low complexity may be used.

움직임 정보량 측정부 수단 (200)은, 움직임 추정 수단에서 각 프레임마다 계산한 4x4 혹은 8x8 단위의 블록들의 움직임 벡터 (motion vector)들을 도 2에 표시된 분류도로 분류하게 된다. Motion vector는 x 방향의 움직임 성분과 y 방향의 움직임 성분으로 나누어지며, 이를 달리 표시하면, 원점에서부터의 거리 d와 수평으로부터의 각도인 a로 구성할 수 있다. 이제 1개 프레임의 모든 블록들의 움직임 벡터를 도 2에 표시하면, 움직임 벡터의 밀도가 높은 부분과 낮은 부분 등으로 나누게 된다. 도 2에서, C(b)는 그림 2-4에서 보는 것과 같이 움직임의 방향과 크기를 36개로 나눈 부분들이고, 움직임 정보를 나타내기 위해 식을 구성하면, M_b는 C(b)의 motion information으로 정의할 수 있다. 이제 각 블록의 motion information은 해당 블록이 속한 도 2의 C(b) 클래스의 motion information으로 대표될 수 있다. The motion information amount measuring unit 200 classifies the motion vectors of blocks of 4x4 or 8x8 units calculated for each frame by the motion estimating unit into the classification diagrams shown in FIG. 2. The motion vector is divided into a motion component in the x direction and a motion component in the y direction. In other words, the motion vector may be composed of a distance d from the origin and an angle from the horizontal direction. Now, when the motion vectors of all the blocks of one frame are shown in FIG. 2, the motion vectors are divided into high and low parts. In FIG. 2, C (b) is divided into 36 parts of direction and magnitude of motion as shown in FIG. 2-4. When formula is formulated to represent motion information, M _b is motion information of C (b). Can be defined as The motion information of each block can now be represented by the motion information of class C (b) of FIG. 2 to which the block belongs.

오차 조작부 수단 (300)는 움직임 정보량 측정부 수단에서 계산된, 각 블록마다의 motion information을 이용하게 된다. 각 블록마다 구한 motion information과 THRESHOLD-1를 비교하여, THRESHOLD-1보다 작은 경우, 해당 블록의 값은, 움직임벡터가 지시하는 reference frame 내의 해당 블록 값으로 대체한다. 따라서, 전처리 과정이 끝나고, 비디오 코덱을 적용하게 되면, 해당 블록은 움직임 벡터 외에는 전송되는 데이터가 없어지게 된다. 반면에 motion information과 THRESHOLD-2를 비교하여, THRESHOLD-2보다 큰 경우, 해당 블록의 값은 전혀 조작하지 않는다. 이러한 블록은 상당한 움직임 정보를 가지고 있으며, 비디오 컨텐츠 내의 중요한 정보로 판단하기 때문이다. THRESHOLD-1과 THRESHOLD-2 사이의 Motion information을 가진 블록들은, 비디오 컨텐츠의 전송대역폭 또는 사용자의 요구에 따라 가중치를 두어, 해당 블록의 값을 reference frame 내의 해당 블록의 값과 비슷하게 만들게 된다.
The error operation unit means 300 uses the motion information for each block calculated by the motion information amount measuring unit means. The motion information obtained for each block is compared with THRESHOLD-1, and when the value is smaller than THRESHOLD-1, the corresponding block value is replaced with the corresponding block value in the reference frame indicated by the motion vector. Therefore, when the preprocessing process is completed and the video codec is applied, the block loses no data other than the motion vector. On the other hand, when motion information is compared with THRESHOLD-2, if it is larger than THRESHOLD-2, the value of the corresponding block is not manipulated at all. This block has considerable motion information and is judged to be important information in the video content. Blocks with motion information between THRESHOLD-1 and THRESHOLD-2 are weighted according to the transmission bandwidth of the video content or the user's request to make the value of the block similar to that of the corresponding block in the reference frame.

이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위 뿐만 아니라, 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
As described above, in the detailed description of the present invention, specific embodiments have been described. However, various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below, but also by those equivalent to the claims.

결국, 본 발명에 의한 패킷 지연에 강인한 H.264 전처리 과정 서비스 장치 및 방법에 따르면 다음과 같은 이점이 발생한다.
As a result, according to the H.264 preprocessing service apparatus and method which is robust against packet delay according to the present invention, the following advantages occur.

즉 본 발명은, 비디오 컨텐츠에서 움직임이 빠른 부분이 느린 부분에 비해 상대적으로 인지시각적인 정보를 많이 담고 있다는 점을 이용하여, 비디오 컨텐츠의 1개 프레임마다, 정보량을 계산하고, 이를 반영하여, 정보량이 적은, 즉 움직임이 적은 영상 블록의 움직임 잔여오차 (motion predicted residual) 값을 아예 0 또는 최소화함으로써, 압축 효율을 높이고, 전송 지연도 최소화 할 있는 이점이 있다. 또한 이러한 과정이 전처리 과정에서 이루어짐으로써, 영상 압축 표준에 무관하게 동작할 수 있다는 이점이 있다.

That is, the present invention calculates the amount of information for each frame of the video content by using the fact that the fast moving part of the video content contains relatively cognitive visual information, compared to the slow part, and reflects the information amount. By minimizing the motion predicted residual value of the small, i.e., low, motion image block (0) at all, the compression efficiency and the transmission delay can be minimized. In addition, this process is performed in the pre-processing process, there is an advantage that can operate regardless of the image compression standard.

Claims

Motion estimation unit means for estimating the motion of the blocks in the video frame;

Motion information amount measuring unit means for grasping the importance of motion;

Residual error operation unit means for the corresponding video block by the motion information amount measuring unit;