KR100565274B1

KR100565274B1 - 중앙 집중형 인트라 모드 리프레시 방법

Info

Publication number: KR100565274B1
Application number: KR1020030044666A
Authority: KR
Inventors: 김민섭
Original assignee: 엘지전자 주식회사
Priority date: 2003-07-02
Filing date: 2003-07-02
Publication date: 2006-03-30
Also published as: KR20050004473A

Abstract

본 발명은 이동 통신 단말기를 이용한 동영상 서비스 시, 화면의 중심과 주변의 매크로블록에 대한 인트라 모드 리프레시 비율을 다르게 하여, 화면의 가운데 위치하는 중요 영상에 대해서는 되도록 오류 전파를 방지하고, 중심 MB에서 주변 MB로의 부드러운 영상변화가 이루어질 수 있도록 하여 동영상의 화질을 개선할 수 있도록 하는 중앙 집중형 인트라 모드 리프레시 방법에 관한 것으로, 인코딩 할 영상의 중심 매크로블록에 대한 인트라 리프레시 비율을 가장 높게 하고 주변 영역으로 갈수록 낮아지게 설정하는 단계와; 소정의 구간(0 ~ 999)에서 임의의 난수를 발생시키는 단계와; 상기 각 매크로블록의 인트라 리프레시 비율을 정수화 한 후, 상기 발생한 난수와 크기를 비교하는 단계와; 상기 비교 결과, 정수화 된 인트라 리프레시 비율이 난수보다 큰 매크로블록에 대해서는 인트라 모드로, 난수보다 작은 비율의 매크로블록에 대해서는 인터 모드로 인코딩 하는 단계를 포함하여 이루어짐으로써 달성할 수 있다.

Description

중앙 집중형 인트라 모드 리프레시 방법{CENTRALIZATION INTRA MODE REFRESH METHOD}

도 1은 본 발명의 인트라 모드 리프레시에 의한 인트라 매크로블록의 삽입 방법을 가시적으로 종래와 비교해 보인 예시도.

도 2는 본 발명에 의해 QCIF 영상에 가우시안 분포를 적용하는 방법을 설명하기 위한 예시도.

도 3은 본 발명에 의한 선택적 인트라 모드 리프레시 방법을 보인 흐름도.

본 발명은 중앙 집중형 인트라 모드 리프레시 방법에 관한 것으로, 특히 이동 통신 단말기를 이용한 동영상 서비스 시, 화면의 중심과 주변의 매크로블록에 대한 인트라 모드 리프레시 비율을 다르게 하여, 화면의 가운데 위치하는 중요 영상에 대해서는 되도록 오류 전파를 방지하고, 중심 MB에서 주변 MB로의 부드러운 영상변화가 이루어질 수 있도록 하여 동영상의 화질을 개선할 수 있도록 하는 중앙 집중형 인트라 모드 리프레시 방법에 관한 것이다.

일반적으로, 동영상을 유,무선 네트웍을 통해 전송할 때, 채널 에러 혹은 데이터(패킷)의 유실로 인해 전송 받은 영상이 깨져 보이는 경우가 발생하는데, 유선 망에서는 데이터의 혼잡(congestion)으로 상기와 같은 문제점이 발생하게 되고, 무선망에서는 본질적으로 에러가 쉽게 일어나기 때문에 상기와 같이 문제점이 발생하게 된다.

특히, 이전 프레임과의 차이정보만을 압축하는 영상 코딩의 특성상, 한 프레임이 훼손되면 다음 프레임에 바로 영향을 미치고, 적절한 대응을 하지 않는 한 이러한 오류전파가 계속되는 문제점이 있다.

따라서, 인트라 모드 리프레시 기법을 이용하여 오류 전파를 차단할 수 있도록 하고 있는데, 종래의 경우 화면 전체에 대한 리프레시 비율이 일정하기 때문에, 전체 화면에 대하여 선명한 영상을 얻을 수 있지만, 데이터 전송율(Bit rate)의 증가로 인해 리프레시 비율을 높이는데 한계가 있어, 일정 수준 이상의 오류전파 방지 효과를 얻는데 어려움이 있다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 이동 통신 단말기를 이용한 동영상 서비스 시, 화면의 중심과 주변의 매크로블록에 대한 인트라 모드 리프레시 비율을 다르게 하여, 화면의 가운데 위치하는 중요 영상에 대해서는 되도록 오류 전파를 방지하고, 중심 MB에서 주변 MB로의 부드러운 영상변화가 이루어질 수 있도록 하여 동영상의 화질을 개선할 수 있도록 하는 중앙 집중형 인트라 모드 리프레시 방법을 제공함에 그 목적이 있다.

이와 같은 목적을 달성하기 위한 본 발명은, 인코딩 할 영상의 중심 매크로블록에 대한 인트라 리프레시 비율을 가장 높게 하고 주변 영역으로 갈수록 낮아지게 설정하는 단계와; 소정의 구간(0 ~ 999)에서 임의의 난수를 발생시키는 단계와; 상기 각 매크로블록의 인트라 리프레시 비율을 정수화 한 후, 상기 발생한 난수와 크기를 비교하는 단계와; 상기 비교 결과, 정수화 된 인트라 리프레시 비율이 난수보다 큰 매크로블록에 대해서는 인트라 모드로, 난수보다 작은 비율의 매크로블록에 대해서는 인터 모드로 인코딩 하는 단계를 포함하여 이루어진 것을 특징으로 한다.

본 발명은 동영상의 인코딩(Encoding)시에 매크로블록(MB : Macro Block)을 주기적으로 인트라 모드(Intra Mode)로 바꿔줌으로써 오류전파를 차단하는 인트라 모드 리프레시 기법을 변형하여 동영상의 화질을 개선하기 위한 것으로, 일반적으로 가장 중요한 물체가 화면의 가운데에 위치하는 특성을 이용하여, 화면의 중심과 주변의 매크로블록에 대한 인트라 모드 리프레시 비율을 다르게 하여, 화면의 가운데 위치하는 중요 영상에 대해서는 되도록 오류 전파를 방지함으로써, 동일한 리프레시 비율에서 동영상의 화질을 보다 개선할 수 있도록 하는 방법의 제공을 요지로 한다.

상기 인트라 모드 리프레시(Intra-Mode Refresh) 기법은 엔코더(Encoder)와 디코더(Decoder) 사이에 피드백 정보를 사용하지 않고 오류 전파를 제어하는 방법으로서, 이전 프레임의 데이터를 참조하지 않고 자기 자신만의 정보로 디코딩 되는 인트라 MB를 일정 비율로 삽입해 주며, 그 비율(인트라 모드(Intra Mode)로 압축하는 비율)은 채널의 상태와 비디오의 특성에 따라 적절히 조정해야 한다. 그리고, 인트라 모드로 압축되면 비디오 코딩의 효율이 떨어지므로 인트라 모드로 압축되어 야 할 시점을 잘 선택해야 한다.

따라서, 본 발명에서는 인트라 MB를 화면의 가운데 영상의 삽입 빈도가 가장 높게 하고, 가운데에서 주변으로 갈수록 삽입 빈도가 낮아지도록 함으로써, 한 화면 내에서도 중요한 부분의 영상에 대해서는 되도록 좋은 화질을 유지할 수 있도록 하면서, 비디오 코딩의 효율이 떨어지지 않도록 하는 것이다.

상기와 같이 화면의 가운데 부분에 있는 영상에 대한 인트라 MB의 삽입 비율을 높이는 것은, 통상적으로 화상 전화 시 사용자가 자신을 화면의 가운데에 위치하고자 하는 특성을 이용하는 것이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.

도1은 본 발명의 인트라 모드 리프레시에 의한 인트라 매크로블록의 삽입 방법을 가시적으로 종래와 비교해 보인 예시도로서, 종래에는 화면의 일부 영역에 대해서 동일한 비율로 인트라 MB를 삽입하고 있으나, 본 발명에서는 화면의 가운데 영상에 대한 인트라 MB의 삽입 빈도를 가장 높게 하고, 주변으로 갈수록 삽입 빈도를 낮추어 주고 있다.

즉, 도1의 (a)는 종래의 방법으로서 가운데 직사각형 영역만을 균등한 확률로 인트라 모드 리프레시 하는 경우이고, 도1의 (b)는 본 발명에 의한 방법으로서 화면의 가운데 영역을 가장 높은 비율로 인트라 모드 리프레시하고, 주변으로 갈수록 인트라 모드 리프레시 비율을 낮추는 경우이다. 상기 도1의 (b)에서 각 MB의 밝기가 인트라 모드 리프레시 비율을 의미하는 것으로, 어두울수록 비율이 높고 밝을수록 비율이 낮은 것을 의미한다.

설명의 편의상, 상기 도1의 (b)와 같은 방법을 중앙 집중형 인트라 모드 리프레시(Centralization Intra Mode Refresh) 방법이라고 정의한다.

한편, 인트라 모드 리프레시를 많이 하면(리프레시 비율이 높으면) 오류전파를 방지하는 특성이 좋아지지만, 반대로 데이터 전송율(Bit Rate)이 증가하게 됨으로써, 대역폭(Bandwidth)이 제한되어 있는 통신망에서는 인트라 모드 리프레시 비율을 높이는데 한계가 있다. 따라서, 본 발명은 한 화면에 대하여 종래와 동일한 리프레시 비율을 유지하면서, 중요 부분에 대한 영상의 화질을 높이는데 매우 효과적으로 적용할 수 있다.

예컨대, 인트라 모드 리프레시를 N 번째 매크로블록(MB)마다 한번씩 수행한다고 할 경우, 이 영상의 크기가 MB 단위로 하여 W ×H 라고 한다면, 하나의 영상에서 인트라 모드로 리프레시 되는 MB의 개수는 대략 (W ×H)/N 개가된다. 이때, 각 MB의 인트라 리프레시 비율은 다음 수학식 1에 의해 계산된다.

P(Intra refresh) = p(x,y) ×((W ×H)/N)

여기서, p(x,y)는 한 영상 당 1개의 MB만이 인트라 리프레시 된다고 했을 때의 각 MB의 리프레시 확률(단, 0 ≤x ≤W-1, 0 ≤y ≤H-1)로서, 영상 표준에서 흔히 사용되는 QCIF 포맷을 예로 들면, QCIF 포맷의 매크로블록(MB)은 가로방향(W)이 11개, 세로방향(H)이 9개로, 이 99개 매크로블록 각각에 대한 p(x,y)는 도2와 같이 화면의 중심 매크로블록의 좌표를 (0,0)이라고 놓고, 각 MB의 중심이 1만큼씩 떨어져있다고 하였을 때, 중앙 MB를 정점으로 한 가우시안(Gaussian) 분포를 생각할 수 있다. 이를 수식으로 나타내면 다음 수학식 2와 같다.

여기서, 표준편차

를 3이라 놓고 11:9 의 비율에 맞게 표준편차

를 3*(9/11)=2.46 이라고 놓는다면, 모든 p(x,y)를 계산할 수 있다.

다음, 확률분포의 성질상 모든 합이 1이 되어야 한다는 조건에 맞도록 각 값을 스케일링하면, 결국 p(x,y)의 값은 다음 표1과 같이 결정되어 중앙 MB의 p(x,y)값이 가장 높고 주변으로 갈수록 점점 낮아짐을 알 수 있다.

물론, 중심의 비중을 높이고 주변부의 비중을 낮추는 방법은, 상기 방법 이외에도 다양한 방법으로 구현할 수 있을 것이다.

0.001	0.002	0.003	0.005	0.005	0.006	0.005	0.005	0.003	0.002	0.001
0.003	0.004	0.006	0.008	0.010	0.010	0.010	0.008	0.006	0.004	0.003
0.004	0.006	0.009	0.012	0.015	0.016	0.015	0.012	0.009	0.006	0.004
0.005	0.008	0.012	0.016	0.019	0.020	0.019	0.016	0.012	0.008	0.005
0.005	0.009	0.013	0.017	0.020	0.022	0.020	0.017	0.013	0.009	0.005
0.005	0.008	0.012	0.016	0.019	0.020	0.019	0.016	0.012	0.008	0.005
0.004	0.006	0.009	0.015	0.015	0.016	0.015	0.012	0.009	0.006	0.004
0.003	0.004	0.006	0.008	0.000	0.010	0.010	0.008	0.006	0.003	0.003
0.001	0.002	0.003	0.005	0.005	0.005	0.005	0.005	0.003	0.002	0.001

따라서, 상기와 같이 중앙 집중형 인트라 모드 리프레시 기법을 사용할 경우, 전체 리프레시 비율을 종래와 동일하게 유지하더라도, 화면 중앙에 대한 리프레시 비율을 주변부에 비해서 높게 함으로써, 화면의 가운데 위치하는 중요 영상에 대해서는 되도록 오류 전파를 방지할 수 있게 된다.

다음, 도3은 본 발명에 의한 선택적 인트라 모드 리프레시 방법을 보인 흐름도로서, 일반적인 MB의 코딩이 시작될 때, 이 MB의 타입을 인트라(Intra)/인터(Inter) 모드 중의 하나로 결정해야 한다.

이때, 각 MB의 인트라 리프레시 비율(P)은 이미 영상 인코딩이 시작되기 전에 설정되어 있다고 가정한다.

따라서, 우선 소정의 구간(0 ~ 999)에서 임의의 난수(Random number)를 발생시키고, 인트라 리프레시 비율(P)에 1000을 곱해 정수화 한 후, 발생한 난수가 이 값보다 작은지 검사한다. 만약, 난수값이 작으면 인트라 리프레시 확률에 걸리게 된다고 생각하여 인트라 모드 인코딩(I Picture)을 수행하고, 난수값이 크면 일반적인 인터모드 인코딩(B,P Picture)을 수행한다.

예를 들어, 다섯 개의 MB 당 1개씩 리프레시 할 경우 수학식 1에서 N=5가 된다. 여기서, N=99라는 얘기는 상기 QCIF 에서 딱 한 개만 리프레시 하겠다는 것이고, N=1이라는 얘기는 QCIF에 있는 모든 MB를 리프레시 하겠다는 의미가 된다.

만약, N=99 라고 하면 수학식 1에서 P = p(x,y) * 99/99 = p(x,y) 가 되고, 상기 표1에서 확률이 0.001로 가장 낮은 화면 주변부 MB의 P=0.001 이 되고, 여기에 1000을 곱하면 P=1 이 된다. 즉, 상기 P=1 인 MB에 대해 0 ~ 999 사이의 값을 난수로 발생시키면, 이 MB가 선택될 확률은 0이 난수로 발생해야만 선택될 수 있으므로 1/1000 이 된다. 한편, 상기 표1에서 확률이 0.022로 가장 높은 MB는 P=22 가 될 것이다. 따라서, 이 MB가 선택될 확률은 22/1000가 되어 가장 낮은 확률을 가진 MB의 22배나 높은 확률로 리프레시가 될 것이다.

만약, N=1 이라고 하면 수학식 1에서 P = p(x,y) * 99/1 = 99*p(x,y) 가 되고, 상기 표1에서 확률이 0.001로 가장 낮은 화면 주변부 MB의 P = 0.001 * 99 = 0.099 가 되고, 여기에 1000을 곱하면 P=99 가 된다. 즉, N=1 로서 모든 MB를 리프레시 하기 때문에 확률이 낮은 화면 주변부의 MB가 선택될 확률도 99/1000 로 높아지게 된다.

물론, 상기 표1에서 확률이 0.022로 가장 높은 화면 중앙의 MB의 P = 0.022 * 99 = 2.178 이 되고, 여기에 1000을 곱하면 P=2178 이 되어 언제나 난수의 최고값인 1000을 넘게 되므로, 어떠한 난수가 발생하더라도 항상 선택되어 리프레시가 이루어지는 것이다.

참고로, 상기 N=1 인 경우 모든 MB를 리프레시 하기 때문에 사실상 확률이 의미가 없으나, 본 실시예에서 동작을 비교하기 위한 것으로, 실제적으로 N=1로 설정하는 경우는 매우 이상적인 경우로 거의 설정하지 않으며, 적어도 N=5 이상으로 설정해야 하며 N=11로 설정하는 것이 바람직하다.

즉, 리프레시 비율(P)은 이미 결정되어 있는 상태이므로, 상기 과정은 해당 비율의 인트라 MB를 난수 발생에 의해 삽입 시점을 결정하기 위한 방법으로서, 가령 리프레시 비율이 70%라고 할 경우 10번 중 7번의 인트라 MB를 삽입하면 되는데, 되도록 고른 분포로 삽입할 수 있도록 하기 위해서 난수를 이용함이 바람직하다.

이상에서 설명한 바와 같이 본 발명 중앙 집중형 인트라 모드 리프레시 방법은, 이동 통신 단말기를 이용한 동영상 서비스 시, 화면의 중심과 주변의 매크로블록에 대한 인트라 모드 리프레시 비율을 다르게 하여, 화면의 가운데 위치하는 중요 영상에 대해서는 되도록 오류 전파를 방지하고, 중심 MB에서 주변 MB로의 부드러운 영상변화가 이루어질 수 있도록 하여 동영상의 화질을 개선할 수 있도록 하는 효과가 있다.

Claims

인코딩 할 영상의 중심 매크로블록에 대한 인트라 리프레시 비율을 가장 높게 하고 주변 영역으로 갈수록 낮아지게 설정하는 단계와;

소정의 구간에서 임의의 난수를 발생시키는 단계와;

상기 각 매크로블록의 인트라 리프레시 비율을 정수화 한 후, 상기 발생한 난수와 크기를 비교하는 단계와;

상기 비교 결과, 정수화 된 인트라 리프레시 비율이 난수보다 큰 매크로블록에 대해서는 인트라 모드로, 난수보다 작은 비율의 매크로블록에 대해서는 인터 모드로 인코딩 하는 단계를 포함하여 이루어진 것을 특징으로 하는 중앙 집중형 인트라 모드 리프레시 방법.
제1항에 있어서, 상기 영상의 중심과 주변 영역의 인트라 리프레시 비율의 설정은, 영상의 중심 매크로블록(MB)을 원점으로 하는 가우시안 분포를 적용하여, 다음 수학식 1을 이용하여 각 매크로블록의 확률(p(x,y))을 구하고, 모든 합이 1이 되도록 각 확률 값을 스케일링하여 설정하도록 이루어진 것을 특징으로 하는 중앙 집중형 인트라 모드 리프레시 방법.

(수학식 1)
제1항에 있어서, 상기 인트라 모드 리프레시 비율의 정수화는, 발생되는 난수와의 단위를 맞추기 위해 난수 발생 구간의 최대 단위 수(10, 100, 1000,...)를 곱하는 것을 특징으로 하는 중앙 집중형 인트라 모드 리프레시 방법.
제1항에 있어서, 각 매크로블록의 인트라 모드 리프레시 비율은, 인트라 모드 리프레시를 N 번째 매크로블록(MB)마다 한번씩 수행한다고 할 경우, 다음 수학식 2에 의해 영상의 크기(W ×H)를 N으로 나눈 값에 각 매크로블록의 리프레시 확률(p(x,y))을 곱해 설정하도록 이루어진 것을 특징으로 하는 중앙 집중형 인트라 모드 리프레시 방법.

(수학식 2)

P(Intra refresh) = p(x,y) ×((W ×H)/N)