KR101251000B1 - 실시간 비디오 통신을 위한 양자화 계수 조절 방법 - Google Patents

Abstract

본 발명은 실시간 비디오 통신을 위한 양자화 계수 조절 방법에 관한 것으로서, 양자화 계수에 따라 화질이 변하는 특성에 기반하여, 프레임 간 차이 연산을 통해 데이터의 변화량을 예측하여 양자화 계수를 자동 조절하는 방법을 제공함에 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은, 프레임 간 차이에 의한 변화량을 측정하는 변화량 측정부; 측정된 변화량과, 기준 변화량 값을 비교하여 양자화 계수 값의 증감 여부를 결정하는 기준 값 비교부; 및 상기 기준 값 비교부를 통해 결정된 정보를 바탕으로, 양자화 계수 값 및 비디오 데이터의 화질을 조절하여 전송하는 계수 조절부; 를 포함한다.

Description

실시간 비디오 통신을 위한 양자화 계수 조절 방법{METHOD FOR CONTROLLING QUANTIZATION PARAMETER FOR REAL TIME VIDEO COMMUNICATION}

본 발명은 실시간 비디오 통신을 위한 양자화 계수 조절 방법에 관한 것으로서, 더욱 상세하게는 제한적인 대역폭을 가지는 무선 네트워크 환경에서 실시간 비디오 스트리밍 전송을 위한 양자화 계수 자동 조절 방법에 관한 것이다.

모바일 단말기와 스마트 폰의 대량 보급으로 인하여 이동 시에 고품질의 인터넷 서비스를 이용하고자 하는 사용자의 욕구는 높아지고 있다.

이동 시 사용되는 미디어 서비스의 사용 빈도가 높아짐에 따라, 사용자는 안정적인 무선 인터넷 서비스를 요구하는데, 아직까지 무선망은 유선망에 비해 제한적인 대역폭을 가지고 있다.

미디어 서비스를 제공함에 있어 무선망 같은 제한적 대역폭을 가지는 경우, 고화질의 안정적인 서비스를 제공하기 어려워 네트워크 송신 지연이나 패킷 손실을 발생 시키는데 사용자는 상대적으로 화질 저하에 따른 민감도 보다 네트워크 통신 지연에 더욱 민감하게 반응한다. 이러한 네트워크 통신 지연은 미디어 서비스의 품질을 저하시킨다.

한편, 비디오 화질을 향상시키며, 양자화 계수를 생성하는 비디오 코딩 장치와 관련해서는, 한국공개특허 10-2006-0035539호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.

선행문헌에 따른 비디오 코딩 장치는, 입력된 프레임의 시간적 중복을 제거하여 잔여 프레임을 생성하는 시간적 변환 모듈; 상기 잔여 프레임에 대해 웨이블릿 변환을 수행하여 웨이블릿 계수를 생성하는 웨이블릿 변환 모듈; 상기 웨이블릿 계수에 대해 DCT 블록 별로 DCT 변환을 수행하여 DCT 계수를 생성하는 DCT 변환 모듈; 및 상기 DCT 계수를 양자화하는 양자화 모듈; 을 포함하여 이루어진다.

그러나, 선행문헌을 포함한 종래 기술은, 상대적으로 고정된 양자화 계수를 적용하는 방식으로서, 비디오 통신에 있어, 비디오 전송이 원활하지 못한 문제점이 있었다.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 양자화 계수에 따라 화질이 변하는 특성에 기반하여, 프레임 간 차이 연산을 통해 데이터의 변화량을 예측하여 양자화 계수를 자동 조절하는 방법을 제공함에 그 목적이 있다.

이러한 기술적 과제를 달성하기 위한 본 발명은 실시간 비디오 통신을 위한 양자화 계수 조절 시스템에 관한 것으로서, 프레임 간 차이에 의한 변화량을 측정하는 변화량 측정부; 측정된 변화량과, 기준 변화량 값을 비교하여 양자화 계수 값의 증감 여부를 결정하는 기준 값 비교부; 및 상기 기준 값 비교부를 통해 결정된 정보를 바탕으로, 양자화 계수 값 및 비디오 데이터의 화질을 조절하여 전송하는 계수 조절부; 를 포함한다.

그리고 상기 기준 값 비교부는, 상기 변화량 측정부를 통해 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상인지 여부를 판단하되, 상기 변화량 측정부를 통해 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상일 경우, 양자화 계수 값의 증가를 결정하며, 측정된 변화량과 기준 변화량 값의 차이가 소정 값 미만일 경우, 양자화 계수 값의 감소를 결정하는 것을 특징으로 한다.

한편, 본 발명은 실시간 비디오 통신을 위한 양자화 계수 조절 방법에 관한 것으로서, (a) 변화량 측정부가 프레임 간 차이에 의한 변화량을 측정하는 단계; (b) 기준 값 비교부가 상기 변화량 측정부를 통해 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상인지 여부를 판단하는 단계; 및 (c) 상기 (b) 단계의 판단결과, 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상일 경우, 상기 기준 값 비교부가 양자화 계수 값의 증가를 결정하는 단계; (d) 계수 조절부가 상기 기준 값 비교부를 통해 결정된 정보를 바탕으로, 양자화 계수 값을 증가시키는 단계; 를 포함한다.

또한 상기 (d) 단계 이후에, (e) 상기 계수 조절부가 양자화 계수 값 증가에 따른 비디오 데이터의 화질을 조절하여 전송하는 단계; 를 더 포함하는 것을 특징으로 한다.

또한 (f) 상기 (b) 단계의 판단결과, 측정된 변화량과 기준 변화량 값의 차이가 소정 값 미만일 경우, 상기 기준 값 비교부가 양자화 계수 값의 감소를 결정하는 단계; 및 (g) 상기 계수 조절부가 상기 기준 값 비교부를 통해 결정된 정보를 바탕으로, 양자화 계수 값을 감소시키는 단계; 를 포함하는 것을 특징으로 한다.

그리고 상기 (g) 단계 이후에, (h) 상기 계수 조절부가 양자화 계수 값 감소에 따른 비디오 데이터의 화질을 조절하여 전송하는 단계; 를 더 포함하는 것을 특징으로 한다.

상기와 같은 본 발명에 따르면, 영상 통신에 있어 프레임 간 차이 정보를 통한 데이터의 변화량을 예측하여 양자화 계수를 자동 조절함으로써, 자동 조절된 화질을 전송할 수 있는 바, 전송되는 비디오 크기를 네트워크 환경에 맞게 실시간으로 적응적 전송을 수행할 수 있는 효과가 있다.

그리고 본 발명에 따르면, 프레임 간 차이 정보를 통한 데이터의 변화량을 예측하여 양자화 계수를 자동 조절함으로써, 네트워크 전송 지연을 사전에 방지하고,고정된 양자화 계수를 적용하는 통신에 비해 상대적으로 원활한 통신이 가능한 효과도 있다.

도 1 은 본 발명에 따른 실시간 비디오 통신을 위한 양자화 계수 조절 시스템을 개념적으로 도시한 전체 구성도.
도 2 는 본 발명에 따른 실시간 비디오 통신을 위한 양자화 계수 조절 방법에 관한 전체 흐름도.
도 3 은 프레임 간 변화량이 큰 경우의 패킷의 크기 변화를 보이는 그래프.
도 4 는 네트워크 상의 패킷 에러에 의한 비디오 화질 열화를 보이는 일예시도.
도 5 는 본 발명에 따른 시스템을 사용한 비디오 화질을 보이는 일예시도.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

본 발명에 따른 실시간 비디오 통신을 위한 양자화 계수 조절 시스템에 관하여 도 1 을 참조하여 설명하면 다음과 같다.

도 1 은 본 발명에 따른 실시간 비디오 통신을 위한 양자화 계수 조절 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 변화량 측정부(100), 기준 값 비교부(200) 및 계수 조절부(300)를 포함하여 이루어진다.

먼저, 변화량 측정부(100)는 다음의 [수식 1] 을 통해 프레임 간 차이에 의한 변화량을 측정한다.

[수식 1]

여기서,

은 각각 비디오의 한 프레임 내에서 수평, 수직 방향의 픽셀 개수이고,

는 각각

번째,

번째 프레임의

좌표의 픽셀 값,

는

번째 프레임에서의 프레임 간 차이에 의한 변화량을 나타낸다.

또한, 기준 값 비교부(200)는 측정된 변화량과, 기준 변화량 값을 비교하여 양자화 계수 값의 증감 여부를 결정한다.

구체적으로, 기준 값 비교부(200)는 상기 변화량 측정부(100)를 통해 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상인지 여부를 판단한다.

판단결과, 상기 변화량 측정부(100)를 통해 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상일 경우, 양자화 계수 값의 증가를 결정하며, 측정된 변화량과 기준 변화량 값의 차이가 소정 값 미만일 경우, 양자화 계수 값의 감소를 결정한다.

그리고, 계수 조절부(300)는 상기 기준 값 비교부(200)를 통해 결정된 정보를 바탕으로, 양자화 계수 값 및 비디오 데이터의 화질을 조절하여 전송한다.

이하에서는, 상술한 시스템을 이용한 실시간 비디오 통신을 위한 양자화 계수 조절 방법에 관하여 도 2 를 참조하여 설명하면 다음과 같다.

도 2 는 본 발명에 따른 실시간 비디오 통신을 위한 양자화 계수 조절 방법에 관한 전체 흐름도로서, 도시된 바와 같이 변화량 측정부(100)는 프레임 간 차이에 의한 변화량을 측정한다(S100).

이후, 기준 값 비교부(200)는 상기 변화량 측정부(100)를 통해 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상인지 여부를 판단한다(S200).

제S200 단계의 판단결과, 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상일 경우, 기준 값 비교부(200)는 양자화 계수 값의 증가를 결정한다(S300).

뒤이어, 계수 조절부(300)는 상기 기준 값 비교부(200)를 통해 결정된 정보를 바탕으로, 양자화 계수 값을 증가시키고, 이에 따른 비디오 데이터의 화질을 조절하여 전송한다(S400).

한편, 제S200 단계의 판단결과, 측정된 변화량과 기준 변화량 값의 차이가 소정 값 미만일 경우, 기준 값 비교부(200)는 양자화 계수 값의 감소를 결정한다(S500).

그리고, 계수 조절부(300)는 상기 기준 값 비교부(200)를 통해 결정된 정보를 바탕으로, 양자화 계수 값을 감소시키고, 이에 따른 비디오 데이터의 화질을 조절하여 전송한다(S600).

지금까지 상술한 바와 같은 시스템을 이용한 결과를 실험을 통해 살피도록 한다. 실험은 802.11n무선 네트워크 환경에서 MFC기반 비디오 영상 통신 모듈을 통해 양자화 계수 자동 조절 방법을 적용하여 수행하였다.

도 3 은 프레임의 변화량이 큰 경우의 패킷의 크기의 변화를 나타낸다.

무선 네트워크 환경에서 카메라를 움직여서 프레임 간 변화를 지속적으로 주어서 변화량이 클 경우의 패킷의 크기가 변하는 경우를 그래프로 표현하였다.

도 3 의 수치를 보았을 때 각 프레임 간 차이 변화에 따라 패킷의 크기가 크게 변화하는 점을 확인할 수 있다. 즉, 변화량이 높을수록 고용량의 데이터가 연속적으로 전송되어 무선 환경에서 과부하가 발생될 수 있다는 점을 예측할 수 있다.

그 결과, 고정된 양자화 계수에서는 카메라로 들어오는 영상에 변화를 많이 주었을 때, 이전 프레임과 차이가 커서 용량이 급격하게 증가되어 비디오 전송 지연이 발생되었다. 이에 비하여 본 발명에서 제안하는 기법은 프레임 차이 값으로 인해 고용량의 패킷이 전송되기 전에 적응적으로 양자화 계수를 변화시켜 안정적인 송수신을 유지하였다.

실험 결과 양자화 계수가 낮은 고화질의 부호화 된 패킷은 제한적인 무선 네트워크 환경에서, 도 4 와 같이 패킷 에러 발생에 의한 비디오 화질 열화를 나타낸다. 압축된 비디오 데이터가 네트워크를 통해 전송 중, 일부의 패킷에 에러가 있거나 일부가 손상되었을 때 그림 2와 같은 현상이 발생되었다.

도 4 의 현상과 네트워크 지연에 의하여 실시간 통신 중 화면이 일시적으로 정지되는 현상까지 발생된다면 고정된 임계 값은 안정적으로 미디어 서비스를 제공 한다고 보기 어렵다. 이러한 상황에서 미디어 서비스의 품질을 높이기 위해서는 무선 환경에 맞게 적응적으로 전송되어야 한다. 제안하는 방법은 이 같은 비디오 화질 열화 현상을 보완한다.

도 5 는 도 4 와 같은 환경에서 실험한 결과이다. 도 4 에 비하여, 열화 없는 깨끗한 화질로 전송되고 있는 점을 확인 할 수 있다. 고정된 양자화 계수 값과 같은 계수 값을 가졌으나 네트워크 지연 및 손실이 없어서 더 높은 화질을 나타내었다. 이 같은 현상이 나오게 된 배경은 움직임이 적을 때는 많은 데이터 량을 허용해주고 변화량이 커질때는 비디오의 크기를 축소하여 적응적으로 서비스를 제공했기 때문이다.

도 4 는 고화질의 비디오를 연속적으로 전송하여 제한된 무선 네트워크의 대역폭에 과부하를 일으켰고 도 5 는 고화질로 전송되다 변화량이 커지면 화질이 자동으로 조절되어 네트워크 대역폭에 과부하를 일으키지 않고 전송이 되었다. 즉, 도 5 의 경우는 적응적으로 양자화 계수가 조절되어 네트워크 대역폭에 대한 과부하를 줄일 수 있는 효과가 있었다.

PSNR	네트워크 패킷 에러에 의한 비디오 화질	제안하는 방법을 적용한 비디오 화질
R	12.56	28.29
G	12.42	31.59
B	11.16	26.20

[표 1] 은 도 4 와 도 5 경우에 대한 R,G,B 영상의 PSNR을 나타낸다.

고정된 임계 값을 취하여 네트워크 패킷 에러 현상을 나타내는 화질 보다 양자화 계수가 변하여 전송된 비디오 화질이 좋은 경우를 보여준다.

무선 네트워크 환경은 제한적이며 변동이 크기 때문에 양자화 계수를 적응적으로 조절한 기법이 고정된 임계 값 보다 화질과 비디오 전송 지연 측면에서 향상된 성능을 보인다. 양자화 자동 조절 방법을 적용하였을 때, 양자화 계수 값이 감소되어 고화질의 프레임을 전송하여도 즉시 다음 프레임의 양자화 계수 값을 높여 비디오 크기를 줄였기 때문에 원활한 영상 송수신이 가능하였다. 고화질의 프레임을 전송할 때는 네트워크 환경에 따라 인코더의 버퍼에 오버플로우가 발생하여 프로그램이 정지되는 현상이 발생되기도 하는데 제안하는 기법을 사용하였을 때는 이와 같은 현상이 크게 감소하였다.

본 발명에서는 현재 양자화 계수 자동 조절을 통해 무선 네트워크에서 어떠한 성능을 발휘 하는지 분석하였다. 그 결과, 전체적인 전송 과정에서 약간의 부호화 손실이 증가하는 경우도 있었지만, 패킷 에러에 의한 비디오 화질 열화가 감소하여 무선 네트워크 환경에서 전체적으로 재생되는 비디오의 화질이 개선되는 것을 확인할 수 있었다. 즉, 양자화 계수 조절은 무선 네트워크 환경에서 상대적으로 더 효율적인 전송을 나타내었다. 본 발명에서는 제안하는 방법을 통하여 사용자에게 네트워크 지연이 감소하는 서비스를 제공하는 것을 확인 하였고 무선 네트워크 전송 시 패킷 에러에 의한 화질 감소의 단점을 줄였다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

S: 실시간 비디오 통신을 위한 양자화 계수 조절 시스템
100: 변화량 측정부 200: 기준 값 비교부
300: 계수 조절부

Claims (8)

1. 삭제
2. 삭제
3. 삭제
4. 실시간 비디오 통신을 위한 양자화 계수 조절 방법에 있어서,
   (a) 변화량 측정부(100)가 프레임 간 차이에 의한 변화량을 측정하는 단계;
   (b) 기준 값 비교부(200)가 상기 변화량 측정부(100)를 통해 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상인지 여부를 판단하는 단계;
   (c) 상기 (b) 단계의 판단결과, 측정된 변화량과 기준 변화량 값의 차이가 소정 값 이상일 경우, 상기 기준 값 비교부(200)가 양자화 계수 값의 증가를 결정하는 단계;
   (d) 계수 조절부(300)가 상기 기준 값 비교부(200)를 통해 결정된 정보를 바탕으로, 양자화 계수 값을 증가시키는 단계; 및
   (e) 상기 계수 조절부(300)가 양자화 계수 값 증가에 따른 비디오 데이터의 화질을 조절하여 전송하는 단계; 를 포함하되,
   상기 (b) 단계의 판단결과, 측정된 변화량과 기준 변화량 값의 차이가 소정 값 미만일 경우, 상기 기준 값 비교부(200)가 양자화 계수 값의 감소를 결정하는 (f) 단계; 상기 계수 조절부(300)가 상기 기준 값 비교부(200)를 통해 결정된 정보를 바탕으로, 양자화 계수 값을 감소시키는 (g) 단계; 및 상기 계수 조절부(300)가 양자화 계수 값 감소에 따른 비디오 데이터의 화질을 조절하여 전송하는 (h) 단계; 를 이행하고,
   상기 (a) 단계에서,
   다음의 [수식 1] 을 통해 프레임 간 차이에 의한 변화량을 측정하는 것을 특징으로 하는 실시간 비디오 통신을 위한 양자화 계수 조절 방법.
   [수식 1]
   

   

   
   여기서,

   

   은 각각 비디오의 한 프레임 내에서 수평, 수직 방향의 픽셀 개수이고,

   

   는 각각

   

   번째,

   

   번째 프레임의

   

   좌표의 픽셀 값,

   

   는

   

   번째 프레임에서의 프레임 간 차이에 의한 변화량.
   
   
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Images