KR100198300B1 - 동화상 전화기에서 피사체의 급격한 움직임으로 인한 화질 열화 보상방법 - Google Patents

Abstract

본 발명은 동화장 전화기에 적용된 동영상 압축 부호화 장치(MPEG:Moving Picture Expert Group)의 제어과정에서 화질열화 보상방법에 관한 것으로서, 특히 통화자는 통화중에 크게 움직이지 않는다는가정하에 설계된 동화상 전화기에서 피사체의 급격한 이동으로 인해 화질이 정상적으로 재생되지 못하는 것을 방지하여 보다 선명하고 깨끗한 동영상이 제공되도록 하는 화질열화 보상방법에 관한 것이다. 종래의 기술은 동화상 전화기 앞에서 통화하는 통화자가 급격히 움직이지 않는다는 전제하에 제공된 동영상 압축 제어방법으로서, 통화자가 급격히 움직일 경우 이를 충분히 반영하지 못하여 화질이 나빠지는 문제점이 있었다. 따라서 , 상기 문제점을 해결하기 위한 본 발명은 통화자가 급격히 움직인 경우에 현재 영상 블록의 이전 영상 블록에 대한 변화량을 압축하여 전송하지 않고, 급격히 움직인 블록의 영상 전부를 압축하여 전송함으로서, 통화자가 급격하게 움직일 경우에도 선명하고 깨끗한 동영상이 제공되도록 하는 화질열화 보상방법이다.

Description

동화상 전화기에서 피사체의 급격한 움직임으로 인한 화질 열화 보상방법

제1도는 동화상 전화기에 적용된 일반적인 동영상 압축 부호화 장치를 보인 블럭도.

제2도는 본 발명의 화질열화 보상방법에 따른 동영상 압축 부호화 장치의 제어과정을 보인 플로우챠트.

* 도면의 주요부분에 대한 부호의 설명

1 : 코덱부 2 : 제어부

3 : DCT부 4 : 양자화부

5 : 역DCT부 6 : 역 양자화부

8 : 이동벡터 검출부

본 발명은 동화상 전화기에 적용된 동영상 압축 부호화 장치(MPEG:Moving Picture Expert Group)의 제어과정에서 화질열화 보상방법에 관한 것으로서, 특히 통화자는 통화중에 크게 움직이지 않는다는가정하에 설계된 동화상 전화기에서 피사체의 급격한 이동으로 인해 화질이 정상적으로 재생되지 못하는 것을 방지하여 보다 선명하고 깨끗한 동영상이 제공되도록 하는 화질열화 보상방법에 관한 것이다. 일반적으로 동영상 압축 부호화 장치는 좋은 화질을 제공하면서 높은 압축비를 얻을 수 있도록 하는데 그 목적이 있는 것으로 높은 압축비를 얻기 위해서는 시간상 및 공간상의 불필요한 데이터를 줄여야 한다. 시간상의 불필요한 데이터를 줄이기 위하여 현재의 프레임(Frame)과 이전 프레임의 차를 이용하여 움직임 추정 및 움직임 보상기법을 사용하고 있으며, 이때 움직임 벡터는 가변길이 코드를 이용하여 압축하고 있다. 그리고, 공간상의 불필요한 데이터를 줄이기 위해서는 영상을 블록단위로 나누어, 각각의 블록에 대하여 DCT(Discret Cosine Transform)를 수행하며, 양자화(Quantization) 및 런-랭스 코딩(Run-Length Coding)하여 압축하고 있다. 도면 제1도는 동화상 전화기에 적용된 일반적인 동영상 압축 부호화 장치를 도시한 것으로서, 입력되는 현 프레임(Frame)의 영상과 이전 프레임의 영상을 각 블록단위로 비교하여 블록간의 차이를 검출하는 코덱부(1), 상기 코덱부(1)의 출력값으로 피사체의 움직임 정도를 인식하고 그 인식결과에 따라 이동벡터 또는 현 프레임의 영상과 이전 프레임의 영상의 차값이 전송되도록 하는 제어부 (2)와, 상기 제어부(2)의 제어에따라 스위칭 동작하여 코덱부(1)의 출력 또는 현재 입력되는 프레임 단위의 영상을 선택적으로 출력하는 제1스위치(SW1)와, 상기 제1스위치(SW1)에서 출력된 영상 또는 차값을 DCT 변환하는 DCT부(3)와, 상기 DCT부(3)에서 DCT 변환된 신호를 양자화하는 양자화부(4)와,상기 양자화된 신호를 역양자화 처리하는 역양자화부(5)와, 상기 역양자화부(5)에서 출력된 신호를 역DCT 처리하여 DCT 및 양자화 되기 전의 영상상태에 최대한 근접하도록 복원하는 역DCT부(6)와, 상기 역DCT부(6)의 출력영상과 완전하게 복원된 이전 영상을 혼합하여 DCT 및 양자화 과정에서 손실된 영상을 보상하는 혼합부(7)와, 상기 혼합부(7)에서 출력된 프레임 단위의 영상을 일시 저장하였다가 출력하고, 저장상태에서 현재 입력되고 있는 영상과 비교하여 이동벡터값을 검출하여 전송하는 이동백터 검출부(8)와, 상기 이동벡터 검출부(8)에서 출력된 프레임 단위의 영상을 필터링하여 고주파성분을 제거하여 상기 코덱부(1)로 출력하는 루프필터(9)와, 제어부(2)의 제어에따라 스위칭 동작하여 상기 루프필터(9)에서 출력되는 프레임 단위의 영상을 상기 혼합부(7)로 공급하는 제2스위치(SW2)로 구성된다. 그리고, 도면 제1도에 있어서 제어부(2)의 제어에따라 수신측 동화상 전화기로 전송되는 신호 (t.qz.q.v)들에 대해서 설명하면, t는 현재 입력되는 영상이 이전 영상에 대해 움직임이 있는지 아니면 없는지에 대해 수신측 동화상 전화기로 알려주는 제어신호이고, qz는 양자화기(4)의 양자화 단계를 수신측 동화상 전화기로 알려주는 제어신호로서 양자화기(4)의 양자화 단계를 수신측으로 알려주어 수신측에서 압축영상신호 재생시 역양자화 과정을 정확히 수행할 수 있도록 해준다. 그리고, q는 현재 입력되는 영상의 이전 영상에 대한 변화량이 DCT변환 및 선형 양자화 된 것이고 ,v는 이동벡터 검출부(8)에서 검출된 이동벡터이다. 상기 신호(t.qz.q.v)들은 비디오 멀티플렉스 코더를 통해 수신측 동화상 전화기로 전송되어 압축영상이 정확히 본래의 영상으로 재생되도록 정보를 제공한다. 이와같이 구성된 일반적인 동영상 압축 부호화 장치를 참고로하여 종래에 사용되고 있는 동화상 전화기에서의 동영상 압축 부호화 장치 제어방법에 대해서 설명하면 다음과 같다, 먼저, 동화상 전화기에 설치된 카메라에 의해 촬영된 후 디지털 신호로 변환된 통화자에 대한 영상신호 중첫번째 프레임의 영상신호가 코덱부(1)로 입력되면, 코덱부(1)는 입력되는 첫 번째 프레임의 영상신호를 제1스위치(sw1)를 통해 DCT부(3)로 출력하고, 상기 DCT부(3)로 입력된 첫 번째 프래임의 영상신호는 DCT부(3)에서 DCT변환된 후 양자화기(4)에서 양자화된다. 상기 양자화기(4)에서 양자화된 첫 번째 프레임의 영상신호는 제어부(2)의 제어에따라 비디오 멀티플렉스 코더를 통해 상대측 동화상 전화기로 전송된다. 그리고, 상기 양자화기(4)에서 양자화된 첫 번째 프레임의 영상신호는 역양자화기(5)에 의해 역양자화 처리된 후 역DCT부(6)에 의해 역DCT변환되어 원래의 영상에 가깝도록 복원된다. 상기 역양자화기(5)와 역DCT부(6) 를 거치면서 원래의 영상에 가깝도록 복원된 첫번째 프레임의 영상신호는 혼합기(7)를 통해 이동벡터 검출부(8)로 입력된 후 이동벡터 검출부(8)에 잠시 저장되었다가 루프필터(9)로 공급되고, 상기 루프필터(9)는 입력되는 영상신호의 고주파 성분을 제거하여 상기 코덱부(1)로 공급한다. 한편, 상기 설명과 같이 첫번째 프레임의 영상신호에 대한 DCT변환 및 양자화 처리 과정과 역양자화 처리 및 역DCT변환과정이 진행될때, 코덱부(1)로는 두번때 프레임의 영상신호가 입력된다. 두번째 프레임의 영상신호가 입력되면,코덱부(1)는 두번때 프레임의 영상신호와 첫번째 프레임의 영상신호를 블럭단위로 비교하고 그 차이를 검출하여 출력한다. 즉, 현재 입력되는 프레임의 각블럭과 이전 프레임의 블럭에 대한 영상의 변화량을 검출하는 것이다. 제어부(2)는 상기 코덱부(1)에서 검출된 변화량으로 피사체의 이동여부를 판단한다. 이 동작은 코덱부(1)에서 검출된 변화량을 미리 설정되어있는 소정의 임계값(X)과 비교하여 변화량이 임계값(X)보다 작으면 피사체의 움직임이 거의 없다고 판단하고, 변화량이 임계값(X)보다 크면 피사체의 움직임이 있다고 판단한다. 상기 피사체의 이동여부를 판단하는 동작은 현재 프레임과 이전 프레임의 영상에 대해 블럭단위로 행하여진다. 상기 제어부(2)는 현재 블럭이 움직임이 있다고 판단되면, 제1스위치(SW1)를 절환시켜 코덱부(1)에서 검출된 변화량 값이 DCT부(3) 및 양자화기(4)로 공급되도록 하여 이전 프레임의 블럭에 대한 현재 프레임의 블럭의 변화량 값이 DCT변환 및 선형 양자화되도록 하고, 또한 비디오 멀티플렉스 코더를 통해 상대 동화상 전화기로 현재 블럭이 변화량이 있음을 알리는 제어신호(t)를 출력하고, 상기 압축된 즉, DCT변환 및 선형 양자화된 변화량 값이 이동벡터 검출부(8)에서 검출되는 이동벡터(V)와 함께 전송되도록 한다. 그리고 현재 블럭이 움직임이 없다고 판단되면, 제1스위치(SW1)를 절환시켜 현 블럭의 영상이 DCT(3)와 양자화부(4)로 공급되도록 하여 현 블럭이 압축되도록 하고, 또한 비디오 멀티플렉스 코더를 통해 상대 동화상 전화기로 현재 블럭이 변화량이 없음을 알리는 제어신호(t)를 출력하고, 이동벡터 검출부(8)에서 검출되는 이동벡터(v)만이 전송되도록 한다. 즉, 제어부(2)는 현재 입력되는 프레임 단위의 영상에서 임의 블럭이 이전 영상의 해당 블럭에 대해 변화되었으면 그 변화량을 DCT 변환 및 선형 양자화하여 이동벡터(v)와 함께 전송하고, 만약 변화량이 없으면 이동벡터(v) 만을 전송한다. 따라서, 수신측에서는 변화된 부분에 대해서만 영상을 재구성하여 동영상 압축된 영상을 재생하는 것이다. 한편 상기 설명과 같은 동작으로 첫번째 프레임 영상에 대한 두번째 프레임 영상의 변화량을 검출하고, 그에따른 변화량 압축과정을 거쳐 수신측 동화상 전화가로 동영상 압축 영상이 전송될 때, 역 양자화부(5)와 역 DCT부(6) 그리고, 혼합부(7)는 상기 첫번째 프레임의 영상이 입력되었을 때와 동일 동작으로 두번째 프레임의 영상에 근접한 영상으로 복원하고, 이동벡터 검출부(8)는 상기 혼합부(7)에서 출력되는 영상을 입력받아 이동벡터(v)를 검출하여 비디오 멀티 플렉서 코더를 통해 수신측 동화상 전화기로 전송한다.

상기 설명에서 DCT부(3)와 양자화기(4)를 통해 DCT 변화되고 선형 양자화 된 현재 블럭의 이전 블럭에 대한 변화량 값은 지그-재그 스캔(Zig-Zag Scan)을 거쳐 런-랭스 코딩된 후 허프만(Huffman)코딩되어 다른 상태 변수들과 함께 비디오 멀티플렉서 코더를 거쳐서 수신측 동화상 전화기로 전송한다. 이상에서 설명한 바와같은 종래의 기술은 동화상 전화기 앞에서 통화하는 통화자가 급격히 움직이지 않는다는 전제하에 제공된 동영상 압축 제어방법으로서, 통화자가 급격히 움직일 경우 이를 충분히 반영하지 못하여 화질이 나빠지는 문제점이 있었다. 따라서 , 상기 문제점을 해결하기 위한 본 발명은 통화자가 급격히 움직인 경우에 현재 영상 블럭의 이전 영상 블럭에 대한 변화량을 압축하여 전송하지 않고, 급격히 움직인 블럭의 영상 전부를 압축하여 전송함으로서, 통화자가 급격하게 움직일 경우에도 선명하고 깨끗한 동영상이 제공되도록 하는 화질열화 보상방법을 제공함을 목적으로 한다. 도면 제2도는 상기 목적달성을 위한 본 발명의 화질열화 보상방법의 진행과정을 보인 플로우챠트로서, 현재 입력되는 프레임 단위의 영상과 이전 프레임의 영상을 블럭 단위로 비교하여 현재 입력되는 영상의 이전 프레임 영상에 대한 변화량을 검출하는 제1단계와. 상기 검출된 변화량을 미리 설정된 소정의 임계값(T1)(T2) 과 비교하여 피사체가 급격히 움직였는지를 판단하는 제2단계와, 상기 제2단계의 판단결과 피사체가 급격히 움직였다고 판단되면 해당 블럭의 영상 전체를 압축하여 전송하는 제3단계로 진행되는 것을 특징으로한다. 이와같이 진행되는 본 발명의 화질 열화 보상방법의 동작을 설명하면 다음과 같다. 제N번째 프레임의 코덱부(1)로 입력되면, 상기 코덱부(1)는 제N번째 프레임과 이전 프레임(N-1)을 블럭단위로 비교하여 제N번째 프레임의 제N-1번째 프레임에 대한 변화량을 검출한다. 제어부(2)는 상기 코덱부(1)에서 검출된 제N번째 프레임의 제N-1번째 프레임에 대한 변화량을 미리 설정되어있는 소정의 임계값(T1)(T2)과 각각 비교한다. 상기 비교결과 코덱부(1)에서 검출된 변화량이 임계값(T1)보다 작다고 판단되면, 제어부(2)는 현재 입력되는 제N번째 프레임의 해당 블럭이 제N-1번째 프레임의 해당 블럭에 대해 전혀 변화가 없다고 판단, 즉, 피사체의 움직임이 없다고 판단하고 비디오 멀티 플렉스 코더를 통해 수신측 동화상 전화기로 현재 블럭이 변화량이 없음을 전송하고, 또한 DCT부(3)와 양자화부(4)에서 DCT변환 및 선형 양자화된 변화량 값이 수신측 동화상 전화기로 전송되지 않도록 한다. 그리고, 이동벡터 검출부(8)에서 검출되는 현 프레임의 블럭에 대한 이동벡터값이 수신측 동화상 전화기로 전송되도록 제어한다. 즉, 제어부(2)는 코덱부(1)에서 검출된 현재 프레임 영상의 블럭에 대한 변화량 값을 소정의 임계값(T1)과 비교한 결과 피사체의 움직임이 없다고 판단되면, 해당 블럭에 대한 이동벡터만을 수신측 동화상 전화기로 전송하는 것이다. 한편, 상기 비교결과 코덱부(1)에서 검출된 변화량이 임계값(T1) 보다 크고 임계값(T2)보다 작다고 판단되면, 제어부 (2) 는 현재 입력되는 제N번째 프레임의 해당 블럭이 제N-1번째 프레임의 해당 블럭에 대해 조금 변화가 있다고 판단, 즉, 피사체의 움직임이 조금 있다고 판단하고 비디오 멀티 플렉스 코더를 통해 수신측 동화상 전화기로 현재 블럭이 변화량이 있음을 전송하고, 또한 DCT부(3)와 양자화부(4)에서 DCT변환 및 선형 양자화된 변화량 값이 수신측 동화상 전화기로 전송되도록 제어한다. 그리고, 이동벡터 검출부(8)에서 검출되는 현 프레임의 블럭에 대하 이동벡터값이 수신측 동화상 전화기로 전송되도록 제어한다. 즉, 제어부(2)는 코덱부(1)에서 검출된 현재 프레임 영상의 블럭에 대한 변화량 값을 소정의 임계값(T1)(T2)과 비교한 결과 피사체의 움직임이 조금 있다고 판단되면, 코덱부(1)에서 검출되어 DCT부(3)와 양자화부(4)에서 DCT변환 및 선형 양자화된 해당 블럭에 대한 변화량 값과 이동벡터가 수신측 동화상 전화기로 정송되도록 제어하는 것이다. 한편, 상기 비교결과 코덱부(1)에서 검출된 변화량이 임계값(T2)보다 크다고 판단되면, 제어부(2)는 현재 입력되는 제N번째 프레임의 해당 블럭이 제N-1번째 프레임의 해당 블럭에 대해 아주 많이 변화가 있다고 판단, 즉, 피사체가 급격히 움직였다고 판단하고 비디오 멀치 플렉스 코더를 통해 수신측 동화상 전화기로 현재 블럭이 변화량이 있음을 전송한다. 그리고, 제1스위치(SW1)를 제어하여 코덱부(1)에서 검출된 변화량 값이 아닌 현재 입력되고 있는 N 번째 프레임의 해당 블럭(피사체가 급격히 움직인 부분을 포함하는 블럭)에 대한 영상이 DCT부(3)와 양자화부(4)로 공급되도록 하여 DCT변환 및 선형 양자화 되도록하고, 또한 DCT부(3)와 양자화부(4)에서 DCT변환 및 선형 양자화되어 압축된 블럭 영상이 비디오 멀티플렉서 코드를 통해 수신측 동화상 전화기로 전송되도록 한다. 상기 설명과 같이 피사체가 급격히 움직인 부분을 포함하는 블럭 전체의 영상을 DCT 변환 및 선형 양자화하여 전송하게 되면, 전송되는 데이터 양이 증가되므로 수신측에서 원래의 영상으로 복원하는데 무리가 따르게 된다. 따라서, 제어부(2)는 양자화부(4)의 양자화 단계를 크게 설정하여 화상의 세밀도를 떨어 뜨려 데이타량의 증가를 최소한으로 억제한다. 즉, 제어부(2)는 코덱부(1)에서 검출된 현재 프레임 영상의 블럭에 대한 변화량 값을 소정의 임계값(T1)(T2)과 비교한 결과 피사체가 급격히 움직였다고 판단되면 해당 블럭의 영상 전체를 DCT 변환 및 선형 양자화 시켜 수신측 동화상 전화기로 전송되도록 제어하는 것이다. 상기 설명과 같이 피사체가 급격히 움직인 부분에 대해서 해당 블럭의 변화량 값을 압축하여 전송하지 않고 해당 블럭 전체의 영상을 압축하여 전송하면 피사체게 급격히 움직인 부분에 대해 수신측에서 보다 선명하게 재생할 수 있게 된다. 그리고 종래의 동영상 압축방법과 동일 동작에 대해서는 중복설명을 피하기위해 생략하였다. 이상에서 설명한 바와같이 본 발명은 급격히 움직인 경우에 현재 영상 블럭의 이전 영상 블럭에 대한 변화량을 압축하여 전송하지 않고, 급격히 움직인 블럭의 영상 전부를 압축하여 전송함으로서 통화자가 급격하게 움직일 경우에도 선명하고 깨끗한 동영상이 제공되도록 하는 화질열화 보상방법이다.

Claims (2)

1. 동화상 전화기의 동영상 압축 제어방법에 있어서, 현재 입력되는 프레임 단위의 영상과 이전 프레임의 영상을 블럭 단위로 비교하여 현재 입력되는 영상의 이전 프레임 영상에 대한 변화량을 검출하는 제1단계와, 상기 검출된 변화량을 미리 설정된 소정의 임계값(T1)(T2)과 비교하여 피사체가 급격히 움직였는지를 판단하는 제2단계와, 상기 제2단계의 판단결과 피사체가 급격히 움직였다고 판단되면 해당 블럭의 영상 전체를 압축하여 전송하는 제3 단계를 더 포함하여 진행되는 것을 특징으로하는 동화상 전화기에서 피사체의 급격한 움직임으로 인한 화질 열화 보상방법.
2. 제1항에 있어서 제3단계에 있어 해당 블럭의 영상 전체를 압축하여 전송할때 전송되는 데이터량의 증가를 억제하기위해 양자화부(4)의 양자화 단계를 크게 설정하는 것을 특징으로하는 동화상 전화기에서 피사체의 급격한 움직임으로 인한 화질 열화 보상방법.