KR20040035015A - 영상 신호 부호화 모드 선택방법 - Google Patents

Abstract

본 발명은 동영상을 부호화하고 복호화하는 영상 코딩 표준에서 추가되는 옵션 정보의 종류에 따라 최적의 부호화 비트 율로 코딩을 실시함으로써 코딩 효율을 향상시킨 영상 신호 부호화 모드 선택방법을 개시한다. 개시된 본 발명은 영상 신호를 일정한 비트 율에 따라 부호화 하는 단계; 상기 영상 신호를 부호화 하는 도중에 추가되는 옵션 정보 유무를 판단하는 단계; 상기 옵션 정보가 선택되어 추가되는 경우에는 각각의 옵션 정보에 해당하는 부호화 비트 율이 가장 높은 비트 율에서 부호화를 하도록 컨트롤하는 단계; 및 상기 옵션 정보에 해당하는 가장 효율이 높은 부호화 비트 율에 따라 코딩을 완료한 다음, 이를 해당 비트 율로 전송하는 단계;를 포함하는 것을 특징으로 한다.

Description

영상 신호 부호화 모드 선택방법{METHOD FOR SELECTION OF IMAGE SIGNAL CODE MODE}

본 발명은 영상 신호 부호화 모드 선택방법에 관한 것으로, 보다 구체적으로는 동영상 신호를 부호화하고 복원하는 코덱에서 추가되는 옵션 모드에 따라 부호화 비트율을 각각 선택함으로써 부호화 효율을 향상시키고 복잡도와 계산 량을 줄일 수 있는 영상 신호 부호화 모드 선택방법에 관한 것이다.

현재, 그리고 미래의 통신 환경은 유선과 무선의 영역 구분이나, 지역 국가의 구분을 초월할 만큼 급변하고 있으며, 특히 IMT-2000 등으로 대별되는 미래 통신환 경은 영상과 음성은 물론 사용자가 필요로 하는 다양한 정보를 실시간으로, 또는 종합적으로 제공하는 환경으로 구축되어 가는 추세이다.

또한, 개인 휴대 통신 시스템의 발달은 현재 셀룰러폰이나 PCS등에서도 단순히 음성 통신만을 수행하던 차원에서 벗어나서 문자 정보의 전송은 물론, 개인 휴대 통신 단말기를 이용해서 무선으로 인터넷에 접속하거나, TV에서나 보던 동영상들을 송신할 수 있도록 개발되어지고 있다.

특히, 동영상을 디지털 데이터로 가공하여 실시간으로 전송하고 또 이 것을 수신하여 디스플레이 하는 디지털 텔레비전 시스템과, 실시간으로 전송되는 동영상을 IMT2000을 이용한 개인 휴대 단말기 등에서는 필수적인 요소로 자리 잡아 가고 있는 실정이다.

이것은 종래에는 휴대 단말기가 사람의 음성만을 송수신하도록 되어 있었으나, 멀티 미디어의 개발과 디지털 정보처리 기술의 발달로 인하여 음성, 영상등 다양한 정보들을 송신할 수 있게 되었다.

이와 같은 기술이 상용화될 수 있었던 것은 무엇보다도 아날로그 영상 신호를 양자화, 가변장부호화등 특수한 디지털 처리를 한 다음, 이를 디지털 정보에 포함시켜 송신하고, 수신되는 단말기에서는 이를 반대로 디코딩함으로써 빠른 전송 속도와 보다 풍부한 정보량을 송수신하도록 한 동영상 압축기술의 발달이 크게 기여하였다.

최근 디지털 신호처리 기술의 발전에 힘입어 제한된 대역폭의 전송 채널을 통해 많은 양의 동영상 정보를 압축, 전송하는 방식들이 개발되어 왔으나, 전송 채널 상의 오류가 발생하면 복원 영상의 화질이 크게 저하되는 문제가 생긴다.

이때 제한된 대역폭을 최대한으로 이용하기 위해 오류 정정 부호를 사용하지 않고, 정상적으로 복원된 주변의 정보들로부터 잃어버린 정보를 보완하여 원 영상에 가깝게 복구하는 오류 은폐 기법들이 연구되고 있다.

특히 MPEG(Moving Picture Experts Group)와 같은 경우 에러(error)가 발생하면 다음 동기 신호인 슬라이스 헤더를 찾을 때까지의 모든 정보를 손실하게 된다. 또한, 움직임 보상 부호화기법을 이용하기 때문에 손상된 부분의 영향이 이후 계속된 여러 장의 프레임에 걸쳐 계속된다.

본 발명은 비디오 데이터의 빠른 인코딩과 화질개선을 가능하게 할 수 있는 하드웨어 액셀러레이터 구조에 최적 화된 모션 판단 값과 인트라 모드(Intra mode) 압축 알고리듬을 적용한 IMT-2000 화상단말기이다. 무선화상 통신을 위하여 일반적으로 사용되어지는 엠펙(MPEG) 압축 방식의 모션 판단 값은 가장 많은 계산 량을가지며 화질과 비트(bit)량에 직접적인 영향을 미치므로 매우 중요하다고 할 수 있다.

따라서 모션 판단 값에 관한 많은 연구가 끊임없이 이루어 졌으며, 최근에는 모션 판단 값을 다이아몬드 서치 패턴(diamond search pattern)을 이용하여 풀 서치(full search)와 거의 비슷한 화질과 비트 량을 가지며 가장 범용 적으로 쓰이는 트리 스텝 서치(three step search) 방식이 사용되고 있다.

도 1은 일반적으로 사용되고 있는 IMT-2000 통신 단말기의 구성도 이다.

도 1에 도시된 바와 같이, 실제 물체를 촬영한 비디오 신호가 IMT-2000 단말기(10)로 들어오면 먼저 인코더(3) 부분에서 이를 디지털 변환한 후, 영상 비트스트림으로 압축하기 위하여 인코딩 작업이 이루어진다. 그러므로 소스 코더(7)에서는 비디오 신호에 포함되어 있는 영상, 소리 등을 각각의 방식에 맞는 코딩 방법에 따라서 코딩 조정기(5)와 함께 코딩을 실시한다.

상기와 같은 비디오 신호를 분리하여 각각 코딩을 하는 부분이 상기 인코더(3)에서 상기 소스 코더(7)와 코딩 조정기(5)이다. 상기 코딩 조정기(5)에서 영상과 음향등 다양한 신호들이 코딩되면 비디오 멀티플럭스 코더(8)에서 각각의 신호들을 분리시킨 다음 전송 버퍼(9)를 통하여 외부로 코딩된 영상 비트스트림을 전송한다.

상기 인코더(3)의 코딩 조정기(5)는 비디오 신호를 부호화하는 DCT(Discrete Cosine Transform)와, 주파수 형태로 변환된 영상 신호를 양자화 하는 양자화 부와, 양자화된 영상 신호를 엔트로피 하는 VLC(Variable Length Coding)과, 영상 신호를 예측할 수 있고 코딩 부호화를 줄이기 위하여 모션 예측기(Motion Predict)와, 역양자화부와, 역DCT와, 영상 메모리로 구성되어 있다.

이때, 상기 인코더(3)에서 코딩되는 영상에 추가되는 옵션 모드를 삽입하기 위하여서는 옵션 선택기에서 선택된 옵션을 IMT-2000 단말 시스템(10)에 인가하고, 인가된 옵션 정보에 따라 상기 인코더(3)에서는 영상 신호를 코딩한다.

그리고 상기 IMT-2000 단말 시스템(10)에서는 외부에서 전송되어오는 영상 비트스트림을 복원하기 위한 디코더(15)를 포함하고 있는데, 상기 디코더(15)는 외부에서 전송되어 들어오는 영상 비트스트림을 일시적으로 저장하는 수신 버퍼(13)와, 상기 수신 버퍼(13)에 저장되어 있는 영상 비트스트림에서 영상 신호와 음향 신호등을 분리하는 비디오 멀티플럭스 디코더(12)가 배치되어 있다.

상기 비디오 멀티플럭스 디코더(12)에서 분리된 영상 신호와 음향 신호들은 소스 디코더(11)에서 각각 복원과정이 이루어지는데, 특히 영상 신호를 복원하기 위하여는 가변장복호화기(Variable Length Decoding)와, 에러 검출, 모션 벡터 복원 및 영상 재현을 위한 에러 감지/복원 부와, 인코더에서 실시한 압축 방식의 반대로 진행하기 위하여 역양자화와 역이산여현변환을 실시하는 역양자화부(Inverse Quantization)와, 역DCT(Inverse Discrete Cosine Transform)와, 모션 벡터 보상기(Motion Vector Compensation: MC)와, 동영상을 디스플레이 하는 디스플레이부)로 구성되어 있다.

일반적으로 IMT-2000 단말 시스템의 디코더에서는 인코더에서 코딩된 방식과 반대 방식의 과정을 거쳐 영상을 디코딩함으로써 영상을 복원한다.

도 2는 종래 기술에 따라 비디오 영상을 일정한 비트율로 부호화하여 전송하는 모습을 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 일반적으로 H.263+ 표준에서는 다양한 옵션 정보를 추가할 수 있는데 보통 17가지 정도가 규정되어 있다. 그 중에서 특히 자주 사용되는 옵션 정보는 어드밴스드 인트라 모드(Advanced Intra Mode: 옵션 I), 디블록킹 필터 모드(Deblocking Filter Mode: J) 및 모디파이드 퀀티제이션 모드(Modified Quantization Mode: 옵션 정보 T)이다.

비디오 신호가 인가되면 먼저 IMT-2000 단말기에서는 영상 신호에 대하여 코딩을 실시하는데, 코딩되는 각각의 영상에 따라 다양한 옵션을 추가함으로써 디코더에서 디스플레이될 때 사용자가 보다 양질의 화상을 볼 수 있도록 하였다.

이때, 영상 신호를 디코딩할 때 옵션 선택기에서는 코딩되는 영상 신호 별로 옵션의 추가 여부를 컨트롤한다.

옵션의 종류는 알파벳으로 표시되어 D부터 T까지로 구분하여 사용하는데 상기 옵션 선택기(1)에서 선택되어질 옵션 정보를 선택하여 단말기에 전송하면, 단말기의 인코더에서는 이러한 옵션 정보에 따라 비디오 신호들을 코딩(부호화)을 실시하고, 이를 영상 전화 터미널을 통하여 전송한다.

디코더에서도 영상 비트스트림을 디코딩할 때, 추가된 영상 옵션 여부를 확인한 다음, 그에 알맞은 디코딩(복호화)을 실시하는데, 이러한 옵션 정보의 추가 여부에 따라 디코딩하는 방식이 야간씩 달라진다.

그러나, 상기와 같이 영상 신호를 코딩하는 코덱에서 코딩을 할 때 옵션 정보가 추가되는가의 여부에 관계없이 동일한 비트율에 따라 코딩을 하는 경우에는 부호화 효율이 떨어지는 문제가 있다.

즉, 일반적으로 각각의 옵션 정보에 따라 영상 신호를 코딩하는 방식에는 특정 비트율에서 코딩 효율이 가장 좋은 옵션 정보가 있는데, 이러한 옵션 정보의 종류에 상관없이 동일한 비트율로 코딩을 하게되면, 코딩 효율의 성능을 떨어뜨리는 문제가 있다.

그리고 현재 멀티미디어의 영향으로 다양한 옵션 정보가 추가되고 있는 시점에서는 코딩 효율의 저하는 코딩 속도에도 영향을 미치게되어 양질의 화상을 구현하는데 한계가 있다.

본 발명은, 영상 신호를 부호화 및 복원 화하는 코덱에서 추가되는 옵션 정보에 따라 적절한 부호화 효율을 선택할 수 있도록 하여 복잡도를 낮추고, 부호화 계산 량을 줄임으로써 코딩 효율을 향상 시킬 수 있는 영상 신호 부호화 모드 선택방법을 제공함에 그 목적이 있다.

도 1은 일반적으로 사용되고 있는 IMT-2000 통신 단말기의 구성도.

도 2는 종래 기술에 따라 비디오 영상을 일정한 비트율로 부호화 하여 전송하는 모습을 설명하기 위한 도면.

도 3은 본 발명에 따라 비디오 신호를 비트율에 따라 부호화한 다음 전송하는 방법을 설명하기 위한 도면.

도 4는 본 발명에 따라 영상 신호 부호화 모드 선택방법을 설명하기 위한 도면.

*도면의 주요 부분에 대한 부호의 설명*

1: 옵션 선택기3: 인코더

5: 코딩 조정기7: 소스 코더

8: 비디오 멀티플럭스 코더9: 전송 버퍼

10: IMT-2000 단말 시스템11: 소스 디코더

12: 비디오 멀티플럭스 디코더13: 수신 버퍼

15: 디코더

상기한 목적을 달성하기 위한, 본 발명에 따른 영상 신호 부호화 모드 선택방법은,

영상 신호를 일정한 비트율에 따라 부호화하는 단계;

상기 영상 신호를 부호화하는 도중에 추가되는 옵션 정보 유무를 판단하는 단계;

상기 옵션 정보가 선택되어 추가되는 경우에는 각각의 옵션 정보에 해당하는 부호화 비트율이 가장 높은 비트율에서 부호화를 하도록 컨트롤하는 단계; 및

상기 옵션 정보에 해당하는 가장 효율이 높은 부호화 비트율에 따라 코딩을 완료한 다음, 이를 해당 비트율로 전송하는 단계;를 포함하는 것을 특징으로 한다.

여기서, 상기 부호화된 영상을 전송하는 대역폭은 32kbps에서부터 2Mbps이고, 상기 부호화 영상에 옵션 정보가 추가되지 않는 경우에는 추가되기 전의 비트율에 따라 부호화를 진행하며, 상기 옵션 정보들에 해당하는 최적의 부호화 비트율은 부호화 계산 량이 작고, 복잡도가 낮은 비트율에 해당하는 것을 특징으로 한다.

본 발명에 의하면, IMT-2000 단말기내에서 비디오 신호를 부호화하거나 복원 화할 때 추가되는 옵션 정보의 종류에 따라 최적의 효율을 갖는 부호화 비트율을 선택함으로써 부호화 복잡도와 계산 량을 줄여 코딩 효율을 향상 시킬 수 있는 이점이 있다.

이하, 첨부한 도면에 의거하여 본 발명의 바람직한 실시 예를 자세히 설명하도록 한다.

도 3은 본 발명에 따라 비디오 신호를 비트율에 따라 부호화한 다음 전송하는 방법을 설명하기 위한 도면이다.

도 3에 도시된 바와 같이, IMT-2000을 이용한 영상 전화 단말기에서는 보통 대역폭이 32kbps ~ 2Mbps에서 영상 신호 전송이 이루어진다. 초당 전송 프레임의 비트율이 동일하다고 가정하면(15Hz), 추가 옵션 정보들 중에서 어드밴스드 인트라 모드(Advanced Intra Mode: 옵션 I)에서는 32kbps와 128kbps 근방에서 부호화할 경우에 비트율이 높고, 디블록킹 필터 모드(Deblocking Filter Mode: J)는 32kbps 근접 대역에서만 비트율이 좋다. 그리고 모디파이드 퀀티제이션 모드(Modified Quantization Mode: 옵션 T)는 32kbps 대역에서부터 256kbps까지 부호화 계산 량이 작고, 복잡도가 매우 낮아 거의 모든 비트율에 상관없이 사용된다.

상기와 같은 옵션 정보의 특성들을 이용하여 IMT-2000 단말기에서는 비디오 신호를 코딩할 때, 다양한 추가 옵션을 첨부하여 코딩을 실시하는데, 상기와 같은 옵션 정보의 최적 부호화 비트율 정보를 적용하여 코딩과정에서 컨트롤러를 통하여 선택적인 추가 옵션 비트율을 조절한다.

즉, 비디오 신호를 코딩할 때 일정 비트율에 따라 코딩을 진행하다가, 추가되는 옵션 정보 I가 첨부될 경우에는 비트율을 32kbps 대역으로 조절하여 코딩하고 이를 IMT-2000 영상 전화 터미널을 통한 옵션으로 전송한다.

그리고, 원래 코딩 비트율을 유지하다가 옵션 정보 J가 첨부되는 경우에는 최적의 부호화 비트율을 갖는 32kbps 대역으로 부호화 비트율을 조정하여 옵션이 첨부된 영상 부호화 신호를 전송하도록 한다.

따라서, 본 발명에서는 H.263+ 표준에서 추가되는 17개의 옵션 정보 중에서 향상된 인트라 모드에서 향상된 부호화 과정이 추가된 어드밴스 인트라 모드( 옵션 정보 I)과, 디코딩 중에서 발생하는 블록킹 현상을 방지하기 위한 향상된 모드인 디블록킹 필터 모드(옵션 정보 J)과, 영상 신호를 양자화할 때 향상된 양자화 모드를 제시하는 모디파이드 퀀티제이션 모드(옵션 정보 T)가 특정 대역의 최적 부호화 비트율을 갖는 점을 이용하여 코딩시 이를 각각에 맞는 비트율로 전송되도록 한 것이다.

그래서 부호화 과정에서 발생하는 많은 계산 량을 줄이고, 아울러 부호화 영상의 복잡도를 낮춤으로써 코딩 효율을 향상시킬 수 있다.

도 4는 본 발명에 따라 영상 신호 부호화 모드 선택방법을 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, IMT2000단말기의 코덱에서 비디오 신호의 부호화가 이루어질 때 추가되는 다양한 옵션 정보를 옵션 선택기로부터 받는다. 즉, 비디오 신호가 부호화될 때(S401), 특정의 영상 신호는 특정의 옵션 정보를 추가함으로써 디스플레이될 때, 사용자가 영상의 화질을 더욱 좋게 인식할 수 있으므로 각각의 비디오 신호에 따라 옵션 정보를 추가하여 부호화 및 복호화를 한다.

이러한 옵션 정보는 인코더에서 코딩될, 영상 비트스트림의 영상 프레임 내의 픽쳐 헤더 정보에 추가하여 디코더로 전송한다.

각각이 옵션 정보에 따라 인코더에서 코딩하는 방식이 다르기 때문에 디코더에서도 이러한 옵션 정보 유무를 디코딩할 때 정확히 판단하여 부호화된 영상 비트스트림을 복호화 하도록 구성하였다.(S402)

비디오 신호를 부호화할 때 옵션 선택기로부터 추가될 옵션 정보가 선택되어 들어와 옵션 정보에 따라 부호화가 이루어지는데, 부호화를 하는 영상 신호에 옵션 정보의 유무를 판단하여(S402) 옵션 정보가 추가되는 경우에는 그 옵션 정보의 최적 비트율에서 부호화가 이루어지도록 조정한다(S403).

즉, 비디오 신호를 부호화할 때 일반적으로 정해진 비트율에 따라 부호화를진행하다가 옵션 선택기로부터 옵션 정보가 들어오는 경우에는 부호화 계산 량이 작고, 복잡도가 낮은 최적의 비트율에서 부호화를 실시하도록 한다.

그러므로 해당되는 옵션 정보에 따라 선택적으로 다른 최적의 비트율에서 부호화가 이루어지도록 함으로써 한정된 리소스를 갖는 IMT-2000 단말에서 보다 효율적으로 추가된 동영상 옵션을 구현할 수 있게된다.

이렇게 선택적으로 부호화가 이루어지면 외부 디코더를 향하여 동영상 비트스트림을 전송한다.(S404)

상기 영상 신호 부호화 단계에서 상기 옵션 선택기로부터 옵션 정보가 들어오지 않는 경우에는(S402) 옵션 정보가 들어오기 전의 고정된 부호화 비트율에 따라 코딩을 실시하고(S405) 이를 외부 디코더로 영상 비트스트림 형태로 전송한다(S404).

이상에서 자세히 설명된 바와 같이, 본 발명은 동영상 구현 표준에서 추가되는 옵션 정보에 따라 최적의 비트율에 해당하는 비트율로 부호화를 진행함으로써, 종래 일정한 하나의 비트율에 의하여 일괄적으로 부호화하는 방식보다 더욱 코딩 효율을 향상 시킬 수 있는 효과가 있다.

아울러, 최적의 부호화 옵션 모드에 해당하는 비트율로 부호화를 진행하므로, 부호화 효율을 향상시키면서 복잡도와 계산 량을 줄일 수 있는 이점이 있다.

또한 비디오 코덱의 속도가 향상되고, 사용자 에세 우수한 영상 서비스를 제고할 수 있게된다.

본 발명은 상기한 실시 예에 한정되지 않고, 이하 청구 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.

Claims (4)

1. 영상 신호를 일정한 비트율에 따라 부호화하는 단계;

   상기 영상 신호를 부호화하는 도중에 추가되는 옵션 정보 유무를 판단하는 단계;

   상기 옵션 정보가 선택되어 추가되는 경우에는 각각의 옵션 정보에 해당하는 부호화 비트율이 가장 높은 비트율에서 부호화를 하도록 컨트롤하는 단계; 및

   상기 옵션 정보에 해당하는 가장 효율이 높은 부호화 비트율에 따라 코딩을 완료한 다음, 이를 해당 비트율로 전송하는 단계;를 포함하는 것을 특징으로 하는 영상 신호 부호화 모드 선택방법.
2. 제 1 항에 있어서,

   상기 부호화된 영상을 전송하는 대역폭은 32kbps에서부터 2Mbps인 것을 특징으로 하는 영상 신호 부호화 모드 선택방법.
3. 제 1 항에 있어서,

   상기 부호화 영상에 옵션 정보가 추가되지 않는 경우에는 추가되기 전의 비트율에 따라 부호화를 진행하는 것을 특징으로 하는 영상 신호 부호화 모드 선택방법.
4. 제 1 항에 있어서,

   상기 옵션 정보들에 해당하는 최적의 부호화 비트율은 부호화 계산 량이 작고, 복잡도가 낮은 비트율에 해당하는 것을 특징으로 하는 영상 신호 부호화 모드 선택방법.