KR20120118283A - 적응적 부호화 구조를 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 시스템 - Google Patents

Abstract

본 발명은 다양한 전송 매체를 통해 디스플레이 장치로 전달되는 영상 특성에 따라 선택적으로 압축 방식을 선택하여 화질 열화를 막는데 그 주안점이 있다. 이를 위하여 본 발명에서는 시간적으로 연속적인 프레임에서, 이전 영상과 현재 영상을 비교하여 변화가 있는지 파악한다. 구체적으로 화면 내 픽셀들의 방향성을 고려하여 부호화하는 화면 내 부호화 방식(intra-frame coding mode)의 변화를 기록하여 적응적 부호화 방법을 사용함으로써, 화질 향상을 가져올 수 있다. 이러한 본 발명은 향후 MOST를 통한 영상 전송과 터미널 모드(Terminal mode) 등에 적용될 수 있다.

Description

적응적 부호화 구조를 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 시스템{METHOD FOR CODING IMAGE USING ADAPTIVE CODING STRUCTURE SELECTION AND SYSTEM FOR CODING IMAGE USING THE METHOD}

본 발명은 적응적 부호화 구조를 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 시스템에 관한 것으로서, 다양한 전송 매체를 통해 디스플레이 장치로 전달되는 영상 특성에 따라 선택적으로 압축방식을 선택하여 화질 열화 및 화면의 떨림 현상을 방지하는 적응적 부호화 구조를 이용한 영상의 부호화 방법 밍 이를 이용한 인코딩 시스템에 관한 것이다.

최근에 출시되는 스마트폰과 같은 장치들은 Terminal mode를 이용하여 다른 IT기기들과 연동된다. 차량에서도 네비게이션(Navigation)과 같은 장치들이 스마트폰과 연동되어 다양한 서비스를 제공하고 있다. 이러한 기기들이 상기 스마트폰과 연동되기 위해서는 네트워크의 대역폭의 한계로 각 기기의 영상 Data를 효과적으로 전송하기 위한 방법이 필요하다. 이에 영상 데이터를 전송하기 위해 다양한 영상 압축 방법들이 연구개발되고 있다.

그런데, 기존에 연구 개발되고 있는 영상 압축 방법들은 동영상과, Text, Computer Grapics 화면과 같은 다양한 특성을 가진 영상을 효율적으로 압축하데는 한계가 있다. 따라서, 전송하는 영상 데이터의 특성에 따라 적절한 영상 압축 방식을 선택하여 압축률은 높이고 영상의 화질 저하는 막는 것은 중요한 기술적 이슈이다.

도 1은 H.264/AVC 에서 화면 내 부호화 방법에 근거한 Intra prediction에서 4 X 4 block들의 9가지 예측 모드를 나타내는 도면이다.

도 1에 나타나는 모드들 중 최적의 모드는 아래의 수학식 (1)에서 최소의 RD cost(J)를 갖는 모드로 결정된다. 여기서 D는 Distortion을, R은 각 모드에서 발생하는 Rate를 나타낸다. 그리고 λ는 Lagrangian multiplier 이다.

일반적으로 전송선로를 통한 비디오의 전송에 있어서 화면의 특성에 따라 발생하는 Bitrate는 변화한다. 따라서 전송선로의 대역폭 이하로 Bitrate를 제한하기 위해 Rate control 방법이 사용된다. 이러한 Rate control에서 Quantization Parameter를 변화시켜 발생하는 Bitrate를 조절하는 방법이 있다.

하지만 동일한 영상에 있어서 Quantization parameter의 변화에 따른 화질의 변화는 시청자에게 화면이 떨리는 것으로 시인되어, 심각한 주관적 화질 저하를 야기한다.

도 2는 동일한 연속적인 화면에서 Quantization parameter 변화에 따른 화질의 변화를 보여주는 영상들이다.

도 2에 도시된 바와 같이, 화소 값의 변화가 전혀 없는 동일한 연속적인 화면에서 Quantization Parameter(QP)의 변화에 따라 시청자가 화질의 변화를 시인하여 심각한 주관적 화질 저하를 야기하는 것을 알 수 있다.

따라서, 본 발명의 목적은 전송하는 영상 Data의 특성에 따라 영상 압축 방식을 선택하여 압축률은 높이고, 영상의 화질 저하를 감소시킬 수 있는 적응적 부호화 구조를 이용한 영상의 부호화 방법을 제공하는 데 있다.

상술한 목적을 달성하기 위한 본 발명의 적응적 부호화 방식을 이용한 영상의 부호화 방법은, 입력 영상의 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면내 부호화 모드의 변화 여부를 판단하는 단계와, 상기 화면내 부호화 모드의 변화가 있는 경우, 상기 현재 프레임의 입력 영상을 부호화기가 제공하는 일반적인 레이트 제어 부호화 방식에 따라 부호화하는 단계 및 상기 인트라 모드의 변화가 없는 경우, 현재 프레임의 QP(Quantization Parameter)를 이전 프레임의 의 동일 위치의 블록의 부호화에 사용된 QP와 일치시켜 상기 현재 프레임의 입력 영상을 부호화하는 단계를 포함한다.

또한 본 발명의 인코딩 시스템은, 매 프레임단위로 입력 영상 및 화면내 부호화 모드 정보를 입력 받아서, 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면내 부호화 모드의 변화 여부를 판단하는 적응적 레이트 제어기 및 상기 화면내 부호화 모드 정보를 매 프레임 단위로 상기 적응적 레이트 제어기로 제공하고, 상기 적응적 레이트 제어기가 이전 프레임과 현재 프레임의 동일한 위치의 블록에 대한 화면내 부호화 모드의 변화가 있는 것으로 판단한 경우, 상기 적응적 레이트 제어기의 판단 결과를 제어 신호로서 제공받아서, 상기 현재 프레임의 입력 영상을 부호화기가 제공하는 일반적인 레이트 제어 부호화 방식에 따라 부호화하고, 상기 적응적 레이트 제어기가 이전 프레임과 현재 프레임의 동일한 위치의 블록에 대한 화면간 모드의 변화가 없는 것으로 판단한 경우, 상기 적응적 레이트 제어기의 판단결과를 제어 신호로서 제공받아서, 현재 프레임의 QP(Quantization Parameter)를 이전 프레임의 동일위치에 존재하는 블록에 부호화에 사용된 QP(Quantization Parameter)와 일치시켜 상기 현재 프레임의 입력 영상을 부호화하는 인코더를 포함한다.

본 발명에 의하면, 다양한 전송 선로를 통해 영상을 전송하는 과정에서 적응적 부호화 구조를 사용함으로서, 부호화 효율을 높이고, 화면의 떨림 현상을 방지하여 화질의 품질을 향상시킬 수 있다.

도 1은 H.264/AVC 에서 화면 내 부호화 방법에 근거한 Intra prediction에서 4 X 4 block들의 9가지 예측 모드를 나타내는 도면이다.
도 2는 동일한 연속적인 화면에서 Quantization parameter 변화에 따른 화질의 변화를 보여주는 영상들이다.
도 3은 본 발명의 일실시예에 따른 적응적 부화화 방식에 따라 입력 영상을 부호화하는 인코딩 시스템을 나타내는 블록도이다.
도 4는 도 3에 도시된 인코더에서 적응적 부호화 구조로 부호화 하는 방법은 보여주는 개략적인 순서도이다.

본 발명은 다양한 전송 매체를 통해 디스플레이 장치로 전달되는 영상 특성에 따라 선택적으로 압축 방식을 선택하여 화질 열화를 막는데 그 주안점이 있다. 이를 위하여 본 발명에서는 시간적으로 연속적인 프레임에서, 이전 영상과 현재 영상을 비교하여 변화가 있는지 파악한다. 구체적으로 화면 내 픽셀들의 방향성을 고려하여 부호화하는 화면 내 부호화 방식(intra-frame coding mode)의 변화를 기록하여 적응적 부호화 방법을 사용함으로써, 화질 향상을 가져올 수 있다. 이러한 본 발명은 향후 MOST를 통한 영상 전송과 터미널 모드(Terminal mode) 등에 적용될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 3은 본 발명의 일실시예에 따른 적응적 부화화 방식에 따라 입력 영상을 부호화하는 인코딩 시스템을 나타내는 블록도이다.

도 3을 참조하면, 본 발명의 일실시예에 따른 인코딩 시스템(300)은 적응적 레이트 제어기(100: Adaptive Rate Controller)와 인코더(200)를 포함한다.

적응적 레이트 제어기(100)는 인코더(200)를 구성하는 각 구성 블록들의 전반적인 부화화 동작을 제어하며, 특히 전송하고자 하는 입력 영상(Image Block: IB)의 특성을 파악하는 모듈로서 이전 프레임과 현재 프레임을 비교하여 영상의 변화가 많은지 적은지를 판단한다. 구체적으로, 적응적 레이트 제어기(100)는 이전 프레임의 입력 영상과 현재 프레임의 입력 영상의 동일한 위치의 블록에서 인트라 모드(Intra Mode)의 변화 유무를 판단한다.

적응적 레이트 제어기(100)는 현재 프레임의 인트라 모드(Intra mode)가 이전 프레임의 동일한 위치의 블록의 모드와 동일하지 않은 경우, 이전 프레임과 비교하여 변화가 있는 것으로 정상적인 rate control 부호화 방법을 이용하여 입력 영상(IB)을 부호화 하도록 인코더(200)를 제어한다. 만일 Intra mode의 변화가 없다면, 현재프레임의 입력 영상이 이전 프레임의 입력 영상과 동일한 것으로 판단하여 QP(Quantization Parameter) 및 Coding parameter를 이전 프레임의 동일한 위치의 Block과 일치시켜 화면의 떨림을 방지한다.

인코더(200)는 상기 적응적 레이트 제어기(100)의 제어에 따라 정상적인 레이트 제어 방식에 따라 현재 프레임의 입력 영상을 부호화화 하거나, 또는 현재 프레임의 입력 영상을 이전 프레임과 동일한 QP를 사용하여 부호화한다. 즉, 적응적 레이트 제어기(100)가 이전 프레임과 현재 프레임의 동일한 위치의 블록에 대한 인트라 모드의 변화가 있는 것으로 판단하고, 인코더(200)는 상기 판단 결과를 제어 신호로서 제공받아서 상기 현재 프레임의 입력 영상을 정상적이 레이트 제어 부호화 방식에 따라 부호화한다. 만일 적응적 레이트 제어기(100)가 상기 동일한 위치의 블록에서 인트로 모드의 변화가 없는 것으로 판단한 경우, 인코더(200)는 상기 판단결과를 제어 신호로서 입력받아서 현재 프레임의 QP 및 Coding parameter를 이전 프레임의 QP 및 Coding parameter와 일치시켜 상기 현재 프레임의 입력 영상을 부호화 한다. 이를 통해 화면의 떨림을 방지한다.

구체적으로 상기 인코더(200)는 합산기(214)의 양의 입력에 연결되는 입력 단자(212)를 포함하며, 이 입력 단자(212)를 통해 다양한 멀티미디어 데이터를 포함하는 입력 영상(IB: Image Block)을 입력받는다. 이 입력 단자(212)를 통해 입력된 입력 영상(IB)은 상기 적응적 레이트 제어기(100) 및 내부에 구비된 움직임 추정부(230: ME)로 제공된다.

또한 인코더(200)는 상기 합산기(214)을 통해 블록 기반의 이산 코사인 변환 유닛(DCT: Discrete Cosine Transform)을 수행하는 변환기(T: 216A) 및 양자화기(Q: 318)를 포함하는 변환/양자화 모듈(216)을 포함한다. 이 변환/양자화 모듈(216)은 상기 적응적 레이트 제어기(100)와 연결되어, 이전 프레임과 현재 프레임의 인트라 모드 변화여부를 판단한 상기 적응적 레이트 제어기(100)의 제어에 따라 이전 프레임과 현재 프레임의 QP를 일치시킨다.

또한 인코더(200)는 역 양자화기(IQ: 216B), 역 블록 기반의 이산 코사인 변화(IDCT)을 수행하는 역변환 유닛(IT: 224), 제2 결합기(226), 프레임 저장부(FS: 228), 움직임 추정기(ME: 230)를 포함한다. 여기서, 움직임 추정기(200)는 상기 적응적 레이트 제어기(100)의 제어에 따라 정상적인 rate control 부호화 방식에 따른 움직인 추정을 수행한다.

또한 인코더(200)는 입력 영상의 특성에 따른 인트라 모드 및 인터 모드 간을 스위칭하는 스위치 유닛(232), 인트라-프레임 예측기(234)를 포함한다. 여기서, 이 인트라-프레임 예측기(234)는 인트라 모드 정보(IMI)를 적응적 레이트 제어기(100)로 제공하며, 적응적 레이트 제어기(100)는 제공받은 인트라 모드 정보(IMI)에 따라 이전 프레임과 현재 프레임 간의 인트라 모드의 변화여부를 판단한다.

상기 스위치 유닛(232)은 상기 적응적 부호화 구조 선택기(100)가 제공받은 선택 신호(SE)에 따라 인트라-프레임 예측기(Intra P: 234) 또는 움직임 추정기(ME: 230)를 상기 합산기(214)에 연결시킨다.

또한 인코더(200)는 상기 양자화기(218: Q)의 출력값을 입력받는 가변 길이 부호화기(Variable Length Coding: 236)와 이 가변 길이 부호화기(Variable Length Coding: 238)의 출력을 버퍼링하여 부호화된 최종 출력 영상을 비트스트림 형태로 출력하는 비디오 버퍼(238)를 포함한다. 그 밖에 상기 구성들을 전반적인 동작을 제어하는 제어부(CON: 240)를 포함한다.

도 4는 도 3에 도시된 인코더에서 적응적 부호화 구조로 부호화 하는 방법은 보여주는 개략적인 순서도이다.

도 4를 참조하면, 우선, 도 3의 입력 단자(212)를 통해 수신되는 입력 영상의 각각의 프레임은 예컨대, 매크로 블록별로 수신된다. 매크로 블록별로 수신된 각 입력 영상은 인코더(200) 및 적응적 레이트 제어기(100)로 제공된다.

적응적 레이트 제어기(100)는 인코더(200)의 인트라-프레임 예측기(234)로부터 제공되는 인트라 모드 정보에 근거하여 적절한 부화화 구조로 입력 영상을 부호화하도록 인코더(200)를 제어한다. 즉, 적응적 레이트 제어기(100)는 인코더(200)의 인트라 프레임 예측기로부터 프레임 단위로 인트라 모드 정보를 제공받고, 상기 이전 프레임과 현재 프레임의 동일한 위치의 블록에서 인트라 모드의 변화 여부를 판단한다(S410).

인트라 모드의 변화가 있는 경우, 즉, 적응적 레이트 제어기(100)가 이전 프레임과 현재 프레임의 동일한 위치의 블록에 대한 인트라 모드의 변화가 있는 것으로 판단한 경우, 적응적 레이트 제어기(100)는 상기 판단 결과를 제어 신호로서 상기 인코더(200)에 제공하여, 인코더는 상기 현재 프레임의 입력 영상을 정상적인 레이트 제어 부호화 방식에 따라 부호화한다(S420).

만일, 인트라 모드의 변화가 없는 경우, 즉, 적응적 레이트 제어기(100)가 상기 동일한 위치의 블록에서 인트로 모드의 변화가 없는 것으로 판단한 경우, 상기 판단결과를 제어 신호로서 상기 인코더(200)에 제공하여, 상기 인코더(200)는 현재 프레임의 QP 및 Coding parameter를 이전 프레임의 QP 및 Coding parameter와 일치시켜 상기 현재 프레임의 입력 영상을 부호화 한다. 이를 통해 화면의 떨림을 방지한다.

도 5는 화면 특성에 따른 이전 프레임의 동일한 위치의 블록의 인트라 모드(Intra mode)와 현재 Block의 Intra mode의 일치 비율을 나타내는 테이블로서, 도 5에 도시된 바와 같이, 동일한 화면에 있어서는 Intra mode의 변화가 없는 것을 확인 할 수 있다.

Claims (6)

1. 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면 내 부호화 모드의 변화 여부를 판단하는 단계; 및
   상기 영상 블록의 변화 여부에 따라, 상기 현재 프레임을 레이트 제어 부호화 방식 및 현재 프레임의 QP(Quantization Parameter)를 이전 프레임의 동일위치의 블록에 대응하는 QP와 일치시키는 부호화 방식 중 어느 하나의 방식으로 부호화하는 단계를 포함하는 영상의 부호화 방법.
2. 제1항에 있어서, 상기 영상 블록을 부호화하는 단계는,
   상기 화면 내 부호화 모드의 변화가 있는 영상 블록의 경우, 상기 현재 프레임의 영상 블록을 레이트 제어 부호화 방식에 따라 부호화하는 것인 영상의 부호화 방법.
3. 제1항에 있어서, 상기 영상 블록을 부호화하는 단계는,
   상기 화면 내 부호화 모드의 변화가 없는 영상 블록의 경우, 상기 현재 프레임의 영상 블록을 상기 현재 프레임의 QP(Quantization Parameter)와 이전 프레임의 동일위치의 블록의 부호화 과정에서 사용된 QP를 일치시켜 부호화하는 것인 영상의 부호화 방법.
4. 매 프레임단위로 입력 영상 및 화면내 부호화 모드 정보를 입력 받아서, 이전 프레임과 현재 프레임의 동일한 위치의 영상 블록에서 화면내 부호화 모드의 변화 여부를 판단하는 적응적 레이트 제어기; 및
   상기 적응적 레이트 제어기의 판단 결과를 제공받고, 제공받은 상기 판단 결과에 근거하여 부호화기가 제공하는 레이트 제어 부호화 방식 및 상기 현재 프레임의 부호화 하고자 하는 블록의 QP(Quantization Parameter)를 이전 프레임의 동일위치의 블록의 부호화에 사용된 QP와 일치시키는 부호화 방식 중 어느 하나의 방식을 선택하여 상기 현재 프레임의 입력 영상을 부호화하는 하는 인코더를 포함하는 인코딩 시스템.
5. 제 4 항에 있어서, 상기 인코더는,
   상기 화면내 부호화 모드 정보의 변화가 있는 상기 판단 결과를 제공받는 경우, 상기 현재 프레임의 입력 영상을 부호화기가 제공하는 레이트 제어 부호화 방식에 따라 부호화하는 것을 특징으로 하는 인코딩 시스템.
6. 제 4 항에 있어서, 상기 인코더는,
   상기 부호화 모드 정보의 변화가 없는 상기 판단 결과를 제공받는 경우, 현재 프레임의 부호화 QP(Quantization Parameter)를 이전 프레임의 동일 위치에 존재하는 블록의 QP(Quantization Parameter)와 일치시켜 상기 현재 프레임의 입력 영상을 부호화하는 것을 특징으로 하는 인코딩 시스템.
   

Images