KR19980034879A

KR19980034879A - 영상단위별 비트발생량 조절 장치 및 방법

Info

Publication number: KR19980034879A
Application number: KR1019960053080A
Authority: KR
Inventors: 류성걸
Original assignee: 김광호; 삼성전자 주식회사
Priority date: 1996-11-09
Filing date: 1996-11-09
Publication date: 1998-08-05
Also published as: NL1007505A1; US5990957A; KR100297830B1; FR2755817A1; JP3365730B2; FR2755817B1; NL1007505C2; JPH10257489A

Abstract

전송되는 화상내에 포함된 각 영상단위에 대해 내용의 중요도 및 복잡도 그리고 색민감도 등을 토대로 인간의 시감을 고려하여 양자화 간격을 결정하고, 영상단위별로 비트 발생량을 차등화하여 전송하는 영상단위별 비트발생량 조절 장치 및 방법을 공개한다.

사용자가 특정 VOP의 화질을 임의의 단계로 조절하기 위한 명령을 입력하는 화질선택 입력부; 부호화할 VOP단위내에 위치하는 각 매크로 블럭에 대해 영상의 복잡도와 색민감도를 종합하여 시감특성을 분류하는 시감특성 분류부; 부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 비트 발생량 예측을 위해 블럭단위의 분산값을 분류하는 분산값 분류부; 임의의 양자화간격에 대한 비트발생량 예측을 위해 상기 블럭당 분산 분류값과 시감특성분류값에 기초한 히스토그램을 계산하는 히스토그램 계산부; 및 부호화기에서 사용하는 양자화기 매트릭스에 제작된 비트 발생율 추정을 위한 비트 모델을 계산하여 보관하는 비트 모델부;를 구비하며, 이에 따라 시감특성이 고려되고 사용자가 입력하는 가중치에 따라 VOP의 화질 열화정도가 차등화되는 부호화가 가능하게 되고, 전체 비트량을 증가시킴이 없이 시각적으로 인식되는 화질이 개선되는 효과가 있다.

Description

영상단위별 비트발생량 조절 장치 및 방법

본 발명은 전송되는 화상내에 포함된 각 영상단위에 대해 내용의 중요도 및 복잡도 그리고 색민감도 등을 토대로 인간의 시감을 고려하여 양자화 간격을 결정하고, 영상단위별로 비트 발생량을 차등화하여 전송하는 영상단위별 비트발생량 조절 장치 및 방법에 관한 것이다.

일반적으로, 다차원적 특성을 갖는 영상 데이타는 일반적인 데이타와 달리 가지고 있는 정보량이 크기 때문에 이를 디지탈 방식으로 처리하기 위해서는 막대한 데이타량을 필요로 한다. 따라서 이러한 디지탈 영상을 처리하여 이를 전송하거나 저장하기 위해서는, 전송에 필요한 통신선로의 대역폭 또는 정보 저장에 필요한 저장매체의 용량을 고려하여, 데이타를 압축하는 것이 불가피하다.

동영상의 압축에 대한 표준화는 국제표준화기구인 ISO-IEC(International Organization for Standardization-Internaitonal Electrotechnicla Commission) 산하의 JTC1/SC-29에 속하는 MPEC(Moving Picture Expert Group)에 의해 추진되어 왔는데, 특히 MPEG-1, MPEG-2등은 표준화가 완료되어 이미 사용중에 있다. 한편 ITU-T에서도 미래의 광대역 종합정보통신망(B-ISDN)에서의 영상 전송을 위하여 ATM 프로토콜에 기초한 영상 부호화 표준안을 마련하기 위해 노력을 해왔는데, 최근 수개의 H.26x 표준안을 권고(Recommendation)한 바 있다.

상기 MPEG2 등과 같은 종래의 부호화 방법에서는 효율적인 부호화를 위한 전단계로써 DPCM이나 DCT를 사용하고 있다. 그런데 DPCM이나 DCT는 신호들간의 용장도(Redundency)를 줄여주기는 하지만, 실질적인 신호의 압축은 최종 양자화과정에서 발생하기 때문에 부호화의 압축 성능은 DPCM이나 DCT보다는 양자화 간격의 결정방식에 크게 의존한다.

양자화 간격 결정을 위한 종래의 방법은, MPEG2의 경우, Activity계산과 버퍼 제어에 의해서 결정하는 것이다. 하지만 이 방식은 프레임내에 복잡부와 평탄부가 존재할 때 그 위치에 따라 화질이 달라질 수 있고 Activity에 의한 양자화 간격 결정시에도 매크로블럭내의 4개의 Luminance블럭의 Activity중 최소인 것을 기준으로 처리하기 때문에 평탄부, Edge부, 복잡부의 판단이 정확하지 않아 시감에 적합한 양자화 간격을 결정하지 못한다. 또 프레임단위의 처리를 기본으로 하였기 때문에 영상을 구성하는 영상단위(Object)에 고려가 없다. H.263등은 프레임전체에 동일한 양자화간격을 결정하고 프레임당 비트발생량에 따라 다음 프레임의 양자화간격을 결정하는 방법으로 MPEG2에서의 방법에 비해 구조는 간단하지만, 마찬가지로 시감의 반영이 되지 못한 방법이다.

상기와 같이 시감을 고려하지 않고 양자화 간격을 결정하게 되는 경우, 전송되는 영상에 있어서 인물과 같이 의미상으로 중요한 영상단위(Object)와 배경과 같이 중요도가 낮은 영상단위가 동일한 방식으로 양자화되기 때문에 신호압축 효과가 크게 느껴져서 시각으로 인식되는 영상에 있어서 현저한 화질저하를 초래하게 된다. 특히 이러한 문제점은, 저비트율 통신을 위한 영상 부호화(Video Coding for Low Bitrate Communications)에 관한 H.263 표준안이나 이동통신에 사용하기 위한 초저비율 영상 부호화 표준안인 MPEG4의 경우, 낮은 비트율로 말미암아 특히 심각한 것이 된다.

따라서 화질 열화를 최소로 하면서 신호압축효과를 최대로 하기 위해서는 인간의 시감특성을 충분히 반영하여 프레임을 구성하는 수개의 영상단위에 대해 그 중용도에 따라 양자화간격을 결정하고 영상분포에 따라 적절한 비트를 할당하는 것이 요구된다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 전송되는 화상내에 포함된 각 영상단위에 대해 내용의 중요도 및 복잡도 그리고 색민감도 등을 토대로 인간의 시감을 고려하여 양자화 간격을 결정하고, 영상단위별로 비트 발생량을 차등화하여 전송하는 영상단위별 비트발생량 조절 장치를 제공하는 것이다.

본 발명의 다른 목적은 전송되는 화상내에 포함된 각 영상단위에 대해 내용의 중요도 및 복잡도 그리고 색민감도 등을 토대로 인간의 시감을 고려하여 양자화 간격을 결정하고, 영상단위별로 비트 발생량을 차등화하여 전송하는 영상단위별 비트발생량 조절 방법을 제공하는 것이다.

도 1은 일반적인 VOP단위 영상 부호화의 개념도.

도 2는 본 발명에 따른 영상 부호화기의 블럭도.

도 3은 매크로 블럭의 복잡도를 예시하는 도면.

도 4는 양자화간격, 분산값 및 비트발생량간의 관계를 도시한 그래프.

도 5a는 VOP 단위 영상부호화의 개념을 설명하기 위한 테스트 영상.

도 5b는 도 5a의 테스트 영상에 있어서 주요 VOP를 도시한 도면.

상기 목적을 달성하기 위한 본 발명의 영상단위별 비트발생량 조절 장치는 특정 VOP의 화질을 임의의 단계로 조절하기 위한 명령을 입력하는 화질선택 입력부; 부호화할 VOP단위내에 위치하는 각 매크로 블럭에 대해 영상의 복잡도와 색민감도를 종합하여 시감특성을 분류하는 시감특성 분류부; 부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 비트 발생량 예측을 위해 블럭단위의 분산값을 분류하는 분산값 분류부; 임의의 양자화간격에 대한 비트발생량 예측을 위해 상기 블럭당 분산 분류값과 시감특성분류값에 기초한 히스토그램을 계산하는 히스토그램 계산부; 부호화기에서 사용하는 양자화기 매트릭스에 제작된 비트 발생율 추정을 위한 비트 모델을 계산하여 보관하는 비트 모델부; 상기 시감특성 분류부에 의해 분류된 각 클래스에 대한 시감열화정도가 일정한 참조 양자화간격을 보관하는 양자화간격 참조부; 각 VOP별 목표 비트량을 계산하는 목표비트 계산부; 상기 비트 모델 및 히스토그램 계산부에서 구해진 히스토그램과 상기 양자화간격 참조부에 보관된 참조 양자화간격에 의해 예측되는 비트 발생량을 계산하는 비트 발생량 계산부; 상기 비트 발생량 계산부에서 계산된 예측비트 발생량을 양자화간격 참조부에서 출력되는 값에 의해 가변시켜 상기 목표비트 계산부에서 계산된 목표비트와의 차를 보상하는 목표비트 할당부; 및 상기 목표비트 할당부에서 VOP별 목표 비트를 할당하는데 있어 상기 화질선택 입력부에서 지정된 원하는 특정 VOP등에 비트할당을 원하는 비율 만큼 가변하면서도 전체 프레임의 목표비트량을 유지시키기 위한 참조 양자화간격 조절부;를 포함하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명의 영상단위별 비트발생량 조절 방법은 특정 VOP의 화질을 임의의 단계로 조절하기 위한 명령을 입력하는 단계; 부호화할 VOP단위내에 위치하는 각 매크로 블럭에 대해 영상의 복잡도와 색민감도를 종합하여 시감특성을 분류하는 단계; 부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 비트 발생량 예측을 위해 블럭단위의 분산값을 분류하는 단계; 임의의 양자화간격에 대한 비트발생량 예측을 위해 상기 블럭당 분산 분류값과 시감특성분류값에 기초한 히스토그램을 계산하는 단계; 부호화기에서 사용하는 양자화기 매트릭스에 제작된 비트 발생율 추정을 위한 비트 모델을 계산하여 보관하는 단계; 상기 분류된 각 시감특성 클래스에 대해 시감열화정도가 일정한 양자화간격을 보관하는 단계; 각 VOP별 목표 비트량을 계산하는 단계; 상기 비트 모젤과 히스토그램 및 참조 양자화간격에 의해 예측되는 비트 발생량을 계산하는 단계; 상기 비트 발생량을 양자화간격 참조부에서 출력되는 값에 의해 가변시켜 상기 목표비트와의 차를 보상하는 단계; 및 상기 VOP별 목표 비트를 할당하는데 있어 상기 입력된 명령에 따라 원하는 특정 VOP에 대한 비트할당을 가변하면서 전체 프레임의 목표비트량을 유지시키는 단계;를 포함하는 것을 특징으로 한다.

이에 따라 본 발명은 프레임내의 특정 Object에 대해서 압축률을 제어하여 화질 조정을 할 수 있게 하면서도 주어진 전체 압축율은 일정하게 유지시킴으로써 동화상전화나 화상회의(Video Tele Conferencing) 등에서 전송선의 제약으로 전체의 화질이 열화되는 문제점을 특정 관심영역의 경우 조절가능케 하는 잇점이 있으며 기존의 프레임 단위의 압축율 조정방법에 있어서도 기존의 방법이 주로 화상의 분산값과 버퍼 점유량등에 의해 압축율을 제어하는 데 반해 화상특성분류를 통해 화질열화 정도에 따라 그 양자화간격을 조절하는 방법으로 같은 압축율에서도 향상된 화질을 제공하는 장점을 가지고 있다.

이하 본 발명의 실시예를 도면을 참조하여 보다 상세히 설명한다.

본 발명은 부호화시에 필요한 압축율을 제어하는 방법에 관한 것으로 특히 기존의 MPEG-1, MPEG-2, H.263등의 프레임단위 처리가 가능한 코덱 구조에서 뿐만 아니라 MPEG-4등에서의 Video Object Plane단위의 처리에 있어서도 각 Object별 압축률 제어가 가능한 방법에 관한 것이다.

이를 위해 본 발명은 각 영상 프레임을 수 개의 VOP로 분할하고, 이들 VOP단위로 영상을 부호화하게 된다.

도 5a는 VOP 단위 영상부호화의 개념을 설명하기 위한 테스트 영상의 하나를 도시한 것이다. 상기 영상은 일명 뉴스 영상으로서, 가로 352 화소 세로 288화소인 CIF 규격의 영상으로 300 프레임 10초짜리 영상중의 하나이다. 이 영상은 도 5b에 도시된 바와 같이 프레임내에 4개의 VOP로 구분될 수 있다. 구분되는 각 VOP를 구체적으로 설명하면, VOP 0는 배경, VOP 1는 무희가 춤을 추는 뒷면 중앙부위, VOP 2는 남녀 아나운서, 그리고 VOP 3는 MPEG4 World의 글씨부분을 나타낸다.

도 1은 일반적인 VOP단위 영상 부호화의 개념도이다. 입력되는 영상정보는 VOP 단위로 VOP 선텍부(10)에 의해 순차적으로 선택된다. 선택된 VOP에 대하여 모양 부호화부(11)는 윤곽에 해당하는 모양(Shape) 정보를 추출하고 이를 부호화하여 출력한다. 움직임 추정부(12)는 직전 프레임 VOP재생부(14)에서 출력되는 직전 프레임의 VOP로부터 입력영상을 차감하여 차영상신호를 출력한다. 움직임 보상부(13)는 상기 움직임 추정부(12)에서 출력되는 정보의 주파수 성분별 특성치를 정의한다. 텍스쳐 부호화부(15)는 상기 움직임 보상부(13)에서 출력되는 신호를 부호화하여 텍스쳐 정보를 출력한다. 멀티플렉서(16)는 상기 모양 부호화부(11), 움직임 추정부(12), 및 텍스쳐 부호화부(15)로부터 각각 출력되는 모양 정보, 움직임 정보, 및 텍스쳐 정보를 입력하여 다중화한다. 버퍼(17)는 상기 멀티블렉서(16)로부터 입력된 다중화된 영상을 입력하여 임시 저장한 후 출력한다.

본 발명은 도 1에 도시된 바와 같이 VOP단위의 영상처리 방법에서 모양정보(Shape Information), 움직임정보(Motion Information), 그리고 텍스쳐 정보(Texture Information)중에 텍스쳐 정보를 적절한 양자화값 할당을 통해 전체 비트 발생량을 조절한다.

도 2는 본 발명에 따른 영상 부호화기의 블럭도이다. 구체적으로, 본 발명에 따른 영상 부호화기는 화질선택 입력부(20), 복잡도 분류부(21), 색민감도 분류부(22), 시감특성 분류부(23), 분산값 분류부(24), 히스토그램 계산부(25), 양자화간격 참조부(26), 비트 모델부(27), 비트 발생량 계산부(28), 참조 양자화간격 조절부(29), 목표비트 계산부(30), 목표비트 할당부(31), 최종양자화간격 조절부(32)를 포함한다.

상기 화질선택 입력부(20)는 특정 VOP의 화질을 임의의 단계로 조절하기 위한 명령의 입력부이다.

복잡도 분류부(21)는 부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 복잡도를 분류한다.

색민감도 분류부(22)믐 부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 색민감도를 분류한다.

시감특성 분류부(23)는 부호화할 VOP단위내에 위치하는 각 매크로 블럭에 대해 상기 복잡도 분류부(21) 및 색민감도 분류부(22)에서 분류된 영상의 복잡도 분류값과 색민감도 분류값을 종합하여 시감특성을 분류한다.

분산값 분류부(24)는 부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 비트 발생량 예측을 위해 블럭단위의 분산값을 분류한다.

히스토그램 계산부(25)는 임의의 양자화간격에 대한 비트발생량 예측에 사용하기 위해 블럭당 분산 분류값과 시감특성분류값에 기초한 히스토그램을 계산한다.

양자화간격 참조부(26)는 상기 시감특성 분류부(23)에 의해 분류된 각 클래스에 대한 시감열화정도가 일정한 양자화간격을 보관한다.

비트 모델부(27)는 부호화기에서 사용하는 양자화기 매트릭스(Quantizer Matrix)에 제작된 비트 발생율 추정을 위한 비트 모델을 계산하여 보관한다.

비트 발생량 계산부(28)는 상기 비트 모델과 히스토그램 계산부(25)에서 구해진 히스토그램 및 상기 양자화간격 참조부(26)에 보관된 참조 양자화간격에 의해 예측되는 비트 발생량을 계산한다.

기준 양자화간격 조절부(29)는 상기 목표비트 할당부(31)에서 VOP별 목표 비트를 할당하는데 있어 상기 화질선택 입력부(20)에서 지정된 원하는 특정 VOP등에 비트할당을 원하는 비율 만큼 가변하면서도 전체 프레임의 목표비트량을 유지시키기 위해 참조 양자화간격을 조절하여 기준양자화간격을 생성한다.

목표비트 계산부(30)는 각 VOP별 목표 비트량을 계산한다.

목표비트 할당부(31)는 상기 비트 발생량 계산부(3028)에서 계산된 예측비트 발생량을 기준 양자화간격 조절부(29)에서 출력되는 값에 의해 가변시켜 상기 목표비트 계산부(30)에서 계산된 목표비트와의 차를 보상한다.

최종양자화간격 조절부(32)는 각 블럭별 처리시 목표비트에 근접시키기 위해 조절된 기준 양자화간격 및 매크로 블럭의 시감특성 분류 클래스, 블럭당 분산값 분류 클래스, 버퍼 점유량등을 고려하여 최종 양자화간격을 조절한다.

상기와 같이 구성되는 본 발명의 영상 부호화기는 다음과 같이 동작한다.

사용자가 임의의 VOP번호를 입력하거나 마우스로 프레임 내의 특정부분을 클릭하게 되면 해당 VOP가 선택되고, 그 VOP의 화질을 상대적으로 조절할 수 있는 상태에 있게 된다. 그다음, 키보드나 마우스 등의 입력수단을 사용하여 해당되는 VOP의 화질의 단계 또는 화질의 가감비율을 입력하게 된다. 이때 입력되는 값은 해당 VOP의 절대적인 화질단계 또는 상대적인 가감비율일 수 있다. 또한 VOP 선택과 화질단계 선택을 별도로 하지 않고 “VOP 1번을 최상의 화질로”와 같이 VOP 선택과 화질단계 선택을 동시에 할 수도 있다. 입력된 VOP 번호와 화질의 단계 등은 VOP별 목표비트 계산부(30)에 출력된다.

복잡도 분류부(21)는 본 발명에서는 인간의 시감 특성을 충분히 반영하기 위한 수단으로써 VOP내의 블럭에 대해 공간 주파수 계산과 Color Tolerance를 혼합한 텍스쳐 마스킹(Texture Masking)을 계산하고 분류한다. Texture Masking은 Color Tolerance 룩업표(Look Up Table)에 의해 도출되는 임계치(th)를 이용하여 매크로 블록의 공간 주파수를 아래 수학식 1과 같이 계산된다.

즉, Texture Masking은 수평방향과 수직방향에 대하여 별도로 계산되어 가산되는데, 이때 인접 화소간의 휘도 신호의 밝기 차이가 임계치보다 클 경우에만 휘도 신호 밝기의 변화를 인간이 식별할 수 있으므로 공간 주파수를 계산할 때 반영하고, 인접 화소간의 휘도 신호의 밝기 차이가 임계치보다 작을 경우에는 공간 주파수 계산에 반영하지 않는다.

상기 수학식 1과 같은 texture masking 수단을 사용하면 복잡한 신호와 간단한 신호를 명확히 구별할수 있게 된다. 즉, 도 3은 매크로 블럭의 복잡도를 예시하는 도면인데, 후술하는 분산값만을 사용할 경우 두 매크로 블럭의 복잡도가 구분이 되지 않지만, texture masking 수단을 사용하면 좌우측의 두 매크로 블럭을 명확하게 구별할 수 있으므로 영상 신호의 복잡도를 시감에 근접하게 계산할 수 있다. 또한 본 발명의 texture masking은 단순히 인접 화소간의 차이를 모두 고려하는 것이 아니고 인접 화소간의 휘도 신호의 밝기 차이가 임계치보다 클 경우에만 반영하므로, 매크로 블록의 영상 신호에 대한 인간의 시감 특성을 충분히 반영할 수 있다.

그리고 상기와 같이 계산된 Texture Masking을 토대로 복잡도 분류부(21)는 매크로 블럭의 복잡도를 4개의 클래스 중 하나로 분류한다.

색민감도 분류부(22)는 16*16 매크로 블록을 8*8 블록 4개로 분리하고 각각의 블럭에 대해 평균색을 구한다. 구해진 평균색에 대해 색차 룩업표를 참조하여 각 블럭의 색민감도값을 구한다. 이때 4개의 블럭중 색민감도 값이 가장 작은 것을 그 매크로 블록의 색민감도 클래스로 결정한다. 색 민감도 클래스는 총 8개로 구성된다.

시감특성 분류부(23)는 상기 복잡도 분류부(21)과 색민감도 분류부(22)에서 각각 계산하여 분류한 복잡도 분류값과 색민감도 분류 클래스의 조합에 의해 시감특성을 분류한다. 조합의 방법은 복잡도 분류 클래스를 8개, 색민감도 분류 클래스를 4개로 총 32개(8*4)로 균등분할하는 방법과 일반적인 화상의 특성상 색민감도 클래스의 분류가 2∼3등의 구간에 많이 분포하는 점을 이용하여 색민감도분류를 4개로 한 후 그 값에 따라 복잡도 분류 구간을 재 분류하여 전체 시감특성 분류를 32개로 할 수도 있다.

분산값 분류부(24)는 블록의 분산값을 계산하고 분류하는데, 상기 분산값은 영상신호를 특정 양자화 간격으로 양자화할 경우의 블록 비트 발생량을 예측하기 위해 사용된다.

도 4는 양자화간격, 분산값 및 비트발생량간의 관계를 도시한 그래프이다. 일반적으로 같은 양자화 간격으로 양자화할 경우의 비트 발생량은 영상신호의 분산값에 비례하고, 같은 분산값을 갖는 영상신호의 비트발생량은 양자화간격에 반비례하기 때문에 양자화간격과 신호의 분산값을 알면 비트 발생량은 90% 정도 예측이 가능하다. 하지만 양자화 간격과 분산값, 비트 발생량의 관계가 신호의 특성에 따라 불규칙하기 때문에 단순한 수식에 의해 예측하는 것이 쉽지 않다. 따라서 통계적인 특성을 추출하여 비트발생량을 예측하기 위해, 블록의 분산값을 아래 수학식 2로 구한 후 16개의 클래스 중 하나로 분류하고 여러 종류의 실험 영상에 대해 통계적 평균을 구함으로써 양자화 간격과 블록의 분산값의 관계에 의한 비트 발생량을 만든다.

비트 발생량을 정확하게 예측하기 위해서는 블록의 분산값 분류구간을 적절하게 결정해야 한다. 본 발명에서는 블럭 분산값의 분류구간을 충분히 작게 하여 실험영상의 각 구간의 블록 발생 빈도수, 블록 분산값, 양자화 간격, 비트 발생량을 조사한 뒤 각 구간의 비트 발생량과 블록 발생 빈도를 고려한 확률 평균 예측 오차가 같게 되는 16개의 분류 구간 및 실제 영상압축시 건너 뛰는 블럭(Skiped Block)을 위한 1개의 분류구간으로 구성, 총 17개의 분류구간으로 결정하였다. 여기서 건너뛰는 블럭(Skipped Block)이란 현재 프레임이 직전 프레임과 동일하여 그 사실만을 나타내고 프레임 영상정보 전송을 하지 않게 되는 블럭을 말한다.

복잡도 분류의 분류구간의 경우는 시감특성을 반영하기 위한 것이므로 프레임내 코딩(Intraframe Coding)이나 프레임간 코딩(Interframe Coding)에 관계없이 원 영상신호에 대하여 구해지지만, 블럭 분산값 분류의 경우는 양자화할 영상 신호의 비트 발생량을 예측하기 위한 것이므로 Intraframe Coding에 대해서는 원영상 신호에 대해서 구해지고 Interframe Coding의 경우는 DPCM된 차 영상 신호에 대해 적용한다. 따라서 Intraframe Coding, Interframe Coding에 따라 별개의 분류 구간이 필요하다. 표 1은 블록 분산값 분류 구간을 나타낸다.

분산값 분류 구간	Intraframe Coding	Interframe Coding
0	∼ 16	∼ 8
1	∼ 32	∼ 16
2	∼ 64	∼ 32
3	∼ 128	∼ 48
4	∼ 256	∼ 64
5	∼ 384	∼ 96
6	∼ 512	∼ 128
7	∼ 768	∼ 160
8	∼ 1024	∼ 192
9	∼ 1280	∼ 256
10	∼ 1792	∼ 320
11	∼ 2048	∼ 448
12	∼ 3072	∼ 640
13	∼ 4096	∼ 896
14	∼ 6154	∼ 1536
15	∼ ∞	∼ ∞
16	Skip Block	Skip Block

히스토그램 계산부(25)는 시감특성 분류부(23)의 분류 결과와 블럭 분산값 분류결과에 의하여 처리하고 있는 현재 프레임의 블럭 누적 발생 빈도수(히스토그램)를 계산한다. 이 히스토그램에 의해서 다음 프레임 또는 VOP의 비트 발생량을 추정할 수 있고 추정된 값과 목표 값을 조정할 수 있다. 영상신호는 이전 프레임이나 VOP간의 상관성이 매우 높으므로 히스토그램 계산은 부호화하려는 현재 프레임이나 VOP의 영상신호에 대해 구할 필요없이, 이전 프레임의 계산 결과를 이용할 수 있다. 따라서 히스토그램 계산을 위한 시간적인 지연이 별도로 필요하지 않기 때문에 실시간 처리가 가능하다. 총 32*17가지의 분류 경우에 대한 히스토그램 계산 결과를 H[Mc][Bv]라고 정의한다. 예를 들어 H[2][3]는 매크로 블럭의 시감특성 분류 클래스가 2이고 블럭의 분산 분류 클래스가 3인 블록의 프레임 또는 VOP내의 발생 빈도수를 나타낸다. 따라서 히스토그램에 의해 영상신호의 프레임/VOP내 분포를 알 수 있다. 또한 히스토그램은 후술하는 참조 양자화단계수(Reference Quantization step size)를 적용하였을 경우의 비트 발생량 추정 및 목표비트발생량에 맞는 양자화간격의 조정등에 사용된다.

일반적으로 같은 양자화 간격으로 어떤 영상에 대해 양자화할 경우에 영상의 신호 특성에 따라 그 비트 발생량이 크게 다르다. 그러므로 주어진 목표비트량에 근접토록 하려면 양자화 간격을 조정해 주어야 한다. 이때 양자화간격을 얼마나 조정해야 하는 지의 조정폭을 결정하기 위해서는 임의의 값으로 양자화했을 때의 비트발생량을 알아야 한다. 이를 위해 만약 어떤 값으로 양자화해보고 그 때의 비트 발생량에 따라 양자화간격의 조정폭을 결정해야 한다면 시스템의 복잡도뿐만 아니라 실시간처리에 장애가 된다. 본 발명은 이러한 문제를 해결하기 위해서 비트 발생량 예측을 위한 표(비트 모델)를 만들어 적용한다.

비트 모델은 임의의 블록을 1∼31까지의 각 양자화간격으로 양자화할 경우의 블록에서 발생할 비트 발생량의 예측치를 의미하고, 후술(後述)할 참조 양자화 간격(Reference Quantization step size)을 조정하기 위한 비트 발생량 예측과 매크로 블록 단위의 목표비트를 적응적으로 할당하기 위한 도구로 사용된다. 비트 모델은 양자화간격, 분산값, 비트발생량의 관계로부터 도출되며 16개(17개중 1개는 Skipped Block)의 블럭 분산값 분류구간에서 각각의 양자화간격으로 양자화할 경우의 블록 비트 발생량의 평균값을 계산하여 구한다. 비트모델은 고정된 값이므로 부호화과정에서 별도로 구할 필요가 없이 어떤 양자화기 매크릭스(Quantizer Matrix)를 사용했느냐에 따라 그 Quantizer Matrix에 맞는 비트 모델을 사용하면 된다.

양자화간격 참조부(26)는 상기 시감특성 분류부(23)에 의해 분류된 각 클래스에 대한 시감열화정도가 일정한 양자화간격을 보관하고 있게 된다.

시감특성 분류부(23)에 의해 분류된 영상은 각 Class별로 양자화간격에 대한 열화 특성이 다르다. 따라서 양자화 간격에 따른 화질 열화정도를 여러 시험 영상에서 실험해서 동일한 열화정도를 갖는 각 Class별 양자화 간격을 얻을 수 있다. 이때 화질의 열화정도는 같은 시감특성 분류 Class로 분류되더라도 차이가 발생할 수 있기 때문에 여러 영상에 대해서 그 평균을 취하여 구한다. 이 값들은 참조 양자화 간격으로 사용되고 VOP당 발생한 비트를 예측하는데 사용된다.

VOP내의 모든 매크로블록을 시감특성 분류부(23) 및 히스토그램부에 의해서 구해진 값을 참조하여 비트발생량을 예측할 수 있다. 실험에 의하면 90% 이상의 정확도로 예측이 가능하다. 비트 발생량 계산부(28)는 비트모델과 히스토그램을 이용하여 수학식 3와 같이 VOP비트발생 예측치를 구한다.

여기서 B는 비트 모델, Rq는 양자화단계수, H는 히스토그램, Mc는 색민감도 클래스, Bv는 블럭 분산값 클래스를 나타낸다. 이때 블록 분산값 클래스(Bv)가 16인 경우는 Skip되는 블럭으로 여기서는 텍스쳐 비트 발생이 없다.

위의 식에 의해 구해지는 값은 단지 텍스쳐 비트의 추정치일 뿐이다. 일반적으로 MPEG-1이나 MPEG-2등의 경우는 프레임단위로 처리하기 때문에 비트발생량은 텍스쳐 비트(Texture Bit)와 움직임 정보 비트(Motion Bit)값이 거의 대부분을 이룬다. 그러나 MPEG-4에서와 같이 Object별 처리가 필요한 경우에는 Object를 표현할 모양 비트(Shape bit)가 추가로 필요하게 된다. 따라서 비트발생량의 조절은 주로 텍스쳐 비트의 양자화 단계수(Quantization Step size)를 사용하여 가능케하는 것이므로 상기한 움직임 정보 비트와 모양 비트 등도 고려 되어야 한다. 텍스쳐 비트에 움직임 정보 비트 및 모양 비트를 추가하여 VOP내의 총 비트 발생량을 구하면 아래 수학식 4와 같이 구해진다.

상기 수학식 3에 의해서 구해진 예측치는 먼저 참조 양자화단계수(Reference Quantization Step size)에 의해 구해지게 되는데 이 값에 의해서 프레임내의 여러 VOP들간에 목표비트를 조절할 수 있다. 즉 먼저 각 VOP를 참조 양자화단계수로 비트 발생량을 추정하는 것에 의해서 모든 VOP가 비슷한 화질을 가지는 상호 비트발생량의 비율을 계산할 수 있기 때문에 그 값을 참조하여 후술할 각 VOP당 목표비트 할당에 사용한다. 다음의 비트 발생량예측은 후술할 VOP별 목표비트 조절을 위해서 참조 양자화단계수를 각 VOP에 맞게 조절해주는 과정이 필요한데 이때는 조절되는 양을 결정하기 위해서는 어떤 양자화단계수로 코딩할 경우 목표비트에 근접할 것인가를 예측을 통해서 수행한다.

목표비트 계산부(30)는 각 VOP별 목표 비트량을 계산한다. 영상은 Intra frame과 Inter frame등으로 구분되는데 각각을 같은 양자화간격으로 부호화하더라도 그 비트발생율이 다르다. 따라서 목표 비트율과 처리할 프레임수 및 프레임의 종류에 따라 기본적으로 프레임당 목표비트를 할당할 수 있다. 프레임당 목표비트는 한 전송단위로 정해진 수개의 프레임에 있어 현재까지 전송된 프레임에 사용된 비트량, 다시말해서 남아있는 비트량에 의해 가변고, 아울러 프레임내의 각 VOP들의 목표비트는 히스토그램과 각 VOP가 포함하는 매크로블럭의 수에 의해서 비율이 정해지나. 정해진 각 비율들은 화질선택 입력부(20)에서 입력된 특정 VOP번호와 원하는 가중비율에 따라 각 VOP사이에 목표비트가 재조정된다. 이에 따라 각 VOP당 원하는 목표 비트가 동적으로 할당된다.

참조 양자화간격 조절부(29)는 상기 목표비트 할당부(31)에서 VOP별 목표 비트 할당함에 있어 상기 화질선택 입력부(20)에서 지정된 원하는 특정 VOP등에 비트할당을 원하는 비율 만큼 가변하면서도 전체 프레임의 목표비트량을 유지시키기 위해 양자화간격 참조부(26)의 값을 각 VOP별로 할당한다.

이를 위해 먼저 이전 프레임의 해당 VOP에서 구해진 히스토그램을 사용해서 비트발생량을 추정하는 과정을 반복하는데 차이점은 참조 양자화단계수에 값을 가감하면서 목표비트에 가장 근접한 곳의 참조 양자화단계수값에 더해지거나 빼진 값을 구한다. 그다음 32개의 참조 양자화단계수에 대해서 위에서 구해진 더해지거나 빼진값을 더하고 이전 프레임의 해당되는 VOP에 적용되었던 양자화단계수와의 차를 구한다. 마지막으로 구해진 차가 이전에 적용되었던 양자화단계수의 10 % 를 초과할 경우 이전에 적용되었던 양자화단계수에 10 %를 가감하여 현재의 VOP에 적용한다.

목표비트 할당부(31)는 상기 예측비트 발생량을 양자화간격 참조부(26)의 값 가변에 의해 상기 목표비트 계산부(30)에서 계산된 목표비트와의 차를 보상한다.

프레임당 목표비트가 결정되면 VOP가 있는 경우 VOP별 목표비트를 할당해야한다. 이때 특정의 VOP에 대해서 화질의 가변등을 수행하기 위해 타 VOP에 비해 상대적인 목표비트 할당의 가감이 필요하게 된다. 즉, 중요도가 높은 VOP에 대해서는 목표비트를 증가시키고 증가된 만큼의 비트를 중요도가 높은 VOP에서 차감하게 된다.

상기의 과정으로 구해진 VOP별 양자화단계수는 저장되어 처리되는 각 VOP내의 매크로블록의 시감특성 분류 클래스에 따라 적용된다. 최종양자화간격 조절부(32)는 각 블럭별 처리시 목표비트에 근접시키기 위해 조절된 참조 양자화간격(Reference Quantization Step Size) 및 매크로 블럭의 시감특성 분류 클래스, 블럭당 분산값 분류 클래스, 버퍼 점유량등을 고려하여 최종양자화간격을 조절한다.

표 4는 도 5(b)와 같이 VOP가 분할된 도 5(a)의 News CIF 300 프레임 영상을 초당 7.5프레임 Subsampling하고 총목표비트량은 240 kbps를 주었을 경우의 비트 발생 결과를 나타낸 것이다. 이 표에서는 전체를 같은 비율로서 코딩한 예와 VOP 0, VOP 1, VOP 2를 각각 가중한 예를 비교하였다. 각 예에 있어서, 글씨부분의 경우 움직임이나 모양 변화가 거의 없고 같은 색으로 구성되어 있어 열화가 상대적으로 적게 나타나므로 각 예에 있어서 비트 발생량을 같게 코딩하였다. 표 4는 비록 각 예에 있어서 상대적인 비트발생율이 다를지라도 전체 비트 발생율은 동일하게 유지하는 결과를 보이고 있다. 결과에 의하면 전체 비트발생량은 목표비트량에 근접하면서도 각 VOP에서의 비트 발생량은 차이를 줄 수 있음을 알 수 있다.

VOP 번호	Frame 전체	VOP 0 가중	VOP 1 가중	VOP 2 가중
VOP 0	442,611	528,230	405,085	416,165
VOP 1	780,676	720,830	992,531	554,913
VOP 2	999,325	947,106	814,156	1,251,626
VOP 3	206,591	209,270	203,814	205,745
합 계	2,429,203	2,429,203	2,429,203	2,429,203

본 발명은 기존의 영상 부호화 방법중의 비트율 조절부에서 기존의 방법이 주로 화상의 통계적인 특성만을 적용하는데 반해 색시감특성을 적용하여 화질의 열화를 균일하게 유지하면서도 원하는 비트발생량을 유지할 수 있는 방법에 관한 것으로, 특히 MPEG-4등과 같이 화상의 특정부분을 원하는 화질로 처리가능케 하는 코덱 구조를 가진 영상처리 방법등에서 사용자가 지정한 특정 VOP내의 화질을 상대적으로 가변시키면서도 전체 비트발생량을 일정하게 유지할 수 있는 장점이 있다. 예를 들어 동화상전화등의 정해진 저전송통로를 가진 화상 기기등에서 모든 부분의 화질 열화가 두드러질 경우 얼굴부분 만은 양호한 화질을 유지하고 나머지부분은 상대적으로 화질이 저하되게 하는 등의 응용이 가능하게 된다. 이렇게 함으로써 제한된 환경하에서도 전체 전송량은 일정하게 유지시키면서도 관심부분의 화질은 상대적으로 양호하게 유지함으로 사용자의 요구에 부응할 수 있다. 또 화상의 특성상 서로 다른 양자화 간격을 사용하여 압축하더라도 균일한 화질을 유지하게 할 수 있으므로 기존의 프레임이나 VOP에 동일한 양자화간격을 적용하는 방식에 비해 같은 비트가 발생하더라도 고화질을 달성할 수 있는 잇점이 있다. 본 발명은 MPEG-1, MPEG-2, MPEG-4나 H.263등의 방식에 의해 부호화할 때 원하는 비트발생량을 유지하기 위해 사용될 수 있다.

상술한 본 발명에 따른 비트발생량 조정방법은 MPEG-1, MPEG-2, H.263등의 프레임단위 처리가 가능한 코덱 구조에서 뿐만 아니라 MPEG-4등에서의 Video Object Plane단위의 처리에 있어서도 각 Object별 압축률 제어가 가능한 방법에 관한 것이다. 본 발명은 따라서 프레임내의 특정 Object에 대해서 사용자가 화질의 조정이 가능케 하면서도 주어진 전체 압축율은 일정하게 유지시킴으로써 동화상전화나 원격영상회의(Video Tele Conferencing)등에서 전송선의 제약으로 전체의 화질이 열화되는 문제점을 특정 관심영역의 경우 조절가능케 하는 잇점이 있으며 기존의 프레임 단위의 압축율 조정방법에 있어서도 기존의 방법이 주로 화상의 Variance와 Buffer점유량등에 의해 압축율을 제어하는 데 반해 화상특성분류를 통해 화질열화 정도에 따라 그 양자화간격을 조절하는 방법으로 같은 압축율에서도 향상된 화질을 제공하는 장점을 가지고 있다.

Claims

영상 입력부에서 입력받은 원영상 또는 차영상을 사용하여 각 매크로 블록 단위의 양자화 간격을 출력하는 비트발생량 조절 장치에 있어서, 상기 장치는

특정 VOP의 화질을 임의의 단계로 조절하기 위한 명령을 입력하는 화질선택 입력부;

부호화할 VOP단위내에 위치하는 각 매크로 블럭에 대해 영상의 복잡도와 색민감도를 종합하여 시감특성을 분류하는 시감특성 분류부;

부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 비트 발생량 예측을 위해 블럭단위의 분산값을 분류하는 분산값 분류부;

임의의 양자화간격에 대한 비트발생량 예측을 위해 상기 블럭당 분산 분류값과 시감특성분류값에 기초한 히스토그램을 계산하는 히스토그램 계산부;

부호화기에서 사용하는 양자화기 매트릭스에 제작된 비트 발생율 추정을 위한 비트 모델을 계산하여 보관하는 비트 모델부;

상기 시감특성 분류부에 의해 분류된 각 클래스에 대한 시감열화정도가 일정한 참조 양자화간격을 보관하는 양자화간격 참조부;

각 VOP별 목표 비트량을 계산하는 목표비트 계산부;

상기 비트 모델 및 히스토그램 계산부에서 구해진 히스토그램과 상기 양자화간격 참조부에 보관된 참조 양자화간격에 의해 예측되는 비트 발생량을 계산하는 비트 발생량 계산부;

상기 비트 발생량 계산부에서 계산된 예측비트 발생량을 양자화간격 참조부에서 출력되는 값에 의해 가변시켜 상기 목표비트 계산부에서 계산된 목표비트와의 차를 보상하는 목표비트 할당부; 및

상기 목표비트 할당부에서 VOP별 목표 비트를 할당하는데 있어 각 VOP에 대한 비트할당을 원하는 비율 만큼 가변하면서도 전체 프레임의 목표비트량을 유지시키기 위한 기준 양자화간격을 생성하는 기준 양자화간격 조절부;

를 포함하는 것을 특징으로 하는 비트발생량 조절 장치
제1항에 있어서,

부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 복잡도를 분류하는 복잡도 분류부; 및

부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 색민감도를 분류하는 색민감도 분류부;

를 더 포함하는 것을 특징으로 하는 비트발생량 조절 장치
영상 입력부에서 입력받은 원영상 또는 차영상을 사용하여 각 매크로 블록 단위의 양자화 간격을 출력하는 비트발생량 조절 방법에 있어서, 상기 방법은

특정 VOP의 화질을 임의의 단계로 조절하기 위한 명령을 입력하는 단계;

부호화할 VOP단위내에 위치하는 각 매크로 블럭에 대해 영상의 복잡도와 색민감도를 종합하여 시감특성을 분류하는 단계;

부호화할 VOP내에 위치하는 각 매크로 블럭에 대해 영상의 비트 발생량 예측을 위해 블럭단위의 분산값을 분류하는 단계;

임의의 양자화간격에 대한 비트발생량 예측을 위해 상기 블럭당 분산 분류값과 시감특성분류값에 기초한 히스토그램을 계산하는 단계;

부호화기에서 사용하는 양자화기 매트릭스에 제작된 비트 발생율 추정을 위한 비트 모델을 계산하여 보관하는 단계;

상기 분류된 각 시감특성 클래스에 대해 시감열화정도가 일정한 양자화간격을 보관하는 단계;

각 VOP별 목표 비트량을 계산하는 단계;

상기 비트 모델과 히스토그램 및 참조 양자화간격에 의해 예측되는 비트 발생량을 계산하는 단계;

상기 비트 발생량을 양자화간격 참조부에서 출력되는 값에 의해 가변시켜 상기 목표비트와의 차를 보상하는 단계; 및

상기 VOP별 목표 비트를 할당하는데 있어 상기 입력된 명령에 따라 원하는 특정 VOP에 대한 비트할당을 가변하면서 전체 프레임의 목표비트량을 유지시키는 단계;

를 포함하는 것을 특징으로 하는 비트발생량 조절 방법