KR100390167B1 - 화상 부호화방법 및 화상 부호화장치 - Google Patents

Abstract

본 발명은, 입력 화상신호를 각각 적어도 하나의 프레임을 포함하는 다수의 시간적으로 연속적인 장면으로 분할하고, 각각의 장면에 대한 통계적인 특징량을 산출하고, 상기 통계적인 특징량에 기초하여 각각의 장면에 대한 부호화 파라메터를 생성하며, 부호화 파라메터를 이용하여 입력 화상신호를 부호화 하는 화상 부호화방법 및 화상 부호화장치를 제공한다.

Description

화상 부호화방법 및 화상 부호화장치{VIDEO ENCODING METHOD AND VIDEO ENCODING APPARATUS}

본 발명은 인터넷 등을 통한 화상 전송시스템과 화상 데이터베이스 시스템에 이용된 MPEG체계 등과 같은 화상 압축 및 부호화 기술에 관한 것이다. 특히, 본 발명은 장면의 콘텐트에 기초한 부호화 파라메터에 따라 데이터를 부호화 함으로써, 데이터 크기를 증가시키지 않고 쉽게 보이도록 한 장면마다 통합된 부호화 화상을 제공할 수 있는 화상 부호화방법 및 화상 부호화장치에 관한 것이다.

화상 부호화를 위한 국제표준인 MPEG체계는, 공지된 바와 같이, 동작보상 예측, DCT(Discrete Cosine Transformation) 및 가변길이 부호화의 조합에 의해 화상을 압축하기 위한 기술이다. MPEG체계는, 예컨대 참조1("MPEG", The Institute of Television Enginners edition, Ohmsha, Ltd)에 상세하게 기술되어 있다.

MPEG체계에 기초한 종래의 화상 부호화장치에 있어서, 압축된 화상데이터는 지정된 전송률로 전송선에 의해 전송되거나, 또는 기록용량을 한정된 기록매체에 기억시킨다. 이 때문에, 프로세싱은 프레임율과 양자화폭 등과 같은 부호화 파라메터를 셋팅하고, 출력된 부호화 비트스트림의 비트율이 지정된 값으로 될 수 있도록 부호화를 수행하기 위한 비율제어와 관련된다. 종래의 비율제어에 있어서, 고정 양자화폭에 대하여 선행 프레임 부호화의 결과로서 생성된 비트수에 따라 프레임율을 결정하는 방법이 종종 채용된다.

종래에는, 부호화 비트스트림이 임시로 기억된 버퍼의 용량에 따라 미리 설정된 프레임 스킵(skip) 임계치와 현재의 버퍼용량간 차이(마진)에 기초하여 프레임율이 결정된다. 버퍼용량이 임계치 이하이면, 고정 프레임율로 데이터가 부호화 된다. 버퍼용량이 임계치 이상이면, 프레임율을 감소시키도록 프레임 스킵핑(skipping)이 수행된다.

그러나, 이러한 방법의 경우, 선행 프레임에 생성된 부호화 비트수가 크면, 버퍼용량이 프레임 스킵 임계치 이하가 될 때까지 프레임 스킵핑이 수행된다. 이 때문에, 프레임과 다음 프레임간 거리가 너무 넓어지고, 그 결과 화상이 불리하게 부자연스러워진다.

즉, 종래의 비율제어에 의하면, 프레임율과 양자화폭이 기본적으로 화상의 콘텐트(content)에 상관없이 설정된다. 그 이유 때문에, 사물(물체)이 활발하게 움직여 화상의 장면에 프레임율이 저하되어 사물의 동작이 부자연스러워진다. 또한, 부적당한 양자화폭으로 인해 픽처가 일그러져, 픽처를 시각적으로 인식하기 어려워진다.

또한, 2-패스(two-pass) 부호화로서 언급된 기술에 기초한 공지의 비율제어방법도 있다. 이 기술은, 예컨대 참조2(일본 특허출원공개공보 제10-336675호)에 기술되어 있다. 참조2에 기술된 바와 같이, 화상파일이 2번 부호화 되고, 화상파일의 전체적인 특징이 제1부호화에 의해 분석되고, 분석결과에 기초한 적절한 부호화 파라메터를 설정함으로써 제2부호화가 수행되며, 제2부호화의 결과에 의해 얻어진 부호화 비트스트림이 전송되거나 기록된다. 그러나, 2-패스 부호화는, 부호화 파라메터가 기본적으로 화상의 콘텐트에 상관없이 관습적으로 설정되기 때문에, 상술한 바와 같은 동일한 문제를 갖는다.

상술한 바와 같이, 종래의 화상 부호화장치에 있어서, 프레임율과 양자화폭 등과 같은 부호화 파라메터는 비율제어를 수행할 때 화상의 콘텐트에 상관없이 설정된다. 이 때문에, 사물이 활발하게 움직이는 화상의 장면에 프레임율이 갑자기 저하되어 사물의 동작이 부자연스러워진다. 또한, 부적당한 양자화폭으로 인해, 화상이 일그러진다. 따라서, 종래의 화상 부호화장치는 화상품질의 저하가 두드러지는 문제점을 갖게 된다.

본 발명은 상기한 점을 감안하여 이루어진 것으로, 지정된 값으로 부호화 비트율을 유지하면서 장면의 콘텐트에 적합한 화상품질로 화상을 부호화 할 수 있는 화상 부호화방법 및 화상 부호화장치를 제공하는 것에 그 목적이 있다.

도 1은 본 발명에 따른 제1실시예에 있어서 화상 부호화장치의 구성을 나타낸 블록도,

도 2는 실시예의 아웃라인을 설명하기 위해 장면의 콘텐트에 따른 화상 부호화의 일예를 나타낸 도면,

도 3은 실시예에 있어서 부호화 처리과정을 나타낸 순서도,

도 4는 실시예에 있어서 장면분할을 위한 처리과정을 나타낸 순서도,

도 5는 실시예에 있어서 장면분할을 만들기 위한 장면 구획을 결정하는 결정동작을 설명하기 위한 설명도,

도 6은 실시예에 있어서 프레쉬 프레임 결정동작을 설명하기 위한 설명도,

도 7은 실시예에 있어서 동작벡터에 기초한 프레임타입 분류를 설명하기 위한 설명도,

도 8은 실시예에 있어서 모스키토 노이즈가 나타나기 쉬운 매크로블록의 결정을 설명하기 위한 설명도,

도 9는 실시예에 있어서 엣지가 존재하는 매크로블록의 결정을 설명하기 위한 설명도,

도 10은 본 발명에 따른 화상 부호화를 실행하기 위한 프로그램이 기억된 기록매체를 채용한 컴퓨터장치를 나타낸 도면이다.

상기한 과제를 해결하기 위한 본 발명에 의하면, 압축된 화상데이터가 한정된 기억용량의 기록매체에 기억되거나 인터넷을 통해 다운로드 될 경우, 고정된 데이터 크기의 조건으로 가능한한 장면에 적합한 양자화폭이나 프레임율로 데이터를 효과적으로 부호화 하는 것은 중요하다. 이 때문에, 생성된 비트수가 장면의 콘텐트에 항상 관련되지 않기 때문에, 양호한 픽처를 얻기 위해, 장면상에 사물의 동작과 장면의 콘텐트에 기초하여 부호화 파라메터가 결정되는 것이 요망된다.

본 발명은, 입력 화상신호를 각각 적어도 하나의 프레임으로 구성된 다수의 시간적으로 연속적인 장면으로 분할하고, 장면마다 통계적인 특징량을 산출하며, 부호화 파라메터를 이용하여 입력 화상신호를 부호화 하기 위한 화상 부호화방법 및 화상 부호화장치를 제공한다.

여기서, 통계적인 특징량은 장면마다 입력신호의 각 프레임에 존재하는 동작벡터의 크기 및 분포를 합계함으로써 산출된다. 부호화 파라메터는, 예컨대 적어도 하나의 프레임율과 하나의 양자화폭을 포함한다.

합계 외에, 장면마다 각 프레임에 존재하는 동작벡터의 크기와 분배 및, 통계적인 특징량에 따라, 프레임이 화상내의 사물의 동작 및 입력 화상신호를 얻을 때 사용된 카메라의 동작에 기초하여 동작벡터의 크기와 분배에 의한 타입으로 분류됨으로써 그 프레임의 타입에 따라 장면을 분류하고, 부호화 파라메터는 장면의 분류에 따라 생성된다.

매크로블록의 유닛의 양자화폭이 부호화 파라메터로서 생성되면, 부호화 해야 할 프레임 내의 매크로블록중에서, 소정 값 이상으로 인접한 매크로블록의 루미넌스의 편차와 다른 루미넌스의 편차를 갖는 매크로블록의 양자화폭과 사물의 엣지가 존재하는 매크로블록의 양자화폭이 다른 매크로블록의 양자화폭과 비교하여 비교적 작게 이루어진다.

이러한 방식에 있어서, 본 발명에 의하면, 입력 화상신호의 장면마다 산출된 통계적인 특징량에 기초하여 입력 화상신호를 부호화 하기 위해 이용된 부호화 파라메터가 장면마다 생성됨으로써, 사물의 동작이나 카메라의 동작이 활발할 때프레임율이 감소하여 부호화된 화상의 시각품질이 저하하는 것을 방지할 수 있다.

더욱이, 화상의 사물의 동작, 카메라의 동작 등에 기초한 화상특징량은 각 매크로블록에 대한 프레임율이 변경되거나 양자화폭이 변경되는 것에 기초한 부호화 파라메터에 반영됨으로써, 동일한 생성 비트수에서 조차 각 장면이 통합된 양호한 복호화 화상을 얻을 수 있게 한다.

더욱이, 본 발명은 2회 이상 동일한 화상파일의 입력 화상신호를 부호화 하기 위한 화상 부호화장치에 적용할 수 있다. 즉, 입력 화상신호의 장면마다 산출된 통계적인 특징량에 기초한 입력 화상신호가 장면마다 생성된 제1부호화 파라메터를 이용하여 부호화 됨으로써 상기 제1부호화의 결과로 생성된 부호 스트링(string)의 생성된 비트수가 목표비트수의 과잉 또는 부족인지의 여부를 판정하고, 상기 판정결과에 기초하여 상기 제1부호화 파라메터가 수정됨으로써 제2부호화 파라메터가 제공되고, 상기 제2부호화 파라메터를 이용하여 제2부호화가 입력 화상신호에 수행되며, 상기 부호 스트링이 부호화 출력으로서 출력된다.

알 수 있는 바와 같이, 생성된 비트수를 항상 모니터링 하면서 상기 생성된 부호화 파라메터가 수정되고, 부호화가 2회 이상 반복됨으로써, 목표비트수 이하의 데이터 크기를 갖는 양호한 부호화된 화상을 얻을 수 있는 부호화를 실현할 수 있다.

(실시예)

이하, 본 발명의 실시예를 도면을 참조하면서 상세히 설명한다.

도 1은 본 발명에 따른 제1실시예의 화상 부호화장치의 구성을 나타낸 블록도이다. 구성에 나타낸 바와 같이, 입력 화상신호(100)는, 동일한 신호를 반복적으로 재생성할 수 있는 디지털 VTR 또는 DVD시스템 등과 같은 화상 기록/재생성에 의해 재생성된 화상신호이다. 상기 신호(100)는 부호화부(10)로 입력된다. 본 실시예에 있어서, 상기 부호화부(10)는 MPEG체계에 기초한 화상 부호화장치와 구성이 동일하다.

상기 부호화부(10)에 있어서, 입력 화상신호(100)로부터 선택된 부호화 되는 프레임의 화상신호는 우선 프레임 메모리(11)에 기억된다. 프레임 메모리(11)로부터 독출된 부호화 되는 프레임의 화상신호(101)는 감산기(12)와 동작보상 예측기(19)에 입력된다. 동작보상 예측기(19) 내에는 동작벡터 검출기를 포함하고, 동작보상 예측을 행함으로써 예측신호(109)를 생성한다.

부호화 되는 프레임과 같이, 픽처타입은 I픽처, P픽처 및 B픽처의 3가지 타입이 있다. 동작보상 예측기(19)는, 부호화 되는 프레임이 I픽처이면 벡터를 검출하지 않고, 예측신호(109)로서 0을 출력한다. 예측기(19)는 부호화 되는 프레임의 화상신호(101)로부터 각 매크로블록에 대한 동작벡터를 검출하고, 예측신호(109)를 생성한다.

부호화 되는 프레임의 화상신호(101)간 매크로블록의 유닛에서 동작벡터가 검출되고, 기준 픽처신호는 이미 부호화 되어 화상메모리(18)에 기억된 프레임의 국소적으로 부호화 신호로 구성된다. 특히, 부호화 되는 프레임의 픽처신호(101)의 매크로블록과 최고의 상관관계를 갖는 기준 픽처신호의 매크로블록이 검출됨으로써, 기준 픽처신호의 매크로블록, 화상신호(101)의 매크로블록이 동작벡터와 같이 움직이는 것을 나타내는 정보를 검출한다.

동작보상 예측기(19)는 이러한 동작벡터를 이용함으로써 기준 픽처신호의 동작보상을 행한다. 즉, 동작보상 예측기(19)는 동작보상 프레임간 예측모드와 부호화 되는 프레임의 화상신호(101)가 이미 부호화 된 프레임간 부호화 모드(예측신호=0)로부터 선행 예측모드를 선택하고, 선택된 예측모드에 대응하는 예측신호(109)를 생성한다.

감산기(12)는 부호화 되는 프레임의 화상신호와 동작보상 예측기(19)로부터의 예측신호(109)간 차를 얻어, 예측 에러신호(102)를 생성한다. 이 예측 에러신호(102)는 이산코사인 변환기(13: Discrete cosine transformer)에 의해 소정 크기의 블록의 유닛에서 이산코사인 변환(DCT: Discrete Cosine Transformation)이 수행된다. 이산코사인 변환에 의해 얻어진 DCT계수 데이터(103)는 양자화기(14)에 의해 양자화 된다. 양자화기(14)에 의해 양자화 된 DCT계수 데이터는 2개의 부분, 즉 가변길이 부호화기(20)로 입력되는 부분과, 역양자화기(15)에 의해 양자되 되는 부분으로 분기된다. 역양자화 된 DCT계수 데이터(105)는 역이산코사인 변환기(16)에 의해 역이산코사인 변환(역DCT)이 수행된다.

역이산코사인 변환기(16)로부터의 출력(106)이 가산기(17)에 의해 예측신호(109)에 가산됨으로써, 국소적으로 부호화 신호(107)를 제공하고 기준 픽처신호로서 화상 메모리(18)에 기억된다. 화상 메모리(18)에 기억된 기준 픽처신호가 동작보상 예측기(19)에 의해 독출되어, 동작보상 프레임간 예측이 수행된다.

또한, 동작보상 예측모드와 동작벡터를 나타내는 예측모드/동작벡터정보(110)도 동작보상 예측기(19)로부터 출력되어 가변길이 부호화기(20)에 입력된다. 가변길이 부호화기(20)는 양자화 DCT계수 데이터(104)와 예측모드/동작벡터 정보(110)에 가변길이 부호화를 수행하고, 얻어진 가변길이 코드의 코드 스트림(111: 이하, "부호화 비트스트림"이라 칭함)을 출력한다. 부호화 비트스트림(111)은 임시로 버퍼(21)에 기억된다.

본 실시예에 있어서, 동일 화상화일, 즉 무비(movie) 등과 같은 동일한 콘텐트의 입력 화상신호가 상술한 기본동작에 따라 2번 부호화 된다. 더욱이, 본 실시예에 있어서, 화상특징 산출기(31), 부호화 파라메터 생성기(32), 부호화 비트수 판정부(33) 및 부호화 파라메터 수정기(34)가 제공된다. 제1부호화 동안, 화상특징량이 산출되고, 산출된 화상특징량에 기초하여 부호화 파라메터가 설정된다. 제2부호화 동안, 부호화 비트스트림(111)의 생성 부호화 비트수가 판정되고, 생성된 부호화 비트수에 기초하여 부호화 파라메터가 수정된다.

즉, 제1부호화 동안, 소스 화상신호(100)가 프레임 메모리(11)에 입력되기 전에 화상특징 산출기(31)에 입력된다. 산출기(31)에서, 화상의 통계적인 특징량(이하, "화상특징량"이라 칭함)이 산출된다. 이하 상세히 기술하는 바와 같이, 화상특징량(130)은 각 장면에 대한 입력 화상신호(100)의 각 프레임에서의 동작벡터의 적어도 크기 및 분포를 총계함으로써 얻어진 통계적인 특징량이다. 화상특징량(130)을 산출하기 위해, 입력 화상신호(100)의 2개의 연속프레임간 차분값으로부터 루미넌스가 급변하는 프레임이 검출된다. 검출된 프레임은 장면의 경계결정의 선두 프레임으로 설정된다. 후에, 동작벡터의 수, 분포, 크기, 루미넌스와 크로미넌스의 변화 등이 각 프레임에 대한 입력 화상신호(100)로부터 계산되고, 각 장면에 대해 평균화 됨으로써, 화상특징량(130)으로서 각 장면에 대한 특징량의 대표값을 얻는다.

따라서, 각 장면에 대한 화상특징량(130)의 정보가 부호화 파라메터 생성기(32)에 입력된다. 부호화를 수행하기 위해 부호화 파라메터 생성기(32)가 부호화 파라메터(131)를 생성함으로써, 가변길이 부호화기(20)에서 생성된 부호화 비트스트림(111)의 데이터 크기가 사용자에 의해 지정된 크기 이하가 된다. 후에 기술되는 부호화 파라메터 생성식에 화상특징량(130)을 적용함으로써, 부호화 파라메터(131)가 생성된다. 여기서 얻어진 부호화 파라메터는 프레임율(FR)과 양자화폭(QP)이다.

제1부호화 동안, 부호화 되는 프레임의 화상신호(101)가 부호화 파라메터 생성기(32)에 의해 생성된 프레임율(FR)에 따라 입력 화상신호(100)로부터 선택되어, 프레임 메모리(10)에 기억된다. 이 프레임이 장면의 구획결정에 픽처 등과 같은 I픽처이면, 동작벡터의 검출이 수행되지 않고, 프레임간 부호화가 수행된다. 만약, 그것이 P픽처나 B픽처이면, 동작보상 예측에 기초하여 프레임간 부호화가 수행된다.

게다가, 인트라(intra) 프레임 부호화와 인터(inter) 프레임 부호화의 어떤 경우에도, 이산코사인변환기(13)로부터 출력된 DCT계수 데이터(103)는 부호화 파라메터 생성기 (32)에 의해 각 장면(신(scene))을 생성시키기 위한 양자화폭(QP)에 따라 양자화기(15)에 의해 양자화된다. 예측모드/동작벡터 정보(110)뿐만 아니라양자화된 DCT계수 데이터 (104)도 상술한 바와 같이 가변길이 부호화기(20)에 의해 부호화 되고, 양자화폭(QP)상의 정보와 합성되며, 부호화 비트스트림(111)으로서 버퍼(21)로 출력된다.

제1부호화가 끝나면, 부호량 판정부(33)는 버퍼(21)에 저장된 부호화 비트스트림(111)의 발생부호량(133)의 과잉이나 부족을 판정한다. 판정결과에 따라, 부호화 파라메터 생성기(32)에 의해 생성된 부호화 파라메터는 부호화 파라메터 수정기(34)에 의해 수정된다.

즉, 부호량 판정부(33)는 발생부호량(133)과 사용자에 의해 지정되는 목표부호량(134)의 차가 임계치를 넘는지의 여부를 판정하고, 부호화 파라메터 수정기 (34)는 부호화 파라메터를 수정하여 발생부호량(133)이 목표부호량(134)에 더 가까워지게 한다. 제2부호화는 수정된 부호화 파라메터(136)에 따라 행해진다. 발생부호량(133)과 목표부호량(134)의 차가 제2부호화의 결과로서 임계치 이하로 되면, 버퍼(21)에 저장된 부호화 비트스트림은 부호화 출력(200)으로 출력된다. 부호화 출력(200)은 전송선에 공급되거나 기록매체에 저장된다.

본 실시예의 화상 부호화장치에 있어서, 상술한 바와 같이 화상특징량 산출기(31)에 의해 산출된 화상특징량(130)은 각 장면의 화면이 얼마나 능동적으로 이동하는지와 장면이 얼마나 미세한지를 나타내는 값이다. 이 양은 부호화 파라메터 생성기(32)에 의해 생성된 부호화 파라메터(131)나 부호화 파라메터 수정기(34)에 의해 수정된 부호화 파라메터(136)에 반영된 후에, 부호화는 실행된다.

그 결과, 도 2에 나타낸 바와 같이 부호화는 각 장면의 콘텐트에 적합한 부호화 파라메터(프레임율과 양자화폭)에 따라 행해질 수 있다. 즉, 보다 적은 동작(j)의 장면에 있어서, 비교적 미세한 화상을 얻도록 각 프레임에서 프레임율은 낮게 설정되고, 양자화폭은 매크로블록(macro-block) 사이에서 변함으로써, 시각적으로 나타나기 쉬운 사물(object)나 텔롭(telop)과 같은 영역에서 화상의 열화를 막을 수 있게 된다.

반대로, 능동동작을 갖는 장면 (j+1)에 있어서, 프레임율과 양자화폭은 증가되고, 이에 따라 비교적 본래 동작으로 부호화된 화상을 얻게 된다. 양자화폭이 증가되면, 부호화된 화상은 더 엉성해진다. 그러나, 화상의 조도(roughne ss)는 능동동작을 갖는 장면에서 그렇게 뚜렷하지 않기 때문에, 무시해도 좋다.

도 3에 나타낸 플로우차트를 이용하여, 이 실시예의 화상 부호화장치의 처리과정을 설명한다.

먼저, 화상신호(100)는 입력되고(단계 S11), 상술한 바와 같이 각 장면에 대한 화상의 통계적인 특징량인 화상특징량은 산출된다(단계 S12). 본 실시예에 있어서, 이 화상특징량 산출단계 S12는 3개의 처리, 즉 장면분할과 특징량 산출 및 장면분류를 포함하고 있다.

다음으로, 부호화 파라메터가 생성된다(단계 S13). 이 부호화 파라메터 생성단계 S13은 각 매크로블록마다 4개의 처리, 즉 프레임율 산출과 양자화폭 산출, 프레임율 조정 및 양자화폭 설정을 포함하고 있다.

그 후에, 화상신호는 생성된 부호화 파라메터에 따라 부호화된다(단계 S14). 이 부호화 단계 S14의 처리는 상술한 바와 같다.

부호화 단계 S14에서 첫번째 부호화가 끝나면, 부호량의 판정, 즉 발생부호량과 목표부호량이 임계치 이하인지 아닌지의 판정이 이루어진다(단계 S15).

부호량의 산출단계 S15의 판정결과가 발생부호량과 목표부호량의 차가 임계치를 넘는 것을 나타내면, 부호화 파라메터는 발생부호량과 목표부호량의 차를 좁히도록 수정된다(단계 S16). 단계 S16에서 두번째 부호화가 행해진다.

부호량 판정단계 S15에서의 판정결과가 발생부호량과 목표부호량의 차가 임계치 이하인 것을 나타내면, 부호화 단계 S14에서 얻은 부호화 비트스트림은 부호화 출력데이터로서 출력된다(단계 S17). 그러므로, 부호화는 단지 한두번 혹은 그 이상 행해질 수 있다.

다음으로, 이 실시예의 특징적인 구성요소인 화상특징량 산출기(31)와 부호화 파라메터 생성기(32), 부호량 판정부(33) 및 부호화 파라메터 수정기(34)의 처리에 대해서는 더 상세하게 설명할 것이다.

후술하는 바와 같이, 화상특징량 산출기(31)는 먼저 화상신호를 장면으로 분할하고, 특징량을 산출하며, 최종적으로 장면을 분류한다.

장면분할

입력 화상신호(100)는 플래시 라이트(flash light)에 의해 백색화된 프레임과 인접한 프레임간 차분치에 의한 잡음 프레임을 제외한 복수의 장면으로 분할된다. 여기에서, 백색화된 프레임은, 예컨대 새 프로그램상의 인터뷰 장면을 나타낸다. 이 프레임에서는 플래시(스트로브 플래시(strobe flash))가 방사되는 모멘트 등의 밝기가 급증가한다. 이 잡음 프레임은 화면이 카메라의 진동 등에 의해 열화를 크게 초래하는 프레임을 나타낸다. 장면분할의 구체적인 예는 도 5 및 도 6뿐만 아니라 도 4의 플로우차트를 참조하여 설명될 것이다.

먼저, i번째 프레임과 (i+1)번째 프레임간의 밝기의 차분치(이하, 프레임간의 차분이라 칭함)가 산출된다(스텝 S21). 프레임간의 차분치가 사용자에 의해 미리 조절된 일정한 임계치(Thre)와 비교된다(단계 S22). 비교결과가 프레임간의 차분치가 임계치(Thre) 미만인 것을 나타내면, i는 i = i+1로 간주되어(단계 S23), 처리는 단계 S21로 되돌아간다.

i번째 프레임과 (i+1)번째 프레임간의 차분치가 임계치(Thre) 이하이면, (i+1)번째 프레임과 (i+2)번째 프레임간의 차분치가 산출된다(단계 S24). 이 차분치는 단계 S22의 경우와 같이 임계치(Thre)와 비교된다(단계 S25).

단계 S25에서의 비교결과가 차분치가 적어도 임계치(Thre)인 것을 나타내면, 즉 i번째 프레임과 (i+1)번째 프레임간의 차분치와 (i+1)번째 프레임과 (i+2)번째 프레임간의 차분치 모두가 적어도 임계치(Thre)인 것을 나타내면, i번째 프레임과 (i+1)번째 프레임은 다른 장면에 속하는 것으로 판단되어 (i+1)번째 프레임은 장면의 구획을 정하도록 고려되고 있다. 즉, i번째 프레임은 장면의 종료 프레임으로서 설정되고, (i+1)번째 프레임은 장면의 선두 프레임(leading frame)으로서 설정된다.

한편, 단계 S25에서의 비교결과가 프레임간의 차분치가 적어도 임계치(Thre)인 것을 나타내면, 즉 i번재 프레임과 (i+1)번째 프레임간의 차분치가 적어도 임계치 (Thre)이지만, (i+1)번째 프레임과 (i+2)번째 프레임간의 차분치가 임계치(Thre) 미만인 것을 나타내면, 예컨대 도 6에 나타낸 바와 같이 (i+1)번째 프레임은 플래시 라이트에 의해 백색화된 프레임(또는 잡음 프레임)인 것으로 판단되어, i번째, (i+1)번째, (i+2)번째 프레임은 동일 장면에 속하고, (i+1)번째 프레임은 장면의 구획을 정하는 것이 아닌 것으로 판단되어 i는 i = i+2로 간주된다(단계 S26). 이 때, 처리는 단계 S21로 되돌아간다.

마찬가지로, 플래시 라이트에 의한 많은 백색화된 프레임을 갖춘 화면 등을 다루기 위해서, k 연속 플래시 프레임이 있을 때 백색화된 프레임이 장면의 구획을 정하는 프레임이라고 잘못 판단하는 것을 막도록 다음의 방법이 채용될 수 있다.

즉, i번째 프레임과 (i+1)번째 프레임간의 차분치, (i+2)번째, ...(i+k)번째 프레임간의 각 차분치가 적어도 임계치(Thre)이고, i번째 프레임과 (i+k+1)번째 프레임간의 차분치가 적어도 임계치(Thre)이면, i번째 프레임과 (i+1)번째 프레임은 다른 장면에 속하는 것으로 판단되어, (i+1)번째 프레임은 장면의 구획을 정하는 프레임이다.

한편, i번째 프레임과 (i+1)번째 프레임간의 차분치, (i+2)번째, ...(i+k)번째 프레임간의 각 차분치가 적어도 임계치(Thre)이고, i번째 프레임과 (i+k+1)번째 프레임간의 차분치가 임계치(Thre) 미만이면, (i+1)번째, (i+2)번째, (i+k)번째 및 (i+k+1)번째 프레임은 백색화된 프레임이나 잡음 프레임으로 판단되어, i번째, (i+k)번째, (i+k+1)번째 프레임은 동일 장면에 속하는 것으로 판단된다. 그러므로, (i+1)번째 프레임은 장면의 구획을 정하지 않는다.

사용자가 상술한 바와 같은 연속적인 백색화된 프레임이나 잡음 프레임이 미리 장면의 구획을 정하는 프레임으로서 다루어지든지 아니든지를 판별하여 설정할 수 있는 것이 바람직하다.

특징량 산출

다음으로, 동작벡터가 존재하는(동작벡터의 수는 제로(O)가 아니다) 프레임에서의 매크로블록의 수와 같은 화상특징량과, 동작벡터 크기의 평균치 및, 휘도(루미넌스)와 색차(크로미넌스)의 편차는 입력 화상신호(100)의 모든 프레임에 적합하게 산출된다. 여기에서, 특징량은 상술한 장면분할에서의 장면의 한계를 정하는 프레임과 플래시 프레임 및 잡음 프레임중 어느 하나로서 판단된 프레임과는 다른 프레임에 적합하게 산출된다. 더욱이, 특징량은 장면분할에 의해 결정된 각 장면에 대해 평균화되고, 평균값은 각 장면의 특징량의 대표값으로서 설정된다.

장면분류

이 실시예에 있어서, 다음의 장면분류는 상술한 장면분할과 특징량 산출외에 동작벡터를 이용하여 행해진다.

각 프레임에 대한 동작벡터를 산출한 후에, 동작벡터의 분포가 획득되어 장면이 분류된다. 명확하게 하기 위해, 하나의 프레임내에서의 동작벡터의 분포는 산출되어, 도 7a, 도 7b, 도 7c, 도 7d, 도 7e 각 프레임으로 나타낸 어느 타입에 속하는지 체크된다.

도 7a: 동작벡터가 프레임에 거의 존재하지 않는다(동작벡터수가 0이 아닌 매크로블록의 수는 Mmin 이하이다).

도 7b: 같은 방향·같은 크기의 동작벡터가 화면전체에 분포하고 있다(동작벡터가 나타나는 매크로블록수는 적어도 Mmax이고, 크기와 방향 모두는 일정 범위내에 있다).

도 7c: 동작벡터는 프레임내에서 국소적으로 나타난다(동작벡터가 나타나는 매크로블록의 위치는 일정부분에 집중시킨다).

도 7d: 동작벡터는 프레임내에 방사상으로 분포하고 있다.

도 7e: 프레임내의 동작벡터의 수는 많고, 동작벡터의 방향은 일정하지 않다.

도 7a 내지 도 7e에 나타낸 경우는 입력 화상신호를 얻을 때 이용된 카메라의 동작과 포착된 화면의 물체의 동작에 밀접하게 관련된다. 즉, 도 7a의 경우에 있어서, 카메라와 물체 모두 정지해 있다. 도 7b의 경우에 있어서, 카메라는 이행을 평행하게 한다. 도 7c의 경우에 있어서, 물체는 정지한 바탕에서 움직이고 있다. 도 7d의 경우에 있어서, 카메라는 줌(zoom)하고 있다. 도 7e의 경우에 있어서, 카메라와 물체 모두 움직이고 있다.

다음으로, 상술한 각 프레임 도 7a, 도 7b, 도 7c, 도 7d, 도 7e에 나타낸 어느 타입에 속하는지에 관해서 분류를 행한 후에, 상술한 바와 같이 프레임이 분류된 장면은 프레임의 타입에 따라 분류된다. 즉, 각 프레임이 도 7a, 도 7b, 도 7c, 도 7d에 나타낸 프레임의 어느 타입에 속하는지를 판정한다. 장면(각 장면을 구성하는 프레임의 타입)과 상기 산출된 특징량에 대한 분류의 판정결과를 이용하면, 부호화 파라메터 생성기(32)는 다음과 같이 각 장면에 대한 부호화 파라메터로서 제공하는 프레임율과 양자화폭을 결정한다.

부호화 파라메터 생성기(32)는 아래에 나타낸 바와 같이 프레임율과 양자화폭을 연속적으로 산출하고, 프레임율과 양자화폭을 수정하여 산출한다. 게다가, 부호화 파라메터 생성기(32)는 각 매크로블록에 대한 양자화폭을 변경하는 처리를 행한다.

프레임율 산출

먼저, 부호화 파라메터 생성기(32)는 프레임율을 결정한다. 특징량 산출기(31)는 상술한 바와 같이 각 장면에 대한 특징량의 대표값으로서 동작벡터의 대표값을 산출한다. 예컨대, j번째 장면의 동작벡터의 대표값(MVnum_j)은 다음의 식으로 나타낸 바와 같이 장면의 동작을 갖는 매크로블록의 평균수에 관련된 값이다. 즉, i번째 프레임내의 동작벡터의 수가 0이 아닌 매크로블록의 수가 MVnum(i)이면, 대표값(MVnum_(i))은 다음과 같이 나타낸다.

(MVnum_j) = ((j)번째 장면에 포함된 모든 프레임의 MVnum(i)의 평균값)×(정수 배수) ... (1)

(j)번째 장면의 동작벡터 대표값(MVnum_j)을 이용하면, j번째 장면의 프레임율(FR(j))은 다음의 식을 이용하여 계산된다.

FR(j) = a×MVnum_j + b + w_FR ... (2)

식 (2)에 있어서, a와 b는 사용자에 의해 나타낸 비트율이나 데이터 크기에 대한 계수이고, w_FR은 후술하는 가중 파라메터이다.

식 (2)는 장면의 동작벡터 대표값(MVnum_j)이 크면, 즉 동작이 더 능동적이면, 프레임율은 더 높게 설정된다.

동작벡터 대표값(MVnum_j)으로서, 프레임내의 동작벡터 크기의 절대합계나 그 밀도가 프레임내의 동작벡터 대신에 이용될 수 있다.

양자화폭 산출

각 장면마다 프레임율이 상술한 바와 같이 산출된 후에, 양자화폭은 각 장면마다 산출된다. (j)번째 장면에 대한 양자화폭(QP(j))은 장면의 동작벡터 대표값 (MVnum_j)을 이용하면서, 프레임율(FR(j))의 경우에서와 같이 다음의 식에 의해 산출된다.

QP(j) = c×MVnum_j+d+w_QP ... (3)

식 (3)에 있어서, c와 d는 사용자에 의해 나타낸 비트율이나 데이터 크기에 대한 계수이고, w_QP은 후술하는 가중 파라메터이다.

식(3)은, 동작벡터 표현값 MV_j가 보다 높으면 양자화폭QP(j)가 보다 높게 세트되는 것을 의미한다. 즉, 양자화폭이 능동동작을 갖는 장면에서 보다 크게 된다. 역으로, 양자화폭이 보다 작은 능동동작을 갖는 장면에서 보다 작게 설정된다. 이와 같이 함으로써, 사진이 보다 선명하게 만들어진다.

프레임율과 양자화폭의 수정

상기된 바와 같이 각 장면에 대한 프레임율 FR(j)를 계산한 후, 가중파라메터 w_FR 및 w_QP는 각각 식(2) 및 식(3)에 가산되고, 프레임율 및 양자화폭은 화상특징 산출기(31;각 장면을 구성하는 프레임의 타입)에서 "장면분류"처리에 의해 얻어진 장면분류 결과를 이용하여 수정된다.

즉, 장면분류 결과가 동작벡터가 프레임내에 거의 존재하지 않는 도 7a의 경우에 대응하면, 프레임율 및 양자화폭은 감소된다 (가중파라메터 w_FR과 QP모두는 증가한다). 도 7b에 대응하면, 프레임율은 가능한한 크게 증가하여, 카메라의 동작이 자연스럽지 않게 되고 양자화폭은 증가하게 된다 (가중 파라메터 w_RR 및 QP가 모두 증가한다). 도 7c의 경우에는, 동작벡터의 동작, 예컨대 동작벡터의 크기가 크면, 프레임율은 수정된다 (가중파라메터 w_FR이 증가한다). 도 7d의 경우에는, 카메라 줌잉(zooming)동안 대상물에 대한 주의가 적게 끌리므로, 양자화폭이 크게 설정되고, 프레임율은 가능한한 크게 증가된다 (가중파라메터 w_FR 및 w_QP가 모두 증가한다). 도 7e의 경우에는, 프레임율 및 양자화폭이 모두 증가된다 (가중파라메터w_FR 및 w_QP 모두가 증가한다).

가중파라메터 w_FR 및 w_QP를 가산함으로써, 식(2)와 (3)에 대한 각각의 설정과, 프레임율 및 양자화폭이 수정된다.

도 5에 나타낸 부호화 처리(S11 내지 S15의 단계)를 위한 과정에 있어서, 사용자가 각 매크로블록에 대한 양자화폭을 변화시키는 것을 정의하면, 텔롭특성과 같은 강한 엣지를 갖도록 정의되는 프레임이나 매크로블록내에서 모스키토 노이즈를 생성시키도록 판정된 매크로블록의 양자화폭이 다른 매크로블록에서 보다 상대적으로 작게 설정됨으로써, 픽처의 품질을 부분적으로 향상시킨다.

이하, 식(5)에 의해 각 장면에 대해 얻어지는 양자화폭QP(j)을 수정하는 또 다른 방법이 기재된다. 부호화 될 프레임에 대해서와 같이, 각 매크로블록은 4개의 블록으로 더욱 나누어지고, 휘도의 변화가 4개의 블록 각각에 대해 계산된다. 큰 변화를 갖는 블록과 작은 변화를 갖는 블록이 서로 인접하고, 양자화폭이 크면,모스키토 노이즈가 일어나는 경향이 있다. 즉, 평판 텍스쳐의 블록이 복잡한 텍스쳐에 인접하여 존재하면, 모스키토 노이즈가 일어나는 경향이 있다.

이를 고려하면, 작은 휘도 변화를 갖는 블록이 큰 변화를 갖는 블록에 인접하면, 프레임 블록의 양자화폭이 상기 부호화된 파라메터로서 생성된 양자화폭 QP(j) 보다 작게 설정된다. 반대로, 모스키토 노이즈가 일어나지 않도록 판정되는 블록의 양자화폭은 양자화폭 QP(j) 보다 크게 설정된다. 이와 같이 함으로써, 생성된 비트량의 증가가 방지된다.

예컨대, j번째 프레임에서의 m번째 매크로블록이 4개의 작은 블록을 갖는 것으로 가정된다. 이 경우, 도 8에 나타낸 바와 같이, 작은 블록이 이하의 조합을 만족시키면,

블록 k의 휘도 변화≥MBVarThre 이고,

블록 k에 인접한 블록의 휘도 변화<MBVarThre ... (4)

m번째 블록이 매크로블록으로 판정되는데, 이 경우 모스토크 노이즈가 일어나는 경향이 있다. 그러므로, 모스트크 노이즈가 일어나는 경향이 있는 이러한 매크로블록에 대해서 양자화폭 QP(j)_m은,

QP(j)_m=QP(j)-q1 ... (5)

으로 작게 설정된다.

다른 경우, 모스토크 노이즈가 일어나는 경향이 있는 것으로 판정된 매크로블록에 대해서 그 양자화폭은 이하와 같이 증가되어 생성된 비트량이 증가되는 것을 방지한다.

QP(j)_(노이즈가 적게 일어나는 경향이 있는MB)=QP(j)+q2 ... (6)

식(4)에 있어서, MBVarThre는 사용자에 의해 정의된 임계치이다. 식(5)의 심볼 q1과 식(6)의 심볼 q2는 양수이고, 이들은 QP(j)-q1≥(최대 양자화폭)과 QP(j)+q2≤(최대 양자화폭)을 각각 만족한다. 도 7b에 나타낸 바와 같이 평행 변이를 만드는 카메라의 장면과 도 7d에 나타낸 바와 같이 줌잉되는 카메라의 장면과 같이 분류된 장면에 대해서, 카메라의 동작에 기인하여 픽처내의 대상물에 시각적인 주의가 작게 끌리므로, q1 및 q2는 작게 설정된다. 동작부가 소정 영역에 집중된 장면에 대해서, 픽처내의 대상물에 대해 주의가 크게 끌리므로, q1 및 q2는 높게 설정된다.

캐릭터(character)와 같은 엣지가 존재하는 매크로블록에 대해서, 양자화폭은 작게 설정되므로, 캐릭터부분이 선명하게 된다. 특히, 도 9에 나타낸 바와 같이, 엣지 강조 필터는 프레임상에 휘도 데이터를 유도하므로, 각 매크로블록에 대한 밀도값의 높은 기울기를 갖는 픽셀을 조사한다. 밀도값의 높은 기울기를 갖는 픽셀의 위치가 합계되어, 높은 기울기의 부분적으로 집중된 픽셀을 갖는 매크로블록 엣지가 존재하는 매크로블록인 것을 판단한다. 그 다음, 매크로블록의 양자화폭이 식(5)에 따라 작게 설정되고, 다른 매크로블록의 양자화폭이 식(6)에 따라 크게 설정된다.

부호화부(10)는, MPEG체계에 기초하여 종래 부호화장치와 동일한 처리를 수행한다. 본 실시예에 있어서, 제1부호화는 상기된 부호화된 파라메터 생성기(31)에 의해 생성된 부호화된 파라메터에 따라서 수행된다. 이 경우, 나누어진 개별적인 장면은 고정된 양자화폭으로, 기본적으로 고정된 프레임율에서 부호화되는 것에 종속된다. 즉, j번째 장면에 대해서와 같이, 마지막 프레임 j_end까지의 제1프레임 j_start는, 양자화폭 QP(j)으로 프레임율 FR(j)로 부호화된다.

그러나, 상기 매크로블록 각각에 대해서 양자화폭을 변화시키기 위해서, 부호화된 파라메터 생성기(31)가 수행되면, 부호화는 동일한 프레임내에서도 각 매크로폭에 대해 개별적으로 세트된 양자화폭으로 수행된다.

부호화된 비트량 판정부(33)는 부호화부(10)로부터 출력된 부호화된 비트스트림(110)의 생성된 비트량(133)과 상기 비트(134)의 목표량을 비교한다. 비트 생성량(133)과 목표 비트량(134)의 차이가 임계치를 초과하면, 부호화된 비트량 판정부(33)는 부호화된 파라메터를 수정하기 위해서 부호화된 파라메터 수정기(34)로 명령을 지령한다. 부호화된 파라메터를 수정한 후, 부호화부(10)는 도시 생략된 시스템 제어부에 의해 제어되어 제2부호화를 수행한다. 비트 생성량(133)이 목표 비트량(134) 보다 크지 않으면 이들 사이의 차이는 임계치 보다 크지 않고, 이들 량은 합당한 범위내에서 인접하게 되어, 제2부호화가 종료되고, 버퍼(21)에 저장되는 종료된 비트스트림이 부호화된 출력데이터로서 전송선이나 기록매체로 공급된다.

부호화된 파라메터 수정기(34)는 부호화된 비트량 판정부(33)의 판정에 따라서 부호화된 파라메터를 수정한다. 예컨대, 생성된 비트량(133)이 목표 비트량(134) 보다 높으면, 전체 프레임율은 감소되고, 양자화폭은 감소되며, 양자화폭에 주어지는 기울기는 크게 설정된다. 양자화폭에 기울기를 주는 것은, 중앙매크로블록의 양자화폭을 크게 설정하고, 주변 매크로블록에서의 양자화폭을 작게 설정하는 것과 같이 프레임내의 매크로블록의 위치에 의존하는 양자화폭을 구별하려는 의도이다.

부호화된 파라메터의 수정은 가중 w_refFR을 프레임율 FR(j)과 부호화된 파라메터 생성기(31)에 의해 생성된 양자화폭 QP(j)에 각각 가산함으로써 실현된다. 수정된 프레임율 FR'(j) 및 양자화폭 QP'(j)은 다음과 같이 표현된다.

FR'(j)=FR(j)+w_refFR ...(7) 및,

QP'(j)=QP(j)+w_refQP ...(8)

이와 같은 방법으로, 부호화부(10)는 수정된 프레임율 FR'(j) 및 양자화폭 QP'(j)을 사용하여 제2부호화를 수행한다.

제2부호화가 종료된 후라도, 생성된 비트량(131)과 목표 비트량(134) 사이의 큰 차이가 임계치를 초과하도록 되면, 가중 w_refFR 및 w_efQP가 반복되는 동안 도 3에 도시된 단계 S14 내지 S16의 처리가 반복된다. 생성된 비트량(133)이 최종적으로 목표 비트량(134) 미만이고, 거의 합당한 범위내에서 인접할 때, 부호화는 종료되고 부호화된 출력데이터(200)가 출력된다.

상기 실시예에 있어서, 2패스 부호화를 수행하는 경우에 대해 기재되었다. 또한, 본 발명은 하나의 화상파일의 화상신호가 한번만 부호화 되는 일반적인 화상 부호화장치에 적용할 수 있다.

도 10은 화상 부호화를 실행하기 위한 프로그램이 저장된 기록매체를 채용한 검퓨터장치를 나타낸다. 도 10에 나타낸 바와 같이, 개인용 컴퓨터(20)는CPU(211)와, 주메모리(212), 디스플레이(213), HDD/IF(214), 하드디스크(215) 및, CD-ROM 드라이브(216)를 구비하여 구성된다. 본 발명의 화상 부호화를 실행하기 위한 프로그램이 저장된 CD-ROM(217)이 CD-ROM드라이브(215)내에 설치된다. 프로그램이 CD-ROM(217)으로부터 CD-ROM드라이브(216)를 통해 읽혀지고, 주메모리(212)로 전달되면, CPU(211)는 프로그램, 예컨대 도 3 및 도 4의 플로우챠트에 따라서 화상 부호화를 실행한다.

PC카드(218)가 기록매체로 사용되면, 화상 부호화 프로그램은 개인용 컴퓨터(210)내에 구비된 PC카드 판독기(219)에 의해 주메모리(212)내로 읽혀지고, CPU(211)는 프로그램에 따라서 화상 부호화를 실행한다.

상기된 바와 같이, 본 발명에 따르면, 입력 화상 신호는 각각이 적어도 하나의 프레임으로 이루어지는 시간적으로 연속적인 장면으로 분할되고, 각 장면을 위한 통계적인 특징량을 계산하며, 통계적인 특징량을 기초로 각 장면을 위한 부호화된 파라메터를 생성하고, 입력 화상신호를 부호화 한다. 이렇게 함으로써, 프레임율이 높게 설정되어, 예컨대 능동동작을 갖는 장면이 대상의 매끄러운 동작을 만드는 반면, 화상내에서 주의를 끄는 경향이 있는 엣지나 텔롭문자(중첩된 문자) 주위의 양자화폭은 낮게 설정되어 화상이 명료해지도록 한다.

그러므로, 본 발명은 픽처내의 대상물의 동작 및/또는 카메라의 동작을 별로 고려하지 않는 종래의 화상 부호화장치와 비교할 때, 각 장면에 대해서 통합된 복호화상을 얻을 수 있다. 따라서, 본 발명은 전송선의 전송율이나, 기록매체 등의 용량에 따라서 부호화된 비트율을 지정된 값으로 유지하면서 양호한 픽처 개선효과를 얻을 수 있다.

부가적인 장점 및 변형은 당업자에게는 자명한 것이다. 따라서, 본 발명은 상세한 설명에 한정되는 것이 아니라, 본 발명의 목적 및 청구범위를 벗어나지 않은 범위 내에서 다양하게 변형될 수 있다.

상기 기술한 바와 같이 본 발명에 의하면, 지정된 값으로 부호화 비트율을 유지하면서 장면의 콘텐트에 적합한 화상품질로 화상을 부호화 할 수 있는 화상 부호화방법 및 화상 부호화장치를 제공한다.

Claims (22)

1. 입력 화상신호를 적어도 1개의 프레임을 각각 포함하는 다수의 시간적으로 연속적인 장면으로 분할하는 단계와,

   장면마다 통계적인 특징량을 산출하는 단계,

   상기 통계적인 특징량에 기초하여 장면마다 부호화 파라메터를 생성하는 단계 및,

   상기 부호화 파라메터를 이용하여 상기 입력 화상신호를 부호화하는 단계를 구비하여 이루어진 것을 특징으로 하는 화상 부호화방법.
2. 제1항에 있어서, 상기 통계적인 특징량을 산출하는 단계는, 각 장면의 모든 프레임에 대해 동작벡터가 존재하는 프레임내에 다수의 매크로블록을 포함하는 화상특징량, 동작벡터의 평균 크기, 및 루미넌스와 크로미넌스의 편차를 산출하는 단계를 포함하는 것을 특징으로 하는 화상 부호화방법.
3. 제1항에 있어서, 상기 통계적인 특징량을 산출하는 단계는, 평균치를 얻기 위해 각 장면의 특징량을 평균화 하고, 상기 평균치를 각 장면의 특징량의 대표값으로서 결정하는 단계를 포함하고,

   상기 대표값은 상기 통계적인 특징량으로서 이용하는 것을 특징으로 하는 화상 부호화방법.
4. 제1항에 있어서, 상기 통계적인 특징량을 산출하는 단계는, 상기 다수의 장면을 동작벡터가 프레임내에 거의 존재하지 않는 제1장면과, 동일한 방향 및 동일한 크기를 갖는 동작벡터가 화면 전체에 걸쳐 분포하고 있는 제2장면, 동작벡터가 프레임의 소정 부분에 나타나고 있는 제3장면, 동작벡터가 프레임내에 방사형상(放射狀)으로 분포하고 있는 제4장면 및 다수의 동작벡터가 존재하고 그들 동작벡터의 방향이 일치하지 않는 제5장면으로 분류하는 단계를 포함하고,

   상기 특징량을 산출하는 단계가 상기 제1 내지 제5장면에 각각 대응하는 것을 특징으로 하는 화상 부호화방법.
5. 제1항에 있어서, 상기 통계적인 특징량을 산출하는 단계는, 소정 프레임을 구획된 장면의 선두 프레임으로서 설정하기 위해 상기 입력 화상신호의 프레임간의 차분으로부터 루미넌스의 가파른 변화를 갖는 소정 프레임을 검출하고, 동작벡터의 수, 그 분포, 그 크기 및 루미넌스와 크로미넌스의 편차를 산출하고, 평균치를 얻기 위해 각 장면마다 특징량을 평균화 하는 단계와, 상기 평균치를 각 장면에 대한 특징량의 대표적인 값으로서 판정하는 단계를 포함하고,

   상기 대표적인 값을 상기 통계적인 특징량으로서 이용하는 것을 특징으로 하는 화상 부호화방법.
6. 제1항에 있어서, 상기 통계적인 특징량을 산출하는 단계는, i번째 프레임과(i+1)번째, (i+2)번째 내지 (i+k)번째 프레임간의 프레임간 차분치가 각각 임계치 이상이고, i번째 프레임과 (i+k+1)번째 프레임간의 프레임간 차분치가 임계치 이상인 경우에는, i번째 프레임과 (i+1)번째 프레임은 다른 장면에 속하고 (i+1)번째 프레임이 장면을 구획짓는 프레임이라고 판단하고, i번째 프레임과 (i+1)번째, (i+2)번째 내지 (i+k)번째 프레임간의 프레임간 차분치가 각각 임계치 이상이고, i번째 프레임과 (i+k+1)번째 프레임간의 프레임간 차분치가 임계치 이하인 경우에는, i번째 프레임과 (i+1)번째 프레임은 동일 장면에 속하고 (i+1)번째 프레임이 장면을 구획짓는 프레임이 아니라고 판단하는 장면분할단계를 포함하는 것을 특징으로 하는 화상 부호화방법.
7. 제1항에 있어서, 상기 부호화 파라메터를 생성하는 단계는, 상기 화상특징량에 따라 프레임율 및 양자화폭을 결정하는 단계와, 결정된 프레임율 및 양자화 스텝 크기를 부호화 파라메터로서 이용하는 단계를 포함하는 것을 특징으로 하는 화상 부호화방법.
8. 제1항에 있어서, 상기 입력신호를 부호화 하는 단계는, 상기 부호화 파라메터를 생성하는 단계에서 생성된 프레임율에 따라 상기 입력 화상신호로부터 부호화 해야 할 프레임을 선택하는 단계를 포함하고,

   부호화 해야 할 프레임이 장면을 구획짓기 위한 I픽처인 경우에는 동작벡터 검출이 수행되지는 않지만 프레임간 부호화가 수행되고, 부호화 해야 할 프레임이P픽처 및 B픽처중 어느 하나인 경우에는 동작보상 예측에 기초하여 프레임간 부호화가 수행되는 것을 특징으로 하는 화상 부호화방법.
9. 제1항에 있어서, 상기 부호화 하는 단계는, 부호화 파라메터에 따라 수행되는 제1부호화와, 수정된 부호화 파라메터에 따라 수행되는 제2부호화를 포함하고,

   제1부호화가 종료될 때, 목표 비트수에 대하여 생성 비트수의 과잉 또는 부족을 판단하고, 판단결과에 따라 부호화 파라메터를 수정하며, 제2부호화의 결과로서 생성 비트수와 목표 비트수의 차가 임계치 이하로 될 때에 부호화된 출력데이터를 출력하는 것을 특징으로 하는 화상 부호화방법.
10. 제1항에 있어서, 상기 부호화 파라메터를 생성하는 단계는, 프레임율을 산출하는 단계, 양자화폭을 산출하는 단계, 프레임율을 조정하는 단계 및 매크로블록마다의 양자화폭을 설정하는 단계를 포함하는 것을 특징으로 하는 화상 부호화방법.
11. 입력 화상신호를 적어도 1개의 프레임을 각각 포함하는 다수의 시간적으로 연속적인 장면으로 분할하는 제1단계와,

    장면마다 통계적인 특징량을 산출하는 제2단계,

    상기 제2단계에서 산출된 통계적인 특징량에 기초하여 장면마다 제1부호화 파라메터를 생성하는 제3단계,

    부호 스트링을 생성하기 위해 상기 제1부호화 파라메터를 이용하여 상기 입력 화상신호를 부호화 하는 제4단계,

    목표 비트수에 대하여 상기 제4단계에서 생성된 부호 스트링의 생성 비트수의 과잉 또는 부족을 판단하는 제5단계,

    제2부호화 파라메터를 얻기 위해 상기 제5단계에서의 판단결과에 기초하여 상기 제1부호화 파라메터를 수정하는 제6단계,

    부호 스트링을 생성하기 위해 상기 제2부호화 파라메터를 이용하여 상기 입력 화상신호를 부호화 하는 제7단계 및,

    상기 제7단계에서 생성된 부호 스트링을 부호화 된 출력데이터로서 출력하는 제8단계를 구비하여 이루어지고,

    통계적인 특징량이 적어도 각 장면에 대해 입력 화상신호의 각 프레임에 존재하는 동작벡터의 크기 및 분포를 합계함으로써 계산되는 것을 특징으로 하는 화상 부호화방법.
12. 입력 화상신호를 적어도 1개의 프레임을 각각 포함하는 다수의 시간적으로 연속적인 장면으로 분할하고, 장면마다 통계적인 특징량을 산출하도록 구성된 특징량 산출부와,

    상기 특징량 산출부에 의해 산출된 통계적인 특징량에 기초하여 장면마다 부호화 파라메터를 생성하도록 구성된 부호화 파라메터 생성부 및,

    상기 부호화 파라메터를 이용하여 상기 입력 화상신호를 부호화 하도록 구성된 부호화부를 구비하여 구성된 것을 특징으로 하는 화상 부호화장치.
13. 제12항에 있어서, 상기 특징량 산출부는, 통계적인 특징량으로서 설정되는 적어도 장면마다의 입력 화상신호의 각 프레임에 존재하는 동작벡터의 크기 및 분포를 합계하도록 구성된 부분을 포함하고 있는 것을 특징으로 하는 화상 부호화장치.
14. 제12항에 있어서, 상기 부호화 파라메터 생성부는 부호화 파라메터로서 적어도 프레임율 및 양자화폭을 생성하도록 구성된 생성기를 포함하고 있는 것을 특징으로 하는 화상 부호화장치.
15. 제12항에 있어서, 상기 특징량 산출부는, 통계적인 특징량으로서 설정되는 적어도 상기 입력 화상신호의 각 프레임에 존재하는 동작벡터의 크기 및 분포를 합계하도록 구성된 부분과, 프레임을 입력 화상신호 및 화상에서의 물체의 동작을 얻을 때 사용되는 카메라의 동작에 기초하여 동작벡터의 크기 및 분포로부터의 타입으로 분류함으로써 프레임의 타입에 따라 다수의 장면을 분류하도록 구성된 부분을 포함하고,

    상기 부호화 파라메터 생성부는 상기 장면의 분류를 고려하여 부호화 파라메터를 생성하도록 구성된 부분을 포함하고 있는 것을 특징으로 하는 화상 부호화장치.
16. 입력 화상신호를 적어도 1개의 프레임을 각각 포함하는 다수의 시간적으로 연속적인 장면으로 분할하고, 장면마다 통계적인 특징량을 산출하도록 구성된 특징량 산출부와,

    상기 특징량 산출부에 의해 산출된 통계적인 특징량에 기초하여 장면마다 제1부호화 파라메터를 생성하도록 구성된 부호화 파라메터 생성부,

    상기 제1부호화 파라메터 또는 상기 제1부호화 파라메터로부터 수정된 제2부호화 파라메터를 이용해 상기 입력 화상신호를 부호화 하여 부호 스트링을 생성하도록 구성된 부호화부,

    목표 비트수에 대하여 상기 부호화부가 상기 제1부호화 파라메터에 따라 상기 입력 화상신호를 부호화할 때 생성되는 부호 스트링의 생성 비트수의 과잉 또는 부족을 판단하도록 구성된 판단부,

    상기 판단부의 판단결과에 기초해 상기 제1부호화 파라메터를 수정하여 제2부호화 파라메터를 구하도록 구성된 부호화 파라메터 수정부 및,

    상기 부호화부가 상기 제2부호화 파라메터에 따라 상기 입력 화상신호를 부호화할 때 생성되는 부호 스트링을 부호화된 출력으로서 출력하도록 구성된 출력부를 구비하여 구성된 것을 특징으로 하는 화상 부호화장치.
17. 제16항에 있어서, 상기 특징량 산출부는, 통계적인 특징량으로서 설정되는 적어도 장면마다의 입력 화상신호의 각 프레임에 존재하는 동작벡터의 크기 및 분포를 합계하도록 구성된 부분을 포함하고 있는 것을 특징으로 하는 화상 부호화장치.
18. 제16항에 있어서, 상기 부호화 파라메터 생성부는 부호화 파라메터로서 적어도 프레임율 및 양자화폭을 생성하도록 구성된 부분을 포함하고 있는 것을 특징으로 하는 화상 부호화장치.
19. 제16항에 있어서, 상기 특징량 산출부는, 통계적인 특징량으로서 설정되는 적어도 상기 입력 화상신호의 각 프레임에 존재하는 동작벡터의 크기 및 분포를 합계하도록 구성된 부분과, 프레임을 입력 화상신호 및 화상에서의 물체의 동작을 얻을 때 사용되는 카메라의 동작에 기초하여 동작벡터의 크기 및 분포로부터의 타입으로 분류함으로써 프레임의 타입에 따라 다수의 장면을 분류하도록 구성된 부분을 포함하고,

    상기 부호화 파라메터 생성부는 상기 장면의 분류를 고려하여 부호화 파라메터를 생성하도록 구성된 부분을 포함하고 있는 것을 특징으로 하는 화상 부호화장치.
20. 제16항에 있어서, 상기 부호화 파라메터 생성부는, 상기 부호화부에 의해 부호화된 프레임의 매크로블록중에서 소정값 이상으로 인접한 매크로블록의 루미넌스의 편차와 다른 루미넌스 편차를 갖는 매크로블록의 양자화폭과 물체의 엣지가 존재하는 매크로블록의 양자화폭이 다른 매크로블록의 양자화폭보다 비교적 작아지도록 구성된 부분을 포함하고 있는 것을 특징으로 하는 화상 부호화장치.
21. 프로그램을 기억하는 기록매체에 있어서,

    컴퓨터가 입력 화상신호를 적어도 1개의 프레임을 각각 포함하는 다수의 시간적으로 연속적인 장면으로 분할하고, 장면마다 통계적인 특징량을 산출하도록 지령하는 명령과,

    상기 컴퓨터가 상기 통계적인 특징량에 기초하여 장면마다 부호화 파라메터를 생성하도록 지령하는 명령 및,

    상기 컴퓨터가 상기 부호화 파라메터를 이용하여 상기 입력 화상신호를 부호화 하도록 지령하는 명령을 구비하고 있고,

    통계적인 특징량이 적어도 각 장면에 대해 입력 화상신호의 각 프레임에 존재하는 동작벡터의 크기 및 분포를 합계함으로써 계산되는 것을 특징으로 하는 기록매체.
22. 프로그램을 기억하는 기록매체에 있어서,

    컴퓨터가 입력 화상신호를 적어도 1개의 프레임을 각각 포함하는 다수의 시간적으로 연속적인 장면으로 분할하고, 장면마다 통계적인 특징량을 산출하도록 지령하는 제1명령과,

    상기 컴퓨터가 산출된 통계적인 특징량에 기초하여 장면마다 제1부호화 파라메터를 생성하도록 지령하는 제2명령,

    상기 컴퓨터가 상기 제1부호화 파라메터를 이용해 상기 입력 화상신호를 부호화하여 부호 스트링을 생성하도록 지령하는 제3명령,

    상기 컴퓨터가 목표 비트수에 대하여 상기 부호 스트링의 생성 비트수의 과잉 또는 부족을 판단하도록 지령하는 제4명령,

    상기 컴퓨터가 상기 제4명령에 따른 상기 컴퓨터의 판단결과에 기초해 상기 제1부호화 파라메터를 수정하여 제2부호화 파라메터를 생성하도록 지령하는 제5명령,

    상기 컴퓨터가 상기 제2부호화 파라메터를 이용해 상기 입력 화상신호를 부호화하여 부호 스트링을 생성하도록 지령하는 제6명령 및,

    상기 컴퓨터가 상기 제6명령에 따라 상기 컴퓨터에 의해 생성된 부호 스트링을 부호화된 출력데이터로서 출력하도록 지령하는 제7명령을 구비하고 있고,

    통계적인 특징량이 적어도 각 장면에 대해 입력 화상신호의 각 프레임에 존재하는 동작벡터의 크기 및 분포를 합계함으로써 계산되는 것을 특징으로 하는 기록매체.