KR20080072453A - 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 장치및 방법 - Google Patents

Abstract

본 발명은 영상 신호 변환 기술에 관한 것으로서, 보다 상세하게는 움직임 정보를 통해서 비월주사 (interlaced scan) 필드 영상을 순차주사(progressive scan) 프레임 영상으로 변환하는 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 장치 및 그 방법에 관한 것이다. 본 발명은 필드 내 보간과 필드 간 보간을 혼합사용하여 보간을 수행할 때 움직임 벡터를 예측하여 움직임 벡터에 따라 적응적 보간을 수행함으로써 비월 주사 방식의 영상을 순차 주사 방식의 영상으로 변환하는 디인터레이싱 장치에 있어서, 움직임 벡터 예측부와 가중치 계산부의 사이에 움직임 벡터의 히스토그램 계산부를 추가함을 특징으로 한다. 이로써, 움직임 정보를 보다 정확하게 하여 공간적 상관 보간법과 시간적 상관 보간법, 그리고, 공간적, 시간적 정보를 필터링의 성능을 향상시켜 출력 영상의 디테일을 높인다.

Description

모션 히스토그램을 이용한 동보상 기반 디인터레이싱 장치 및 방법{MC-based deinterlacing method and apparatus using motion histogram}

도 1은 종래의 디인터레이싱 장치를 보이는 전체 블록도이다.

도 2는 본 발명에 따른 디인터레이싱 장치를 보이는 전체 블록도이다.

도 3은 도 2에서 사용된 히스토그램 계산 블록의 상세　블록도이다.

<도면의 주요 부분에 대한 부호의 설명>

100...필드 메모리 영역부, 110...인트라 필드 생성부

120,,,움직임 벡터 예측부, 130...인터 필드 생성부

131, 132, ..., 13N...라인 히스토그램 계산부

134...필드 히스토그램 계산부, 135...히스토그램 계산부

136...히스토그램 방법 선택부, 138...전역 움직임 벡터 계산부

140...가중치 계산부, 150...인트라/인터 결정부

160...보간 필드 생성부, 170...병합부

본 발명은 영상 신호 변환 기술에 관한 것으로서, 보다 상세하게는 움직임 정보를 통해서 비월주사 (interlaced scan) 필드 영상을 순차주사(progressive scan) 프레임 영상으로 변환하는 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 장치 및 그 방법에 관한 것이다.

일반적으로　디인터레이싱 기법으로　필드 내 보간법보다 필드 간 보간법이 더 성능이 좋은 것으로 알려져　있지만 영상에 따라서는 잘못된 움직임 추정으로 심각한 에러를 발생시키기도 한다. 이를 위하여 필드의 움직임 벡터(motion vector)의 히스토그램(histogram) 정보를 이용하여 움직임 정보를 보다 정확하게 함으로써 디인터레이싱 장치의 성능을 개선하고 영상의 디테일(Detail)을 높일 필요가 있었다.

일반적인 텔레비전 영상 신호는 2개의 필드가 1개의 프레임을 형성하는 비월 주사 방식을 채택하여 송신되는 주파수 대역의 압축을 실행하고 있다. 그러나 최근 퍼스널컴퓨터(PC) 나 고선명 텔레비전에서 순차 주사 방식으로 디스플레이 하는 비중이 늘어 나고, 특히 대형 디스플레이 장치의 경우 비월주사 방식의 영상을 디스플레이 할 경우 영상의 움직임 영역에서 심한 플리커링(flickering)이 발생하게 된다. 이 때문에 상기 비월주사 방식의 영상을 디스플레이 하기 위해서 기존의 비월주사 방식의 영상에서 없는 영상 라인들을 생성하여 순차주사 방식의 영상으로 변환해서 디스플레이해야 하는데, 이 기법을 통상 디인터레이싱이라 한다.

기존의 디인터레이싱 기법은 움직임 정보를 사용하는 여부에 따라 크게 두 가지 방식으로 구분된다. 첫 번째는 움직임 정보를 이용하지 않는 인트라-필드 보간　기법으로 현재 필드의 정보만을 화소 보간에 사용하는 기법으로 수직방향으로 높은 주파수를 가지는 영상의 경우에 플리커링이나 블러링(blurring)이 심하게 발 생하게 된다. 두 번째는 움직임 정보를 사용하는 방법으로 영상의 정지 영역에서는 시간축　방향으로 보간하는 인터-필드 보간 기법을 사용해서 상기 아티팩트 (artifact)들을 막아 주는 움직임에 따른 적응적 기법이 사용되고 있다. 하지만 이 기법은 움직이는 물체나 배경이 있는 영상에서는 이런 아티팩트들이 여전히 발생하게 된다. 그에 비해 움직임 보상 (motion compensation)을 이용한 기법은 일정한 움직임이 있는 영상에서 움직임 벡터(motion vector)에 의해 보상된 보간 값을 사용함으로써 이런 아티팩트들을 효과적으로 제거할 수 있다. 그러나 움직임 보상을 사용한 기법에서는 구현의 복잡도 때문에 움직임 추정 (motion estimation)을 위해서 블록 단위의 움직임 벡터를 사용하게 된다. 이 방법은 오류 정정 단위가 블록 단위로 이루어지므로 영상에 블로킹 아티팩트가 종종 발생하게 된다. 이를 막기 위해 후처리(post-processing) 과정 등이 필요하게 된다. 이와 같이 움직임 보상을 사용한 기법은 상당히 복잡한 하드웨어로 구성된다. 따라서 움직임의 정도를 추출하여 움직임에 따라 적응적으로 보간 하는 움직임 적응적 보간 방법이 많이 제시되었다.

움직임을 검출해서 움직임 정도에 따라 적응적으로 보간 하는 방법의 일례로는 미국 특허 5,027,20 와 5,159,451에 제시된 버나드(Bernard) 방식과 파로자(Faroudja) 방식 등이 있다.

비월 주사(Interlaced scan) 방식의 방송신호를 순차 주사(Progressive scan) 방식으로 전환시켜주는 기술인 디인터레이싱(deinterlacing) 기술은 크게 필드 내 보간법과 필드 간 보간법으로 나눠진다. 두 가지 기술에는 각각의 장단점이 존재하기 때문에, 현재는 두 기술을 섞어서 함께 사용하는 기술이 일반화되고 있다. 도 1은 필드 내 보간법과 필드 간 보간법을 적용하는 종래의 디인터레이싱 장치의 블록도이다. 도 1에 의하면, 영상 신호를 필드 단위로 저장하는 필드 메모리 영역부(100)의 필드 단위의 영상신호는 인트라 필드 생성부(110)에서 인트라 필드 (필드 내) 신호로 바뀐다. 이와 동시에, 움직임 벡터 예측부(120)에서는 상기 인트라 필드 신호와 상기 필드 단위의 영상 신호를 받아 움직임 벡터를 예측한다. 인터 필드 생성부(130)는 상기 예측된 움직임 벡터를 받아서 인터 필드(필드 간) 신호를 생성하여 가중치 계산부(140)에 제공한다. 가중치 계산부(140)에서는 인트라 필드 신호, 상기 인터 필드 신호, 및 상기 필드 단위 영상신호를 받아서 가중치적용된 인터 필드 신호를 계산하고 그 계산된 가중치 적용된 인터 필드 신호를 인트라/인터 결정부(150)로 공급한다. 인트라/인터 결정부(150)에서는 인트라 필드 신호와 가중치 적용된 인터 필드 신호 중의 하나를 결정하여 보간 필드 생성부(160)로 공급한다. 상기 보간 필드 생성부(160)는 보간 필드 신호를 생성하여 병합부(170)로 출력한다. 병합부(170)에서는 보간 필드 신호와 필드 신호를 병합하여 디인터레이스 영상 신호를 출력한다.

상술한 바와 같이, 현재는 상기 필드 내 보간법과 필드 간 보간법의 두 기법을 움직임 벡터의 신뢰도(가령, SAD)와 외부 파라미터(parameter)만을 이용해서, 공간적 상관 보간법(Spatial interpolation)을 사용할지, 아니면 움직임 보상 보간법(Motion compensation interpolation) 같은 시간적 상관 보간법(Temporal interpolation)을 사용할지를 결정한다. 하지만, 움직임 벡터의 신뢰도만으로는 영상의 다양성을 대표하기에는 충분치 않으며, 외부 파라미터를 사용하면 영상의 성향에 적응적(adaptive)으로 보간법을 사용할 수 없다. 그 결과, 필드 내 보간법만을 사용한 영상에서는 디테일(Detail)이 떨어지는 문제가 발생하였으며, 필드 간 보간법만을 사용한 영상에서는 움직임 에러(motion error)를 발생하기도 하였다.

다른 종래 기술로 한국공개특허 2003-070455에는 입력되는 필드영상의 움직임벡터에 대한 히스토그램을 구하고, 상기 히스토그램을 이용하여 전역움직임이 존재하는지 판단하고 이를 통하여 움직임 타입을 결정하여, 움직임 타입에 따라 움직임 보상방식 및 시공간 보상방식중 적응적으로 선택할 수 있는 주사포맷 변환장치 및 방법이 개시되어 있다.

한국공개특허 2002-094369에는 필드로부터 추정된 움직임 벡터를 분석하여 움직임 유무를 추정하고 움직임 추정부에서 추정된 움직임 벡터와 움직임 분석부(연속된 필드의 움직임 벡터들의 분포인 히스토그램을 이용)에서 분석된 전역움직임을 참조하여 움직임타입을 결정하여 시공간 및 움직임 보상 보간을 선택하는 과정이 포함된 디인터레이싱 방법이 개시되어 있다.

일본공개특허 1999-205799에는 움직임 벡터의 벡터치를 이용하여 히스토그램을 저장하고, 상기 히스토그램을 통하여 벡터의 탐색범위를 줄이는 장치가 개시되어 있다.

본 발명이 이루고자 하는 기술적 과제는 상술한 종래 기술의 단점을 해결하기 위하여, 필드의 움직임 벡터(motion vector)의 히스토그램(histogram) 정보를 이용하여 움직임 정보를 보다 정확하게 하여 디인터레이싱 장치의 성능을 개선하고 영상의 디테일을 높이는 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 필드의 움직임 벡터(motion vector)의 히스토그램(histogram)을　중요 요소로 채택하여　라인/필드의 전역 움직임 벡터를 계산하고 관련 통계적 정보를 계산을 통해 움직임 정보를 보다 정확하게 하여 공간적 상관 보간법과 시간적 상관 보간법, 그리고, 공간적, 시간적 정보를 필터링의 성능을 향상시켜 출력 영상의 디테일을 높이고자 하는 디인터레이싱 장치 및 방법을 제공하는데 그 목적이 있다.

상기 기술적 과제를 달성하기 위하여, 본 발명의 일측면에 의하면, 필드 내 보간과 필드 간 보간을 혼합사용하여 보간을 수행할 때 움직임 벡터를 예측하여 움직임 벡터에 따라 적응적 보간을 수행함으로써 비월 주사 방식의 영상을 순차 주사 방식의 영상으로 변환하는 디인터레이싱 장치에 있어서, 움직임 벡터 예측부와 가중치 계산부의 사이에 움직임 벡터의 히스토그램 계산부를 추가함을 특징으로 하는 디인터레이싱 장치를 제공한다.

바람직하기로는 상기 히스토그램 계산부는 상기 움직임 벡터 예측부로부터의 움직임 벡터를 받아 라인 히스토그램을 생성하는 라인(line) 히스토그램 계산부와 상기 라인 히스토그램 계산부로부터 라인 히스토그램을 받아 필드 히스토그램을 생성하는 필드 히스토그램 계산부, 및 상기 라인 히스토그램 계산부 및 상기 필드 히 스토그램 계산부로부터의 출력을 받아 히스토그램 방법을 선택하여 라인/전역/라인 및 전역 히스토그램을 출력하 는 히스토그램 방법 선택부, 및 상기 히스토그램 방법 선택부로부터의 출력을 받아 전역 움직임 벡터를 계산하여 출력하는 전역 움직임 벡터 계산부를 구비한다.

본 발명의 다른 측면에 의하면, 필드 내 보간과 필드 간 보간을 혼합사용하여 보간을 수행할 때 움직임 벡터를 예측하여 움직임 벡터에 따라 적응적 보간을 수행함으로써 비월 주사 방식의 영상을 순차 주사 방식의 영상으로 변환하는 디인터레이싱 방법에 있어서, 움직임 벡터 예측 단계와 가중치 계산 단계의 사이에 움직임 벡터의 히스토그램 계산 단계를 추가함을 특징으로 하는 디인터레이싱 방법을 제공한다.

바람직하기로는 상기 히스토그램 계산 단계는 상기 움직임 벡터 예측부로부터의 움직임 벡터를 받아 라인 히스토그램을 생성하는 라인(line) 히스토그램 계산 단계와 상기 라인 히스토그램 계산 단계로부터 라인 히스토그램을 받아 필드 히스토그램을 생성하는 필드 히스토그램 계산 단계, 및 상기 라인 히스토그램 계산 단계 및 상기 필드 히스토그램 계산 단계로부터의 출력을 받아 히스토그램 방법을 선택하여 라인/전역/라인 및 전역 히스토그램을 출력하는 히스토그램 방법 선택 단계, 및 상기 히스토그램 방법 선택 단계로부터의 출력을 받아 전역 움직임 벡터를 계산하여 출력하는 전역 움직임 벡터 계산 단계를 구비한다.

이하, 본 발명의 동보상 기반 디인터레이싱 장치 및 방법의 구성 및 동작에 대하여 첨부된 도면을 참조하여 보다 상세히 설명하기로 한다.

도 2에 의하면, 본 발명의 동보상 기반 디인터레이싱 장치는 필드 내 보간과 필드 간 보간을 혼합사용하여 보간을 수행할 때 움직임 벡터를 예측하여 움직임 벡터에 따라 적응적 보간을 수행함으로써 비월 주사 방식의 영상을 순차 주사 방식의 영상으로 변환하는 디인터레이싱 장치로서, 도 1의 종래의 디인터레이싱 장치에 있어서, 움직임 벡터 예측부(120)와 가중치 계산부(140)의 사이에 움직임 벡터의 히스토그램 계산부(130)를 추가하고 있다.

도 2에서 도 1에 도시된 부분과 동일한 구성 요소들은 동일하거나 매유 유사한 기능을 수행하므로 그 상세한 설명은 생략하기로 하며, 다만 본 발명에 적용되는 히스토그램 계산부(130)에 대해서 도 3을 참조하여 보다 상세히 설명하기로 한다.

도 3에 의하면, 히스토그램 계산부(130)는 라인 히스토그램 계산부(131, 132, ..., 13N), 필드 히스토그램 계산부(136), 히스토그램 방법 선택부(136), 전역 움직임 벡터 계산부(138)를 구비한다.

상기 라인 히스토그램 계산부(131, 132, ..., 13N)는 필드 내의 라인의 움직임 정보만을 이용하여 히스토그램 정보를 계산하는　블록으로서, 필드의 각 라인의 움직임 벡터의 정보를 누적 히스토그램화하여 관련된 통계적 정보를 추출한다.

상기 필드 히스토그램 계산부(134)는 필드 내부의 라인 히스토그램 정보를 취합하여 필드 히스토그램을 계산하는　블록으로서, 한 필드를 구성하는 라인 히스토그램의 정보를 누적하여 필드 당 히스토그램의 통계적 정보를 추출한다.

상기 히스토그램 방법 선택부(136)는 시스템 설정에 따라 히스토그램 방법의 선택을 수행하는 블록으로서, 시스템의 설정에 따라 라인/필드 히스토그램의 사용 여부를 판단한다. 만약 라인 히스토그램이 선택되었을 경우 매 라인마다 히스토그램 정보가 계산되어　나오고 그 값을 통해 라인 전역 움직임 벡터가 계산된다. 만약 필드 히스토그램이 선택되었을 경우 라인 별 정보와 함께 모든 라인의 통합된 값을 이용해 필드의 히스토그램 정보와 필드 전역 움직임 벡터가 계산된다.

상기 전역 움직임 벡터 계산부(138)는 히스토그램의 결과에 따라 라인 혹은 필드의 전역 움직임 벡터를 계산하는 블록으로서, 선택된 히스토그램 방법에 의해 계산된 움직임 벡터의 통계적 정보를 기반으로 최적의 전역 움직임 벡터를 계산하고 계산된 움직임 벡터의 라인/필드의 대표성을 파악한다. 이 정보는 후반부의 필드 내 보간 정보와 필드 간 보간 정보의 합성 시 이용된다.

본 발명의 다른 측면에 의하면, 본 발명의 디인터레이싱 방법은 필드 내 보간과 필드 간 보간을 혼합사용하여 보간을 수행할 때 움직임 벡터를 예측하여 움직임 벡터에 따라 적응적 보간을 수행함으로써 비월 주사 방식의 영상을 순차 주사 방식의 영상으로 변환하며, 기존 디인터레이싱의 디테일을 높여 주고, 움직임 에러 등을 줄이기 위해 움직임 벡터 예측 단계와 가중치 계산 단계의 사이에 움직임 벡터의 히스토그램 계산 단계를 추가하고 있다.

상기 히스토그램 계산 단계는 상기 움직임 벡터 예측부로부터의 움직임 벡터를 받아 라인 히스토그램을 생성하는 라인(line) 히스토그램 계산 단계와 상기 라인 히스토그램 계산 단계로부터 라인 히스토그램을 받아 필드 히스토그램을 생성하는 필드 히스토그램 계산 단계, 및 상기 라인 히스토그램 계산 단계 및 상기 필 드 히스토그램 계산 단계로부터의 출력을 받아 히스토그램 방법을 선택하여 라인/전역/라인 및 전역 히스토그램을 출력하는 히스토그램 방법 선택 단계, 및 상기 히스토그램 방법 선택 단계로부터의 출력을 받아 전역 움직임 벡터를 계산하여 출력하는 전역 움직임 벡터 계산 단계를 구비한다.

이상으로 상술한 바와 같이, 본 발명의 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 장치 및 그 방법은 움직임 정보를 통해서 비월주사 (interlaced scan) 필드 영상을 순차주사(progressive scan) 프레임 영상으로 변환한다.

종전 기술에서는 국지적 영역의 움직임 벡터의 신뢰도와 외부 파라미터만을 참조하여 필드 내 보간법과 필드 간 보간법을 선택해 디인터레이싱을 수행했다. 그 결과 일부 영상의 디테일이 떨어지거나, 움직임 에러(motion error) 등이 발생하였다. 그러나 본 발명에서는　필드의 움직임 벡터(motion vector)의 히스토그램(histogram)을　중요 요소로 채택하여　라인/필드의 대표적 움직임 특성을 판별하였으며 그 결과 움직임의 특성을 보다 정확하게 판단하게 되어 공간적 상관 보간법과 시간적 상관 보간법, 그리고, 공간적, 시간적 정보를 필터링의 성능을 향상시켜 디인터레이싱 시 영상의 디테일이 향상되었다.

Claims (4)

1. 필드 내 보간과 필드 간 보간을 혼합사용하여 보간을 수행할 때 움직임 벡터를 예측하여 움직임 벡터에 따라 적응적 보간을 수행함으로써 비월 주사 방식의 영상을 순차 주사 방식의 영상으로 변환하는 디인터레이싱 장치에 있어서,

   움직임 벡터 예측부와 가중치 계산부의 사이에 움직임 벡터의 히스토그램 계산부를 추가함을 특징으로 하는 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 장치.
2. 제1항에 있어서, 상기 히스토그램 계산부는 상기 움직임 벡터 예측부로부터의 움직임 벡터를 받아 라인 히스토그램을 생성하는 라인(line) 히스토그램 계산부와 상기 라인 히스토그램 계산부로부터 라인 히스토그램을 받아 필드 히스토그램을 생성하는 필드 히스토그램 계산부, 및 상기 라인 히스토그램 계산부 및 상기 필드 히스토그램 계산부로부터의 출력을 받아 히스토그램 방법을 선택하여 라인/전역/라인 및 전역 히스토그램을 출력하 는 히스토그램 방법 선택부, 및 상기 히스토그램 방법 선택부로부터의 출력을 받아 전역 움직임 벡터를 계산하여 출력하는 전역 움직임 벡터 계산부를 구비하는 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 장치.
3. 필드 내 보간과 필드 간 보간을 혼합사용하여 보간을 수행할 때 움직임 벡터 를 예측하여 움직임 벡터에 따라 적응적 보간을 수행함으로써 비월 주사 방식의 영상을 순차 주사 방식의 영상으로 변환하는 디인터레이싱 방법에 있어서,

   움직임 벡터 예측 단계와 가중치 계산 단계의 사이에 움직임 벡터의 히스토그램 계산 단계를 추가함을 특징으로 하는 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 방법.
4. 제3항에 있어서, 상기 히스토그램 계산 단계는 상기 움직임 벡터 예측부로부터의 움직임 벡터를 받아 라인 히스토그램을 생성하는 라인(line) 히스토그램 계산 단계와 상기 라인 히스토그램 계산 단계로부터 라인 히스토그램을 받아 필드 히스토그램을 생성하는 필드 히스토그램 계산 단계, 및 상기 라인 히스토그램 계산 단계 및 상기 필드 히스토그램 계산 단계로부터의 출력을 받아 히스토그램 방법을 선택하여 라인/전역/라인 및 전역 히스토그램을 출력하는 히스토그램 방법 선택 단계, 및 상기 히스토그램 방법 선택 단계로부터의 출력을 받아 전역 움직임 벡터를 계산하여 출력하는 전역 움직임 벡터 계산 단계를 구비하는 모션 히스토그램을 이용한 동보상 기반 디인터레이싱 방법.

Images