KR100624304B1 - 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 - Google Patents

움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 Download PDF

Info

Publication number
KR100624304B1
KR100624304B1 KR1020040040658A KR20040040658A KR100624304B1 KR 100624304 B1 KR100624304 B1 KR 100624304B1 KR 1020040040658 A KR1020040040658 A KR 1020040040658A KR 20040040658 A KR20040040658 A KR 20040040658A KR 100624304 B1 KR100624304 B1 KR 100624304B1
Authority
KR
South Korea
Prior art keywords
motion
inter
image
intra
generated
Prior art date
Application number
KR1020040040658A
Other languages
English (en)
Other versions
KR20050115559A (ko
Inventor
정우석
Original Assignee
주식회사 대우일렉트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 대우일렉트로닉스 filed Critical 주식회사 대우일렉트로닉스
Priority to KR1020040040658A priority Critical patent/KR100624304B1/ko
Publication of KR20050115559A publication Critical patent/KR20050115559A/ko
Application granted granted Critical
Publication of KR100624304B1 publication Critical patent/KR100624304B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 움직임 보상 인터 프레임의 생성을 위한 움직임 추정시에 발생하는 N×N 블록 단위의 움직임 정보를 이용함으로써, 복잡한 계산량을 필요로 하지 않으면서도 인트라 영상 또는 인터 영상으로의 선택적인 디인터레이스를 실현할 수 있도록 한다는 것으로, 이를 위하여 본 발명은, 정방향 및 역방향의 움직임 보상 인터 프레임간 차분값 및 차분 총합값과 인트라 및 인터 프레임간 차분값 및 차분 총합값을 이용하여 인터레이스 영상을 인트라 또는 움직임 보상 인터 영상으로 디인터레이싱하는 종래 방식과는 달리, 움직임 카운트값을 이용하여 인트라 프레임과 인터 프레임의 디인터레이싱을 적응적으로 결정하고, 움직임 정보(움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기)를 이용하여 인터 프레임과 움직임 보상(MC) 인터 프레임의 디인터레이싱을 적응적으로 결정하며, 움직임 카운트 값과 인트라/인터 프레임 및 인터/움직임 보상 인터 프레임간의 차분값에 의거하여 인트라/인터 프레임과 인터/움직임 보상 인터 프레임의 디인터레이싱을 적응적으로 결정하도록 함으로써, 복잡한 계산량을 필요로 하지 않으면서도 영상의 움직임에 민감하게 적응 가능한 영상 디인터레이싱을 실현할 수 있는 것이다.

Description

움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그 방법{APPARATUS AND METHOD FOR DE-INTERLACING ADAPTIVELY FIELD IMAGE BY USING MOTION}
도 1은 본 발명의 바람직한 실시 예에 따른 움직임을 이용한 적응적인 영상 디인터레이스 장치의 블록구성도,
도 2는 도 1에 도시된 MC 인터 프레임 발생 블록의 세부적인 블록구성도,
도 3a는 움직임 추정을 위한 블록의 예시도, 3b는 움직임 추정 블록보다 적어도 큰 사이즈를 갖는 움직임 탐색 영역의 예시도,
도 4는 종래의 영상 디인터레이스 장치의 블록구성도.
＜도면의 주요부분에 대한 부호의 설명＞
102 : 필드 메모리 블록 104 : 인터 프레임 생성 블록
106 : 인트라 프레임 생성 블록 108 : MC 인터 프레임 발생 블록
110 : 인트라/인터 결정 블록 112 : 출력 절환 블록
114 : 인터 프레임 결정 블록 116 : 복합 인터 프레임 발생 블록
118 : 차분 발생 블록 120 : 프레임 결정 블록
122 : 프레임 선택 블록 1081 : 움직임 추정 블록
1083 : 정방향 인터 프레임 생성 블록
1085 : 역방향 인터 프레임 생성 블록
1087 : MC 인터 프레임 생성 블록
본 발명은 영상신호를 디인터레이스하는 기법에 관한 것으로, 더욱 상세하게는 오드(홀수) 필드와 이븐(짝수) 필드로 된 인터레이스 영상을 인트라 또는 인터 프레임의 디인터레이스 영상으로 변환하는데 적합한 움직임을 이용한 영상 디인터레이스 장치 및 그 방법에 관한 것이다.
통상적으로, 디스플레이를 위한 영상신호는 인터레이스 영상과 디인터레이스 영상으로 구분할 수 있는데, 인터레이스 영상은 오드 필드와 이븐 필드로 이루어져 격행 주사를 통해 디스플레이되는 영상을 나타내고, 디인터레이스 영상은 하나의 프레임으로 이루어져 순차 주사를 통해 디스플레이되는 영상을 나타낸다.
잘 알려진 바와 같이, NTSC 방송의 영상신호는 인터레이스 영상(즉, 오드 필드와 이븐 필드의 격행 주사를 통해 하나의 영상 프레임을 표현하는 방식)으로 이루어져 있는데, 최근 들어 보급이 확산되고 있는 PDP, LCD 등의 디스플레이 소자는 디인터레이스 방식(즉, 즉, 영상을 한 라인씩 순차적으로 주사하여 한 프레임을 표현하는 방식)의 영상 모드를 지원하고 있다. 따라서, 이러한 PDP 등에서는 NTSC 방송의 인터레이스 영상을 디인터레이스 영상으로 재배열하는 수단을 채용하고 있다.
전형적인 종래 디인터레이스 방식으로는 두 라인 데이터를 그대로 이용하여 디인터레이스 영상을 생성하는 방법과 픽셀(화소) 단위의 움직임을 추정 결과에 의 거하여 인터레이스 영상을 생성하는 방법이 있다.
상기한 종래 방법들 중 라인 데이터를 그대로 이용하는 방식은 오드 필드 라인 데이터와 이븐 필드 라인 데이터를 라인별로 겹쳐서 끼워 넣는 방식(라인 교차 삽입 방식)으로 디인터레이스 영상을 생성하는 기법인데, 이러한 기법의 경우 프레임용 보간 데이터의 생성을 위한 계산량이 간단하다는 장점을 갖는 반면에 필드별로 움직임이 심한 동영상일 경우 필드간의 영상 차이가 심하기 때문에 에지 근처에서 영상의 화질 열화를 필연적으로 수반되는 문제가 있다.
또한, 상기한 종래 방법들 중 픽셀 단위의 움직임을 추정하는 방식은 픽셀 단위의 움직임을 추정하고, 이 움직임 추정 결과에 의거하여 현재 필드의 인접하는 픽셀들 및/또는 이전 필드의 대응하는 위치의 인접 픽셀들을 이용하는 방식으로 디인터레이스 영상을 생성하는 기법인데, 이러한 기법의 경우 영상의 움직임에 매우 강한 특성을 갖는 반면에 하드웨어적인 구성 및 계산량이 매우 복잡하다는 문제가 있으며, 이러한 문제는 결국 디인터레이스 장치의 상용화 및 저가격화를 저해시키는 요인으로 작용하고 있는 실정이다.
한편, 상기한 종래 기술의 문제점을 해결하기 위한 하나의 방편으로서, 라인 삽입 방식과 움직임 추정/보상을 이용한 보간(interpolation) 방식을 혼합하여 사용하는 새로운 방법이 제안되었으며, 이러한 새로운 방법을 실현하는 하드웨어적인 구성이 도 4에 도시되어 있다.
도 4는 종래의 영상 디인터레이스 장치의 블록구성도로서, 필드 데이터 전처리 블록(402), 인트라 프레임 발생 블록(404), 정방향 인터 프레임 생성 블록(406), 역방향 인터 프레임 생성 블록(408), 인터 프레임 발생 블록(410), 제1차분 발생 블록(412), 제2차분 발생 블록(414), 인트라/인터 결정 블록(416) 및 프레임 선택 블록(418)을 포함한다.
도 4를 참조하면, 필드 데이터 전처리 블록(402)은, 비록 도면에서의 상세한 도시는 생략하였으나, 다수의 필드 메모리와 움직임 추정 블록을 포함하는 것으로, 외부로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 인트라 프레임 발생 블록(404)으로 제공하고, 시간축 상으로 연속하는 한쪽의 필드 데이터(예를 들면, 오드 필드)들 이용하여 N×N 블록 단위로 움직임을 추정하여 각 블록 단위의 움직임 벡터를 발생하며, 이와 같이 발생된 움직임 벡터들을 선택된 필드 데이터(예를 들면, 오드 필드 데이터)와 함께 정방향 및 역방향 인터 프레임 생성 블록(406, 408)으로 각각 제공하는 등의 기능을 수행한다.
다음에, 인트라 프레임 발생 블록(404)은 필드 데이터 전처리 블록(402)으로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 이용하여 라인 데이터를 순차 삽입하는 방식으로 인트라 프레임 데이터, 즉 인트라 프레임의 디인터레이스 영상 데이터를 생성하는 것으로, 여기에서 생성된 인트라 프레임 데이터(디인터레이스 영상 데이터)는 라인 L41을 통해 제2차분 발생 블록(414) 및 프레임 선택 블록(418)으로 각각 제공된다.
또한, 정방향 인터 프레임 생성 블록(406)은 필드 데이터 전처리 블록(402)으로부터 제공되는 n번째 필드 데이터(예컨대, n번째 오드 필드 데이터)와 n-1번째 및 n번째 필드 데이터간의 N×N 블록의 단위 움직임 추정을 통해 얻어진 움직임벡 터들을 이용하여 정방향의 예측 필드를 생성하고, 이 생성된 정방향의 예측 필드와 n번째 필드를 이용하는 라인 데이터 삽입 방식을 통해 정방향의 인터 프레임, 즉 정방향의 디인터레이스 영상을 생성하며, 여기에서 생성된 정방향의 인터 프레임은 라인 L42를 통해 인터 프레임 발생 블록(410)과 제1차분 발생 블록(412)으로 각각 제공된다.
이어서, 역방향 인터 프레임 생성 블록(408)은 필드 데이터 전처리 블록(402)으로부터 제공되는 n-1번째 필드 데이터(예컨대, n-1번째 오드 필드 데이터)와 n-1번째 및 n번째 필드 데이터간의 N×N 블록의 단위 움직임 추정을 통해 얻어진 움직임벡터들을 이용하여 역방향의 예측 필드를 생성하고, 이 생성된 역방향의 예측 필드와 n-1번째 필드를 이용하는 라인 데이터 삽입 방식을 통해 역방향의 인터 프레임, 즉 역방향의 디인터레이스 영상을 생성하며, 여기에서 생성된 역방향의 인터 프레임은 라인 L43을 통해 인터 프레임 발생 블록(410)과 제1차분 발생 블록(412)으로 각각 제공된다.
이에 응답하여, 인터 프레임 발생 블록(410)에서는 라인 L42를 통해 제공되는 정방향의 인터 프레임과 라인 L43을 통해 제공되는 역방향의 인터 프레임의 대응하는 각 픽셀 값들을 가산한 후 다시 평균(즉, 1/2)을 취하는 방식으로 인터 프레임을 생성하며, 여기에서 생성된 인터 프레임은 라인 L44를 통해 제2차분 발생 블록(414)과 프레임 선택 블록(418)으로 각각 제공된다.
또한, 제1차분 발생 블록(412)에서는 라인 L42를 통해 제공되는 정방향의 인터 프레임과 라인 L43을 통해 제공되는 역방향의 인터 프레임간의 차분값(에러신호 들)들을 추출, 즉 모든 픽셀들에 대한 픽셀 차분값들을 추출하고, 이 추출된 차분값들을 모두 가산하여 인터 프레임 차분 총합값을 산출한 후 다음 단의 인트라/인터 결정 블록(416)으로 제공한다.
다음에, 제2차분 발생 블록(414)에서는 라인 L41을 통해 제공되는 인트라 프레임과 라인 L44를 통해 제공되는 인터 프레임간의 차분값(에러신호들)들을 추출, 즉 모든 픽셀들에 대한 픽셀 차분값들을 추출하고, 이 추출된 차분값들을 모두 가산하여 인트라/인터 프레임 차분 총합값을 산출한 후 다음 단의 인트라/인터 결정 블록(416)으로 제공한다.
이에 응답하여, 인트라/인터 결정 블록(416)에서는 제1차분 발생 블록(412)으로부터 제공되는 인터 프레임 차분 총합값과 제2차분 발생 블록(414)으로부터 제공되는 인트라/인터 프레임 차분 총합값을 비교하고, 그 비교 결과에 의거하여 디인터레이싱된 인트라 영상 혹은 디인터레이싱된 인터 영상을 선택하기 위한 절환신호를 발생하여 라인 L45를 통해 프레임 선택 블록(418)으로 제공한다. 예를 들어, 인터 프레임 차분 총합값이 인트라/인터 프레임 차분 총합값보다 적어도 클 때 인터 모드로 디인터레이싱된 영상을 선택하도록 하고 반대의 경우 인트라 모드로 디인터레이싱된 영상을 선택하도록 하는 절환신호를 발생하여 라인 L45를 통해 프레임 선택 블록(418)으로 제공한다.
그 결과, 프레임 선택 블록(418)에서는, 라인 L45를 통해 제공되는 절환신호에 응답하여, 라인 L41 상의 디인터레이싱된 인트라 영상을 출력으로 선택하거나 혹은 라인 L44 상의 디인터레이싱된 인터 영상을 출력으로 선택한다. 여기에서, 디 인터레이싱된 영상의 출력 선택은 하나의 프레임 단위로 이루어진다.
즉, 종래의 디인터레이스 장치에서는 정방향의 인터 프레임 및 역방향의 인터 프레임간의 인터 프레임 차분값을 산출하고, 인트라 프레임 및 인터 프레임간의 인트라/인터 프레임 차분값을 산출하며, 이와 같이 산출된 두 차분값들에 의거하여 인터레이스 영상을 인트라 영상으로 디인터레이스할 것인지 혹은 인터 영상으로 디인터레이스 할 것인지를 판단 및 결정한다.
그러나, 상술한 바와 같은 종래의 디인터레이스 방법의 경우, 인터레이스 영상을 인트라 영상으로 디인터레이스할 것인지 또는 인터 영상으로 디인터레이스할 것인지를 판단하기 위해서는, 정방향 및 역방향의 인터 프레임간 차분값 및 차분 총합값을 산출하고 인트라 및 인터 프레임간 차분값 및 차분 총합값을 산출해야만 하기 때문에, 별도의 복잡한 계산을 필요로 한다는 문제가 있으며, 하드웨어적인 구현에 있어서도 구조적인 복잡도가 증가할 수밖에 없는 단점을 갖는다.
또한, 종래의 디인터레이스 방법은 라인 데이터를 순차 삽입하는 방식으로 인트라 프레임을 생성하고, 정방향과 역방향의 움직임 추정/보상을 이용하여 MC 인터 프레임을 생성하며, 이와 같이 생성된 인트라 및 인터 프레임에 대해 정방향 및 역방향의 인터 프레임간 차분값과 인트라 및 인터 프레임간 차분값을 이용하여 생성된 인트라 또는 인터 프레임 중 어느 하나를 선택하도록 하기 때문에 물체의 움직임에 의해 나타나는 디인터레이스 영상에서의 다양한 영상 특성을 표현하는데는 근본적으로 한계를 가질 수밖에 없으며, 이러한 한계는 결국 디인터레이스를 통해 재생되는 영상의 화질 열화를 수반하게 되는 문제를 갖는다.
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 움직임 보상 인터 프레임의 생성을 위한 움직임 추정시에 발생하는 N×N 블록 단위의 움직임 정보를 이용함으로써, 복잡한 계산량을 필요로 하지 않으면서도 인트라 영상 또는 인터 영상으로의 선택적인 디인터레이스를 실현할 수 있는 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 움직임 정보를 이용하여 인터 영상과 움직임 보상 인터 영상을 선택적으로 디인터레이스하고, 움직임 정보와 인트라/인터 영상 및 인터/움직임 보상 인터 영상간의 차분값에 의거하여 인트라/인터 영상 및 인터/움직임 보상 인터 영상을 선택적으로 디인터레이스할 수 있는 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 일 관점에 따른 본 발명은, 디인터레이스 영상 모드를 지원하는 영상 시스템에서 인터레이스 영상을 디인터레이스 영상으로 변환하는 장치로서, 오드 필드와 이븐 필드의 라인 평균값을 이용하여 디인터레이스된 인터 영상을 발생하는 수단과, 상기 오드 필드와 이븐 필드의 라인을 교차 삽입하여 디인터레이스된 인트라 영상을 발생하는 수단과, 시간적으로 연속하는 필드간의 움직임 추정/보상을 통해 예측 필드를 생성하고, 이 생성된 예측 필드와 해당 필드를 이용하여 디인터레이스된 움직임 보상 인터 영상을 발생하는 수단과, 상기 움직임 추정/보상시에 발생하는 각 N×N 블록별의 움직임 카운트 값에 의거하여 상기 인트라 영상과 인터 영상의 출력을 선택적으로 절환함으로써 디인터레이스된 인트 라/인터 영상을 발생하는 수단과, 상기 움직임 추정/보상에 이용되는 움직임 정보에 의거하여 상기 발생된 인터 영상과 발생된 움직임 보상 영상의 출력을 선택적으로 절환함으로써 디인터레이스된 인터/움직임 보상 인터 영상을 발생하는 수단과, 상기 움직임 카운트 값과 발생된 인트라/인터 영상 및 인터/움직임 보상 인터 영상간의 차분값에 의거하여 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 수단을 포함하는 움직임을 이용한 적응적인 영상 디인터레이스 장치를 제공한다.
상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 디인터레이스 영상 모드를 지원하는 영상 시스템에서 인터레이스 영상을 디인터레이스 영상으로 변환하는 방법으로서, 오드 필드와 이븐 필드의 라인 평균값을 이용하여 디인터레이스된 인터 영상을 발생하는 제 1 과정과, 상기 오드 필드와 이븐 필드의 라인을 교차 삽입하여 디인터레이스된 인트라 영상을 발생하는 제 2 과정과, 움직임 추정 보상시에 발생하는 각 N×N 블록별의 움직임 카운트 값에 의거하여 상기 인트라 영상과 인터 영상의 출력을 선택적으로 절환하여 디인터레이스된 인트라/인터 영상을 발생하는 제 3 과정과, 시간적으로 연속하는 필드간의 움직임 추정/보상을 통해 예측 필드를 생성하고, 이 생성된 예측 필드와 해당 필드를 이용하여 디인터레이스된 움직임 보상 인터 영상을 발생하는 제 4 과정과, 상기 움직임 추정/보상에 이용되는 움직임 정보에 의거하여 상기 발생된 인터 영상과 움직임 보상 인터 영상을 선택 절환함으로써 디인터레이스된 인터/움직임 보상 인터 영상을 발생하는 제 5 과정과, 상기 발생된 인트라/인터 영상과 인터/움직임 보상 인터 영상간의 차분 총합값을 산출하는 제 6 과정과, 상기 움직임 카운트 값과 산출된 차분 총합값에 의거하여 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택 절환하는 제 7 과정을 포함하는 움직임을 이용한 적응적인 영상 디인터레이스 방법을 제공한다.
본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
본 발명의 핵심 기술요지는, 정방향 및 역방향의 움직임 보상 인터 프레임간 차분값 및 차분 총합값과 인트라 및 인터 프레임간 차분값 및 차분 총합값을 이용하여 인터레이스 영상을 인트라 또는 움직임 보상 인터 영상으로 디인터레이싱하는 전술한 종래 방식과는 달리, 움직임 카운트값을 이용하여 인트라 프레임과 인터 프레임의 디인터레이싱을 적응적으로 결정하고, 움직임 정보(움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기)를 이용하여 인터 프레임과 움직임 보상(MC) 인터 프레임의 디인터레이싱을 적응적으로 결정하며, 움직임 카운트 값과 인트라/인터 프레임 및 인터/움직임 보상 인터 프레임간의 차분값에 의거하여 인트라/인터 프레임과 인터/움직임 보상 인터 프레임의 디인터레이싱을 적응적으로 결정하는 방식으로 인터레이스 영상을 디인터레이스 한다는 것으로, 이러한 기술적 수단을 통해 본 발명에서 목적으로 하는 바를 쉽게 달성할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 움직임을 이용한 적응적인 영상 디인터레이스 장치의 블록구성도로서, 필드 메모리 블록(102), 인터 프레임 생성 블록(104), 인트라 프레임 생성 블록(106), MC 인터 프레임 발생 블록(108), 인트라/인터 결정 블록(110), 출력 절환 블록(112), 인터 프레임 결정 블록(114), 복합 인터 프레임 발생 블록(116), 차분 발생 블록(118), 프레임 결정 블록(120) 및 프레임 선택 블록(122)을 포함한다.
도 1을 참조하면, 필드 메모리 블록(102)은, 비록 도면에서의 상세한 도시는 생략하였으나, 다수의 필드 메모리와 움직임 추정 블록을 포함하는 것으로, 외부로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 라인 L11을 통해 인터 프레임 생성 블록(104)으로 전달하고, 라인 L12를 통해 인트라 프레임 생성 블록(106)으로 전달하며, 라인 L13을 통해 기 설정된 n번째 필드 데이터(예를 들면, 현재 오드 필드 데이터)를 MC 인터 프레임 발생 블록(108)으로 전달하고, 라인 L14를 통해 기 설정된 n-1번째(즉, n번째에 비해 시간적으로 연속(인접)하여 후행하는 n-1번째) 필드 데이터(예를 들면, 이전 오드 필드 데이터)를 MC 인터 프레임 발생 블록(108)으로 전달하는 등의 기능을 수행한다.
먼저, 인터 프레임 생성 블록(104)은 라인 L11을 통해 필드 메모리 블록(102)으로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 이용하여 라인 평균값을 취하는 방식으로 인터 프레임 데이터, 즉 인터 프레임의 디인터레이스 영상 데이터를 생성하는 것으로, 여기에서 생성된 인터 프레임 데이터(디인터레이 스 영상 데이터)는 라인 L15를 통해 출력 절환 블록(112) 및 복합 인터 프레임 발생 블록(116)으로 각각 제공된다.
또한, 인트라 프레임 생성 블록(106)은 라인 L12를 통해 필드 메모리 블록(102)으로부터 제공되는 필드 데이터(오드 필드 및 이븐 필드)를 이용하여 오드 라인과 이븐 라인을 교차 삽입하는 방식으로 인트라 프레임 데이터, 즉 인트라 프레임의 디인터레이스 영상 데이터를 생성하는 것으로, 여기에서 생성된 인트라 프레임 데이터(디인터레이스 영상 데이터)는 라인 L16을 통해 다음 단의 출력 절환 블록(112)으로 제공된다.
다음에, MC 인터 프레임 발생 블록(108)은 라인 L13 및 L14를 통해 필드 메모리 블록(102)으로부터 각각 제공되는 n번째 필드 데이터(예를 들면, 현재 오드 필드 데이터)와 n-1번째(즉, n번째에 비해 시간적으로 연속(인접)하여 후행하는 n-1번째) 필드 데이터(예를 들면, 이전 오드 필드 데이터)를 이용하는 움직임 추정/보상을 통해 움직임 보상(MC) 인터 프레임을 생성한 후 라인 L17을 통해 복합 인터 프레임 발생 블록(116)으로 전달하고, 움직임 추정을 통해 발생하는 움직임 벡터(Vx, Vy) 값들을 인트라/인터 결정 블록(110)으로 전달하며, 또한 움직임 추정/보상을 위한 움직임 정보(움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기 등)들을 인터 프레임 결정 블록(114)으로 전달하는데, 이와 같이 MC 인터 프레임 발생 블록(108)에서 움직임 정보들과 MC 인터 프레임을 생성하는 구체적인 과정에 대해서는 첨부된 도 2를 참조하여 보다 상세하게 설명한다. 여기에서, Vx는 x축 상의 움직임 좌표 값을 의미하고, Vy는 y축 상의 움직임 좌표 값을 의미한다.
도 2는 도 1에 도시된 MC 인터 프레임 발생 블록의 세부적인 블록구성도로서, 움직임 추정 블록(1081), 정방향 인터 프레임 생성 블록(1083), 역방향 인터 프레임 생성 블록(1085) 및 MC 인터 프레임 생성 블록(1087)을 포함한다.
도 2를 참조하면, 움직임 추정 블록(1081)은 시간축 상에서 연속하는 한쪽의 필드 데이터(즉, 오드 필드), 즉 라인 L13을 통해 제공되는 n번째 오드 필드(현재 오드 필드)와 라인 L14 상의 n-1번째 오드 필드(이전 오드 필드)에 대해 N×N의 블록 단위로 (N+M)×(N+M)의 움직임 탐색 영역에서 움직임을 추정하여 각 블록(즉, 움직임 추정 블록) 단위의 움직임 벡터를 발생하며, 이와 같이 발생된 움직임 벡터들은 라인 L21을 통해 정방향 인터 프레임 생성 블록(1083) 및 역방향 인터 프레임 생성 블록(1085)으로 각각 제공된다.
여기에서의 움직임 추정은, 예를 들면 영상 인코딩 분야에서 이미 널리 알려진 블록 매칭 알고리즘 등을 이용할 수 있으며, 또한 일 예로서 도 3a 및 3b에 도시된 바와 같이, 4×4의 움직임 추정 블록과 20×20의 움직임 탐색 영역의 크기를 이용하여 블록 단위의 움직임 추정을 실현할 수 있으며, 2차원(2D) 로우패스 필터를 사용하여 최적의 에러 값을 갖는 움직임 벡터를 추출할 수 있다.
또한, 움직임 추정 블록(1081)에서는 움직임 추정을 통해 발생하는 움직임 벡터들을 라인 L22를 통해 도 1의 인트라/인터 결정 블록(110)으로 전달하고, 움직임 추정을 통해 얻어지는 움직임 정보(즉, 움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기)를 라인 L21을 통해 도 1의 인터 프레임 결정 블록(114) 으로 전달한다.
다음에, 정방향 인터 프레임 생성 블록(1083)은 라인 L13을 통해 도 1의 필드 메모리 블록(102)으로부터 제공되는 n번째 필드 데이터(예컨대, n번째 오드 필드 데이터)와 라인 L21을 통해 움직임 추정 블록(1081)으로부터 제공되는 움직임 벡터를 이용하는 움직임 보상을 수행하여 정방향의 예측 필드를 생성하고, 이 생성된 정방향의 예측 필드와 n번째 필드를 이용하는 라인 데이터 교차 삽입 방식으로 정방향의 인터 프레임, 즉 정방향의 디인터레이스 영상을 생성하며, 여기에서 생성된 정방향의 인터 프레임은 라인 L24를 통해 다음 단의 MC 인터 프레임 생성 블록(1087)으로 제공된다.
또한, 역방향 인터 프레임 생성 블록(1085)은, 상기한 정방향 인터 프레임 생성 블록(1083)과 유사하게, 라인 L14를 통해 도 1의 필드 메모리 블록(102)으로부터 제공되는 n-1번째 필드 데이터(예컨대, n-1번째 오드 필드 데이터)와 라인 L21을 통해 움직임 추정 블록(1081)으로부터 제공되는 움직임 벡터를 이용하는 움직임 보상을 수행하여 역방향의 예측 필드를 생성하고, 이 생성된 역방향의 예측 필드와 n-1번째 필드를 이용하는 라인 데이터 교차 삽입 방식으로 역방향의 인터 프레임, 즉 역방향의 디인터레이스 영상을 생성하며, 여기에서 생성된 역방향의 인터 프레임은 라인 L25를 통해 다음 단의 MC 인터 프레임 생성 블록(1087)으로 제공된다.
이에 응답하여, MC 인터 프레임 발생 블록(1087)에서는 정방향 인터 프레임 생성 블록(1083)으로부터 제공되는 라인 L24 상의 정방향의 인터 프레임과 역방향 인터 프레임 생성 블록(1085)으로부터 제공되는 라인 L25 상의 역방향의 인터 프레임의 대응하는 각 픽셀 값들을 가산한 후 다시 평균(즉, 1/2)을 취하는 방식으로 움직임 보상(MC)된 인터 프레임(즉, MC 인터 모드의 디인터레이스 영상)을 생성하며, 여기에서 생성된 움직임 보상 인터 프레임(인터 영상)은 라인 L17을 통해 도 1의 복합 인터 프레임 발생 블록(116)으로 제공된다.
한편, 인트라/인터 결정 블록(110)은, 기 설정된 소정의 블록 단위(예를 들면, 20×20의 움직임 탐색 영역 단위 등)로, 도 2의 라인 L2를 통해 움직임 추정 블록(1081)으로부터 움직임 벡터가 제공될 때마다 해당 움직임 벡터와 기 설정된 움직임 임계값을 비교하고, 그 비교 결과에 의거하여 디인터레이싱된 인트라 영상 혹은 디인터레이싱된 인터 영상을 선택하기 위한 절환신호를 발생하여 라인 L18을 통해 출력 절환 블록(112)으로 제공한다.
보다 상세하게, 인트라/인터 결정 블록(110)에서는 움직임 추정 블록(1081)으로부터 움직임 벡터가 제공될 때마다 해당 움직임 벡터와 기 설정된 움직임 임계값을 비교하고, 비교 결과 움직임 벡터가 기 설정된 움직임 임계값보다 적어도 클 때 하이 레벨(즉, "1")의 신호를 카운트하며, 그 이외일 때 로우 레벨(즉, "0")의 신호를 카운트하는데, 이러한 움직임 벡터의 카운트는 기 설정된 임의의 블록(예를 들면, 20×20의 움직임 탐색 영역 단위 등) 단위로 수행할 수 있으며, 기 설정된 임의의 블록 단위의 움직임 벡터가 모두 입력될 때 카운트한 하이 레벨의 개수와 기 설정된 카운트 임계값을 비교하고, 그 비교결과에 의거하여 인트라 영상 혹은 인터 영상을 선택하기 위한 절환신호를 발생하여 라인 L18을 통해 출력 절환 블록(114)으로 제공한다. 이때, 인트라/인터 결정 블록(110)에서는 하이 레벨의 카운트 개수가 기 설정된 카운트 임계값 이상일 때 인터 프레임(인터 영상)을 출력으로 선택하고, 그 이외의 경우일 때 인트라 프레임(인트라 영상)을 출력으로 선택하는 절환신호를 라인 L18 상에 발생하도록 설정될 수 있다. 또한, 인트라/인터 결정 블록(110)에서는 기 설정된 임의의 블록 단위로 하이 레벨의 카운트 값(혹은 로우 레벨의 카운트 값)을 라인 L19를 통해 후술하는 프레임 결정 블록(120)으로 제공한다.
이에 응답하여, 출력 절환 블록(112)은 라인 L18을 통해 인트라/인터 결정 블록(110)으로부터 제공되는 절환신호에 응답하여, 라인 L15를 통해 인터 프레임 생성 블록(104)으로부터 전달되는 인터 프레임(인터 영상)을 출력으로 선택하거나 혹은 라인 L16을 통해 인트라 프레임 생성 블록(106)으로부터 전달되는 인트라 프레임(인트라 영상)을 출력으로 선택하여 라인 L20을 통해 차분 생성 블록(118) 및 프레임 결정 블록(120)으로 각각 제공한다.
한편, 본 발명의 바람직한 실시 예에서는 인트라 영상 또는 인터 영상의 선택적인 절환을 기 설정된 소정의 블록 단위(예를 들면, 움직임 탐색 영역에 대응하는 20×20 블록 단위 등)로 수행하는 것으로 하여 설명하였으나, 이것은 설명의 편의와 이해의 증진을 위해 예시한 것일 뿐 본 발명이 반드시 이에 한정되는 것은 아니며, 다수의 라인 단위, 예를 들면 움직임 탐색 영역의 라인 수에 대응하는 다수의 라인 단위로 움직임을 카운트하여 인터 영상 또는 인트라 영상의 출력을 선택 절환하도록 할 수 있음은 물론이다.
다시 도 1을 참조하면, 인터 프레임 결정 블록(114)은 라인 L23을 통해 도 2의 움직임 추정 블록(1081)으로부터 제공되는 움직임 정보, 즉 움직임 벡터, 움직임 추정 블록(N×N)의 크기, 움직임 탐색 영역((N+M)×(N+M))의 크기 정보를 이용하여 아래의 수학식과 같이 인터 또는 MC 인터 모드 결정용의 계수 k를 아래의 수학식 1과 같이 산출하고, 이 산출된 계수 k와 기 설정된 기준값 간을 비교하며, 그 비교 결과에 의거하여 디인터레이싱된 인터 영상 혹은 디인터레이싱된 움직임 보상 인터 영상을 선택하기 위한 절환신호를 발생하여 라인 L21을 통해 복합 인터 프레임 발생 블록(116)으로 제공한다. 예를 들어, 산출된 계수 k값이 기 설정된 기준값보다 적어도 클 때 인터 프레임 결정 블록(114)에서는 라인 L15 상의 인터 영상(즉, 라인 평균값을 이용하여 디인터레이싱한 인터 영상)을 선택하도록 하는 절환신호(하이 또는 로우 레벨의 절환신호)를 라인 L21 상에 발생하고, 산출된 계수 k값이 기 설정된 기준값보다 작을 때 인터 프레임 결정 블록(114)에서는 라인 L17 상의 움직임 보상(MC) 인터 영상을 선택하도록 하는 절환신호(로우 또는 하이 레벨의 절환신호)를 라인 L21 상에 발생한다. 여기에서, 계수 k값이 크다는 것은 상대적으로 움직임이 많다는 것을 의미하고, 반대로 작다는 것은 상대적으로 움직임이 많지 않다는 것을 의미하기 때문에 계수 k값이 기준값보다 클 때 인터 영상을 선택하도록 하고 기준값보다 작을 때 움직임 보상 인터 영상을 선택하도록 한다.
Figure 112004024160584-pat00001
상기한 수학식 1에 있어서, Vx는 x축상의 움직임 좌표 값을, Vy는 y축상의 움직임 좌표 값을 각각 의미하며, SR(search range)은 (움직임 탐색 영역의 크기 - 움직임 추정 블록의 크기)/2를 의미한다.
다음에, 복합 인터 프레임 발생 블록(116)에서는, 라인 L21을 통해 인터 프레임 결정 블록(114)으로부터 제공되는 하이 또는 로우 레벨의 절환신호에 응답하여, 라인 L15 상의 인터 프레임 또는 라인 L17 상의 움직임 보상(MC) 인터 프레임을 적응적으로 선택하는데, 이러한 인터 프레임 또는 움직임 보상 인터 프레임의 적응적인 선택은, 예를 들면 (N+M)×(N+M)의 움직임 탐색 영역 단위로 수행할 수 있다.
예를 들어, 복합 인터 프레임 발생 블록(116)에서는 라인 L21을 통해 하이 레벨의 절환신호가 제공될 때 라인 L15 상의 인터 프레임을 출력으로 선택하여 라인 L22를 통해 차분 생성 블록(118) 및 프레임 선택 블록(122)으로 각각 제공하고, 이와는 달리 로우 레벨의 절환신호가 제공될 때 라인 17 상의 움직임 보상 인터 프레임을 출력으로 선택하여 라인 L22를 통해 차분 생성 블록(118) 및 프레임 선택 블록(122)으로 각각 제공한다.
한편, 본 발명의 바람직한 실시 예에서는, 인터 또는 움직임 보상 인터 영상으로 디인터레이스를 할 때, 인터 또는 MC 인터 모드의 선택을 움직임 탐색 영역 단위로 하는 것으로 하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 움직임 탐색 영역의 라인 수와 대응하는 다수의 라인 단위로 하거나 혹은 한 프레임 단위로 할 수도 있다. 여기에서, 움직임 탐색 영역의 라인 수에 대응하는 다수의 라인 단위로 인터 모드 또는 MC 인터 모드를 선택한다는 것은, 예를 들어 움직임 탐색 영역이 20×20 크기라고 가정할 때 20 라인 단위로 모드를 선택한다는 것을 의미하며, 이 경우 20 라인에 존재하는 모든 움직임 벡터에 대해 계수 k를 산출하고, 산출된 모든 계수 k를 가산한 후 움직임 벡터의 개수로 나눔으로서 최종 계수 k를 계산할 수 있을 것이다. 마찬가지로, 한 프레임 단위로 인트라 영상 및 인터 영상의 선택을 절환하는 경우, 프레임 전체에 존재하는 모든 움직임 벡터에 대해 계수 k를 산출하고, 산출된 모든 계수 k를 가산한 후 움직임 벡터의 총 개수로 나눔으로서 최종 계수 k를 계산할 수 있을 것이다.
다음에, 차분 생성 블록(118)은 라인 L20을 통해 출력 절환 블록(112)으로부터 제공되는 인트라/인터 프레임(영상)과 라인 L22를 통해 복합 인터 프레임 발생 블록(116)으로부터 제공되는 인터/움직임 보상 인터 프레임(영상)간의 차분값(에러신호들)들을 추출, 즉 움직임 탐색 영역 단위, 움직임 탐색 영역의 라인 수에 대응하는 다수의 라인 단위, 프레임 단위로 각 픽셀들에 대한 픽셀 차분값들을 추출하고, 이 추출된 차분값들을 모두 가산하여 차분 총합값(즉, 움직임 탐색 영역 단위, 다수의 라인 단위 혹은 프레임 단위의 차분 총합값)을 산출한 후 라인 L23을 통해 프레임 결정 블록(120)으로 제공한다.
이에 응답하여, 프레임 결정 블록(120)에서는 라인 L19를 통해 인트라/인터 결정 블록(110)으로부터 제공되는 움직임 카운트 값과 기 설정된 기준 움직임 범위(즉, 움직임 카운트 값보다 적어도 작은 값을 갖는 최소 기준 움직임 카운트 값과 움직임 카운트 값보다 적어도 큰 값을 갖는 최대 기준 움직임 카운트 값) 및 라인 L23을 통해 차분 생성 블록(118)으로부터 제공되는 차분 총합값과 기 설정된 기준 차분 총합값에 의거하여 인트라/인터 영상(프레임)을 선택하거나 혹은 인터/움직임 보상 인터 영상(프레임)을 선택하도록 하는 절환신호(예컨대, 하이 또는 로우 레벨의 절환신호)를 발생하여 프레임 선택 블록(122)으로 제공한다.
즉, 프레임 결정 블록(120)에서는 아래의 수학식 2의 조건을 충족시킬 때 라인 L22 상의 인터/움직임 보상 인터 영상을 선택하도록 하는 하이 또는 로우 레벨의 절환신호를 발생하고, 그 이외의 경우에는 로우 또는 하이 레벨의 절환신호를 발생한다.
{Mth1＜Mc≤Mth2, DRM＞DRMth}
상기한 수학식 2에 있어서, Mc는 라인 L19를 통해 제공되는 소정 블록 또는 라인 단위의 움직임 카운트 값을 의미하고, Mth1는 Mc 보다 적어도 작은 값을 갖는 기 설정된 최소 기준 움직임 카운트 값을 의미하며, Mth2 Mc와 같거나 적어도 큰 값을 갖는 기 설정된 최대 기준 움직임 카운트 값을 의미하고, DRM은 라인 L23을 통해 제공되는 차분 총합값을 의미하며, DRMth는 기 설정된 기준 차분 총합값을 의 미한다. 즉, 프레임 결정 블록(120)에서는 움직임 카운트 값이 기 설정된 최소 기준 움직임 카운트 값과 최대 기준 움직임 카운트 값 사이에 있고, 차분 총합값이 기 설정된 기준 차분 총합값보다 적어도 클 때, 라인 L22 상의 인터/움직임 보상 인터 영상(프레임)을 최종 출력으로 선택하도록 하는 절환신호를 발생하고, 그 이외의 경우에는 라인 L20 상의 인트라/인터 영상(프레임)을 선택하도록 하는 절환신호를 발생한다.
그 결과, 프레임 선택 블록(122)에서는, 프레임 결정 블록(120)으로부터 제공되는 절환신호에 응답하여, 라인 L20 상의 디인터레이싱된 인트라/인터 영상을 최종 출력으로 선택하거나 혹은 라인 L22 상의 디인터레이싱된 인터/MC 인터 영상을 출력으로 선택한다. 여기에서, 디인터레이싱된 영상의 출력 선택은 기 설정된 소정 블록 단위(예컨대, 움직임 탐색 영역 단위 등), 움직임 탐색 영역의 라인 수와 대응하는 다수의 라인 단위 또는 하나의 프레임 단위로 수행될 수 있다.
이상 설명한 바와 같이 본 발명에 따르면, 정방향 및 역방향의 움직임 보상 인터 프레임간 차분값 및 차분 총합값과 인트라 및 인터 프레임간 차분값 및 차분 총합값을 이용하여 인터레이스 영상을 인트라 또는 움직임 보상 인터 영상으로 디인터레이싱하는 전술한 종래 방식과는 달리, 움직임 카운트값을 이용하여 인트라 프레임과 인터 프레임의 디인터레이싱을 적응적으로 결정하고, 움직임 정보(움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기)를 이용하여 인터 프레임과 움직임 보상(MC) 인터 프레임의 디인터레이싱을 적응적으로 결정하며, 움직임 카운트 값과 인트라/인터 프레임 및 인터/움직임 보상 인터 프레임간의 차분값에 의거하여 인트라/인터 프레임과 인터/움직임 보상 인터 프레임의 디인터레이싱을 적응적으로 결정하도록 함으로써, 복잡한 계산량을 필요로 하지 않으면서도 영상의 움직임에 민감하게 적응 가능한 영상 디인터레이싱을 실현할 수 있다.

Claims (36)

  1. 디인터레이스 영상 모드를 지원하는 영상 시스템에서 인터레이스 영상을 디인터레이스 영상으로 변환하는 장치로서,
    오드 필드와 이븐 필드의 라인 평균값을 이용하여 디인터레이스된 인터 영상을 발생하는 수단과,
    상기 오드 필드와 이븐 필드의 라인을 교차 삽입하여 디인터레이스된 인트라 영상을 발생하는 수단과,
    시간적으로 연속하는 필드간의 움직임 추정/보상을 통해 예측 필드를 생성하고, 이 생성된 예측 필드와 해당 필드를 이용하여 디인터레이스된 움직임 보상 인터 영상을 발생하는 수단과,
    상기 움직임 추정/보상시에 발생하는 각 N×N 블록별의 움직임 카운트 값에 의거하여 상기 인트라 영상과 인터 영상의 출력을 선택적으로 절환함으로써 디인터레이스된 인트라/인터 영상을 발생하는 수단과,
    상기 움직임 추정/보상에 이용되는 움직임 정보에 의거하여 상기 발생된 인터 영상과 발생된 움직임 보상 영상의 출력을 선택적으로 절환함으로써 디인터레이스된 인터/움직임 보상 인터 영상을 발생하는 수단과,
    상기 움직임 카운트 값과 발생된 인트라/인터 영상 및 인터/움직임 보상 인터 영상간의 차분값에 의거하여 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 수단
    을 포함하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  2. 제 1 항에 있어서,
    상기 움직임 보상 인터 프레임 발생 수단은,
    시간적으로 연속하는 이전 필드와 현재 필드를 이용하여 N×N의 움직임 추정 블록 단위로 (N+M)×(N+M)의 움직임 탐색 영역에서의 움직임 추정을 통해 움직임 벡터들을 발생하는 수단과,
    상기 움직임 벡터들과 상기 현재 필드를 이용한 움직임 보상을 수행하여 정방향의 예측 필드를 생성하고, 이 생성된 정방향의 예측 필드와 상기 현재 필드를 이용하여 정방향의 인터 프레임을 생성하는 수단과,
    상기 움직임 벡터들과 상기 이전 필드를 이용한 움직임 보상을 수행하여 역방향의 예측 필드를 생성하고, 이 생성된 역방향의 예측 필드와 상기 이전 필드를 이용하여 역방향의 인터 프레임을 생성하는 수단과,
    상기 생성된 정방향의 인터 프레임과 역방향의 인터 프레임을 이용하여 상기 움직임 보상 인터 영상을 발생하는 수단
    을 포함하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  3. 제 2 항에 있어서,
    상기 움직임 벡터 발생 수단은, 2차원 로우패스 필터를 이용하여 각 움직임 추정 블록에 대한 최적의 에러값을 갖는 움직임 벡터를 추출하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  4. 제 2 항에 있어서,
    상기 움직임 보상 인터 영상 발생 수단은, 상기 생성된 정방향의 인터 프레임과 역방향의 인터 프레임을 대응하는 각 픽셀별로 가산한 후 각 픽셀의 평균값을 취하여 상기 움직임 보상 인터 영상을 발생하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  5. 제 1 항에 있어서,
    상기 인트라/인터 영상 발생 수단은, 상기 각 N×N 블록별 움직임 벡터와 기 설정된 움직임 임계값을 비교하여 그 결과를 누적 카운트하고, 누적된 카운트 값과 기 설정된 카운트 임계값을 비교하며, 그 비교 결과에 의거하여 상기 발생된 인트라 영상 또는 인터 영상을 선택함으로서 상기 디인터레이스된 인트라/인터 영상을 발생하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  6. 제 5 항에 있어서,
    상기 인트라/인터 영상 발생 수단은, 기 설정된 (N+M)×(N+M)의 블록 단위로 상기 인트라 영상 또는 인터 영상의 선택을 절환하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  7. 제 6 항에 있어서,
    상기 기 설정된 (N+M)×(N+M)의 블록은, 움직임 탐색 영역의 사이즈를 갖는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  8. 제 5 항에 있어서,
    상기 인트라/인터 영상 발생 수단은, 기 설정된 (N+M)×(N+M) 블록의 라인 수에 대응하는 다수의 라인 단위로 상기 인트라 영상 또는 인터 영상의 선택을 절환하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  9. 제 5 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 인트라/인터 영상 발생 수단은, 상기 누적된 카운트 값이 상기 기 설정된 카운트 임계값보다 적어도 클 때 상기 발생된 인터 영상을 출력으로 선택하고, 그 이외일 때 상기 발생된 인트라 영상을 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  10. 제 1 항에 있어서,
    상기 인터/움직임 보상 인터 영상 발생 수단은, 움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기 정보에 의거하여 상기 인터 영상 또는 움직임 보상 인터 영상을 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  11. 제 10 항에 있어서,
    상기 인터/움직임 보상 영상 발생 수단은, 기 설정된 (N+M)×(N+M)의 블록 단위로 상기 인터 영상 또는 움직임 보상 인터 영상의 선택을 절환하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  12. 제 11 항에 있어서,
    상기 기 설정된 (N+M)×(N+M)의 블록은, 움직임 탐색 영역의 사이즈를 갖는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  13. 제 10 항에 있어서,
    상기 인터/움직임 보상 인터 영상 발생 수단은, 기 설정된 (N+M)×(N+M) 블록의 라인 수에 대응하는 다수의 라인 단위로 상기 인터 영상 또는 움직임 보상 인터 영상의 선택을 절환하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  14. 제 1 항에 있어서,
    상기 최종 출력 선택 수단은,
    상기 발생된 인트라/인터 영상과 인터/움직임 보상 인터 영상을 감산하여 각 픽셀의 차분값을 산출하고, 산출된 각 차분값을 가산하여 차분 총합값을 산출하는 수단과,
    상기 산출된 차분 총합값 및 상기 움직임 카운트 값과 그에 각각 상응하는 기 설정된 기준 차분 총합값 및 기준 움직임 카운트 값을 비교하고, 그 비교 결과에 상응하는 출력 절환신호를 발생하는 수단과,
    상기 발생된 출력 절환신호에 응답하여, 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 수단
    을 포함하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  15. 제 14 항에 있어서,
    상기 최종 출력 선택 수단은, 기 설정된 (N+M)×(N+M)의 블록 단위로 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  16. 제 15 항에 있어서,
    상기 기 설정된 (N+M)×(N+M)의 블록은, 움직임 탐색 영역의 사이즈를 갖는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  17. 제 14 항에 있어서,
    상기 최종 출력 선택 수단은, 기 설정된 (N+M)×(N+M) 블록의 라인 수에 대응하는 다수의 라인 단위로 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  18. 제 14 항에 있어서,
    상기 최종 출력 선택 수단은, 한 프레임 단위로 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
  19. 제 14 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 최종 출력 선택 수단은, 다음의 조건이 총족될 때 상기 인터/움직임 보상 인터 영상을 최종 출력으로 선택하고, 그 이외의 경우에 상기 인트라/인터 영상을 최종 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 장치.
    {Mth1＜Mc≤Mth2, DRM＞DRMth}
    (상기 조건에 있어서, Mc는 움직임 카운트 값을, Mth1는 Mc 보다 적어도 작은 값을 갖는 기 설정된 최소 기준 움직임 카운트 값을, Mth2는 Mc와 같거나 적어도 큰 값을 갖는 기 설정된 최대 기준 움직임 카운트 값을, DRM은 상기 차분 총합값을, DRMth는 상기 기 설정된 기준 차분 총합값을 각각 의미함)
  20. 디인터레이스 영상 모드를 지원하는 영상 시스템에서 인터레이스 영상을 디인터레이스 영상으로 변환하는 방법으로서,
    오드 필드와 이븐 필드의 라인 평균값을 이용하여 디인터레이스된 인터 영상을 발생하는 제 1 과정과,
    상기 오드 필드와 이븐 필드의 라인을 교차 삽입하여 디인터레이스된 인트라 영상을 발생하는 제 2 과정과,
    움직임 추정 보상시에 발생하는 각 N×N 블록별의 움직임 카운트 값에 의거하여 상기 인트라 영상과 인터 영상의 출력을 선택적으로 절환하여 디인터레이스된 인트라/인터 영상을 발생하는 제 3 과정과,
    시간적으로 연속하는 필드간의 움직임 추정/보상을 통해 예측 필드를 생성하고, 이 생성된 예측 필드와 해당 필드를 이용하여 디인터레이스된 움직임 보상 인터 영상을 발생하는 제 4 과정과,
    상기 움직임 추정/보상에 이용되는 움직임 정보에 의거하여 상기 발생된 인터 영상과 움직임 보상 인터 영상을 선택 절환함으로써 디인터레이스된 인터/움직임 보상 인터 영상을 발생하는 제 5 과정과,
    상기 발생된 인트라/인터 영상과 인터/움직임 보상 인터 영상간의 차분 총합값을 산출하는 제 6 과정과,
    상기 움직임 카운트 값과 산출된 차분 총합값에 의거하여 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택 절환하는 제 7 과정
    을 포함하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  21. 제 20 항에 있어서,
    상기 제 3 과정은,
    상기 움직임 추정/보상시에 발생하는 움직임 벡터들을 기 설정된 움직임 임계값과 각각 비교하는 제 31 과정과,
    상기 움직임 벡터가 상기 기 설정된 움직임 임계값보다 적어도 클 때 카운트 값을 증가 누적시키는 제 32 과정과,
    상기 누적된 카운트 값과 기 설정된 카운트 임계값을 비교하는 제 33 과정과,
    상기 비교 결과에 의거하여 상기 발생된 인트라 영상 또는 인터 영상을 선택 절환함으로서 상기 디인터레이스된 인트라/인터 영상을 발생하는 제 34 과정
    을 포함하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  22. 제 21 항에 있어서,
    상기 방법은, 기 설정된 (N+M)×(N+M)의 블록 단위로 상기 인트라 영상 또는 인터 영상의 선택을 절환하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  23. 제 22 항에 있어서,
    상기 기 설정된 (N+M)×(N+M)의 블록은, 움직임 탐색 영역의 사이즈를 갖는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  24. 제 21 항에 있어서,
    상기 방법은, 기 설정된 (N+M)×(N+M) 블록의 라인 수에 대응하는 다수의 라인 단위로 상기 인트라 영상 또는 인터 영상의 선택을 절환하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 방법은, 상기 누적된 카운트 값이 상기 기 설정된 카운트 임계값보다 적어도 클 때 상기 발생된 인터 영상을 출력으로 선택하고, 그 이외일 때 상기 발생된 인트라 영상을 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  26. 제 20 항에 있어서,
    상기 제 4 과정은,
    시간적으로 연속하는 이전 필드와 현재 필드를 이용하여 N×N의 움직임 추정 블록 단위로 (N+M)×(N+M)의 움직임 탐색 영역에서의 움직임 추정을 통해 움직임 벡터들을 발생하는 제 41 과정과,
    상기 움직임 벡터들과 상기 현재 필드를 이용한 움직임 보상을 수행하여 정방향의 예측 필드를 생성하고, 이 생성된 정방향의 예측 필드와 상기 현재 필드를 이용하여 정방향의 인터 프레임을 생성하는 제 42 과정과,
    상기 움직임 벡터들과 상기 이전 필드를 이용한 움직임 보상을 수행하여 역방향의 예측 필드를 생성하고, 이 생성된 역방향의 예측 필드와 상기 이전 필드를 이용하여 역방향의 인터 프레임을 생성하는 제 43 과정과,
    상기 생성된 정방향의 인터 프레임과 역방향의 인터 프레임을 이용하여 상기 움직임 보상 인터 영상을 발생하는 제 44 과정
    을 포함하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  27. 제 26 항에 있어서,
    상기 제 41 과정은, 2차원 로우패스 필터를 이용하여 각 움직임 추정 블록에 대한 최적의 에러값을 갖는 움직임 벡터를 추출하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  28. 제 26 항에 있어서,
    상기 움직임 보상 인터 영상은, 상기 생성된 정방향의 인터 프레임과 역방향의 인터 프레임을 대응하는 각 픽셀별로 가산한 후 각 픽셀의 평균값을 취한 영상 인 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  29. 제 20 항에 있어서,
    상기 움직임 정보는 움직임 벡터, 움직임 추정 블록의 크기, 움직임 탐색 영역의 크기 정보를 포함하고, 상기 방법은 상기 움직임 정보를 이용하여 출력 절환용 계수 k를 산출하며, 이 산출된 계수 k를 이용하여 상기 인터 영상 또는 움직임 보상 인터 영상의 출력을 선택 절환하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  30. 제 29 항에 있어서,
    상기 계수 k는, 다음의 수학식과 같이 결정되는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
    Figure 112004024160584-pat00002
    (상기 수학식에서, Vx는 x축상의 움직임 좌표 값을, Vy는 y축상의 움직임 좌표 값을, SR은 상기 움직임 탐색 영역의 크기에서 상기 움직임 추정 블록의 크기를 뺀 값을 2로 나눈 값을 각각 의미함)
  31. 제 30 항에 있어서,
    상기 방법은, 상기 계수 k가 기 설정된 기준값보다 적어도 클 때 상기 발생된 인터 영상을 디인터레이스 영상으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  32. 제 20 항에 있어서,
    상기 제 7 과정은, 기 설정된 (N+M)×(N+M)의 블록 단위로 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  33. 제 32 항에 있어서,
    상기 기 설정된 (N+M)×(N+M)의 블록은, 움직임 탐색 영역의 사이즈를 갖는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  34. 제 20 항에 있어서,
    상기 제 7 과정은, 기 설정된 (N+M)×(N+M) 블록의 라인 수에 대응하는 다수의 라인 단위로 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  35. 제 20 항에 있어서,
    상기 제 7 과정은, 한 프레임 단위로 상기 발생된 인트라/인터 영상 또는 인터/움직임 보상 인터 영상을 최종 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
  36. 제 32 항 내지 제 35 항 중 어느 한 항에 있어서,
    상기 제 7 과정은, 다음의 조건이 총족될 때 상기 인터/움직임 보상 인터 영상을 최종 출력으로 선택하고, 그 이외의 경우에 상기 인트라/인터 영상을 최종 출력으로 선택하는 것을 특징으로 하는 움직임을 이용한 적응적인 영상 디인터레이스 방법.
    {Mth1＜Mc≤Mth2, DRM＞DRMth}
    (상기 조건에 있어서, Mc는 움직임 카운트 값을, Mth1는 Mc 보다 적어도 작은 값을 갖는 기 설정된 최소 기준 움직임 카운트 값을, Mth2는 Mc와 같거나 적어도 큰 값을 갖는 기 설정된 최대 기준 움직임 카운트 값을, DRM은 상기 차분 총합값을, DRMth는 상기 기 설정된 기준 차분 총합값을 각각 의미함)
KR1020040040658A 2004-06-04 2004-06-04 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 KR100624304B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040040658A KR100624304B1 (ko) 2004-06-04 2004-06-04 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040040658A KR100624304B1 (ko) 2004-06-04 2004-06-04 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법

Publications (2)

Publication Number Publication Date
KR20050115559A KR20050115559A (ko) 2005-12-08
KR100624304B1 true KR100624304B1 (ko) 2006-09-18

Family

ID=37289457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040040658A KR100624304B1 (ko) 2004-06-04 2004-06-04 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법

Country Status (1)

Country Link
KR (1) KR100624304B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813986B1 (ko) 2006-10-25 2008-03-14 삼성전자주식회사 움직임 적응적 디인터레이싱 방법 및 그 장치
KR101396365B1 (ko) 2007-08-28 2014-05-30 삼성전자주식회사 영상의 시공간적 움직임 추정/보상 방법 및 장치
KR101513395B1 (ko) * 2014-02-11 2015-04-17 인천대학교 산학협력단 모션 적응적 디인터레이싱 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311488A (ja) * 1992-07-03 1994-11-04 Mitsubishi Electric Corp 走査線変換装置
KR19990027636A (ko) * 1997-09-30 1999-04-15 구자홍 영상 포맷 변환 장치
KR20000046211A (ko) * 1998-12-31 2000-07-25 김영환 동작추정을 이용한 디인터레이싱방법
KR20010045333A (ko) * 1999-11-04 2001-06-05 윤종용 연속하는 4개의 인터레이스 필드를 이용한 디인터레이스장치 및 방법
KR100323662B1 (ko) 1999-06-16 2002-02-07 구자홍 디인터레이싱 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311488A (ja) * 1992-07-03 1994-11-04 Mitsubishi Electric Corp 走査線変換装置
KR19990027636A (ko) * 1997-09-30 1999-04-15 구자홍 영상 포맷 변환 장치
KR20000046211A (ko) * 1998-12-31 2000-07-25 김영환 동작추정을 이용한 디인터레이싱방법
KR100323662B1 (ko) 1999-06-16 2002-02-07 구자홍 디인터레이싱 장치 및 방법
KR20010045333A (ko) * 1999-11-04 2001-06-05 윤종용 연속하는 4개의 인터레이스 필드를 이용한 디인터레이스장치 및 방법

Also Published As

Publication number Publication date
KR20050115559A (ko) 2005-12-08

Similar Documents

Publication Publication Date Title
JP2924431B2 (ja) 符号化方式
US5689305A (en) System for deinterlacing digitally compressed video and method
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
JP4514081B2 (ja) ビデオ・シーケンスを符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）するための動きベクトルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）
US6331874B1 (en) Motion compensated de-interlacing
US7720150B2 (en) Pixel data selection device for motion compensated interpolation and method thereof
CN100452832C (zh) 使用行和列向量的运动向量估计
US20100309372A1 (en) Method And System For Motion Compensated Video De-Interlacing
KR20060047630A (ko) 움직임 보상된 출력 이미지 데이터를 생성하는 방법 및움직임 보상기
KR20060047590A (ko) 움직임 벡터 결정 방법, 비디오 화상 시퀀스 인코딩 방법,비디오 화상 시퀀스 보간 방법, 움직임 추정기, 인코더 및보간기
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
KR100631496B1 (ko) 디인터레이싱 장치
EP0695097B1 (en) Video coding device
KR100565066B1 (ko) 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
JP3293561B2 (ja) 画像表示装置及び画像表示方法
KR20040049214A (ko) 고속 모션벡터 추정장치 및 방법
KR100968642B1 (ko) 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체
JP3201079B2 (ja) インターレース動画像信号の動き補償予測方法、符号化方法及び装置
JP4193233B2 (ja) 動き判定装置、その方法および画像情報変換装置
KR100624304B1 (ko) 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법
KR100323662B1 (ko) 디인터레이싱 장치 및 방법
KR100726552B1 (ko) 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법
CN111294545A (zh) 图像数据插值方法及装置、存储介质、终端
JP2004320278A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
KR100588901B1 (ko) 움직임 보상 기법을 이용한 적응적인 영상 디인터레이스장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110901

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20120903

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee