KR100455397B1 - 글로벌 모션 보상으로 수직 해상도를 향상시키는 모션보상 디인터레이싱 장치 및 그 방법 - Google Patents

글로벌 모션 보상으로 수직 해상도를 향상시키는 모션보상 디인터레이싱 장치 및 그 방법 Download PDF

Info

Publication number
KR100455397B1
KR100455397B1 KR10-2002-0072479A KR20020072479A KR100455397B1 KR 100455397 B1 KR100455397 B1 KR 100455397B1 KR 20020072479 A KR20020072479 A KR 20020072479A KR 100455397 B1 KR100455397 B1 KR 100455397B1
Authority
KR
South Korea
Prior art keywords
data
field
motion
field data
deinterlacing
Prior art date
Application number
KR10-2002-0072479A
Other languages
English (en)
Other versions
KR20040044262A (ko
Inventor
송석범
한용인
정회인
우현애
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0072479A priority Critical patent/KR100455397B1/ko
Publication of KR20040044262A publication Critical patent/KR20040044262A/ko
Application granted granted Critical
Publication of KR100455397B1 publication Critical patent/KR100455397B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Abstract

글로벌 모션 보상으로 수직 해상도를 향상시키는 모션 보상 디인터레이싱 장치 및 그 방법이 개시된다. 본 발명에 따른 모션 보상 디인터레이싱 장치는, 먼저, 프로젝션부가 상기 현재 필드 데이터 및 상기 이전 필드 데이터 각각에 대한 상기 소정의 프로젝션을 수행하여, 각 필드의 수평 누적 데이터들과 수직 누적 데이터들을 발생시킨다. 이에 따라, 글로벌 모션 검출부는 상기 수평 누적 데이터들과 상기 수직 누적 데이터들로부터 상기 소정의 상관 에러들과 상기 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 상기 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 상기 글로벌 모션 플래그 정보와 수평 및 수직의 최종 모션 벡터들을 발생시킨다. 다음에, 메모리 제어부는 상기 글로벌 모션 플래그 정보와 수평 및 수직의 상기 모션 벡터들로부터 상기 메모리 제어 정보를 발생시키고, 이에 따라 출력되는 필드별 필드 데이터로부터 보간이 수행되어, 디인터레이싱 데이터 출력부는 상기 글로벌 모션 플래그 정보와 상기 데이터 차이 정보에 대응하여, 상기 현재 필드 데이터가 최종 보간된 모션 보상 디인터레이싱 데이터를 출력하거나, 일반적인 모션 적응 디인터레이싱 데이터를 출력한다. 따라서, 일반적인 모션 적응 IPC보다 수직 해상도를 두 배로 향상시킬 수 있으므로, 본래 영상에 가까운 영상을 재현시킬 수 있는 효과가 있다.

Description

글로벌 모션 보상으로 수직 해상도를 향상시키는 모션 보상 디인터레이싱 장치 및 그 방법{Motion adaptive deinterlacer with high vertical resolution by global motion compensation and method thereof}
본 발명은 디인터레이싱 장치(deinterlacer) 및 그 방법에 관한 것으로, 특히 모션 보상 디인터레이싱 장치(deinterlacer) 및 그 방법에 관한 것이다.
디인터레이싱 장치(deinterlacer)는, TV 등의 비디오 신호에서, 비월 주사, 즉 인터레이스 스캔(interlace scan) 방식의 비디오 신호를, 순차 주사, 즉, 프로그레시브 스캔(progressive scan) 방식의 비디오 신호로 변환하여 주는 장치이다. 이것은 다른 표현으로, 인터레이스-프로그레시브 컨버터(Interlace-to-Progressive Converter)(IPC)라고도 한다.
보통, 한국, 일본, 미국 등 국가의 비디오 신호 방식은, 인터레이스 스캔(interlace scan) 방식이고, HDTV(high definition television) 등에서의 비디오 신호 방식은 프로그레시브 스캔(progressive scan) 방식이다. 따라서, 디인터레이싱 장치(deinterlacer)는, 인터레이스 스캔(interlace scan) 방식의 비디오 신호를 프로그레시브 스캔(progressive scan) 방식의 비디오 신호로 변환시켜 줌으로써, 이들 스캔 방식 상호 간의 비디오 신호가 호환될 수 있도록 하기 위함이다.
디인터레이싱(deinterlacing) 보간 방법에는 일반적으로 스페이셜 보간(spatial interpolation) 방법과 템포럴 보간(temporal interpolation) 방법이 있다.
스페이셜 보간(spatial interpolation) 방법은, 인터레이스 스캔(interlace scan) 방식으로 입력되는 현재 필드의 두 라인(line) 픽셀 데이터(픽셀 데이터는 이하 "데이터"로 약칭함)로부터, 두 라인 데이터의 중간 값(또는 라인 데이터간에웨이트를 줄 수도 있다.)을 계산하여 비어 있었던 중간 라인의 데이터를 구하는 방법이다. 여기서, 구해진 중간 라인의 데이터는 보간에 사용된 두 라인 데이터 중 위 라인 데이터가 출력된 후에 후속 단으로 출력되고, 아래 라인 데이터가 그 다음으로 출력된다. 따라서, 다음 라인들에서도 계속해서 구해지는 중간 라인 데이터들에 의하여, 인터레이스 스캔(interlace scan) 방식의 비디오 신호가 프로그레시브 스캔(progressive scan) 방식의 모니터에서 표시될 수 있다.
템포럴 보간(temporal interpolation) 방법은, 인터레이스 스캔(interlace scan) 방식으로 입력되는 이전 필드 데이터, 현재 필드 데이터, 및 다음 필드 데이터로부터, 현재 필드 데이터 중에 비어 있는 픽셀 데이터를 계산하기 위하여, 현재 필드 데이터 중에 데이터가 비어 있는 픽셀의 좌우에 각각 있는 이전 필드 데이터와 다음 필드 데이터의 중간 값(또는 좌우 데이터간에 웨이트를 줄 수도 있다.)을 계산해 나가는 방법이다. 여기서, 프로그레시브 스캔(progressive scan) 방식으로 변환되는 현재의 프레임 데이터는, 입력되는 하나의 필드 데이터가 완전히 입력될 때마다, 하나씩 완성되므로, 프로그레시브 스캔(progressive scan) 방식으로 보아 프레임 단위로 출력된다.
한편, 일반적인 모션 적응(motion adaptive) 디인터레이싱(deinterlacing) 방법은, 모니터 상에 표시될 화상 중에 물체 등의 로컬 모션(local motion)이 있는 경우를 고려하여, 모션 정도에 따라 위에서 기술한 바와 같은 두 가지 보간 방법에 웨이트를 다르게 적용하는 방법이다. 즉, 인터레이스 스캔(interlace scan) 방식으로 입력되는 이전 필드 데이터, 현재 필드 데이터, 및 다음 필드 데이터로부터, 먼저, 이전 필드 데이터와 다음 필드 데이터간의 차이를 구하여 임계치보다 큰가를 판단한다. 이때, 그 차이가 임계치보다 크면, 화상 중에 물체 등의 움직임이 큰 경우로서, 위에서 기술한 바와 같은 스페이셜 보간(spatial interpolation) 방법으로 현재 필드 데이터를 계산한다. 또한, 그 차이가 임계치보다 작은 범위에 있는 경우 등에 있어서는, 화상 중에 물체 등의 움직임이 작은 경우로서, 이때에는 스페이셜 보간(spatial interpolation) 방법과 템포럴 보간(temporal interpolation) 방법 각각에 웨이트를 주어 혼합함으로써 현재 필드 데이터를 계산한다. 여기서, 스페이셜 보간(spatial interpolation) 방법과 템포럴 보간(temporal interpolation) 방법 사이의 웨이트 정도는, 경험에 따라 해상도가 향상되는 값으로 정해진다.
그런데, 모니터에 표시되는 화상에는 정지 영상과 함께, 정지영상에 글로벌 모션(global motion)이 혼합된 경우, 글로벌 모션(global motion)만 있는 경우, 또는 글로벌 모션(global motion)에 로컬 모션(local motion)이 혼합된 경우 등이 있다. 여기서, 글로벌 모션(global motion)은 화상 전체가 한 쪽으로 움직이는 경우로, 예를 들면, 비디오 카메라를 왼쪽에서 오른쪽으로 카메라 이동시키면서 산의 단풍 경치를 촬영할 때, 화면에 나타나는 화상의 움직임이다. 이때, 비디오 카메라를 왼쪽에서 오른쪽으로 이동시키며 산의 경치를 촬영 중에, 새가 날아가는 모습이 함께 촬영된 경우, 새의 움직임은 로컬 모션(local motion)에 해당한다.
그러나, 위에서 기술한 바와 같은, 일반적인 모션 적응(motion adaptive) IPC(Interlace-to-Progressive Converter) 방법은, 영상의 움직임의 종류를 구분하지 않고 보간을 수행하므로, 글로벌 모션(global motion) 영상에 그대로 적용할 경우에 본래 영상대로 모니터에 표시하지 못하여 해상도가 낮아지는 문제가 있다.
따라서, 본 발명이 이루고자하는 기술적 과제는, 현재 필드를 기준으로 이전 필드와 다음 필드의 영상 위치에 대한 글로벌 모션 벡터(global motion vector)를 구하고, 그 모션 벡터(motion vector)만큼 보상된 필드 데이터로 템포럴 보간(temporal interpolation) 등을 수행하는 모션 보상(motion compensation) IPC(Interlace-to-Progressive Converter) 기법으로 본래 영상을 재현할 수 있는 모션 보상 디인터레이싱 장치(deinterlacer)를 제공하는 데 있다.
본 발명이 이루고자하는 다른 기술적 과제는, 현재 필드를 기준으로 이전 필드와 다음 필드의 영상 위치에 대한 글로벌 모션 벡터(global motion vector)를 구하고, 그 모션 벡터(motion vector)만큼 보상된 필드 데이터로 템포럴 보간(temporal interpolation) 등을 수행하는 모션 보상(motion compensation) IPC(Interlace-to-Progressive Converter) 기법으로 본래 영상을 재현할 수 있는 모션 보상 디인터레이싱 방법을 제공하는 데 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명에 따른 모션 보상 디인터레이싱 장치를 나타내는 블록도이다.
도 2는 본 발명에 따른 모션 보상 디인터레이싱 장치의 동작 설명을 위한 흐름도이다.
도 3은 본 발명에 따른 모션 보상 디인터레이싱 장치의 프로젝션 방법을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 모션 보상 디인터레이싱 장치에서 모션 벡터를 구하는 방법을 설명하기 위한 상관도 그래프이다.
도 5는 본 발명에 따른 모션 보상 디인터레이싱 장치의 현재 프레임에서 글로벌 모션 보상되는 모니터 상의 비교 화면이다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 모션 보상 디인터레이싱 장치는, 인터레이스 스캔 방식으로 입력되는 필드 데이터를 받아 보간하여 디인터레이싱 데이터를 출력하는 디인터레이싱 장치로서, 글로벌 모션 처리부, 필드 메모리부, 로컬 모션 검출부, 스페이셜 보간부, 템포럴 보간부, 필드 차이 계산부, 및 디인터레이싱 데이터 출력부를 구비하는 것을 특징으로 한다.
상기 글로벌 모션 처리부는 소정의 프로젝션을 통하여 소정의 상관 에러들과 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 글로벌 모션 플래그 정보와 메모리 제어 정보를 발생시킨다.
상기 필드 메모리부는 입력되는 상기 필드 데이터를 받아 3필드 이상의 필드 데이터들을 업데이트 시켜 저장하고, 상기 메모리 제어 정보에 대응하는 필드별 필드 데이터들을 출력한다.
상기 로컬 모션 검출부는 상기 필드별 필드 데이터들을 비교하여 로컬 모션 정보를 발생시킨다.
상기 스페이셜 보간부는 상기 필드별 필드 데이터들 중 보간될 현재 필드의 두 라인 데이터들로부터, 스페이셜 보간 처리하여 상기 두 라인 데이터들 사이에 데이터가 비어있는 중간 라인 데이터를 발생시킨다.
상기 템포럴 보간부는 보간될 현재 필드 데이터 중에 데이터가 비어 있는 각 픽셀마다 좌우에 각각 존재하는 상기 필드별 필드 데이터들 중 이전 필드 데이터와 다음 필드 데이터로부터, 템포럴 보간 처리하여 상기 데이터가 비어 있는 각 픽셀 데이터를 발생시킨다.
상기 필드 차이 계산부는 상기 필드별 필드 데이터들 중 이전 필드 데이터와 다음 필드 데이터로부터, 두 데이터 사이의 데이터 차이 정보를 발생시킨다.
상기 디인터레이싱 데이터 출력부는 상기 글로벌 모션 플래그 정보와 상기 데이터 차이 정보에 대응하여, 상기 스페이셜 보간된 중간 라인 데이터 및 상기 템포럴 보간된 픽셀 데이터에 의하여 상기 현재 필드 데이터가 최종 보간된 모션 보상 디인터레이싱 데이터를 출력하거나, 상기 로컬 모션 정보, 상기 스페이셜 보간된 중간 라인 데이터 및 상기 템포럴 보간된 픽셀 데이터에 의하여 상기 현재 필드 데이터가 최종 보간된 모션 적응 디인터레이싱 데이터를 출력한다.
상기 글로벌 모션 처리부는, 프로젝션부, 글로벌 모션 검출부, 및 메모리 제어부를 구비하는 것을 특징으로 한다.
상기 프로젝션부는 입력되는 상기 필드 데이터 중 현재 필드 데이터 및 이전 필드 데이터 각각에 대한 상기 소정의 프로젝션을 수행하여, 각 필드의 수평 누적 데이터들과 수직 누적 데이터들을 발생시킨다.
상기 글로벌 모션 검출부는 상기 수평 누적 데이터들과 상기 수직 누적 데이터들로부터 상기 소정의 상관 에러들과 상기 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 상기 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 상기 글로벌 모션 플래그 정보와 수평 및 수직의 최종 모션 벡터들을 발생시킨다.
상기 메모리 제어부는 상기 글로벌 모션 플래그 정보와 수평 및 수직의 상기 모션 벡터들로부터 상기 메모리 제어 정보를 발생시킨다.
여기서, 상기 메모리 제어 정보는, 상기 수평 및 수직의 최종 모션 벡터들에 대응하여, 그 만큼 수평 및 수직으로 이동된 위치의 픽셀 데이터부터 시작하여 리드되는 상기 필드별 필드 데이터들이 출력되도록 제어하는 것을 특징으로 한다.
상기 소정의 상관 에러들은, 수학식,
에 의하여 계산되고, 여기서 각 필드마다 수평 및 수직으로 계산되는 u*들은 상기 모션 벡터들인 것을 특징으로 한다.
상기 소정의 글로벌 모션 조건은, 수학식,
수학식,
수학식,
이고, 이들 모두를 만족할 때 글로벌 모션으로 상기 판단하는 것을 특징으로 한다.
상기 최종 모션 벡터들은, 상기 현재 필드 데이터가 입력될 때 계산된 상기 모션 벡터들과 상기 다음 필드 데이터가 입력될 때 계산된 상기 모션 벡터들인 것을 특징으로 한다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 모션 보상 디인터레이싱 방법은, 인터레이스 스캔 방식으로 입력되는 필드 데이터를 받아 3필드 이상의 필드 데이터들을 업데이트 시켜 저장하고, 제어를 받아 필드별 필드 데이터들을 출력하는 소정의 메모리를 구비하며, 상기 필드별 필드 데이터들로부터 현재 필드 데이터를 보간하여 디인터레이싱 데이터를 출력하는 디인터레이싱 장치의 디인터레이싱 방법으로서, 다음 단계들을 구비하는 것을 특징으로 한다.
즉, 상기 본 발명에 따른 모션 보상 디인터레이싱 방법은, 상기 디인터레이싱 장치에 의하여 소정의 프로젝션을 통하여 소정의 상관 에러들과 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 글로벌 모션 플래그 정보와 메모리 제어 정보를 발생시키는 단계; 상기 디인터레이싱 장치에 의하여 상기 필드별 필드 데이터들을 비교하여 로컬 모션 정보를 발생시키는 단계; 상기 디인터레이싱 장치에 의하여 상기 필드별 필드 데이터들 중 보간될 현재 필드의 두 라인 데이터들로부터, 스페이셜 보간 처리하여 상기 두 라인 데이터들 사이에 데이터가 비어있는 중간 라인 데이터를 발생시키는 단계; 상기 디인터레이싱 장치에 의하여 보간될 현재 필드 데이터 중에 데이터가 비어 있는 각 픽셀마다 좌우에 각각 존재하는 상기 필드별 필드 데이터들 중 이전 필드 데이터와 다음 필드 데이터로부터, 템포럴 보간 처리하여 상기 데이터가 비어 있는 각 픽셀 데이터를 발생시키는 단계; 상기 디인터레이싱 장치에 의하여 상기 필드별 필드 데이터들 중 이전 필드 데이터와 다음 필드 데이터로부터, 두 데이터 사이의 데이터 차이 정보를 발생시키는 단계; 및 상기 디인터레이싱 장치에 의하여 상기 글로벌 모션 플래그 정보와 상기 데이터 차이 정보에 대응하여, 상기 스페이셜 보간된 중간 라인 데이터 및 상기 템포럴 보간된 픽셀 데이터에 의하여 상기 현재 필드 데이터가 최종 보간된 모션 보상 디인터레이싱 데이터를 출력하거나, 상기 로컬 모션 정보, 상기 스페이셜 보간된 중간 라인 데이터 및 상기 템포럴 보간된 픽셀 데이터에 의하여 상기 현재 필드 데이터가 최종 보간된 모션 적응 디인터레이싱 데이터를 출력하는 단계를 구비하는것을 특징으로 한다.
이때, 상기 모션 보상 디인터레이싱 방법은, 상기 디인터레이싱 장치에 의하여 입력되는 상기 필드 데이터 중 현재 필드 데이터 및 이전 필드 데이터 각각에 대한 상기 소정의 프로젝션을 수행하여, 각 필드의 수평 누적 데이터들과 수직 누적 데이터들을 발생시키는 단계; 상기 디인터레이싱 장치에 의하여 상기 수평 누적 데이터들과 상기 수직 누적 데이터들로부터 상기 소정의 상관 에러들과 상기 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 상기 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 상기 글로벌 모션 플래그 정보와 수평 및 수직의 최종 모션 벡터들을 발생시키는 단계; 및 상기 디인터레이싱 장치에 의하여 상기 글로벌 모션 플래그 정보와 수평 및 수직의 상기 모션 벡터들로부터 상기 메모리 제어 정보를 발생시키는 단계를 더 구비하는 것을 특징으로 한다.
여기서, 상기 메모리 제어 정보는, 상기 수평 및 수직의 최종 모션 벡터들에 대응하여, 그 만큼 수평 및 수직으로 이동된 위치의 픽셀 데이터부터 시작하여 리드되는 상기 필드별 필드 데이터들이 출력되도록 제어하는 것을 특징으로 한다.
상기 소정의 상관 에러들은, 수학식,
에 의하여 계산되고, 여기서 각 필드마다 수평 및 수직으로 계산되는 u*들은 상기 모션 벡터들인 것을 특징으로 한다.
상기 소정의 글로벌 모션 조건은, 수학식,
수학식,
수학식,
이고, 이들 모두를 만족할 때 글로벌 모션으로 상기 판단하는 것을 특징으로 하는 한다.
상기 최종 모션 벡터들은, 상기 현재 필드 데이터가 입력될 때 계산된 상기 모션 벡터들과 상기 다음 필드 데이터가 입력될 때 계산된 상기 모션 벡터들인 것을 특징으로 한다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 모션 보상 디인터레이싱 장치를 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 따른 모션 보상 디인터레이싱 장치는, 인터레이스 스캔 방식으로 입력되는 필드 데이터(PDI)를 받아 보간하여 디인터레이싱 데이터를 출력하는 디인터레이싱 장치로서, 글로벌 모션 처리부(global motion process block)(110), 필드 메모리부(field memory)(120), 로컬 모션 검출부(local motion detection block)(130), 스페이셜 보간부(spatial interpolator)(140), 템포럴 보간부(temporal interpolator)(150), 필드 차이 계산부(field difference computation block)(160), 및 디인터레이싱 데이터 출력부(deinterlacing data output block)(170)를 구비하는 것을 특징으로 한다.
상기 글로벌 모션 처리부(global motion process block)(110)는 소정의 프로젝션을 통하여 소정의 상관 에러(correlation error)들과 모션 벡터(motion vector)들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 글로벌 모션 플래그 정보(GMF)와 메모리 제어 정보를 발생시킨다. 여기서, 상기 메모리 제어 정보는, 상기 수평 및 수직의 최종 모션 벡터들(HVM)에 대응하여, 그 만큼 수평 및 수직으로 이동된 위치의 픽셀 데이터부터 시작하여 리드되는 상기 필드별 필드 데이터들(FD1~FD4)이 출력되도록 제어하는 것을 특징으로 한다.
여기서, FD1은 이전 필드 데이터, FD2는 현재 필드 데이터, FD3은 다음 필드 데이터, 및 FD4는 FD2에 비하여 한 라인 다음 픽셀에 대한 현재 필드 데이터이다.즉, 이러한 필드 데이터들(FD1~FD4)이 픽셀 단위로 출력될 때, FD1과 FD3이 이븐(even) 필드 데이터들이면, FD2와 FD4는 오드(odd) 필드 데이터들이 되고, 반대로 FD1과 FD3이 오드(odd) 필드 데이터들이면, FD2와 FD4는 이븐(even) 필드 데이터들이 된다. 이때, FD2와 FD4는 수직으로 이웃하는 픽셀이므로 FD2와 FD4 사이의 픽셀에 대한 데이터는 비어 있고, 그 데이터가 비어 있는 중간 라인 상의 FD1과 FD3 데이터는 존재하므로, 아래에서 기술하는 바와 같이, FD1과 FD3을 이용하여 FD2와 FD4 사이의 비어있는 픽셀 데이터를 계산하는 템포럴 보간이 이루어진다.
상기 소정의 상관 에러들은, [수학식 1]에 의하여 계산되고, 여기서 각 필드마다 수평 및 수직으로 계산되는 u*들은 상기 모션 벡터들인 것을 특징으로 한다.
여기서, S는, 모션 벡터를 계산하기 위한 위상으로서, 본 발명에서는 16으로 설정하였다.
상기 소정의 글로벌 모션 조건은, [수학식 2]부터 [수학식 4]이고, 이들 모두를 만족할 때 글로벌 모션으로 상기 판단하는 것을 특징으로 한다.
즉, [수학식 4]의 변수들을 수학식으로 표현하면, [수학식 5]가 성립한다.
상기 필드 메모리부(field memory)(120)는 입력되는 상기 필드 데이터(PDI)를 받아 3필드 이상의 필드 데이터들을 업데이트 시켜 저장하고, 상기 메모리 제어 정보에 대응하는 필드별 필드 데이터들(FD1~FD4)을 출력한다.
상기 로컬 모션 검출부(local motion detection block)(130)는 상기 필드별 필드 데이터들(FD1~FD4)을 비교하여 로컬 모션 정보(LMD)를 발생시킨다. 즉, 로컬 모션 정보(LMD)는 모니터 상에 표시될 영상 중에 물체 등의 로컬 모션(local motion)이 있는지와 모션의 정도를 알 수 있게 하는 정보로서, 아래에서 기술할 템포럴 보간(temporal interpolation)과 스페이셜 보간(spatial interpolation) 사이의 웨이트 산정 기준이 된다.
상기 스페이셜 보간부(spatial interpolator)(140)는 상기 필드별 필드 데이터들(FD1~FD4) 중 보간될 현재 필드의 두 라인 데이터들로부터, 스페이셜 보간 처리하여 상기 두 라인 데이터들 사이에 데이터가 비어있는 중간 라인 데이터(SID)를 발생시킨다. 여기서, 스페이셜 보간(spatial interpolation) 방법은, 인터레이스스캔(interlace scan) 방식으로 입력되는 현재 필드의 두 라인(line) 픽셀 데이터로부터, 두 라인 데이터의 중간 값(또는 라인 데이터간에 웨이트를 줄 수도 있다.)을 계산하여 비어 있었던 중간 라인의 데이터를 구하는 일반적인 방법이다.
상기 템포럴 보간부(temporal interpolator)(150)는 보간될 현재 필드 데이터(FD2) 중에 데이터가 비어 있는 각 픽셀마다 좌우에 각각 존재하는 상기 필드별 필드 데이터들(FD1~FD4) 중 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)로부터, 템포럴 보간 처리하여 상기 데이터가 비어 있는 각 픽셀 데이터(TID)를 발생시킨다. 여기서, 템포럴 보간(temporal interpolation) 방법은, 인터레이스 스캔(interlace scan) 방식으로 입력되는 이전 필드 데이터(FD1), 현재 필드 데이터(FD2 및 FD4), 및 다음 필드 데이터(FD3)로부터, 현재 필드 데이터(FD2) 중에 비어 있는 픽셀 데이터를 계산하기 위하여, 현재 필드 데이터(FD2) 중에 데이터가 비어 있는 픽셀(FD2와 FD4 사이 픽셀)의 좌우에 각각 있는 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)의 중간 값(또는 좌우 데이터간에 웨이트를 줄 수도 있다.)을 계산해 나가는 일반적인 방법이다.
상기 필드 차이 계산부(field difference computation block)(160)는 상기 필드별 필드 데이터들(FD1~FD4) 중 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)로부터, 두 데이터 사이의 데이터 차이 정보(FDD)를 발생시킨다. 즉, 데이터 차이 정보(FDD)는 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)로부터 계산되는 영상의 움직임 정도를 나타낸다.
상기 디인터레이싱 데이터 출력부(deinterlacing data output block)(170)는상기 글로벌 모션 플래그 정보(GMF)와 상기 데이터 차이 정보(FDD)에 대응하여, 상기 스페이셜 보간된 중간 라인 데이터(SID) 및 상기 템포럴 보간된 픽셀 데이터(TID)에 의하여 상기 현재 필드 데이터(FD2)가 최종 보간된 모션 보상 디인터레이싱 데이터(PDO)를 출력하거나, 상기 로컬 모션 정보(LMD), 상기 스페이셜 보간된 중간 라인 데이터(SID) 및 상기 템포럴 보간된 픽셀 데이터(TID)에 의하여 상기 현재 필드 데이터(FD2)가 최종 보간된 모션 적응 디인터레이싱 데이터(PDO)를 출력한다.
즉, 상기 글로벌 모션 플래그 정보(GMF)에 의하여 글로벌 모션인 것으로 판단되고, 상기 데이터 차이 정보(FDD)에 의하여 영상의 움직임 정도가 임계치 이하인 경우에는 모션 보상 디인터레이싱 데이터(PDO)를 출력한다. 또한, 상기 글로벌 모션 플래그 정보(GMF)에 의하여 글로벌 모션이 아니 것으로 판단되거나, 글로벌 모션이더라도 상기 데이터 차이 정보(FDD)에 의하여 영상의 움직임 정도가 임계치 보다 큰 경우에는 일반적인 모션 적응 디인터레이싱 데이터(PDO)를 출력한다.
상기 글로벌 모션 처리부(global motion process block)(110)는, 프로젝션부(projection block)(113), 글로벌 모션 검출부(global motion detection block)(115), 및 메모리 제어부(memory controller)(117)를 구비하는 것을 특징으로 한다.
상기 프로젝션부(projection block)(113)는 입력되는 상기 필드 데이터(PDI) 중 현재 필드 데이터 및 이전 필드 데이터 각각에 대한 상기 소정의 프로젝션을 수행하여, 각 필드의 수평 누적 데이터들과 수직 누적 데이터들을 발생시킨다.
상기 글로벌 모션 검출부(global motion detection block)(115)는 상기 수평 누적 데이터들과 상기 수직 누적 데이터들로부터 상기 소정의 상관 에러들과 상기 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 상기 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 상기 글로벌 모션 플래그 정보(GMF)와 수평 및 수직의 최종 모션 벡터들(HVM)을 발생시킨다. 상기 최종 모션 벡터들(HVM)은, 상기 현재 필드 데이터(FD2)가 입력될 때 계산된 상기 모션 벡터들과 상기 다음 필드 데이터(FD3)가 입력될 때 계산된 상기 모션 벡터들인 것을 특징으로 한다.
상기 메모리 제어부(memory controller)(117)는 상기 글로벌 모션 플래그 정보(GMF)와 수평 및 수직의 상기 모션 벡터들로부터 상기 메모리 제어 정보를 발생시킨다. 여기서, 상기 메모리 제어 정보는, 상기 수평 및 수직의 최종 모션 벡터들(HVM)에 대응하여, 그 만큼 수평 및 수직으로 이동된 위치의 픽셀 데이터부터 시작하여 리드(read)되는 상기 필드별 필드 데이터들(FD1~FD4)이 출력되도록 제어하는 것을 특징으로 한다.
상기한 바와 같은, 본 발명에 따른 모션 보상 디인터레이싱 장치의 동작을 좀더 상세하게 설명한다.
도 2는 본 발명에 따른 모션 보상 디인터레이싱 장치의 동작 설명을 위한 흐름도이다. 도 3은 본 발명에 따른 모션 보상 디인터레이싱 장치의 프로젝션 방법을 설명하기 위한 도면이다. 도 4는 본 발명에 따른 모션 보상 디인터레이싱 장치에서 모션 벡터를 구하는 방법을 설명하기 위한 상관도 그래프이다.
도 2를 참조하면, 먼저, 본 발명에 따른 모션 보상 디인터레이싱 장치에 외부로부터 인터레이스 주사 방식의 픽셀 데이터가 필드별로 전송된다(S213). 즉, 이전 필드 데이터가 입력된 후, 현재 필드 데이터가 입력되고, 계속하여 다음 필드 데이터가 입력되는 방식으로 픽셀 데이터(PDI)가 외부에서 입력된다(S213).
외부에서 인터레이스 주사 방식의 필드 데이터(PDI)가 입력됨에 따라, 프로젝션부(projection block)(113)는 입력되는 현재 필드 데이터 및 이전 필드 데이터 각각에 대한 상기 소정의 프로젝션을 수행하여(S215), 각 필드의 수평 누적 데이터들과 수직 누적 데이터들을 발생시킨다.
즉, 도 3을 참조하면, 본 발명에 따른 모션 보상 디인터레이싱 장치의 프로젝션 방법은, 현재 필드에 대하여 수평 및 수직으로 누적한 데이터인 Phn및 Pvn각각을 라인 메모리에 저장하고, 이전 필드에 대하여 수평 및 수직으로 누적한 데이터인 Phn-1및 Pvn-1각각을 다른 라인 메모리에 저장한다. 여기서, 데이터 누적은 한 필드에 해당하는 픽셀 데이터를 수평 또는 수직으로 모두 합산하는 것으로, 결국, 수평 및 수직의 각 라인의 평균 계조값을 산출시키는 것이다. 도 3에서, S는 모션 벡터를 계산하기 위한 위상으로서, 본 발명에서는 16으로 설정하였다.
따라서, 도 3에 도시된 바와 같이, 각 필드에 대한 누적데이터를 비교하면, 영상에 존재하는 물체 등의 수평 및 수직 각각에 대한 움직임 정도(horizontal motion, vertical motion)를 알 수 있다.
그런데, 기본적인 움직임 검출 알고리즘은 수평/수직 방법이 동일하나, 수직움직임 검출 시에는 필드별로 검출된 움직임 벡터의 값이 다르게 나타날 수 있다. 그 이유는 필드 단위로 샘플링 되는 피사체의 대상 화소가 이븐/오드(Even/Odd) 별로 1/2 라인 위상 차이가 나기 때문이다. 따라서, 정확한 수직 움직임 벡터를 찾기 위해서는 수직 방향의 프로젝션에 의해 구해진 데이터를 1/2 라인 옵셋(line offset)을 보상해 주어야 한다. 본 발명에서는 수직 방향의 1/2 라인 위상 차이를 보완하는 방법으로 위/아래 라인의 중간 값을 취하고, 그 값들을 누적시킨 상기 프로젝션 값들로부터 수직 모션 벡터를 계산한다.
다음에, 글로벌 모션 검출부(global motion detection block)(115)는 상기 수평 누적 데이터들과 상기 수직 누적 데이터들로부터 상기 소정의 상관 에러들과 상기 모션 벡터들을 계산하여(S217), 상기 소정의 상관 에러들과 상기 모션 벡터들이 상기 소정의 글로벌 모션 조건을 만족하는지를 판단하며(S219), 상기 판단 결과에 따른 상기 글로벌 모션 플래그 정보(GMF)와 수평 및 수직의 최종 모션 벡터들(HVM)을 발생시킨다.
즉, 도 4를 참조하면, 본 발명에 따른 모션 보상 디인터레이싱 장치에서 모션 벡터를 구하는 방법은, [수학식 1]에 의하여 계산되고, 도 4의 그래프에서 상관 에러(correlation error), 즉 각 필드마다 수평 또는 수직의 C(u)의 값이 최소가 되는 u=u*값들은 상기 모션 벡터들이다. 여기서, S는 모션 벡터를 계산하기 위한 위상으로서, 본 발명에서는 16으로 설정하였다. 그러므로, 위상 u가 -16에서 16까지 변할 때, 수평에 대한 M-S 번째까지의 누적 값들의 차에 대한 절대치를 합하여 C(u)들을 구하고, 이때 C(u)가 최소로 되는 u=u*가 수평 방향 모션 벡터로 된다.또한, 위상 u가 -16에서 16까지 변할 때, 수직에 대한 N-S 번째까지의 누적 값들의 차에 대한 절대치를 합하여 C(u)들을 구하고, 이때 C(u)가 최소로 되는 u=u*가 수직 방향 모션 벡터로 된다.
또한, 상기 소정의 글로벌 모션 조건은, [수학식 2]부터 [수학식 4]이고, 이들 모두를 만족할 때 글로벌 모션인 것으로 판단한다. 즉, [수학식 2]부터 [수학식 4]에서, Global_Motion1내지 Global_Motion3 모두가 논리 상태 "1"로 판단되면, Global_Motion 값이 논리 상태 "1"로 되어 글로벌 모션인 것으로 최종 판정하고, Global_Motion1내지 Global_Motion3 중 어느 하나라도 논리 상태 "0"으로 판단되면, Global_Motion도 논리 상태 "0"으로 되어 글로벌 모션이 아닌 것으로 최종 판정한다. 이때, [수학식 6]에 따라 상기 현재 필드 데이터(FD1)가 외부에서 입력될 때 계산된 모션 벡터들, 즉, 수평 및 수직의 u*(즉,HMn-1,VMn-1)와 상기 다음 필드 데이터(FD3)가 입력될 때 계산된 모션 벡터들, 즉, 수평 및 수직의 u*(즉,-HMn,-VMn)가 최종적으로 결정되는 모션 벡터들(HVM)이다.
즉, [수학식 6]에서, 글로벌 모션으로 판단된 경우에는, 위의 최종 모션 벡터(HVM)가 유효하지만, 글로벌 모션이 아닐 경우에는 위의 최종 모션 벡터(HVM)가 "0"으로 된다.
한편, 메모리 제어부(memory controller)(117)는 상기 글로벌 모션 플래그 정보(GMF)와 수평 및 수직의 상기 모션 벡터들(HVM)로부터 상기 메모리 제어 정보를 발생시킨다. 여기서, 메모리 제어 정보는, 상기 수평 및 수직의 최종 모션 벡터들(HVM)에 대응하여, 그 만큼 수평 및 수직으로 이동된 위치의 픽셀 데이터부터 시작하여 리드되는 상기 필드별 필드 데이터들(FD1~FD4)이 출력되도록 제어한다.
즉, 입력되는 상기 필드 데이터(PDI)를 받아 3필드 이상의 필드 데이터들을 업데이트 시켜 저장하고 있는(S221) 필드 메모리부(field memory)(120)는 상기 메모리 제어 정보에 대응하는 필드별 필드 데이터들(FD1~FD4)을 출력한다(S223~S225). 다시 말하여, 상기 수평 및 수직의 최종 모션 벡터들(HVM) 값이 "0"인 경우에는, 필드 메모리부(field memory)(120)는 글로벌 보상되지 않은 필드별 픽셀 데이터, 즉, 필드 데이터의 처음번지부터 리드(read)되는 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)를 출력하고(S225), 상기 수평 및 수직의 최종 모션 벡터들(HVM) 값이 "0"이 아니 값을 가지는 경우에는, 그 최종 모션 벡터(HVM)만큼 이동된 위치의 번지부터 리드(read)되는 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)를 출력한다(S223).
도 5는 본 발명에 따른 모션 보상 디인터레이싱 장치의 현재 프레임에서 글로벌 모션 보상되는 모니터 상의 비교 화면이다.
도 5를 참조하면, 이러한 모니터 상의 영상은, 정지된 검은 세로줄 패턴이있고, 공 모양의 패턴이 왼쪽 위에서 오른쪽 아래로 움직이는 모습을 나타내는 글로벌 모션의 일 예이다. 이러한 경우, 상기 현재 필드 데이터(FD2)가 외부에서 입력될 때 계산된 모션 벡터들(HVM), 즉, 수평 및 수직의 u*(즉,HMn-1,VMn-1)들은 "+"의 값을 갖게되고, 상기 다음 필드 데이터(FD3)가 입력될 때 계산된 모션 벡터들(HVM), 즉, 수평 및 수직의 u*(즉,-HMn,-VMn)들은 "-" 값을 갖게된다. 즉, 이전 필드의 영상과 다음 필드의 영상의 중간에 해당하는 모습이, 도 5의 현재 필드의 영상 모습이 될 것이므로, 필드 메모리부(field memory)(120)는 그 "+" 또는 "-" 값을 갖는 최종 모션 벡터(HVM)만큼 이동된 위치의 번지부터 리드(read)되는 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)를 출력하였기 때문이다(S223).
따라서, 글로벌 모션일 경우에는 수평/수직 모션 벡터만큼 이동된 번지의 데이터부터 리드된 현재 필드 데이터(FD2)에 가까운 모션 보상된 영상 필드 데이터(FD1~FD4)를 이용하여, 후속 보간 처리를 수행하여(S227~S241), 디인터레이싱 데이터를 생성하므로(S243~S247) 수직해상도를 높일 수 있다.
한편, 로컬 모션 검출부(local motion detection block)(130)는 상기 필드별 필드 데이터들(FD1~FD4)을 비교하여(S227) 로컬 모션 정보(LMD)를 발생시킨다(S229).
템포럴 보간부(temporal interpolator)(150)는 보간될 현재 필드 데이터(FD2) 중에 데이터가 비어 있는 각 픽셀마다 좌우에 각각 존재하는 상기 필드별 필드 데이터들(FD1~FD4) 중 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)로부터, 템포럴 보간 처리하여(S231) 상기 데이터가 비어 있는 각 픽셀 데이터(TID)를 발생시킨다(S233).
스페이셜 보간부(spatial interpolator)(140)는 상기 필드별 필드 데이터들(FD1~FD4) 중 보간될 현재 필드의 두 라인 데이터들로부터, 스페이셜 보간 처리하여(S235) 상기 두 라인 데이터들 사이에 데이터가 비어있는 중간 라인 데이터(SID)를 발생시킨다(S237). 여기서, 두 라인 데이터들 각각에 웨이트를 주어 스페이셜 보간할 수 있다.
필드 차이 계산부(field difference computation block)(160)는 상기 필드별 필드 데이터들(FD1~FD4) 중 이전 필드 데이터(FD1)와 다음 필드 데이터(FD3)로부터, 두 데이터 사이의 데이터 차이 정보(FDD)를 발생시킨다(S239,S241).
이에 따라, 디인터레이싱 데이터 출력부(deinterlacing data output block)(170)는, 상기 글로벌 모션 플래그 정보(GMF)와 상기 데이터 차이 정보(FDD)에 대응하여, 글로벌 모션인 것으로 판단되고, 영상의 움직임 정도가 임계치 이하인 것으로 판단되면(S243), 상기 스페이셜 보간된 중간 라인 데이터(SID) 및 상기 템포럴 보간된 픽셀 데이터(TID)에 의하여 상기 현재 필드 데이터(FD2)가 최종 보간된 모션 보상 디인터레이싱 데이터(PDO)를 출력한다(S245). 또한, 디인터레이싱 데이터 출력부(deinterlacing data output block)(170)는, 상기 글로벌 모션 플래그 정보(GMF)와 상기 데이터 차이 정보(FDD)에 대응하여, 글로벌 모션이 아니 것으로 판단되거나, 영상의 움직임 정도가 임계치 보다 큰 것으로 판단되면(S243), 상기 로컬 모션 정보(LMD), 상기 스페이셜 보간된 중간 라인 데이터(SID) 및 상기 템포럴 보간된 픽셀 데이터(TID)에 의하여 상기 현재 필드 데이터(FD2)가 최종 보간된 일반적인 종래의 모션 적응 디인터레이싱 데이터(PDO)를 출력한다(S247).
한편, 상기 [수학식 2]부터 [수학식 4]를 좀더 상세히 설명한다.
상기 [수학식 2]에서, 일반적으로 글로벌 모션 영상에 가까울수록 최소 값들은 더욱 작고, 상관 에러(correlation error)가 적어질수록 최대 값들은 더욱 커진다. 단, 최대/최소 값들의 절대적인 크기는 영상의 복잡도에 따라 달라지기 때문에 의미가 없으며, 최대/최소 값들의 상대적인 차이 값이 클수록 글로벌 모션 영상에 가까운 특성을 갖는다. 따라서, 시뮬레이션(simulation)에서는 GM_ALPHA = 10 으로 사용하여 최소/최대 값들의 상대적인 차이가 최소 10배 이상 되어야 글로벌 모션 영상의 첫 번째 조건이 만족되는 것으로 설정하였다.
상기 [수학식 3]에서, 이전 수 필드의 모션 벡터를 현재 필드에서 참조하는 이유는 필드별로 모션 벡터의 변화가 심한 영상의 경우에 생길 수 있는 일종의 고주파성 노이즈 발생을 방지하기 위한 것이다. 즉, C1과 C3에서 보듯이 수평/수직의 움직임 벡터가 일정한 방향성을 가지는 것을 원칙으로 한다. 영상에서 일정한 방향성 없이 모션 벡터가 ±방향으로 변하는 영상에서는 글로벌 모션이 없는 것으로 간주한다. 또한, C2와 C4는, 단 하나의 모션 벡터라도 "0" 이 아닌 값을 갖고, 일정한 방향성을 갖아야 글로벌 모션 영상의 두 번째 조건이 만족되는 것으로 설정하였다.
상기 [수학식 4]에서는, 글로벌 모션과 로컬 모션이 동시에 존재하는 영상에서, 로컬 모션이 일정한 크기 이상의 정보를 가지고 있을 때, 글로벌 모션이라고잘못 판단하는 것을 방지한다. 이에 따라, 본 발명에 따른 모션 보상을 통한 IPC를 수행한 결과가 일반적인 종래의 모션 적응 IPC를 수행한 결과보다 화질 열화가 많아지지 않는다. 본 발명에서 수행한 실험 결과에 의한 적정한 임계값은 GM_BETA = 1.6 이다.
위에서 기술한 바와 같이, 본 발명에 따른 모션 보상 디인터레이싱 장치는, 먼저, 프로젝션부(projection block)(113)가 입력되는 필드 데이터(PDI) 중 현재 필드 데이터 및 이전 필드 데이터 각각에 대한 상기 소정의 프로젝션을 수행하여, 각 필드의 수평 누적 데이터들과 수직 누적 데이터들을 발생시킨다. 이에 따라, 글로벌 모션 검출부(global motion detection block)(115)는 상기 수평 누적 데이터들과 상기 수직 누적 데이터들로부터 상기 소정의 상관 에러들과 상기 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 상기 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 상기 글로벌 모션 플래그 정보(GMF)와 수평 및 수직의 최종 모션 벡터들(HVM)을 발생시킨다. 다음에, 메모리 제어부(memory controller)(117)는 상기 글로벌 모션 플래그 정보(GMF)와 수평 및 수직의 상기 모션 벡터들로부터 상기 메모리 제어 정보를 발생시키고, 이에 따라 출력되는 필드별 필드 데이터들로(FD1~FD4)부터 보간이 수행되어, 디인터레이싱 데이터 출력부(deinterlacing data output block)(170)는 상기 글로벌 모션 플래그 정보(GMF)와 상기 데이터 차이 정보(FDD)에 대응하여, 상기 현재 필드 데이터(FD2)가 최종 보간된 모션 보상 디인터레이싱 데이터(PDO)를 출력하거나, 일반적인 모션 적응 디인터레이싱 데이터(PDO)를 출력한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이 본 발명에 모션 보상 디인터레이싱 장치는, 현재 필드를 기준으로 이전 필드와 다음 필드의 영상 위치에 대한 수평 및 수직의 글로벌 모션 벡터(global motion vector)를 구하여, 글로벌 모션인 경우에는, 그 모션 벡터(motion vector)만큼 보상된 필드 데이터로 템포럴 보간(temporal interpolation) 등을 수행하는 모션 보상(motion compensation) IPC(Interlace-to-Progressive Converter) 기법을 사용한다. 따라서, 본 발명에 모션 보상 디인터레이싱 장치는, 일반적인 모션 적응(motion adaptive) IPC(Interlace-to-Progressive Converter)보다 수직 해상도를 두 배로 향상시킬 수 있으므로, 입력되는 인터레이스(interlace) 주사 방식의 픽셀 데이터(PDI)를 받아 프로그레시브(progressive) 주사 방식의 모니터 상에서 본래 영상에 가까운 영상을 재현시킬 수 있는 효과가 있다.

Claims (12)

  1. 인터레이스 스캔 방식으로 입력되는 필드 데이터를 받아 보간하여 디인터레이싱 데이터를 출력하는 디인터레이싱 장치에 있어서,
    소정의 프로젝션을 통하여 소정의 상관 에러들과 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 글로벌 모션 플래그 정보와 메모리 제어 정보를 발생시키는 글로벌 모션 처리부;
    입력되는 상기 필드 데이터를 받아 3필드 이상의 필드 데이터들을 업데이트 시켜 저장하고, 상기 메모리 제어 정보에 대응하는 필드별 필드 데이터들을 출력하는 필드 메모리부;
    상기 필드별 필드 데이터들을 비교하여 로컬 모션 정보를 발생시키는 로컬 모션 검출부;
    상기 필드별 필드 데이터들 중 보간될 현재 필드의 두 라인 데이터들로부터, 스페이셜 보간 처리하여 상기 두 라인 데이터들 사이에 데이터가 비어있는 중간 라인 데이터를 발생시키는 스페이셜 보간부;
    보간될 현재 필드 데이터 중에 데이터가 비어 있는 각 픽셀마다 좌우에 각각 존재하는 상기 필드별 필드 데이터들 중 이전 필드 데이터와 다음 필드 데이터로부터, 템포럴 보간 처리하여 상기 데이터가 비어 있는 각 픽셀 데이터를 발생시키는 템포럴 보간부;
    상기 필드별 필드 데이터들 중 이전 필드 데이터와 다음 필드 데이터로부터,두 데이터 사이의 데이터 차이 정보를 발생시키는 필드 차이 계산부; 및
    상기 글로벌 모션 플래그 정보와 상기 데이터 차이 정보에 대응하여, 상기 스페이셜 보간된 중간 라인 데이터 및 상기 템포럴 보간된 픽셀 데이터에 의하여 상기 현재 필드 데이터가 최종 보간된 모션 보상 디인터레이싱 데이터를 출력하거나, 상기 로컬 모션 정보, 상기 스페이셜 보간된 중간 라인 데이터 및 상기 템포럴 보간된 픽셀 데이터에 의하여 상기 현재 필드 데이터가 최종 보간된 모션 적응 디인터레이싱 데이터를 출력하는 디인터레이싱 데이터 출력부를 구비하는 것을 특징으로 하는 모션 보상 디인터레이싱 장치.
  2. 제 1항에 있어서, 상기 글로벌 모션 처리부는,
    입력되는 상기 필드 데이터 중 현재 필드 데이터 및 이전 필드 데이터 각각에 대한 상기 소정의 프로젝션을 수행하여, 각 필드의 수평 누적 데이터들과 수직 누적 데이터들을 발생시키는 프로젝션부;
    상기 수평 누적 데이터들과 상기 수직 누적 데이터들로부터 상기 소정의 상관 에러들과 상기 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 상기 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 상기 글로벌 모션 플래그 정보와 수평 및 수직의 최종 모션 벡터들을 발생시키는 글로벌 모션 검출부; 및
    상기 글로벌 모션 플래그 정보와 수평 및 수직의 상기 모션 벡터들로부터 상기 메모리 제어 정보를 발생시키는 메모리 제어부를 구비하는 것을 특징으로 하는모션 보상 디인터레이싱 장치.
  3. 제 1항 또는 제 2항에 있어서, 상기 메모리 제어 정보는,
    상기 수평 및 수직의 최종 모션 벡터들에 대응하여, 그 만큼 수평 및 수직으로 이동된 위치의 픽셀 데이터부터 시작하여 리드되는 상기 필드별 필드 데이터들이 출력되도록 제어하는 것을 특징으로 하는 모션 보상 디인터레이싱 장치.
  4. 제 1항 또는 제 2항에 있어서, 상기 소정의 상관 에러들은,
    수학식,
    에 의하여 계산되고, 여기서 각 필드마다 수평 및 수직으로 계산되는 u*들은 상기 모션 벡터들인 것을 특징으로 하는 모션 보상 디인터레이싱 장치.
  5. 제 1항 또는 제 2항에 있어서, 상기 소정의 글로벌 모션 조건은,
    수학식,
    수학식,
    수학식,
    이고, 이들 모두를 만족할 때 글로벌 모션으로 상기 판단하는 것을 특징으로하는 모션 보상 디인터레이싱 장치.
  6. 제 2항에 있어서, 상기 최종 모션 벡터들은,
    상기 현재 필드 데이터가 입력될 때 계산된 상기 모션 벡터들과 상기 다음 필드 데이터가 입력될 때 계산된 상기 모션 벡터들인 것을 특징으로 하는 모션 보상 디인터레이싱 장치.
  7. 인터레이스 스캔 방식으로 입력되는 필드 데이터를 받아 3필드 이상의 필드 데이터들을 업데이트 시켜 저장하고, 제어를 받아 필드별 필드 데이터들을 출력하는 소정의 메모리를 구비하며, 상기 필드별 필드 데이터들로부터 현재 필드 데이터를 보간하여 디인터레이싱 데이터를 출력하는 디인터레이싱 장치의 디인터레이싱 방법에 있어서,
    상기 디인터레이싱 장치에 의하여 소정의 프로젝션을 통하여 소정의 상관 에러들과 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 글로벌 모션 플래그 정보와 메모리 제어 정보를 발생시키는 단계;
    상기 디인터레이싱 장치에 의하여 상기 필드별 필드 데이터들을 비교하여 로컬 모션 정보를 발생시키는 단계;
    상기 디인터레이싱 장치에 의하여 상기 필드별 필드 데이터들 중 보간될 현재 필드의 두 라인 데이터들로부터, 스페이셜 보간 처리하여 상기 두 라인 데이터들 사이에 데이터가 비어있는 중간 라인 데이터를 발생시키는 단계;
    상기 디인터레이싱 장치에 의하여 보간될 현재 필드 데이터 중에 데이터가 비어 있는 각 픽셀마다 좌우에 각각 존재하는 상기 필드별 필드 데이터들 중 이전 필드 데이터와 다음 필드 데이터로부터, 템포럴 보간 처리하여 상기 데이터가 비어 있는 각 픽셀 데이터를 발생시키는 단계;
    상기 디인터레이싱 장치에 의하여 상기 필드별 필드 데이터들 중 이전 필드 데이터와 다음 필드 데이터로부터, 두 데이터 사이의 데이터 차이 정보를 발생시키는 단계; 및
    상기 디인터레이싱 장치에 의하여 상기 글로벌 모션 플래그 정보와 상기 데이터 차이 정보에 대응하여, 상기 스페이셜 보간된 중간 라인 데이터 및 상기 템포럴 보간된 픽셀 데이터에 의하여 상기 현재 필드 데이터가 최종 보간된 모션 보상 디인터레이싱 데이터를 출력하거나, 상기 로컬 모션 정보, 상기 스페이셜 보간된 중간 라인 데이터 및 상기 템포럴 보간된 픽셀 데이터에 의하여 상기 현재 필드 데이터가 최종 보간된 모션 적응 디인터레이싱 데이터를 출력하는 단계를 구비하는 것을 특징으로 하는 모션 보상 디인터레이싱 방법.
  8. 제 7항에 있어서, 상기 모션 보상 디인터레이싱 방법은,
    상기 디인터레이싱 장치에 의하여 입력되는 상기 필드 데이터 중 현재 필드 데이터 및 이전 필드 데이터 각각에 대한 상기 소정의 프로젝션을 수행하여, 각 필드의 수평 누적 데이터들과 수직 누적 데이터들을 발생시키는 단계;
    상기 디인터레이싱 장치에 의하여 상기 수평 누적 데이터들과 상기 수직 누적 데이터들로부터 상기 소정의 상관 에러들과 상기 모션 벡터들을 계산하여, 상기 소정의 상관 에러들과 상기 모션 벡터들이 상기 소정의 글로벌 모션 조건을 만족하는지를 판단하며, 상기 판단 결과에 따른 상기 글로벌 모션 플래그 정보와 수평 및 수직의 최종 모션 벡터들을 발생시키는 단계; 및
    상기 디인터레이싱 장치에 의하여 상기 글로벌 모션 플래그 정보와 수평 및 수직의 상기 모션 벡터들로부터 상기 메모리 제어 정보를 발생시키는 단계를 더 구비하는 것을 특징으로 하는 모션 보상 디인터레이싱 방법.
  9. 제 7항 또는 제 8항에 있어서, 상기 메모리 제어 정보는,
    상기 수평 및 수직의 최종 모션 벡터들에 대응하여, 그 만큼 수평 및 수직으로 이동된 위치의 픽셀 데이터부터 시작하여 리드되는 상기 필드별 필드 데이터들이 출력되도록 제어하는 것을 특징으로 하는 모션 보상 디인터레이싱 방법.
  10. 제 7항 또는 제 8항에 있어서, 상기 소정의 상관 에러들은,
    수학식,
    에 의하여 계산되고, 여기서 각 필드마다 수평 및 수직으로 계산되는 u*들은 상기 모션 벡터들인 것을 특징으로 하는 모션 보상 디인터레이싱 방법.
  11. 제 7항 또는 제 8항에 있어서, 상기 소정의 글로벌 모션 조건은,
    수학식,
    수학식,
    수학식,
    이고, 이들 모두를 만족할 때 글로벌 모션으로 상기 판단하는 것을 특징으로 하는 모션 보상 디인터레이싱 방법.
  12. 제 8항에 있어서, 상기 최종 모션 벡터들은,
    상기 현재 필드 데이터가 입력될 때 계산된 상기 모션 벡터들과 상기 다음 필드 데이터가 입력될 때 계산된 상기 모션 벡터들인 것을 특징으로 하는 모션 보상 디인터레이싱 방법.
KR10-2002-0072479A 2002-11-20 2002-11-20 글로벌 모션 보상으로 수직 해상도를 향상시키는 모션보상 디인터레이싱 장치 및 그 방법 KR100455397B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0072479A KR100455397B1 (ko) 2002-11-20 2002-11-20 글로벌 모션 보상으로 수직 해상도를 향상시키는 모션보상 디인터레이싱 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0072479A KR100455397B1 (ko) 2002-11-20 2002-11-20 글로벌 모션 보상으로 수직 해상도를 향상시키는 모션보상 디인터레이싱 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20040044262A KR20040044262A (ko) 2004-05-28
KR100455397B1 true KR100455397B1 (ko) 2004-11-06

Family

ID=37340520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0072479A KR100455397B1 (ko) 2002-11-20 2002-11-20 글로벌 모션 보상으로 수직 해상도를 향상시키는 모션보상 디인터레이싱 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100455397B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211224B (zh) * 2019-05-30 2021-03-26 中国地质大学（北京） 基于信息熵特征提取的地下水流场流线绘制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010009519A (ko) * 1999-07-10 2001-02-05 구자홍 디인터레이싱 장치
KR20010072069A (ko) * 1999-05-25 2001-07-31 요트.게.아. 롤페즈 인터레이스된 영상 신호의 프로그레시브 스캔된 영상신호로의 변환
KR20010090568A (ko) * 2000-03-27 2001-10-18 루센트 테크놀러지스 인크 영상 이미지 디인터레이서 장치 및 방법
EP1191786A1 (en) * 2000-09-21 2002-03-27 Sony International (Europe) GmbH Interlace to progressive conversion
KR20020064440A (ko) * 2001-02-01 2002-08-09 엘지전자 주식회사 영상 움직임 보상 장치 및 방법
KR20030010252A (ko) * 2001-07-26 2003-02-05 주식회사 하이닉스반도체 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010072069A (ko) * 1999-05-25 2001-07-31 요트.게.아. 롤페즈 인터레이스된 영상 신호의 프로그레시브 스캔된 영상신호로의 변환
KR20010009519A (ko) * 1999-07-10 2001-02-05 구자홍 디인터레이싱 장치
KR20010090568A (ko) * 2000-03-27 2001-10-18 루센트 테크놀러지스 인크 영상 이미지 디인터레이서 장치 및 방법
JP2001313909A (ja) * 2000-03-27 2001-11-09 Lucent Technol Inc ビデオ画像をデインターレースする方法および装置
EP1191786A1 (en) * 2000-09-21 2002-03-27 Sony International (Europe) GmbH Interlace to progressive conversion
KR20020064440A (ko) * 2001-02-01 2002-08-09 엘지전자 주식회사 영상 움직임 보상 장치 및 방법
KR20030010252A (ko) * 2001-07-26 2003-02-05 주식회사 하이닉스반도체 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법

Also Published As

Publication number Publication date
KR20040044262A (ko) 2004-05-28

Similar Documents

Publication Publication Date Title
US7057665B2 (en) Deinterlacing apparatus and method
US5631706A (en) Converter and method for converting video signals of interlace format to video signals of progressive format
KR0183149B1 (ko) 동화상 검출방법
KR20060010384A (ko) 움직임 보상 적응형 순차주사화 장치 및 그 방법
EP1766970B1 (en) Method and apparatus for deinterlacing interleaved video
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
WO2009034486A2 (en) Method and apparatus for line-based motion estimation in video image data
JP2004194317A (ja) インターレース解除装置および方法
JPH11112939A (ja) 画像信号の方式変換方法および装置
EP1303136B1 (en) Image signal processing apparatus and method
JP4575431B2 (ja) 補正インタレース解除装置による保護
KR20040054032A (ko) 영상신호의 포맷 검출장치 및 방법
US20080239144A1 (en) Frame rate conversion device and image display apparatus
KR20060047635A (ko) 필름 모드 표시 결정 방법, 움직임 보상의 화상 처리 수행방법, 필름 모드 검출기 및 움직임 보상기
US7239353B2 (en) Image format conversion apparatus and method
EP1460847B1 (en) Image signal processing apparatus and processing method
US7327397B2 (en) Image processing with pixel interpolation
KR100455397B1 (ko) 글로벌 모션 보상으로 수직 해상도를 향상시키는 모션보상 디인터레이싱 장치 및 그 방법
US20100283897A1 (en) De-interlacing system
JP4339237B2 (ja) 順次走査変換装置
AU2004200237A1 (en) Image processing apparatus with frame-rate conversion and method thereof
KR960012490B1 (ko) 고선명티브이의 영상포맷 변환 장치 및 방법
KR102603650B1 (ko) 지능형 컬러 영상 복원 시스템 및 이를 이용한 디인터레이싱 방법
KR100416557B1 (ko) 부분 인터레이스 동영상 재생 방법 및 그 장치
KR100710236B1 (ko) 화소 보간 장치 및 화소 보간 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110930

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20120925

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee