KR20010026090A - 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 - Google Patents

모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 Download PDF

Info

Publication number
KR20010026090A
KR20010026090A KR1019990037265A KR19990037265A KR20010026090A KR 20010026090 A KR20010026090 A KR 20010026090A KR 1019990037265 A KR1019990037265 A KR 1019990037265A KR 19990037265 A KR19990037265 A KR 19990037265A KR 20010026090 A KR20010026090 A KR 20010026090A
Authority
KR
South Korea
Prior art keywords
corner
edge
absolute
directions
value
Prior art date
Application number
KR1019990037265A
Other languages
English (en)
Other versions
KR100327396B1 (ko
Inventor
임일택
임경원
민철홍
Original Assignee
구자홍
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자 주식회사 filed Critical 구자홍
Priority to KR1019990037265A priority Critical patent/KR100327396B1/ko
Priority to US09/654,167 priority patent/US6614484B1/en
Publication of KR20010026090A publication Critical patent/KR20010026090A/ko
Application granted granted Critical
Publication of KR100327396B1 publication Critical patent/KR100327396B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Abstract

본 발명은 격행주사(interlaced scanning) 방식의 영상신호를 순행주사(progressive scanning) 방식의 영상신호로 변환하도록 한 격행주사 영상의 디인터레이싱(deinterlacing) 방법에 관한 것이다.
특히, 종래의 EDI 방법을 개선하여 정확하고 신뢰성 있는 EDI 방법을 제안하고자 하는 것으로, 한 방향에 대하여 하나이상의 절대오차를 구하고, 이들의 평균을 통하여 각 방향에 대한 절대오차를 구하도록 하므로써, 정확한 모서리 정보의 검출이 이루어질 수 있도록 하고, 보간시 화소 묶음단위로 보간을 실행하도록 하므로써, 불균일한 방향 보간으로 인한 화질 저하를 막을 수 있도록 한다. 또한, 이와 같은 과정을 통한 디인터레이싱과정이 올바르게 이루어졌는 가를 디인터레이싱 결과에 대한 검증과정을 실행하도록 하므로써, 신뢰성있는 EDI 디인터레이싱 방법을 제공하고자 한 것이다.

Description

모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법{Deinterlacing method based on edge-directional intra-field interpolation}
본 발명은 격행주사(interlaced scanning) 방식의 영상신호를 순행주사(progressive scanning) 방식의 영상신호로 변환하도록 한 격행주사 영상의 디인터레이싱(deinterlacing) 방법에 관한 것이다.
현재의 티브이(TV)는 이른 바 격행주사 방식을 채택하고 있다. 이와 같은 격행주사 방식은 NTSC의 경우 525개, PAL 방식의 경우 625개로 이루어진 주사선을 1/60초 간격으로 한번은 짝수번째 주사선들만 화면에 출력시키고, 그 다음에는 홀수번째 주사선들만 화면에 출력하는 방식이다.
이때, 1/60초 간격의 각각의 화면을 필드(field)라고 하고 두개의 필드를 모은 화면을 프레임(frame)이라 한다.
그리고, 홀수번째 라인들로 이루어진 필드를 기수필드(odd field) 또는 탑필드(top field)라고 하고, 짝수번째 라인들로 이루어진 필드를 우수필드(even field) 또는 바텀필드(bottom field)라고 한다.
이와 같은 격행주사 방식은 1/60초 간격으로 모든 주사선들을 보내는 방식에 비해서 티브이 신호의 대역폭을 절반으로 줄일 수 있는 장점이 있다.
다시말하면, 예를 들어 대역폭이 6㎒인 현재의 NTSC 방식의 티브이에서 격행주사 방식을 채택하지 않았더라면 약 12㎒의 대역폭이 필요한 것이다.
이와 같은 격행주사 방식은 티브이 브라운관의 기술이 지금처럼 발달하지 않았던 시절에 개발된 기술로서, 당시에는 격행주사로 하나 혹은 모든 주사선을 화면에 표시하는 순행주사 방식으로 하나 티브이 화면을 보는 사람들의 눈에는 큰 차이가 없었다.
그러나, 이제는 브라운관 제작 기술이 많이 발전하였고, 특히 밝기가 예전보다 크게 향상되었다. 이렇게 밝고 선명해진 브라운관은 역으로 격행주사의 결점을 점차로 부각시키기 시작했다.
특히, 수평으로 미세한 줄무늬가 있는 경우, 그 부분은 30㎐로 떨리는 대화면 깜박임(large-area flicker)현상이 사람들의 눈에 느껴지기 시작했다.
그리고, 이와는 반대로 30㎐로 깜박이는 물체가 있을 경우 그 물체 위에 미세한 줄무늬들이 겹쳐져서 보이게 되는 데, 이러한 현상들은 격행주사 방식에서는 피할 수 없는 현상들이다.
더구나 이제는 디지털 티브이가 등장하면서 화면의 품질은 매우 중요한 요소가 되고 있다.
ATSC 규격의 디지털 티브이 영상신호 규격에는 순행주사도 있고, 격행주사 방식도 있는 데, 예를 들어 704*480 크기의 규격은 60㎐ 프로그레시브, 60㎐ 인터레이스도 있다.
그러나, 가정의 소비자가 구입할 디지털 티브이의 표시장치가 만약 순행주사 방식으로 되어 있다면 격행주사의 영상신호는 순행주사로 바뀌어져야 할 것이다.
또한, PC를 통해 표시되는 영상은 반드시 순행방식이어야 하므로, 카드를 내장하여 PC에서 디지털 티브이의 시청이 가능하도록 하는 데 있어 격행주사 방식을 순행주사 방식으로 변환하는 것은 필수적이라 할 수 있다.
따라서, 본 발명에서는 격행주사 방식의 영상신호를 순행주사 방식으로 변환하는 방법을 제공하고자 하는 것이다.
종래의 격행주사 방식의 영상신호를 순행주사 방식으로 변환하는 방법은 크게 두가지로 나누어지는 바, 첫째는 필드간 보간(inter-field interpolation)이고, 두번째는 필드내 보간(intra-field interpolation)이다.
필드간 보간의 간단한 예는 흔히 weave라고 알려진 것으로서, 탑필드와 바텀필드를 결합하여 하나의 프레임을 만드는 것이다.
이러한 필드간 보간은 화면의 정지해 있는 부분은 좋은 결과를 보여주지만 움직이는 부분에서는 눈에 거슬리는 수평선들이 생긴다.
이는 결합되는 두 필드 사이에 시간차가 있기 때문이다.
필드간 보간의 보다 복잡한 예는 이른 바, 움직임 보상 보간(MCI ; motion-compensated interpolation)이 있다.
이러한 움직임 보상 보간은 현재 필드의 비어있는 라인을 보간하기 위해 화면의 움직임 정보를 추출한 다음 그 정보를 이용하여 이전 혹은 그 이전의 필드의 화소(pixel)들을 가져다가 현재 필드의 비어있는 라인들을 보간하는 것이다.
이때, 중요한 것은 움직임 보상이 정확하고 정밀하게 이루어져야 한다는 것이다.
다음으로 필드내 보간의 간단한 예는 흔히 bob이라고 알려져 있는 것으로서 한 필드의 각 라인들을 두번씩 사용하므로써, 프레임을 만들어내는 것이다.
이러한 보간 방법은 화면의 움직이는 부분에서 눈에 거슬리는 수평선들이 생기는 것은 방지해주지만 화면의 복잡하고 미세한 부분들이 30㎐로 떨리게 된다.
그리고 수직 해상도도 떨어진다. 특히 모서리들이 계단모양으로 왜곡된다.
필드내 보간의 보다 복잡한 예는 이른바 모서리 방향보간(EDI ; edge-directional interpolation)이다.
이러한 방법은 현재 필드의 비어있는 라인을 보간하기 위해 현재 필드의 화소들만을 이용하되, 특히 모서리의 방향을 검출한 다음 그 정보를 이용하여 보간을 하는 것이다.
이때 중요한 것은 모서리 방향의 검출이 정확하고 정밀하게 이루어져야 한다는 것이다.
본 발명에서는 이와 같은 모서리 방향보간(EDI) 방법에 있어, 그 성능을 개선한 모서리 방향보간(EDI) 방법을 제공하고자 하는 것이다.
종래 EDI 방법에 있어서는 도 2a에 도시된 바와 같이, 보간해야할 주사선상의 화소와 인접한 6개의 화소를 이용하여 모서리 방향을 검출하게 되는 바, 방향을검출하는 과정은 다음과 같다.
먼저, 인접한 화소 Pa, Pb, Pc, Pd, Pe 그리고 Pf를 이용하여 보간해야할 화소를 통과하는 세 방향에 대한 화소의 변화율을 검출한다.
이때, 변화율은 다음의 수학식 1과같이, 각 방향에 대한 화소값의 절대오차(absolute difference)로 정의된다.
이와 같이 검출된 각 방향에 대하여 검출된 변화율의 대소 관계에 따라 다음의 수학식 2와 같이, 보간을 위해 사용하는 인접화소를 결정한다.
여기서, Px는 보간된 화소를 의미하며, 상기한 수학식 2는 영상에서 모서리(edge) 방향의 인접한 화소들은 상관성(correlation)이 높아서, 서로 비슷한 값을 갖는다는 현상에 기초를 둔다.
이와 같이 종래의 EDI는 방법상 간단하다는 장점을 갖지만, 다음과 같은 몇가지 중대한 문제점을 갖고 있다.
첫째로, 종래의 EDI는 영상에 존재하는 잡신호(noise signal) 성분이 증가하면 모서리를 찾는 정확도가 대폭 떨어지는 단점을 갖고 있다.
이는 상기 수학식 1에서 각각의 방향에 대하여 절대오차를 계산하는데 단지 두 화소만을 사용하기 때문에 잡신호의 영향이 절대오차의 계산에 반영되는 비중이 크기 때문이다.
또한 잡신호가 섞여 있지 않더라도 도 2b와 같은 경우, 특정 영상의 모양이 모서리가 아님에도 불구하고 모서리로 오판할 가능성도 있다.
둘째로, 종래의 EDI는 검출할 수 있는 모서리의 방향이 지나치게 적다는 점이다.
즉, 보간될 화소 Px에 대하여 수직(90°) 방향과 대각선(45°,135°) 방향만을 이용하여서는, Px를 지나는 모든 모서리를 정확하게 보간할 수 없다는 것이다.
이와 같은 단점들에 의해 종래의 EDI 방법으로서는 실제 격행주사 영상을 순차주사 영상으로 변환하는 데 좋은 화질을 제공하기 어렵다.
본 발명에서 있어서는 이와 같은 점을 감안하여 보다 성능이 우수한 EDI 방법을 제공하고자 하는 것으로,
한 방향에 대하여 하나이상의 절대오차를 구하고, 이들의 평균을 통하여 각 방향에 대한 절대오차를 구하도록 하므로써, 정확한 모서리 정보의 검출이 이루어질 수 있도록 하고, 보간시 화소 묶음단위로 보간을 실행하도록 하므로써, 불균일한 방향 보간으로 인한 화질 저하를 막을 수 있도록 한 것이다.
그리고, 이와 같은 과정을 통한 디인터레이싱과정이 올바르게 이루어졌는 가를 디인터레이싱 결과에 대한 검증과정을 실행하도록 하므로써, 신뢰성있는 EDI 디인터레이싱 방법을 제공하고자 한 것이다.
도 1은 수직 시간축상에서의 격행주사 방식의 영상의 디인터레이싱을 설명하기 위한 도면.
도 2a는 일반적인 모서리 방향 보간(EDI)에 있어서, 모서리의 방향 검출과정을 설명하기위한 도면.
도 2b는 일반적인 모서리 방향 보간(EDI)에 있어서, 모서리의 방향 검출시 오류가 발생되는 예를 나타낸 도면.
도 3은 본 발명 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법을 실행하기 위한 장치의 구성 블록도.
도 4는 본 발명에 있어서, 중간단계의 프레임 구성방법을 설명하기 위한 도면.
도 5a는 본 발명을 적용했을때 부작용 없이 찾을 수 있는 모서리 집합의 한예(총 33방향)를 나타낸 도면.
도 5b는 본 발명에 있어서, 도 5a의 각 방향중 임의의 한 방향에 대한 절대오차를 구하는 과정을 설명하기 위한 도면.
도 5c는 본 발명에 있어서, 중간단계의 프레임을 구성하는 임시 보간 화소값의 산출과정을 나타낸 도면.
도 6은 본 발명에 있어서, 전형적인 오차값(mismatch)의 분포를 나타낸 도면.
본 발명 EDI 방법은 상기한 종래의 EDI 방법이 갖는 문제점을 해결하고자하는 기본 적인 사상을 바탕으로 하고 있다.
첫째로 영상신호에 대한 잡 신호 성분이 있는 경우에도 정확한 모서리 정보를 검출하기 위해서 도 5b에서와 같이 절대오차를 계산할 때, 그 방향으로 복수개의 절대오차를 구하고, 이 값들의 평균을 취한다.
도 5b의 경우 8개의 절대오차를 계산하여 평균을 취하는 것을 보여준다.
기본 적인 사상은 첫째로 잡신호 성분은 그 특성상 고주파(high frequency) 성분이 주가되고, 평균을 취하는 과정은 일종의 저역 통과 필터링(low pass filtering)이므로, 절대오차값들의 평균을 취하므로써, 잡신호 성분의 영향을 걸러낼 수 있다는 점이고, 둘째로 보다 넓은 영역이 고려되기 때문에 모서리가 아닌 부분을 모서리로 착각할 확률이 낮아진다는 점이다.
이를 위해 Px를 지나는 모서리에 대한 가능한 계산 영역을 확장하여 각 방향에 대한 절대오차를 구한다.
이의 기본적인 사상은 앞의 두가지 사상에 기초하여 임의의 방향에 대한 비교적 정확한 절대오차값을 계산하는 것이 가능해지고 부정확한 방향을 찾았을 경우에 대한 화질 저하 가능성을 적절히 제거할 수 있다면, 부작용없이 모서리 방향을 확장하여 임의의 모서리 상에 존재하는 화소도 정확하게 표현할 수 있다는 것이다.
도 5a는 본 발명을 적용했을때 부작용 없이 찾을 수 있는 모서리 집합의 한예(총 33방향)를 나타낸 것이다.
다음으로, 모서리 방향 보간시에 원치 않는 화질 저하를 방지하기 위하여 보간하는 단위를 종래의 화소 단위에서 화소의 묶음 단위로 확장하도록 한다.
이는, 같은 방향을 갖는 모서리 이미지상의 모든 화소들에 대하여 균일한 방향의 방향 보간을 한다면, 불균일한 방향 보간으로 인한 화질 저하를 막을 수 있다는 것이다.
그리고, 본 발명은 모서리 방향의 검출결과에 대한 확인과정을 통해 잘못 판단된 방향 정보로 인한 보간 화질의 저하를 원천적으로 방지할 수 있도록 함에 그 특징이 있다.
이와 같은 특징을 갖는 본 발명의 실행수순을 살펴보면,
보간하고자 하는 현재 필드의 영상으로 부터 라인 평균을 통해 중간 단계의 보간 프레임을 만드는 제 1과정과,
중간단계의 보간 프레임에서 보간하고자 하는 화소를 중심으로 다수의 모서리 방향을 설정하고, 설정된 각각의 모서리 방향에 의해 결정되는 윈도우(window)에 의해 묶여지는 모든 화소에 대하여 절대오차값의 평균을 구하여, 임의의 한 방향에 대한 절대오차값을 구하는 제 2과정과,
제 2과정에서의 절대오차값 구하는 과정을 통해 상기한 바와 같이 설정된 각 모서리 방향별로 절대오차값을 구하는 제 3과정과,
각 방향의 절대오차값중 오차값이 제일 작은 모서리 방향 정보에 따라서, 상기 제 2과정의 윈도우내의 모든 화소에 대하여 같은 방향으로 보간하여 보간된 프레임을 얻는 제 4과정과,
상기 제 3과정에서 구한 각 모서리 방향별 절대오차값중 제일 오차값이 작은 일정갯수(4개)의 모서리 방향과 설정된 각 방향에 대한 모든 절대오차값을 이용비교하여 모서리 방향의 정확성을 판단하는 제 5과정과,
상기 제 5과정에서의 판단결과에 따라서, 상기한 과정을 통한 디인터레이싱 결과의 적용여부를 결정하는 제 6과정을 포함하여 이루어짐을 특징으로 한다.
도 3은 상기한 본 발명의 과정을 실현하기 위한 구성을 나타낸 블록도로서, 도 3을 참조하여 그 구성 및 실행과정에 따른 작용을 설명하면 다음과 같다.
보간하고자 하는 현재 필드(Current field ; f(t))의 라인 평균을 통해 중간단계의 보간 프레임(intermediate frame ; Fm(t))을 만들어내는 라인 평균필터부(line average)(100)와, 중간단계 프레임의 보간하고자 하는 화소를 중심으로 하여 다수의 모서리 방향을 설정하고, 설정된 각 방향의 절대오차값을 연산하는 모서리 방향오차 연산부(mismatch calculation)(200)와, 연산된 절대오차값을 비교하여 절대오차값이 제일 작은 모서리 방향을 결정하고, 절대오차값중 최소의 값부터 일정갯수의 모서리 방향정보와 각 모서리 방향의 절대오차값을 부작용 검사를 위해 출력하는 모서리 방향 결정부(300)와, 모서리 방향 결정부(300)에서 결정된 모서리 방향 정보에 따라서 중간단계의 프레임을 보간하는 EDI부(400)와, 모서리 방향 결정부(300)로 부터 모서리 방향 정보와 각 방향의 절대오차값을 입력받아 검출된 모서리 방향의 정확성을 판단하여 EDI부(400)의 디인터레이싱 결과의 적용여부를 결정하도록 하는 값(flag_EDI)을 출력하는 부작용 검사부(EDI side-effect check)(500)를 포함하여 이루어진다.
이와 같은 도 3의 구성을 참조하여 본 발명의 과정을 상세히 설명하면 다음과 같다.
현재 필드의 입력 영상신호 f(v,h,t)는 격행주사 방식의 영상신호로서 순차주사 방식으로 변환되어야 할 신호이다.
여기서, v,h,t 는 각각 공간 영역에서의 수직, 수평방향 좌표를 표현하는 변수와 시간을 나타내는 변수이다.
먼저, 상기 입력 영상신호 f(v,h,t)는 라인 평균필터부(100)를 통해 중간단계의 프레임 Fm(v',h,t)으로 생성되어지는 바,
도 5c에 도시된 바와 같이, 라인 상하 평균을 통해 중간단계의 프레임(Fm)을 형성하게 되므로, 중간단계의 프레임 Fm(v',h,t)은 도 4에 도시된 바와 같이, 원 영상신호의 주사선(orginal interlaced scan line) 사이의 빈주사선을 라인 평균을 통해 보간한 형태를 이루게 된다.
이와 같은 중간단계의 프레임에서의 임시 보간된 데이터는 원래의 모서리 방향과 동일한 방향을 갖는다.
그리고 이것은 모서리를 찾기위해 원 영상의 주사선을 4개까지 이용하는 것에 해당한다. 이로써 모서리를 보다 정확하게 찾을 수 있다.
이와 같이 라인 평균필터부(100)를 통해 중간단계의 프레임이 생성되면, 이와 같은 중간단계의 프레임을 이용하여 모서리 방향오차 연산부(200)에서는 각 모서리 방향에 대응되는 오차값(mismatch)을 계산하게 되는 바,
도 5a는 보간해야 할 화소 Px를 포함하는 수직방향 5 주사선과 수평방향 최대 42화소를 갖는 영역에 대하여 33방향의 모서리 방향을 탐색하는 예를 나타낸 도면인바, 이 방향들은 인덱스 l에 대하여 l=-16부터 l=+16까지로 표현된다.
도 5b는 이와 같이 설정된 모서리 방향 중, 한 방향(l=-12인 경우)에 대하여 오차값의 연산예를 나타낸 도면이다.
도 5a,5b를 참조하여 오차값의 연산과정을 설명하면 다음과 같다.
도 5a와 같이 보간하고자 하는 화소 Px를 중심으로 하여 33 모서리 방향을 설정하고, 각 33 모서리 방향에 대하여 오차값을 연산하게 되는 바,
각 모서리 방향에 대한 오차값은, 도 5b에서 흰 화소는 흰 화소끼리 모서리 방향을 따라 차이값의 절대값을 구하고, 검은 화소는 검은 화소끼리 모서리 방향을 따라 차이값의 절대값을 구한다음 모든 값들을 다 더한 후에 갯수로 나누어서 구한다.
이와 같이, 윈도우안에 들어오는 복수개의 화소를 사용하고, 평균값의 형태를 갖기 때문에 잡신호(noise) 성분이 존재하는 영상에 대해서도 모서리의 방향을 정확하게 대변할 수 있는 수치를 제공한다.
그리고, 모서리가 아닌 부분을 모서리로 오판할 가능성도 작아진다.
또한, 모서리의 방향을 33방향으로 세분하였기 때문에 모서리의 방향을 섬세하게 표현할 수 있다.
이후, 모서리 방향오차 연산부(200)에서는 오차 계산에 사용하였던 중간단계 프레임 데이터를 모서리 방향 보간을 수행하는 EDI부(400)로 출력함과 동시에 연산된 33 방향에 대한 오차값을 모서리 방향 결정부(300)로 출력하게 된다.
모서리 방향 결정부(300)에서는 33 방향에 대한 오차값을 비교하여 오차값이 가장 적은 한개의 방향에 대한 색인 정보를 EDI부(400)로 출력하고, 이와 함께, 33 방향의 오차값중 가장 적은 순서대로 4개의 방향에 대한 색인 들과, 33 방향의 오차값을 부작용 검사를 위해 부작용 검사부(500)로 출력한다.
EDI부(400)에서는 모서리 방향 결정부(300)로 부터 가장 오차값이 적은 방향의 색인을 입력받고, 그 방향 정보에 따라 앞서 생성된 중간단계 프레임의 보간된 화소들을 모서리 방향을 따라서 새로 보간한 화소들로 대치한다.
EDI부(400)에서는 모서리 방향 색인에 의해서 정해지는 윈도우내의 모든 화소에 대하여 같은 방향으로 보간하기 때문에 결과적으로 모서리를 깨끗하게 복원하는 것이 가능하다.
한편, 부작용 검사부(500)에서는 상기한 모서리 방향 결정부(300)로 부터 33 방향의 오차값중 값이 가장 적은 4개의 방향에 대한 색인 들과, 33 방향의 오차값을 입력받아 이들을 이용하여 검출된 방향정보의 정확성을 검토하게 된다.
정확성을 판단하기 위해서는 앞서 연산된 최소 오차값들과 이에 대응되는 방향에 대하여 다음의 세가지 조건이 만족되는 가를 확인하게 된다.
세가지 조건 모두는 실제 영상의 화소들은 모서리 방향으로의 상관성이 크다는 사실에 기반을 두고 있는 것들로서, 최소 오차를 갖는 방향이 모서리의 방향인 것이 확실하다면,
첫째로 오차가 적은 4개의 모서리 방향은 서로 비슷해야 한다.
둘째로 최소 오차들의 값의 차이는 작으며, 세째로 다른 방향에 대한 오차값의 차이는 크다.
도 6은 전형적인 mismatch값의 분포로서, 이와 같은 세가지 조건을 위한 근거가 된다.
위의 조건들을 확인하기 위하여, 최소 오차를 갖는 4개의 오차값들 mismatch[0], mismatch[1], mismatch[2], mismatch[3] 이외에 avg_mismatch, mismatch_diff_avg, mismatch_diff_nbr, 그리고 true_dist[1],true_dist[2], true_dist[3]의 값을 필요로 한다.
이들의 정의는 다음과 같다.
mismatch[0] : 최소 오차값
( mismatch[0]mismatch[1]mismtch[2]mismatch[3] )
avg_mismatch : 최소 오차값을 제외한 나머지 값들의 평균값
mismatch_diff_avg : ｜avg_mismatch - mismatch[0]｜
mismatch_diff_nbr : ｜mismatch[0] - mismatch[1]｜
실제 영상의 화소들은 모서리 방향으로의 상관성이 크기 때문에, 최소 오차값과 최소 오차값을 제외한 나머지 값들의 평균값(avg_mismatch)의 차이가 클 수록 즉, mismatch_diff_avg가 클 수록 mismatch[0]의 오차값이 내는 방향이 모서리 방향일 가능성이 높다.
또한, mismatch_diff_nbr은 선택된 모서리 방향의 확실성을 나타내는 또 하나의 척도가 되는 데, 앞선 정의와 같이 최소 오차값과 그다음 작은 오차값과의 차에 의해 구해지는 바,
mismatch_diff_nbr이 크면 클수록 mismatch[0]의 방향이 모서리일 가능성이 높다는 것을 의미한다.
true_dist [1],[2],[3] 은 수평라인을 고려하여 mismatch[1],[2],[3]의 방향들과 mismatch[0]의 방향간의 차이를 수치하한 것이다.
즉, 본 발명의 인덱싱 방법은 최소 오차 방향의 색인들이 l1=16, l2=16인 경우 실제로는 거의 같은 방향(수평라인에 가까운)임에도 불구하고 색인의 차가 크게 계산되어, 다른 방향이라고 판단할 수 있는 문제점을 가지고 있다.
따라서, 이를 보정하기 위하여 다음의 수학식 3과 같이 수평라인을 고려하여 색인의 차를 재조정한다.
상기한 수학식 3에서 l[0], l[1], l[2], l[3]는 각각 mismatch[0], mismatch[1], mismatch[2], mismatch[3]에 대응하는 모서리 방향을 나타내는 인덱스이고, l[LH]와 l[RH]는 각각 최대/최소값으로 표현된 수평라인을 나타내는 색인으로서 각각 -17과 +17의 값을 갖는다.
위와 같이 정의된 변수들을 사용하여 최종적으로 모서리 방향의 확실성을 판단하는 기준은 C 프로그램 언어를 사용하면 아래와 같이 정의 된다.
(＆＆는 논리곱이고,는 논리합이다.)
이와 같은 판정에서,｜l(0)｜＜M0의 조건은 최소 오차를 발생하는 방향이 수직에 가까운 방향인지 또는 수평에 가까운 방향인지를 판단하는 조건으로서, 수직 방향에 가까울 수록 모서리 판단기준을 완화하기 위해서 사용된다.
이는, 주파수가 낮은 방향으로의 샘플링(sampling)은 에일리어싱(aliasing)을 일으키지 않기 때문에, 격행주사 방식의 영상신호에서도 수직 방향에 가까운 모서리 정보는 비교적 정확히 복원할 수 있다는 사실에 착안한 것이다.
이때, mismatch_diff_avg에 대한 비교치로서 mismatch[0]의 함수를 사용하고 있는데, 그 함수는 mismatch[0] 값의 크기에 따라 증가한다.
이것은 mismatch[0]의 값이 작을 수록, 모서리 방향을 정확하게 찾을 가능성이 높다는 것을 고려한 것이다.
이와 같은 과정을 통해 올바른 모서리 방향 정보의 진위여부를 판단하는 플레그(flag_EDI)는 모서리 방향 보간된 화소와 함께 출력되고, 이에 따라 EDI에 의한 디인터레이싱 결과의 적용여부를 결정하게 된다.
여기서, 모서리 방향 정보의 진위여부 판단 즉, 디인터레이싱이 올바르게 되었는 가를 판단하기 위한 결과값 flag_EDI를 입력받게 되는 상위 수준의 보간기는 본 발명에 해당하는 EDI이외에 MCI, 단순 필터와 같은 보간기들을 추가하여 상기한 바와 같은 flag_EDI의 값에 따라 상호 보완적으로 보간을 수행할 수 있다.
이상에서 설명한 바와 같이, 라인 평균 필터링을 통해 1차 임시 보간하여 중간단계의 프레임을 만들고, 이 프레임으로 부터 복수의 절대오차를 구하여 이들 중 최소의 오차값을 갖는 모서리 방향을 선택하여, 그에 대한 방향 정보를 이용하여 보간하도록 하므로써, 종래의 EDI 방법보다 정확하고 신뢰성 있는 모서리 방향의 검출을 통한 보간이 이루어질 수 있도록 한다.
또한, 이와 같이 검출되는 모서리 방향에 대한 신뢰성 여부를 검토하여 이와 같은 과정을 통한 디인터레이싱 결과의 적용이 가능한가를 판단할 수 있도록 하므로써, 신뢰성 있는 EDI 디인터레이싱 방법을 제공할 수 있다.

Claims (5)

  1. 보간하고자 하는 현재 필드의 영상으로 부터 라인 평균을 통해 중간 단계의 보간 프레임을 만드는 제 1과정과,
    중간단계의 보간 프레임에서 보간하고자 하는 화소를 중심으로 다수의 모서리 방향을 설정하고, 각각의 모서리 방향에 따라 가변적인 크기를 갖는 윈도우(window)에 의해 묶여지는 모든 화소에 대하여 절대오차값의 평균을 구하여 설정된 임의의 한 방향에 대한 절대오차값을 구하는 제 2과정과,
    제 2과정에서의 절대오차값 구하는 과정을 통해 상기한 바와 같이 설정된 각 모서리 방향별로 절대오차값을 구하는 제 3과정과,
    각 방향의 절대오차값중 오차값이 제일 작은 모서리 방향 정보에 따라서, 상기 제 2과정의 윈도우내의 모든 화소에 대하여 같은 모서리 방향으로 보간하는 제 4과정과,
    상기 제 3과정에서 구한 각 모서리 방향별 절대오차값중 제일 오차값이 작은 일정갯수의 모서리 방향과 설정된 각 방향에 대한 모든 절대오차값을 이용 비교하여 모서리 방향의 정확성을 판단하는 제 5과정과,
    상기 제 5과정에서의 판단결과에 따라서, 상기한 과정을 통한 디인터레이싱 결과의 적용여부를 결정하는 제 6과정을 포함하여 이루어짐을 특징으로 하는 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
  2. 제 1항에 있어서, 상기 제 2과정에서 각 모서리 방향의 수에 따라 결정되는 윈도우의 화소수는 모서리 방향의 수에 대한 절대값의 1/2로 결정되는 것을 특징으로 하는 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
  3. 제 1항에 있어서, 상기 각 모서리 방향의 수는 보간될 화소를 중심으로 33방향인 것을 특징으로 하는 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
  4. 제 1항에 있어서, 제 5과정에서 각 모서리 방향에 대한 절대값중 부작용 검사를 위해 선택되는 최소의 오차값을 갖는 모서리 방향은 4개인 것을 특징으로 하는 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
  5. 제 1항에 있어서, 부작용 검사는 최소 오차로 선택된 복수개의 모서리 방향이 서로 비슷한 가에 대한 검토와, 선택된 방향에 대한 최소 오차값과 다른 방향에 대한 오차값과의 차이가 큰 가에 대한 검토를 통해 부작용 검사값을 결정하도록 함을 특징으로 하는 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
KR1019990037265A 1999-09-03 1999-09-03 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 KR100327396B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019990037265A KR100327396B1 (ko) 1999-09-03 1999-09-03 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
US09/654,167 US6614484B1 (en) 1999-09-03 2000-09-01 Deinterlacing method for video signals based on edge-directional interpolation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990037265A KR100327396B1 (ko) 1999-09-03 1999-09-03 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법

Publications (2)

Publication Number Publication Date
KR20010026090A true KR20010026090A (ko) 2001-04-06
KR100327396B1 KR100327396B1 (ko) 2002-03-13

Family

ID=19609924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990037265A KR100327396B1 (ko) 1999-09-03 1999-09-03 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법

Country Status (2)

Country Link
US (1) US6614484B1 (ko)
KR (1) KR100327396B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004098178A1 (en) * 2003-05-01 2004-11-11 Imagination Technologies Limited De-interlacing of video data
EP1531625A1 (en) * 2002-08-19 2005-05-18 Sony Corporation Image processing device and method, video display device, and recorded information reproduction device
KR100979811B1 (ko) * 2003-08-12 2010-09-02 삼성전자주식회사 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100364762B1 (ko) * 2000-06-22 2002-12-16 엘지전자 주식회사 순차주사 영상 변환 장치 및 방법과, 그를 이용한 수직주사율 변환 장치
US7245326B2 (en) * 2001-11-19 2007-07-17 Matsushita Electric Industrial Co. Ltd. Method of edge based interpolation
KR100400018B1 (ko) * 2001-12-29 2003-09-29 삼성전자주식회사 톱니파 제거 장치 및 방법
US7023487B1 (en) * 2002-01-25 2006-04-04 Silicon Image, Inc. Deinterlacing of video sources via image feature edge detection
US20030218621A1 (en) * 2002-05-24 2003-11-27 Jiande Jiang Method and system for edge-adaptive interpolation for interlace-to-progressive conversion
US7057664B2 (en) * 2002-10-18 2006-06-06 Broadcom Corporation Method and system for converting interlaced formatted video to progressive scan video using a color edge detection scheme
US7242819B2 (en) * 2002-12-13 2007-07-10 Trident Microsystems, Inc. Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion
US7075580B2 (en) * 2002-12-19 2006-07-11 Intel Corporation Edge adaptive spatial temporal deinterlacing
US7379625B2 (en) * 2003-05-30 2008-05-27 Samsung Electronics Co., Ltd. Edge direction based image interpolation method
US7075581B1 (en) * 2003-06-03 2006-07-11 Zoran Corporation Interlaced-to-progressive scan conversion based on film source detection
US7129989B2 (en) * 2003-08-11 2006-10-31 Avermedia Technologies, Inc. Four-field motion adaptive de-interlacing
TWI239774B (en) * 2004-01-13 2005-09-11 Acer Labs Inc Method for motion vector de-interleaving
US7349028B2 (en) * 2004-01-30 2008-03-25 Broadcom Corporation Method and system for motion adaptive deinterlacer with integrated directional filter
US7557861B2 (en) * 2004-01-30 2009-07-07 Broadcom Corporation Reverse pull-down video using corrective techniques
US8861589B2 (en) * 2004-01-30 2014-10-14 Broadcom Corporation Detection and phase lock of pull-down video
JP4641438B2 (ja) * 2004-03-16 2011-03-02 キヤノン株式会社 画素補間装置及び画素補間方法
US7468756B2 (en) * 2004-10-05 2008-12-23 Broadcom Corporation Detection and phase lock of 2:2 and 3:2 pull-down video
US20060072038A1 (en) * 2004-10-05 2006-04-06 Wyman Richard H Method and system for detecting deinterlaced moving thin diagonal lines
US7468757B2 (en) * 2004-10-05 2008-12-23 Broadcom Corporation Detection and correction of irregularities while performing inverse telecine deinterlacing of video
US7362378B2 (en) * 2005-01-10 2008-04-22 Matsushita Electric Industrial Co., Ltd. Method of edge based pixel location and interpolation
TWI297470B (en) * 2005-05-10 2008-06-01 Asmedia Technology Inc Method for image adjustment
US7522214B1 (en) 2005-06-27 2009-04-21 Magnum Semiconductor, Inc. Circuits and methods for deinterlacing video display data and systems using the same
US7450184B1 (en) 2005-06-27 2008-11-11 Magnum Semiconductor, Inc. Circuits and methods for detecting 2:2 encoded video and systems utilizing the same
US7414671B1 (en) 2005-06-30 2008-08-19 Magnum Semiconductor, Inc. Systems and methods for display object edge detection and pixel data interpolation in video processing systems
US7405767B2 (en) * 2005-07-01 2008-07-29 Himax Technologies, Inc. Video image conversion method for interlaced image to progressive image and system thereof
US7538824B1 (en) 2005-08-18 2009-05-26 Magnum Semiconductor, Inc. Systems and methods for reducing noise during video deinterlacing
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US7787048B1 (en) 2005-09-08 2010-08-31 Nvidia Corporation Motion-adaptive video de-interlacer
US7796191B1 (en) * 2005-09-21 2010-09-14 Nvidia Corporation Edge-preserving vertical interpolation
TWI361616B (en) * 2006-01-27 2012-04-01 Mstar Semiconductor Inc Edge adaptive de-interlacing apparatus and method thereof
TWI323603B (en) * 2006-04-11 2010-04-11 Realtek Semiconductor Corp Apparatus and method for catergorizing image and related apparatus and method for de-interlacing
GB2443857A (en) * 2006-11-14 2008-05-21 Sony Uk Ltd Pixel interpolation using image feature direction based pixel block comparision.
EP1962513A1 (en) * 2007-02-26 2008-08-27 Vestel Elektronik Sanayi ve Ticaret A.S. Methods and apparatus for processing of a digital image
US8081256B2 (en) * 2007-03-20 2011-12-20 Samsung Electronics Co., Ltd. Method and system for edge directed deinterlacing in video image processing
JP4863505B2 (ja) * 2007-08-07 2012-01-25 株式会社メガチップス 画像処理装置
US8045820B2 (en) * 2007-08-07 2011-10-25 Himax Technologies Limited System and method for edge direction detection for spatial deinterlace
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
CN101106687B (zh) * 2007-08-31 2010-06-02 威盛电子股份有限公司 动态去交错转换方法及装置
US20090219439A1 (en) * 2008-02-28 2009-09-03 Graham Sellers System and Method of Deinterlacing Interlaced Video Signals to Produce Progressive Video Signals
GB2492039B (en) 2010-05-11 2016-01-06 Zoran France Two dimensional super resolution scaling

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532751A (en) * 1995-07-31 1996-07-02 Lui; Sam Edge-based interlaced to progressive video conversion system
KR100203270B1 (ko) * 1995-09-30 1999-06-15 윤종용 광역벡터의 상관성을 이용한 화소의 보간방법 및 그 장치
US6181382B1 (en) * 1998-04-03 2001-01-30 Miranda Technologies Inc. HDTV up converter
US6239842B1 (en) * 1998-12-18 2001-05-29 Oplus Technologies Ltd. Method of de-interlacing video signals using a mixed mode spatial and temporal approximation technique

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1531625A1 (en) * 2002-08-19 2005-05-18 Sony Corporation Image processing device and method, video display device, and recorded information reproduction device
EP1531625A4 (en) * 2002-08-19 2013-01-23 Sony Corp IMAGE PROCESSING DEVICE AND METHOD, VIDEO DISPLAY, AND RECORDED INFORMATION REPRODUCING DEVICE
WO2004098178A1 (en) * 2003-05-01 2004-11-11 Imagination Technologies Limited De-interlacing of video data
KR100979811B1 (ko) * 2003-08-12 2010-09-02 삼성전자주식회사 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법

Also Published As

Publication number Publication date
KR100327396B1 (ko) 2002-03-13
US6614484B1 (en) 2003-09-02

Similar Documents

Publication Publication Date Title
KR100327396B1 (ko) 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
KR100327395B1 (ko) 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
KR100303728B1 (ko) 격행주사 영상의 디인터레이싱 방법
US7423691B2 (en) Method of low latency interlace to progressive video format conversion
EP1016269B1 (en) System for conversion of interlaced video to progressive video using edge correlation
US6396543B1 (en) Deinterlacing apparatus of digital image data
US8446525B2 (en) Edge detection
US6469745B1 (en) Image signal processor for detecting duplicate fields
US20050129306A1 (en) Method and apparatus for image deinterlacing using neural networks
KR100381286B1 (ko) 카메라 비디오 또는 필름으로부터 텔레비젼 신호를 디인터레이싱하기 위한 시스템
US20020149703A1 (en) Method, system and article of manufacture for identifying the source type and quality level of a video sequence
US20050018077A1 (en) Spatial resolution of video images
US6630961B1 (en) Deinterlacing device and method
US8743281B2 (en) Alias avoidance in image processing
US20080278623A1 (en) Adapative de-interlacer and method thereof
US20080193025A1 (en) Alias Avoidance In Image Processing
US7548663B2 (en) Intra-field interpolation method and apparatus
KR20040019282A (ko) 주사 변환 장치
US7733420B2 (en) Judder detection apparatus, de-interlacing apparatus using the same, and de-interlacing method
US8532177B2 (en) Motion adaptive image processing
US20080259206A1 (en) Adapative de-interlacer and method thereof
US8055094B2 (en) Apparatus and method of motion adaptive image processing
EP0703705B1 (en) A method for interpolation of a video picture
KR100252943B1 (ko) 스캔컨버터회로
US8243196B2 (en) Motion adaptive image processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080102

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee