KR100667776B1 - 에지 선명화를 동반하는 비디오 이미지 보간 방법 및 장치 - Google Patents

에지 선명화를 동반하는 비디오 이미지 보간 방법 및 장치 Download PDF

Info

Publication number
KR100667776B1
KR100667776B1 KR1020040094267A KR20040094267A KR100667776B1 KR 100667776 B1 KR100667776 B1 KR 100667776B1 KR 1020040094267 A KR1020040094267 A KR 1020040094267A KR 20040094267 A KR20040094267 A KR 20040094267A KR 100667776 B1 KR100667776 B1 KR 100667776B1
Authority
KR
South Korea
Prior art keywords
interpolation
image
filter
value
interpolated
Prior art date
Application number
KR1020040094267A
Other languages
English (en)
Other versions
KR20050107284A (ko
Inventor
김영택
왕시앙린
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20050107284A publication Critical patent/KR20050107284A/ko
Application granted granted Critical
Publication of KR100667776B1 publication Critical patent/KR100667776B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

에지 선명화를 동반하는 비디오 샘플 보간 방법 및 장치를 제공하고, 그것에 의하여 에지 선명도는 보간 이미지에서 본질적으로 보전되고 그리고/또는 강조될 수 있다. 원래의 이차원 이미지에 대한 이미지 보간은 일차원 디지털 필터를 사용하여 수평 및 수직 방향들을 따라 각각 개별적으로 수행된다. 이미지에서 신규 샘플을 보간하는 데 있어서, 먼저 디지털 필터가 사용되어 신규 샘플에 대한 임시 보간값을 생성한다. 그후에, 신규 샘플 위치에 대하여 에지 강조의 적정량이 산출된다. 강조값은 임시 보간값과 결합되어 결국 신규 샘플에 대한 최종 보간값이 된다.

Description

에지 선명화를 동반하는 비디오 이미지 보간 방법 및 장치{Method and apparatus for video image interpolation with edge sharpening}
도1은 보간 위치에 가장 가까운 두개의 원래 픽셀들을 바탕으로 신규 샘플이 보간되는 이미지 보간의 일 실시예이다.
도2는 두개 이상의 원래 이웃 픽셀들을 바탕으로 신규 샘플이 보간되는 이미지 보간의 일 실시예이다.
도3은 본 발명의 일 실시예에 따른 이미지 보간 장치의 블록도이다.
도4는 본 발명의 일 실시예에 따른 이미지 보간 방법의 흐름도이다.
본 발명은 이미지 보간(interpolation)에 관한 것이고, 보다 상세하게는 에지(edge) 선명화(sharpening)를 동반하는 비디오 이미지 보간에 관한 것이다.
이미지 보간은 디지털 TV 시스템들에서 비디오 디-인터레이싱(de-interlacing), 비디오 스케일링(scaling) 등과 같은 어플리케이션들에 널리 사용된다. 효과적인 이미지 보간 기술은 디지털 TV 시스템에서 총체적인 이미지 질(quality)을 위하여 중요하다.
일반적으로, 보간 프로세스들이 실시되면 신규 샘플에 대한 원래 이미지 샘플들의 상대 위치들 뿐만 아니라 신규 샘플 위치에 이웃한 원래 이미지 샘플들의 값들을 바탕으로 신규 샘플이 생성된다.
일차원 보간을 예로 들면, 만일 q가 보간되는 샘플을 표시하고, p0 및 p1이 q의 가장 가까운 두 이웃 픽셀들을 표시한다면, 보간값 q는 일반적으로 q=d0*p1+d1*p0에 따라 계산되고, 여기서 p0및 p 1으로부터 q까지의 거리들은 각각 d0 및 d1으로 표시된다. 이때, 두 원래 이웃 픽셀들 사이의 거리는 1인 것으로 가정되고, 즉 d0+d1=1이다.
그러나, 상기에 기술된 종래의 보간 방법은 원래 이미지에 존재하는 에지들을 평활화하는 문제점이 있다. 예를 들어, 원래 이미지에서 픽셀들 p0 및 p1의 위치들 사이에 원래 급격한 휘도 천이가 있다고 가정하면, 상기 보간 방법을 사용하여 p0 및 p1의 위치들 사이에 신규 샘플들이 보간됨에 따라 천이는 보간 이미지에서 더 평활해진다.
FIR(Finite Impulse Response: 유한 임펄스 응답) 디지털 필터들을 사용하면, 더 많은 이웃 픽셀들이 신규 샘플을 보간하는 데 사용될 수 있다. 더 많은 이웃 픽셀들이 보간에 사용되었을 때 에지 선명도가 향상될 수 있음을 실험들이 보여줌에도 불구하고, 보간 출력 이미지에서의 에지들은 일반적으로 원래 입력 이미지에서의 그것들보다 여전히 더 평활해지는 경향이 있다는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 입력 이미지에서 이미지 위치들을 보간하는 방법에 있어서, 이미지 보간 프로세스 중에 에지 선명화 및 강조를 동반함으로써 보간 이미지에서 에지 선명도가 충분히 보전되고 그리고/또는 강조될 수 있는 비디오 이미지 보간 방법 및 장치를 제공하는 데 있다.
본 발명에 따른 일 실시예에서, 본 발명은 에지(edge) 선명화(sharpening)를 동반하는 비디오 샘플 보간(interpolation) 방법 및 장치를 제공하고, 그것에 의하여 에지 선명도(sharpness)는 보간 이미지에서 본질적으로 보전되고 그리고/또는 강조될 수 있다.
그에 따라서, 본 발명에 따른 일 실시예에서, 이미지 보간은 일차원 디지털 필터를 사용하여 수평 및 수직 방향들을 따라 개별적으로 수행된다. 이미지에서 신규 샘플을 보간하는 데 있어서(예를 들어, 존재하는 두개의 이웃 픽셀들 사이의 신규 픽셀), 먼저 디지털 필터가 사용되어 신규 샘플에 대한 임시 보간값을 생성한다.
그후에, 신규 샘플 위치에 대하여 에지 강조의 적정량이 산출된다. 강조값은 임시 보간값과 결합되어 결국 신규 샘플에 대한 최종 보간값이 된다. 신규 보간 픽셀 위치에 대한 강조값의 결정은 보간 위치에 가장 가까이에 있는 두개의 존재하는(즉, 원래) 픽셀 위치들 각각에서 추출된 이미지 고주파 성분들을 바탕으로 한다.
강조값을 생성하기 위하여, 가중 계수(weighting coefficient)가 두 고주파 성분들 각각에 대하여 각각 산출된다. 고주파 성분들은 그후에 해당 가중 계수들에 따라 함께 더해진다. 그 결과는 신규 샘플 위치에 대한 강조값으로 사용된다.
본 발명에 따른 일 실시예에서, 가중 계수들은 두개의 4차 함수들, 그리고 두개의 원래 이웃 픽셀들 사이에서 신규 픽셀의 상대 위치를 통해서 유도된다. 다른 실시예에서, 두 고주파 성분들 각각에 대한 가중 계수는 오로지 두개의 원래 이웃 픽셀들 사이에서 신규 픽셀의 상대 위치를 바탕으로 결정된다. 그러나, 또다른 실시예에서, 가중 계수들은 사인파 함수, 그리고 두개의 원래 이웃 픽셀들 사이에서 신규 픽셀의 상대 위치를 통해서 유도된다.
본 발명에 따른 강조 방법을 사용하면, 보간 이미지들에서의 에지 선명도가 향상된다. 더우기, 보간 프로세스 중에 원래 이미지 픽셀들을 바탕으로 에지 선명화가 실시되기 때문에, 본 발명에 따른 이미지 보간의 계산 비용은 이미지 에지 강조 프로세스에 선행하는 종래 이미지 보간의 그것보다 더 낮다.
종래의 보간 프로세스에서, 신규 샘플은 신규 샘플에 대한 원래 이미지 샘플들의 상대 위치뿐만 아니라 신규 샘플 위치에 이웃한 원래 이미지 샘플들의 값들을 바탕으로 생성된다.
도1은 신규 샘플이 그것의 가장 가까이에 이웃한 두개의 원래 픽셀들을 바탕으로 보간되는 픽셀들 셋트(100)의 일 실시예를 보여준다. 도1에서, 속이 비어있는 원(110)은 신규 샘플 q가 보간되는 위치를 표시한다. 속이 채워진 원들(120, 130)은 q의 가장 가까이에 이웃한 원래 픽셀들로서 원래 픽셀 위치들 p0 및 p1을 나타낸 다.
다음의 기술에서, p0, p1 및 q는 샘플 위치 및 샘플값 모두를 나타내기 위하여 사용된다. 픽셀들 p0 및 p1으로부터 q까지의 거리는 각각 d0 및 d 1으로 표현된다. 두개의 이웃한 원래 픽셀 위치들 사이의 거리가 1이라고 가정하면(즉, d0+d1=1), 언급한 대로, p0 및 p1의 값들을 바탕으로 하여, 보간값 q가 다음의 수학식1에 따라 산출될 수 있다.
q=d0*p1+d1*p0
이차원 이미지 보간을 위하여, 프로세스는 수평 방향 및 수직 방향을 따라 각각 실시될 수 있다.
그러나, 수학식1의 종래 방법은 원래 이미지의 에지를 평활화하는 경향이 있다. 도1의 실시예에 대하여, 픽셀 p0 및 p1의 위치들 사이에 원래 급격한 휘도 천이가 있다고 가정하면, p0 및 p1의 위치들 사이에 보간되는 신규 샘플들 때문에 천이는 더 평활해진다.
전통적으로 디지털 필터들을 사용하여, 더 많은 이웃 픽셀들이 신규 샘플을 보간하는데 사용될 수 있다. 도2의 실시예에 의하여 보여지는 것처럼, 만일 디지털 필터가 적어도 여섯 탭(tap)의 길이를 갖는다면, 이미지에 속하는 제n 라인상의 픽셀들 셋트(200)에서 신규 샘플 q를 보간하기 위하여, 픽셀들 p0 및 p1뿐만 아니라, p-2, p-1, p2 및 p3 등과 같은 다른 이웃 픽셀들도 사용될 수 있다.
이러한 이웃 픽셀들에 디지털 필터를 적용하면, 필터의 출력은 신규 샘플 q에 대한 보간값을 제공한다. 그러나, 더 많은 이웃 픽셀들이 보간에 사용될 때 에지 선명도가 향상될 수 있음에도 불구하고, 보간 이미지에서의 에지들은 일반적으로 원래 이미지에서의 그것보다 여전히 더 평활해지는 경향이 있다.
그에 따라서, 본 발명에 따른 이미지 보간의 일 실시예에서, 이미지 보간은 일차원 디지털 보간 필터를 사용하여 수평 및 수직 방향들을 따라 개별적으로 수행된다.
이미지에서 신규 샘플을 보간하는 데 있어서(예를 들어, 존재하는 두개의 이웃 픽셀들 사이의 신규 픽셀), 먼저 디지털 필터가 사용되어 신규 샘플에 대한 임시 보간값을 생성한다. 그후에, 신규 샘플 위치에 대하여 에지 강조의 적정량이 산출된다. 강조값은 임시 보간값과 결합되어 결국 신규 샘플에 대한 최종 보간값이 된다.
신규 보간 픽셀 위치에 대한 강조값의 결정은 보간 위치에 가장 가까이 있는 두개의 존재하는(즉, 원래) 픽셀 위치들 각각에서 추출된 이미지 고주파 성분들을 바탕으로 한다.
강조값을 생성하기 위하여, 가중 계수(weightig coefficient)가 두 고주파 성분들 각각에 대하여 각각 산출된다. 고주파 성분들은 그후에 해당 가중 계수들에 따라 함께 더해진다. 그 결과는 신규 샘플 위치에 대한 강조값으로 사용된다.
본 발명에 따른 일 실시예에서, 가중 계수들은 두개의 4차 함수들, 그리고 두개의 원래 이웃 픽셀들 사이에서 신규 픽셀의 상대 위치를 통해서 유도된다. 다른 실시예에서, 두 고주파 성분들 각각에 대한 가중 계수는 오로지 두개의 원래 이웃 픽셀들 사이에서 신규 픽셀의 상대 위치를 바탕으로 결정된다. 그러나, 또다른 실시예에서, 가중 계수들은 사인파 함수, 그리고 두개의 원래 이웃 픽셀들 사이에서 신규 픽셀의 상대 위치를 통해서 유도된다.
도3은 본 발명의 일 실시예에 따른 보간 방법을 실시하는 비디오 이미지 보간 장치(300)의 기능 블록도를 보여준다. 보간 장치(300)는 이미지 보간 필터(310) 및 에지 선명화부(320)를 포함한다.
본 발명에 따른 일 실시예에서, 보간 장치(300)로의 입력은 픽셀들로 이루어진 원래 이미지에 속하는 행 또는 열 중의 어느 하나로부터 일차원 데이터로 구성되고 보간 장치로부터의 출력은 보간 이미지이다.
도3에서, s는 현재 보간 위치에 대한 보간값을 표시하고, 보간 필터 h 및 이웃 픽셀값들 pi를 바탕으로 산출된다. 에지 선명화부(320)는 강조값(즉, 강조항) φ를 생성하고, 결합부(330)를 사용하여 φ가 이미지 보간 필터(310)의 출력 s와 결합된다(즉, 더해진다).
보간 필터(310)는, 예를 들면, FIR(Finite Impulse Response) 폴리페이즈(polyphase) 필터로 구성될 수 있다. 이 기술분야에 숙련된 자들이 이해할 것처럼 다른 보간 필터들도 또한 사용될 수 있다.
폴리페이즈 필터는 서브-필터들의 그룹으로 구성될 수 있고, 여기서 각 서브-필터는 서로 다른 위상의 보간에 사용된다. 필터 h가 N개의 탭이고, M개 위상의 폴리페이즈 필터를 가정하면, 필터는 L=N*M의 길이를 갖고 그것은 M개의 서브-필터들로 세분된다.
예를 들면, 필터 h의 서브-필터들은 hj, j=0, 1, …, M-1로 표시되고, 여기서 j는 보간 위상이다. 각 서브-필터 hj의 필터 길이는 N이다.
N값은 홀수 또는 짝수의 정수 중에서 어느 하나일 수 있다. N이 짝수일 때, 서브-필터 계수들은 hi j로 표시될 수 있고, 여기서
Figure 112004053444750-pat00001
이다. N이 홀수일 때, 서브 필터 계수들은 hi j로 표시될 수 있고, 여기서
Figure 112004053444750-pat00002
이다. 여기에 기술된 실시예에서 설명을 단순화하기 위하여, N값은 짝수인 것으로 가정한다.
고정된 정수 비율을 사용하는 이미지 보간을 위하여, M값은 단순히 보간 비율과 같게 설정될 수 있다. 그러나, 임의의 또는 다양한 보간 비율들을 필요로 하는 이미지 보간 어플리케이션을 위해서는, M은 적정한 보간 해상도를 제공할만큼 충분히 크게 설계되어야 한다.
폴리페이즈 필터의 위상 개수는 두개의 이웃한 원래 이미지 픽셀들 사이에서 생성될 수 있는 본질적으로 서로 다른 보간의 개수를 결정한다. 위상값 M을 사용하여, 폴리페이즈 필터는 두개의 이웃한 원래 이미지 픽셀들 각각의 사이에서 M-1개의 본질적으로 서로 다른 보간값들을 보간한다. 따라서, 더 큰 값의 M을 사용하여, 필터는 더 양호한 보간 해상도를 제공할 수 있다.
일 실시예에서, 10보다 큰 위상값이 디지털 TV에 관련된 어플리케이션들에 사용된다. 양호한 보간 해상도와 함께, 주어진 보간 위치는 그것에 가장 가까운 보간 위상에 의하여 근사될 수 있다.
만일 서브-필터들의 길이가 N(N은 짝수인 것으로 가정된다)이면, 주어진 보간 위치에 대하여, 보간의 필터링 범위 이내에 있는 원래 픽셀들은 도2에서 보여지는 것과 같이
Figure 112004053444750-pat00003
로 표시될 수 있고, 여기서 신규 픽셀 q는 픽셀 p0와 p1 사이에 위치된다.
주어진 위치 q에 대한 보간 위상이 j라고 가정하면(0≤j<M), 위치 q에 대한 임시 보간값 s는 아래의 관계에 따라 표현될 수 있다.
Figure 112004053444750-pat00004
수학식1a에서, hj의 필터 계수들은 정규화된 것으로 가정된다(예를 들어, hj의 필터 계수들의 합은 1과 같다).
도3에서 예시된 에지 선명화부(320)는 신규 샘플 위치 각각에 대한 강조값을 결정한다. 강조값이 φ라고 가정하면, 일 실시예에서 주어진 신규 샘플 위치에 대한 최종 보간값 q는 수학식2와 같이 표현될 수 있다.
q=s+φ
수학식2에서, 강조값 φ가 없으면, q의 값은 보간 필터 출력 s와 같아지고, s는 디지털 필터들을 바탕으로 한 이미지 보간 결과이다. 상기에서 설명된대로, 전형적으로 보간 필터 출력 s는 보간에 기인하는 에지 선명도 저하를 보여준다.
도3에서 보여지는 본발명의 일 실시예에 따르면, 적정한 강조값 φ가 보간 필터 출력 s에 결합되어, 에지 선명도는 최종 보간 결과 q에서 본질적으로 향상되고 그리고/또는 강조될 수 있다.
에지 선명화부(320)에서 강조값 φ를 산출하기 위하여, 신규 샘플 위치에 이웃한 원래 픽셀 위치들에서 이미지 고주파 성분들이 먼저 추출된다.
도2에서 보여지는 것과 같이, 속이 비어있는 원(110)은 신규 샘플이 보간되는 위치를 표시하고 속이 채워진 원들(120, 130, 140, 150, 160, 170 등등)은 원래 이미지 픽셀들을 표시한다.
이 실시예에서, 신규 샘플 q에 대하여, 가장 가까운 두개의 원래 픽셀들은 p0 및 p1이다(이 기술 분야에서 숙련된 자들이 이해할 것처럼, 두개 이상의 이웃 샘플이 산출에 사용될 수 있다).
픽셀 p0에 대하여, 이미지 고주파 성분 φ0가 다음의 수학식3에 따라 에지 선명화부(320)(도3)에서 산출될 수 있다.
φ0=p0-(p-1+p1)/2
유사하게, 이미지 고주파 성분 φ1도 다음의 수학식4에 따라 픽셀 p1의 위치에서 산출될 수 있다.
φ1=p1-(p0+p2)/2
수학식3 및 수학식4에서 보여지는 연산들은 본질적으로 {-1/2, 1, -1/2}의 3-탭 FIR을 사용하는 하이패스 필터링 연산들이다. 이 기술분야에서 숙련된 자들이 이해할 것처럼, 고주파 성분들을 결정하는 다른 방법들이 본 발명에 의하여 가능하고 예기된다.
고주파 성분들 φ0 및 φ1이 결정되면, 두개의 가중 계수들 w0 및 w 1이 더 산출된다. 그후에, 신규 샘플 위치에 대한 강조값 φ가 다음의 수학식5에 따라 산출된다.
φ=w0*φ0+w1*φ1
가중 계수들 w0 및 w1은 서로 다른 방법들로 결정될 수 있다. 한 경우에서, w0 및 w1의 값들은 두개의 이웃한 원래 픽셀들 사이에서 신규 픽셀의 상대 위치를 바탕으로 한다. 예를 들면, 도1 및 도2에서, w0 및 w1의 값들은 둘다 d0 또는 d1의 함수이다(예를 들어, d0+d1=1). 그와 같이, w0 및 w1 값들은 다음의 수학식6 및 수학식7에 따라 표현될 수 있다.
w0=f0(d0)
w1=f1(d0)
여기서 f0 및 f1은 가중 계수 산출에 사용되는 함수들이다. 그것들은 비선형 함수들 또는 선형 함수들 중의 어느 하나일 수 있다.
본 발명에 따른 일 실시예에서, 함수들 f0 및 f1은 다음의 수학식8 및 수학식9에 따라 비선형 함수들로 정의된다.
f0(x)=x*(1-x)α
f1(x)=xα*(1-x)
여기서 α는 양의 상수이다(α≥1). 발명자들은 예를 들어 α가 3 또는 4의 값들과 같을 때, 대부분의 이미지들이 적정한 선명도 강조와 함께 보간될 수 있다는 것을 발견하였다. 이 기술분야에서 숙련된 자들이 이해할 것처럼, α에 대한 다른 값들 또한 요구되는 결과들을 얻기 위하여 사용될 수 있다.
본 발명에 따른 다른 실시예에서, 함수들 f0 및 f1은 다음의 수학식10 및 수학식11에 따라 선형 함수들로 정의된다.
f0(x)=1-x
f1(x)=x
두개의 선형 수학식10 및 선형 수학식11은 비선형 수학식8 및 비선형 수학식9보다 더 많이 단순하다. 더우기, 발명가들은 수학식10 및 수학식11을 바탕으로 하여 제공되는 강조가 더 자연스러워 보인다는 것을 발견했다.
그러나 본 발명에 따른 또다른 실시예에서, 함수들 f0 및 f1은 다음의 수학식12 및 수학식13을 바탕으로 하는 사인파 함수들로 정의된다.
f0(x)=(1+cos(x*π))/2
f1(x)=(1-cos(x*π))/2
따라서, w0 및 w1 값들은 서로 다른 방법들(예를 들어, 수학식8 내지 수학식13, 기타)을 사용하여 산출될 수 있다.
그와 같이, 신규 보간 위치 각각에 대하여, w0 및 w1 값들의 신규 쌍이 산출된다. 그후에 그 위치에 대한 에지 강조값 φ가 수학식5에 따라 계산되고 신규 샘플에 대한 보간값이 수학식2에 따라 결정될 수 있다.
도4의 흐름도(400)는 본 발명의 일 실시예에 따라 에지 강조와 함께 픽셀들로 이루어진 이미지를 보간하는 보간 프로세스의 과정들을 보여준다. 보간 프로세스의 일 실시예는 다음의 과정들을 포함한다.
먼저, 다음 보간 위치 q를 지정하고 보간 위상을 결정한다(과정 410). 그후에, 폴리페이즈 FIR 필터를 사용하여 위치 q에 대한 임시(즉, 중간) 보간값 s를 생성한다(과정 420). 그후에, 보간 위치에 이웃한 두개의 원래 픽셀 위치들에서 이미지 고주파 성분들 φ0 및 φ1을 산출한다(단계 430). 그후에, 가중 계수들 w 0 및 w1을 결정한다(단계440). 그후에, 가중 계수들을 바탕으로 에지 강조값 φ를 결정한다(예를 들어, φ=w0*φ0+w1*φ1)(단계 450). 그후에, 임시 보간값 s 및 강조값 φ를 바탕으로 보간값 q를 산출한다(예를 들어, q=s+φ)(단계 460). 그후에, 모든 위치들이 보간되었는지를 결정한다(단계 470). 만일 아니면, 다음 위치로 이동하고(단계 480), 그렇지 않으면 프로세스를 종료한다.
본 발명이 많은 다른 형태의 실시예들로 구현되는 것이 가능한 반면에, 본 명세서가 본 발명 원리의 예시로서 받아들여지고 본 발명의 넓은 관점을 설명된 실 시예들로 한정하는 것이 아니라는 이해와 함께, 본 발명의 바람직한 실시예들이 도면에서 보여지고 여기에 상세히 기술되었다. 본 발명의 일 실시예에 따른, 도3의 전술한 보간 장치(300)는 이 기술분야에서 숙련된 자들에게 알려진 것처럼, 프로세서, 논리 회로들, ASIC, 펌웨어 등에 의하여 실행되는 프로그램 명령어와 같은, 많은 방법으로 실시될 수 있다. 따라서, 본 발명은 여기에 기술된 실시예들에 한정되지 않는다.
본 발명은 그것에 대하여 확실하고 바람직한 버젼에 대한 참고자료와 함께 상당히 자세히 설명되었다. 그러나, 다른 버젼들도 가능하다. 따라서, 첨부된 청구항들의 사상과 범위는 여기에 포함된 바람직한 버전들의 기술에 한정되어서는 안된다.
상술한 바와 같이 본 발명에 따르면, 에지 선명화를 동반하는 비디오 샘플 보간 방법 및 장치가 제공되고, 그것에 의하여 에지 선명도는 보간 이미지에서 본질적으로 보전되고 그리고/또는 강조될 수 있다.
본 발명에 따른 강조 방법을 사용하면, 보간 이미지들에서의 에지 선명도가 향상된다. 더우기, 보간 프로세스 중에 원래 이미지 픽셀들을 바탕으로 에지 선명화가 실시되기 때문에, 본 발명에 따른 이미지 보간의 계산 비용은 이미지 에지 강조 프로세스에 선행하는 종래 이미지 보간의 그것보다 더 낮다.

Claims (23)

  1. 보간 출력 이미지를 생성하기 위하여 입력 이미지에서 이미지 위치들을 보간하는 방법에 있어서,
    (a)상기 입력 이미지에서 선택된 이미지 위치를 보간 필터로 보간하여 보간 위치에 대한 중간 출력값을 생성하는 과정;
    (b)상기 보간 위치에 이웃한 위치들에 있는 픽셀들의 셋트에서 추출된 입력 이미지 고주파 성분들을 바탕으로 상기 픽셀 위치들 각각에 대한 가중 계수를 결정하고, 상기 가중 계수들을 사용하여 상기 고주파 성분들의 가중 결합에 따라 상기 선택된 이미지 위치에 대한 에지 강조값을 결정하는 과정;및
    (c)상기 중간 출력값과 상기 강조값을 결합하여 상기 보간 위치에서의 보간 이미지 출력을 생성하는 과정을 포함하고,
    여기서, 상기 입력 이미지는 디지털 입력 픽셀 데이터로 나타내짐을 특징으로 하는 보간 방법.
  2. 제1항에 있어서, 상기 보간 필터는
    폴리페이즈(polyphase) 필터를 포함함을 특징으로 하는 보간 방법.
  3. 삭제
  4. 제1항에 있어서, 주어진 픽셀 위치에서의 상기 각 이미지 고주파 성분은
    FIR 하이-패스 필터를 사용하여 추출됨을 특징으로 하는 보간 방법.
  5. 제4항에 있어서, 상기 FIR 하이-패스 필터는
    {-1/2, 1, -1/2}의 계수들을 갖는 3-탭 FIR 필터를 포함함을 특징으로 하는 보간 방법.
  6. 삭제
  7. 제1항에 있어서, 상기 에지 강조값 φ는
    φ=w0*φ0+w1*φ1에 따라 결정되고,
    여기서 w0 및 w1은 상기 가중 계수들이고, φ0 및 φ1은 상기 보간 위치에 이웃한 픽셀 위치들 각각에서 결정되는 상기 고주파 성분들임을 특징으로 하는 보간 방법.
  8. 제7항에 있어서, 상기 가중 계수들 w0 및 w1의 값들은
    상기 픽셀 q에 이웃하는 상기 픽셀 위치들 p0 및 p1에 근접한 상기 보간 위치에 있는 신규 픽셀 q의 상대 위치를 바탕으로 하고;
    상기 가중 계수들 w0 및 w1은 w0=f0(d0), w 1=f1(d0)=f1(1-d1)에 따라 결정되고,
    여기서 f0 및 f1은 가중 계수 산출 함수들을 포함하고, d0 및 d1 은 각각 상기 픽셀들 p0 및 p1으로부터 보간 위치에 있는 상기 신규 픽셀 q까지의 거리들이고, d0+d1=1임을 특징으로 하는 보간 방법.
  9. 제8항에 있어서, 상기 함수들 f0 및 f1은
    선형 함수들임을 특징으로 하는 보간 방법.
  10. 제8항에 있어서, 상기 함수들 f0 및 f1은
    비-선형 함수들임을 특징으로 하는 보간 방법.
  11. 제8항에 있어서, 상기 함수들 f0 및 f1은
    변수 x의 비-선형 함수들이고,
    f0(x)=x*(1-x)α, f1(x)=xα*(1-x)에 따라 정의되고,
    여기서 α≥1임을 특징으로 하는 보간 방법.
  12. 제8항에 있어서, 상기 함수들 f0 및 f1은
    변수 x의 선형 함수들이고,
    f0(x)=1-x, f1(x)=x에 따라 정의됨을 특징으로 하는 보간 방법.
  13. 제8항에 있어서, 상기 함수들 f0 및 f1은
    변수 x의 사인파 함수들이고,
    f0(x)=(1+cos(x*π))/2, f1(x)=(1-cos(x*π))/2에 따라 정의됨을 특징으로 하는 보간 방법.
  14. 제1항에 있어서, 상기 보간 필터는
    유한 임펄스 응답(FIR) 필터를 포함함을 특징으로 하는 보간 방법.
  15. 제1항에 있어서, 상기 보간 필터는
    일차원(1D) 폴리페이즈 FIR 필터를 포함함을 특징으로 하는 보간 방법.
  16. 보간 출력 이미지를 생성하기 위하여 입력 이미지에서 이미지 위치들을 보간하는 보간 장치에 있어서,
    (a)상기 입력 이미지에서 선택된 이미지 위치를 보간하여 보간 위치에 대한 중간 출력값을 생성하는 보간 필터;
    (b)상기 보간 위치에 이웃한 위치들에 있는 픽셀들의 셋트에서 추출된 입력 이미지 고주파 성분들을 바탕으로 상기 픽셀 위치들 각각에 대한 가중 계수를 결정하고, 상기 가중 계수들을 사용하여 상기 고주파 성분들의 가중 결합에 따라 상기 선택된 이미지 위치에 대한 에지 강조값을 결정하는 에지 선명화부;및
    (c)상기 중간 출력값과 상기 강조값을 결합하여 상기 보간 위치에서의 보간 이미지 출력을 생성하는 결합부를 포함하고,
    여기서, 상기 입력 이미지는 디지털 입력 픽셀 데이터로 나타내짐을 특징으로 하는 보간 장치.
  17. 제16항에 있어서, 상기 보간 필터는
    폴리페이즈 필터를 포함하는 것을 특징으로 하는 보간 장치.
  18. 삭제
  19. 제16항에 있어서,
    FIR 하이-패스 필터를 더 포함하여, 주어진 픽셀 위치의 각 이미지 고주파 성분이 상기 FIR 하이-패스 필터를 사용하여 추출되는 것을 특징으로 하는 보간 장치.
  20. 제16항에 있어서, 상기 보간 필터는
    유한 임펄스 응답(FIR) 필터를 포함하는 것을 특징으로 하는 보간 장치.
  21. 제16항에 있어서, 상기 보간 필터는
    일차원(1D) 폴리페이즈 FIR 필터를 포함하는 것을 특징으로 하는 보간 장치.
  22. 보간 출력 이미지를 생성하기 위하여 입력 이미지에서 이미지 위치들을 보간하는 방법에 있어서,
    (a)상기 입력 이미지에서 선택된 이미지 위치를 폴리페이즈 FIR 보간 필터로 보간하여 보간 위치에 대한 중간 출력값을 생성하는 과정;
    (b)상기 보간 위치에 이웃한 픽셀 위치들에서 추출된 상기 입력 이미지의 고주파 성분들의 함수에 따라 상기 선택된 이미지 위치에 대한 에지 강조값을 결정하는 과정;
    상기 이웃한 픽셀 위치들 각각에 대한 가중 계수를 결정하는 과정;및
    상기 가중 계수들을 사용하여 상기 고주파 성분들의 가중 결합에 따라 에지 강조항을 결정하는 과정을 포함하는, 상기 보간 위치에 이웃한 픽셀들을 바탕으로 상기 선택된 이미지 위치에 대한 에지 강조값을 결정하는 과정;및
    (c)상기 중간 출력값과 상기 강조값을 결합하여 상기 보간 위치에서의 보간 이미지 출력을 생성하는 과정을 포함하고,
    여기서, 상기 입력 이미지는 디지털 입력 픽셀 데이터로 나타내짐을 특징으로 하는 보간 방법.
  23. 제22항에 있어서, 상기 이웃한 픽셀들은
    적어도 상기 보간 위치의 신규 픽셀 q에 가장 가까운 두개의 픽셀들 p0 및 p1을 포함하고,
    상기 에지 강조값 φ는 φ=w0*φ0+w1*φ1에 따라 결정되고,
    여기서 w0 및 w1은 각각 상기 픽셀들 p0 및 p1에 대한 상기 가중 계수들이고, φ0 및 φ1은 각각 상기 픽셀들 p0 및 p1에 대하여 결정되는 상기 고주파 성분들임을 특징으로 하는 보간 방법.
KR1020040094267A 2004-05-06 2004-11-17 에지 선명화를 동반하는 비디오 이미지 보간 방법 및 장치 KR100667776B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/840,493 2004-05-06
US10/840,493 US7508997B2 (en) 2004-05-06 2004-05-06 Method and apparatus for video image interpolation with edge sharpening

Publications (2)

Publication Number Publication Date
KR20050107284A KR20050107284A (ko) 2005-11-11
KR100667776B1 true KR100667776B1 (ko) 2007-01-11

Family

ID=35239514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040094267A KR100667776B1 (ko) 2004-05-06 2004-11-17 에지 선명화를 동반하는 비디오 이미지 보간 방법 및 장치

Country Status (2)

Country Link
US (1) US7508997B2 (ko)
KR (1) KR100667776B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110089666A (ko) * 2010-02-01 2011-08-09 삼성전자주식회사 화질 개선을 수반한 영상 확대 방법 및 그 장치
WO2019009506A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100366050C (zh) * 2005-03-11 2008-01-30 华亚微电子（上海）有限公司 一种图像缩放方法及图像缩放器系统
TWI297470B (en) * 2005-05-10 2008-06-01 Asmedia Technology Inc Method for image adjustment
KR100818988B1 (ko) 2006-09-05 2008-04-04 삼성전자주식회사 영상신호 처리 방법 및 장치
US8094958B2 (en) 2006-11-09 2012-01-10 Electronics And Telecommunications Research Institute Apparatus and method for sharpening blurred enlarged image
US8144170B2 (en) * 2007-03-28 2012-03-27 Himax Technologies Limited Apparatus for scaling image and line buffer thereof
US20080285888A1 (en) * 2007-05-15 2008-11-20 Yang-Hung Shih Image resizing device and parameter adjusting method thereof
KR101346084B1 (ko) * 2007-11-23 2013-12-31 엘지디스플레이 주식회사 영상의 선명도 개선회로 및 개선방법
JP5471474B2 (ja) * 2010-01-14 2014-04-16 富士通セミコンダクター株式会社 画像処理装置および画像処理方法
JP5706177B2 (ja) * 2010-02-09 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 超解像処理装置及び超解像処理方法
KR101726683B1 (ko) * 2011-12-12 2017-04-14 한화테크윈 주식회사 영상 처리 방법
JP5833757B2 (ja) * 2012-07-09 2015-12-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
CN103179324A (zh) * 2013-03-27 2013-06-26 珠海全志科技股份有限公司 图像锐化方法及装置
KR102211592B1 (ko) * 2014-03-19 2021-02-04 삼성전자주식회사 전자 장치 및 이의 영상 처리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5054100A (en) * 1989-11-16 1991-10-01 Eastman Kodak Company Pixel interpolator with edge sharpening
JPH11261849A (ja) * 1998-03-13 1999-09-24 Toshiba Corp デジタル信号処理回路

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4729098A (en) * 1985-06-05 1988-03-01 General Electric Company System and method employing nonlinear interpolation for the display of surface structures contained within the interior region of a solid body
US7142729B2 (en) * 2001-09-10 2006-11-28 Jaldi Semiconductor Corp. System and method of scaling images using adaptive nearest neighbor
US7130483B2 (en) * 2001-12-12 2006-10-31 Samsung Electronics Co., Ltd. Method for enhancing a digital image while suppressing undershoots and overshoots
US7391933B2 (en) 2003-10-30 2008-06-24 Samsung Electronics Co., Ltd. Method and apparatus for image interpolation based on adaptive polyphase filters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5054100A (en) * 1989-11-16 1991-10-01 Eastman Kodak Company Pixel interpolator with edge sharpening
JPH11261849A (ja) * 1998-03-13 1999-09-24 Toshiba Corp デジタル信号処理回路

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110089666A (ko) * 2010-02-01 2011-08-09 삼성전자주식회사 화질 개선을 수반한 영상 확대 방법 및 그 장치
KR101651203B1 (ko) * 2010-02-01 2016-08-26 삼성전자주식회사 화질 개선을 수반한 영상 확대 방법 및 그 장치
WO2019009506A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치

Also Published As

Publication number Publication date
KR20050107284A (ko) 2005-11-11
US20050249437A1 (en) 2005-11-10
US7508997B2 (en) 2009-03-24

Similar Documents

Publication Publication Date Title
KR100667776B1 (ko) 에지 선명화를 동반하는 비디오 이미지 보간 방법 및 장치
US7391933B2 (en) Method and apparatus for image interpolation based on adaptive polyphase filters
US5717789A (en) Image enhancement by non-linear extrapolation in frequency space
JP4534594B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
EP0641508B1 (en) Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom
US6005983A (en) Image enhancement by non-linear extrapolation in frequency space
Ramponi Warped distance for space-variant linear image interpolation
EP1041511B1 (en) System and method for image scaling
EP0629083A1 (en) Interlaced-to-progressive scanning converter having a double-smoothing function and a method therefor
US20040234165A1 (en) Image interpolation apparatus and method
WO2007051993A1 (en) Video motion detection
KR100611179B1 (ko) 영상처리장치
US20050196072A1 (en) Method and system for polyphase filtering by combining IIR and FIR filters and its applications in video scaling
WO2007051983A1 (en) Video motion detection
US6795587B2 (en) Image resizing using short asymmetric FIR filters
JP2507154B2 (ja) フィルタ装置
KR20020057527A (ko) 영상 보간 방법 및 장치
JPH05136988A (ja) ２値画像の変倍処理装置
WO1996015625A1 (en) Video signal processing
JP2007504741A (ja) ビデオ信号の頑強なデインタレース
Huang et al. Directional moving averaging interpolation for texture mapping
Lebowsky et al. Perceptual image quality improvement for large screen displays
Singh et al. Up sampling of an image using convolution method
JP2005063197A (ja) 画像補間装置および方法並びにプログラム
KR20080079392A (ko) 적응적 영상 보간 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee